Après avoir quitté Boston, Malcolm vit quelque temps dans le Michigan. En 1943 il emménage à New York où il travaille de nouveau brièvement pour la New Haven Railroad. Il trouve même un travail de cireur de chaussures dans le Lindy Hop Nightclub. Dans son autobiographie, il affirme avoir ciré les chaussures de Duke Ellington et d’autres musiciens noirs célèbres. Peu de temps après, à Harlem, où il est alors appelé « Detroit Red », il prend part à des activités de revente de drogue, de jeu, de racket et à des cambriolages. Entre 1943 et 1946, Malcolm voyage entre Boston et New York à trois reprises. Il est arrêté en 1946 àDetroit pour cambriolage et est mis en prison.

Durant la Seconde Guerre mondiale Malcolm est examiné pour l’enrôlement dans l’armée, les médecins militaires le réforment pour le motif « 4-F » (« mentalement inapte au service militaire »). Il expliqua dans son autobiographie qu’il dût jouer un rôle pour être réformé, et soutenir au médecin militaire qu’il était impatient de s’organiser avec les autres soldats noirs et mettre la main sur une arme afin de « tuer quelquescrackers », c’est-à-dire des Blancs. Dans son dossier établi par le FBI apparait une lettre dans laquelle il se désigne comme communiste et où il explique certaines raisons de son vœu d’être réformé : « J’ai toujours été un communiste. J’ai essayé de m’enrôler dans l’armée japonaise, pendant la dernière guerre, maintenant ils ne m’enrôleront ni ne m’accepteront jamais dans l’armée américaine. Tout le monde a toujours dit... Malcolm est fou donc il n’est pas difficile de convaincre les gens que je le suis. » Or l’armée japonaise n’a jamais été communiste.

Au début de 1946, il retourne à Boston. Il y est arrêté le 12 janvier pour avoir essayé de voler à nouveau une montre de près de mille dollars US qu’il avait laissée dans une bijouterie pour la faire réparer. Deux jours plus tard, il est également poursuivi en justice pour port d’arme. Le 16 janvier, il doit faire face aux charges de vol caractérisé et d’entrée par effraction. Il est condamné à dix ans de prison (il n’en fera que sept) dans la prison d’État du Massachusetts à Charleston, dans laquelle il arrive le 27 février. Ses relations sexuelles avec des femmes blanches (il y en avait deux dans sa bande, dont sa maitresse) faillirent lui valoir en plus une condamnation pour viol, mais elles refusent de l’accuser malgré les incitations de l’instance judiciaire. De plus, Malcolm est accro à la cocaïne, qu’il avait commencé à consommer lorsqu’il était dans la pègre....Un voyou rien de plus..pas une grande perte.. !