马尔科姆·利托于1925年5月19日出生于美国内布拉斯加州的奥马哈，他在家里七个孩子里排行第四。利托的母亲名叫露易丝·海伦·利托（Louise Helen Little），是一位来自格林纳达的移民。利托的父亲名叫厄尔·利托（Earl Little），是一位来自格鲁吉亚的移民。[1] 厄尔是一位坦诚的浸信会平信徒和演说者，他和妻子露易丝都是泛非主义活动家马库斯·加维（Marcus Garvey）的仰慕者。厄尔是全球黑人进步协会（Universal Negro Improvement Association，UNIA）的地区领导，露易丝则在该组织内担任秘书和“支部通讯员（branch reporter）”，负责将有关UNIA活动的新闻发送给《黑人世界周报》（Negro World，该报纸为UNIA的喉舌）。厄尔夫妇教育其子女要自立自强并要有身为黑人的自豪感。[2] [3] [4] 马尔科姆·X后来说，他父亲有四个兄弟死于白人的暴行。[5] 泛非主义活动家马库斯·加维
1930年美国人口普查表上的利托家庭（位于59行）
正在举行活动的3K党成员
因为3K党的威胁，厄尔参与UNIA活动被说成是“寻衅滋事”（Spreading trouble）[6] ，一家人于1926年搬至威斯康星州的密尔沃基（Milwaukee, Wisconsin），不久之后又搬至密歇根州的兰辛（Lansing, Michigan）。[7] 在兰辛，厄尔一家经常被一个叫黑色军团（Black Legion，由3K党分裂出来的白人至上主义者组成）的白人种族主义团体骚扰。厄尔家于1929年被烧毁后，他起诉了黑色军团。[8] 黑色军团成员形象
在马尔科姆六岁时，他的父亲去世了，官方的说法是死于有轨电车事故，但他母亲露易丝坚信丈夫是被黑色军团谋杀的。关于白人种族主义者谋杀了父亲的留言广为流传，令年幼的马尔科姆深感不安。成年以后，马尔科姆在被问及此事时表达了一些自相矛盾的观点。[9] 经过和债权人的一番争执，露易丝得到了名义上的1000美元人寿保险金（相当于2018年的16,000美元[10] ），这笔钱将以每月18美元的形式支付[11] ；但另一个问题是，大政策拒绝支付这笔钱，并宣称厄尔是自杀身亡。[12] 为了维持生计，露易丝把花园的一部分租了出去，她的儿子们则要去打猎补贴家用。[13] 露易丝·海伦·利托和厄尔·利托
1937年露易丝和一个男人好上了，但就在他们准备结婚时，那个男人抛弃了身怀六甲的她，从她和她孩子的生活里消失了。[14] 在1938年末，露易丝患上了神经衰弱，被送到卡拉马祖州立医院（Kalamazoo State Hospital）治疗。她的孩子们被分来并由不同的寄宿家庭收养。在1963年露易丝出院后，马尔科姆和他的兄弟姐妹们一直保护着她的安全。[15] [16]
马尔科姆·利托在读初中时是个出色的学生，但他还是辍学了，因为一个白人老师告诉他要“进行法律实践（practicing law）”，他那时所立的志向是“黑鬼没有实现的目标（no realistic goal for a nigger）”。[17] 后来马尔科姆·艾克斯回忆道，白人世界根本没有给他这样想做一番事业的黑人留任何位子，无论他的智力如何。[17]