据伊斯兰教传说，克尔白由人祖阿丹依天上“原型”而建造，后麦加山洪泛滥，克尔白遭毁，伊斯兰教先知易卜拉欣与其子伊斯玛仪又重建了克尔白，并由伊斯玛仪担任掌管克尔白的圣职。公元3世纪时，由也门胡扎尔部落夺取了克尔白掌管权。到阿慕尔·本·鲁哈伊时，放弃了易卜拉欣的信仰，在克尔白殿内竖立起多座偶像，克尔白遂成为多神信仰的中心，长达3个世纪之久。
克尔白作为伊斯兰教正式朝觐圣地，则是伊斯兰教先知穆罕默德依照《古兰经》载述：“为世人创设的最古的清真寺，确是在麦加那所吉祥的天房，全世界的向导”（3：96）的启示确定的。
623年穆罕默德奉真主“启示”确定克尔白为礼拜朝向，628年宣布朝觐克尔白是穆斯林必须遵守的“主命”，630年穆罕默德重返麦加后，清除了克尔白石殿内360尊偶像，克尔白天房遂成为穆斯林朝拜的中心。克尔白是一座南北长12米，东西宽10.10米，高15米，用灰褐色硬石砌成的立方体建筑。殿内用3根沉香大木柱支撑，顶上有许多小方格，书写着“安拉至大”的经文。殿内四壁挂着玫瑰色丝绸帷幕；地面全部用大理石铺成。整个建筑终年罩着黑色锦缎帷幔，上面绣着金色的《古兰经》文，每年更换一次。