据《新唐书》记载，在南宋乾道五年（1169年）称之为“嵖岈山”；据《大明一统志》记载又名“嵯峨山”；山中巨型岩石崩塌坠落，堆积成许多洞穴，故空洞百窍，风嘘则鸣，亦称“玲珑山”；据民间传说：山中有鸟金、火驹兽、金头老母鸦、密蜡金、九龙杯、八卦炉、龙、凤等八样珍宝，周文王无比欣赏，封此山为“八宝玲珑山”。嵖岈是形容词，形容山势怪异、美丽，嵖是堆积磊落，岈是犬牙交错、参差不齐的意思。[11] [12]
尧舜时代，在嵖岈山北店房村一带，即有人居住。相传舜封尧子丹朱到此地，称房地。[11]
春称时期，楚昭王把房地封给吴王阖闾的弟弟夫概，称吴房国，建都在嵖岈山脚下店房村附近，夫概死后葬于天磨峰下的天磨湖畔。[11]
唐乾符四年（877年），唐代王仙芝部将尚浪屯兵于此，后黄巢与尚浪合兵一处合力守山，出兵合攻宋州。[11]
明崇祯十五年（1642年），农民起义军李自成部攻克遂平县城，杀死知县刘英。传说，在此之前李自成的舅父高迎祥率众进驻嵖岈山老君洞附近，曾在此点将阅兵，现存有“高官厅”“点将台”等遗址。[11]
清同治六年（1862年），捻军首领李合周四、五百人据守嵖岈山，拒抗清军。[11]
清光绪十二年（1902年），遂平八里铺苗金声聚众起义，在嵖岈山建立政权，号称“苗天王”。[11]
民国三十三年（1944年）5月，新四军五师13旅以嵖岈山红石崖为根据地组建成立；同年11月，以黄霖为首的河南游击独立兵团，率主力北渡淮河到嵖岈山一带开辟抗日根据地、司令部设在红石崖，司令员黄霖、副司令员余支龙，政委何振亚。[1]
1958年4月20日，嵖岈山卫星人民公社在嵖岈山成立，是中国建立的第一个人民公社，是继巴黎公社之后全世界第二个人民公社；同年7月，原中央政治局候补委员、红旗杂志主编陈伯达在嵖岈山调查研究，起草了《嵖岈山卫星人民公社简章》；同年8月，《嵖岈山卫星人民公社简章》经毛泽东修改、批示，在召开的北戴河政治局扩大会议上印发；同年9月1日，《嵖岈山卫星人民公社简章》在第7期《红旗》杂志全文刊发；同年10月，嵖岈山卫星人民公社办公楼建立；同年10月13日，毛泽东主席亲临嵖岈山卫星人民公社在视察。[2]