上古
山西省自古就有人类活动的迹象，并为中华文明的发源地之一。
考古表明，远古时代，山西南部是人类初曙的起源地。运城垣曲县“世纪曙猿”化石的发现，把类人猿出现的时间向前推进了1000万年。约在180万年前的旧石器时代，原始人群就在山西晋南地区繁衍生息，其中运城芮城县西侯度文化遗址（243万年前[66] ）发现的火烧骨，把中国范围内发现的人类用火历史向前推进了100万年；约在10—2万年以前的旧石器时代中期，在山西汾河两岸和大同、朔州一带，已出现比较集中的原始人群和村落。新石器时代晚期，山西南部已经成为当时诸多邦国的中心。对临汾襄汾县陶寺遗址发现和研究成果表明，这里是帝尧都城所在地，也是最早的中国所在区域。这使大致在距今4500年前后中国史前传说的尧舜禹时代由传说成为信史，中华5000年文明史由此得到证实。 山西
大禹去世后，其子启继位。夏朝早期的统治中心在今山西晋南夏县一带，今夏县东下冯遗址是重要的夏墟。
山西南部在其“邦畿千里”之内，其余地方则散布着十几个方国部落。
西周
西周初期大规模分封诸侯，山西中南部为十余个诸侯的领地，其中主要诸侯国是晋国。
春秋
晋国发展强大，逐步兼并了周边小国，成为春秋五霸之一。晋国极盛时期的疆域，大约包括今山西中南部、河北西南部、河南西北部和陕西东部，设置有50余县，其中山西境内有10余县。晋国是郡县制的起源地，后来秦将这种制度推广向全国。
战国
周定王十六年（前453年），晋国卿族赵、魏、韩三家三分晋国，史称“三家分晋”。赵、魏、韩三分晋国，成为实际上的三家诸侯国。在山西，赵国辖中部、东北部、东南部少部，魏国辖西南部、东南部少部，韩国辖东南大部和西南少部。起初，赵国的都城在晋阳（今太原晋源区东北），韩国的都城在平阳（今临汾尧都区），魏国的都城在安邑（今运城夏县北），后来随着疆域的扩大移向河南、河北。