夏商，中国分兖、青、冀、徐、豫、荆、扬、雍、梁九州。巨野地属徐州北境。[5]
西周，巨野为武城地，鲁国西境，隶属兖州。春秋，巨野仍为鲁国西境。周元王元年（前475年），巨野属宋国。周赧王二十九年（前286年），改属齐国。
秦朝，置昌邑县（今昌邑集一带），属砀郡。
西汉初期，巨野境内有昌邑县，西汉中期增置巨野县和乘氏县。中元六年（前144年），昌邑、巨野属山阳国。建元元年（前140年），改山阳国为山阳郡。昌邑、巨野两县属山阳郡，乘氏县属济阴郡。天汉四年（前97年），改山阳郡为昌邑国，巨野、昌邑为其属县。本始元年（前73年），撤销昌邑国，复为山阳郡，昌邑、巨野两县仍为属。新莽始建国元年（9年），撤销山阳郡，改为巨野郡，以巨野县城为治所。建武元年（25年），撤销巨野郡，恢复山阳郡，治所在昌邑，巨野、昌邑两县兼属山阳郡和兖州。乘氏县仍属济阴郡。初平三年（192年），曹操任兖州牧，以昌邑为治所。[5]
三国，巨野、昌邑两县属山阳郡，乘氏县属济阴郡。
晋泰始元年（265年），改山阳郡为高平国，治所在昌邑，巨野、昌邑为属县，乘氏县仍属济阴郡。
南朝刘宋，改高平国为高平郡。刘宋永初年间（420年），撤销昌邑县，并入金乡县。北魏太和十二年（488年[10] ），乘氏县移置今菏泽市。北齐撤销巨野县。北魏神龟元年（518年），分高平郡，置任城郡。
隋开皇年间，巨野东北部属郓州东平郡，西南部属曹州济阴郡，东南部昌邑一带属金乡县。开皇十六年（596年），恢复巨野县和昌邑县。大业二年（606年），撤销乘氏县，并入巨野县；撤销昌邑县，并入金乡县。
唐武德二年（619年），巨野县属郓州东平郡。武德四年（621年），在巨野县城置麟州，复置乘氏县为属县。武德五年（622年），撤销麟州，复置昌邑县，昌邑、巨野两县属戴州（治所金乡）。武德八年（625年），撤销昌邑县，并入金乡县。贞观十七年（643年），巨野县改属河南道郓州。