绥化历史悠久。大约在1万年前旧石器时代，绥化市境内就有古人类繁衍、生息。[27] 绥化
夏商时期，绥化为肃慎地。
“肃慎者，虞夏以来东方大国也”。
西周至西汉时期，今绥化市的庆安县、绥棱县、海伦市、望奎县、兰西县等仍为肃慎地，西部的明水县、青冈县、安达县，西南部的肇东等市县为濊貊地。东汉至两晋，绥化属夫余地。晋时，绥化市大部分市县属夫余的寇漫汗。
南北朝时期，绥化属勿吉地。
隋唐时期，属靺鞨黑水部、黑水靺鞨地。
唐代，分别归属于唐渤海都督府和黑水都督府所辖。
宋辽金时期，绥化先后归契丹族建立的辽、女真族建立的金管辖。[30]
元朝时期，绥化市为成吉思汗幼弟帖木哥斡赤斤的分封地，即归元朝的开元路管辖。
明朝时期，绥化为奴儿干都指挥使司所辖。
清朝时期，绥化归镇守黑龙江将军管辖。清王朝建立之初，视东三省为“龙兴之地”，实行封禁政策，将东三省山林、土地当作皇室围场，严禁开发耕种。咸丰十年（1860年），经黑龙江将军特普钦奏准，开始出放民荒。光绪十一年（1885年），设绥化理事通判厅。光绪三十年十二月二十四日（1905年）1月29日，由厅升府。光绪三十三年（1907年），在东北设东北三省总督，统辖奉天、吉林和黑龙江三省，绥化归黑龙江省管辖。
民国元年（1912年），东北三省承袭清末地方行政制度，仍实行省、道、府（直隶州、厅）、县（州、厅）4级制度。民国二年（1913年）裁府州，改为行省、道、县3级制，绥化府改为绥化县。民国三年（1914年）6月，设黑龙江省龙江道、绥兰道。今绥化市所属各县（市）区分别归龙江道、绥兰道所辖。民国十八年（1929年），东北政务委员会成立，废道制，县归省直接管辖。海伦、绥化为一等县，肇东、兰西、青冈、安达、望奎、庆城为二等县，绥棱、明水为三等县。民国二十三年（1934年），东北沦陷时期，明水县归龙江省管辖，其余9县归滨江省管辖。民国二十八年（1939年），明水、绥化、海伦、望奎、庆城、绥棱6县为北安省所辖，其余4县仍由滨江省管辖。[30]解放战争时期，庆城（庆安）、绥棱、海伦、望奎、绥化、明水和青冈、兰西、安达、肇东等县分属当时的黑龙江省和嫩江省、松江省管辖。