通河在1万年前新石器时代就有人类活动。伴随中华文明的开启，先后有肃慎及其后裔的挹娄、勿吉、女真人在此繁衍生息。
两汉时期，肃慎改称挹娄。南北朝时，挹娄又改称勿吉。隋、唐时期，改称靺鞨，属黑水靺鞨；归安东督护府和黑水督府辖。
辽、金时期，为女真居地，属生女真，归上京会宁府（今阿城白城）辖。
元朝，属辽阳行中书省，境内设捻站、哈散干户府、吾纳忽站、塔海军民万户府，屑水达达路（又称"水鞑靼"）。明朝，属奴儿干都司辖，境内设有：木兰河卫、撤力卫、哈散千户所、五纳忽卫，皆生女真居地。
清朝，为呼兰城守卫辖地。乾隆二十七年（1762年），吉林将军奏以三姓西阿勒楚喀，地势辽远，驿递不便，请在巴彦苏苏（今巴彦县）东设置庙葛珊站（一站）、鄂勒果木索站（二站）、崇古尔库站（三站）、富拉珲站（四站）、佛斯亨站（五站）。光绪三十一年（1905年），于三站设大通县，辖境包括通河和方正两县，隶属于吉林依兰店。光绪三十二年（1906年），设大通县，隶属吉林省依兰府管辖。光绪三十三年（1907年），东北实行行省制，以松花江为吉林、黑龙江两省的省界，通河县改隶黑龙江省，为绥化府所辖。宣统元年（1909年），大通县所辖的江南十旗公田局析置，名为方正县。
民国三年（1914年），将县治移至岔林河东岸，因与甘肃省大通县重名，改名通河县，隶属黑龙江省为三等县，同年将通河县部分行政区域划归凤山镇没治局所辖。民国十八年（1929年）1月1日，凤山镇设治，名为凤山设治局。
民国二十一年（1932年）4月29日，日本关东军61炮舰联队侵占通河，日本人在通河成立“通河县公署”伪政府。民国三十二年（1933年）10月1日，日寇为防备抗联在山区的活动，将北部山区设凤山县。民国三十三年（1934年），伪满洲国实行机构改革，划东北为14省，通河县归三江省管辖。
民国三十五年（1946年）2月7日，中共通河县委、县民主政府成立。隶属中共合江省工委、合江省政府。民国三十五年（1946年）4月下旬，中共北满分局，吉黑军区（北满军区）机关及松江省、松江省军区机关撤离通河进入哈尔滨。6月，通河县由合江省划归松江省管辖，中共通河县委、县政府隶属中共松江省委、省政府二分区（哈北）地委、哈北专员公署。8月，中共哈北地委、地行署撤消，中共通河县委、县政府由松江省委、省政府直接领导。