1950年建立岛斗乡，1958年成立岛斗人民公社，1982年建立岛斗镇，1992年撤衢山区，太平、桂花2乡并入。2001年6月19日，浙政函[2001]98号批复同意岱山县部分行政区划调整：撤销岛斗镇、四平乡、万良乡，合并设立衢山镇，辖59个村、2个居委会，驻原岛斗镇政府驻地。 1990年的岛斗镇
岛斗镇地理位置优越，镇南泥螺山至小黄沙，镇北黄泽至岛北、下洞礁沿岸水深达20-25米，是天然的深水良港。大小码头9座，可通往宁波、上海、普陀山等地，其中一座客运码头栈桥长650米，为全省最长的栈桥。
岛斗镇为巨山岛经济、文化、交通中心。特产药用蜈蚣。岱衢洋是华东主要渔场，捕捞鱼类主要有带鱼、小黄鱼、蟹、虾，作业以流网、拖虾、帆涨主，养殖品种有美国红鱼、对虾、梭子蟹、贝类等。第三产业繁荣兴旺，镇内横街为巨山岛主要商业街，已形成水产加工、船舶修造，建筑材料等具有海岛特色的产业。岛斗镇名胜古迹众多，有建于清朝的东狱宫和建于宋朝的宋朝宫，有出土于孙家山遗址的唐代铜镜和桑子山遗址的元朝铜秤等。“东海第二佛国”观音山是普陀山的姐妹山，著名的佛教胜地，山中有建于清代的慧济寺、广济寺、洪因寺3个寺院，山顶玉佛宝塔雄伟壮观。