榆林港的军事防务，早于元代已形成。
至元三十年（公元1293年）8月，朝廷派镇守官张仁，带兵在此驻守。可见，当时榆林港已实施海防，距今已有700多年。
到了明代，洪武十八年（公元1385年）朝廷专派钦差领兵官杨贵镇守榆林。为一个边防港口派钦差武官，说明其职责重要。
光绪十六年（公元1890年），徐赞标署任崖州协水陆副将，他带兵驻防榆林港，警惕到法国舰船人港测水，故刻石留示日：“是为筹备海防之始”。其实，海上防务，元代已经打下基础。第二则刻石日：“大清游击金广玉”。游击，官名，为军营将官。金氏当然也是镇守榆林港的在职军官，他之刻石题名，寓有承前启后的用意。
古代榆林港，也有军事硬件。《崖州志》载：“榆林堡：在榆林港前，置烽堠二堡”，弘治八年（公元1495年）张翊立”。榆林港口因此有烟墩岭之地名。守军在烟墩岭上观测海面，见有敌情动静，就举烽火报警。清朝末叶，崖州沿海各港设置5个炮台，榆林港炮台为首要，常驻外委1名，防兵15名。防务改制后，又特派琼崖巡防第三营驻守，兼管三亚港。 榆林港
民国初年，榆林港防务松驰。民国23年（公元1934年）2月6日，日本兵舰球磨号侵入榆林港停泊在安游附近。舰上水兵40余人，着黑服，缠白布在港域测探水深，活动约50分钟。7日，舰船溯港道而上，武装日兵20余人登岸，闯入红沙村扰攘拍照；日兵均着黄色军装，头戴白帽，上扣红日符号，腰扎短枪，耀武扬威，肆无忌惮。经地方政府具文上报中央外交部交涉，日方诡称：“该舰去南洋巡逻，中途寄泊”。实际，日人阴谋乃测绘港情，侦察我方军事虚实，为侵略战争作准备。
第二次世界大战期间，1939年1月，日本御前会议决定攻占海南岛。军事突破重点目标，岛北为海口、琼山，岛南为榆林、三亚。同年2月，担任进攻岛南军务的日本国内吴镇守府第六特别陆战队（吴六特）730人，横须贺镇守府第四特别陆战队（横四特）860人，佐世保镇守府第八特别陆战队（佐八特）860人，共2450人，在指挥官大田实（上校）、加藤荣吉（中校）、井上佐二（中校）等率领下，乘“葛城丸号”、“衣笠丸号”、“广德丸号”3兵舰，于14日拂晓驶到三亚港海面。此次作战日军拥有绝对优势，而榆林防务空虚。但当日方派先遣部队向榆林港口方向突进时，被国民党地方军王醒亚中队开枪狙击，日方认为港中有布防，且慑于此港形势险要，慌忙退出外海，远远从舰上发炮十余发佯攻，而将主战兵力1000余人，转向三亚湾的西侧海滩登陆，再迂回过来。榆林港终于失守，但由此可以证见它的地理形胜，易守难攻。
日军占领榆林后，立即加快周边的军事设施建设，建陆上机场和水上基地，修简易铁路、军工厂、电力厂等，疯狂掠夺资源，使此处成为日军南进的海空军基地。
1945年，日本战败，无条件投降。岛南日军全部都从榆林港登船，被遣返日本。当时，接受投降的国民党军46军19师蒋雄所部进驻榆林。之后，此地一直是军事禁区、海防要塞。