宣统三年（1911年）率学生30多人参加武昌起义，在琴断口高地负伤，送上海治疗。
民国元年（1912年），回福州为福建省陆军小学堂监督。
民国2年（1913年）年底，带职考入北京陆军大学，不久因袁世凯称帝，林知渊辍学南下广西，任护国军第二军第二梯团团长方声涛的参谋长，参加反袁斗争。
民国5年（1916年）北上复学，同年毕业后留校为战史教官。[1]
民国6年（1917年）赴广州任滇军第四师参谋处长兼工兵营营长，参加护法战争。后第四师扩编为靖国军第六军，林知渊为前敌参谋长，举兵入闽讨伐李厚基。但“征闽”失败，林知渊潜伏在厦门一带，转入地下活动，并调节厦门守军臧致平和海军杨树庄的关系，以后受蒋介石委托，促进海军易帜。[1]
民国15年（1926年），林知渊任南洋闽厦海军指挥官，果然率“海容”等33艘舰艇，归附国民革命军东路军。第二年（1927年）海军全部归附后，林知渊受命为海军总司令部政治部主任兼海军党代表。
民国17年（1928年）4月，海军特别党部成立，杨树庄为主任委员，林知渊为执委。不久杨树庄兼任福建省长，林知渊也回闽任省政府秘书长。因拟调防福建部队，为闽北军阀卢兴邦所知，民国19年（1930年）1月6日，卢部旅长卢兴荣在陈培锟家绑架“省府六委员”，其中林知渊被囚禁在尤溪，直到9月，卢兴邦战败，才释放回福州。
民国21年（1932年）1月，林知渊负责调停日籍台人李炉已刺杀日本教谕水户夫妇事件。
民国22年（1933年）“福建事变”发生，蔡廷锴请林知渊赴马尾说服海军归附新政府。因此，林知渊被国民政府通缉。但蒋介石和林知渊是陆军大学的同学，仍表示信任，4次召见，委他为“福建军事特派员”。翌年陈仪入闽主政，林知渊还是省政府委员。[1]
民国28年（1939年）1月，林知渊在香港养病，被戴笠派往河内秘密会晤汪精卫。不久汪精卫潜回上海，林知渊又奉令与汪相晤，并经戴笠同意，准其作为汪精卫的代表团成员，赴东京访问。后因气候原因，未能成行，又先后被汪精卫派往香港和台北同台湾军部要人接谈军事机密，但因有“私通重庆”嫌疑，被软禁在台北500天，他的两个儿子还被诱到台北作为“人质”。不久，林知渊受汪精卫命，回厦门帮助编练“和平救国军”，在进攻韶安时被俘，送到重庆后释放，便在戴笠办的训练班里授课。
民国31年（1942年）赴兰州任“西北边疆研究室”主任，搜集边疆情报，同时培养少数民族特工人员。