1871年，参加海军，投“艺新”炮舰为船生，从管带许寿山学习英语及枪炮、驾驶技术。杨用霖刻苦好学，用心专一，“日夕勤劬，寒暑不辍，而颖悟锐进，于航海诸艺日益精熟”。不久，便补为“振威”炮舰管炮官，又升为“艺新”炮舰二副。 杨用霖
1879年，到北洋水师充“飞霆”、“镇西”各舰二副。次年，随丁汝昌赴英国接带“超勇”、“扬威”二艘快船，充“超勇”二副。回国后，因接舰有功，升为“超勇”大副。1885年，调升“镇远”铁甲舰大副，又升帮带大副，赏戴花翎，以守备用。1888年，北洋水师正式成军，定海军军制，李鸿章奏请以杨用霖署右翼中营游击。1891年，李鸿章到威海检阅水师，以用霖训练有功，升用参将，赏加副将衔。
杨用霖少时失学，长大酷爱学习。“公暇益肆力于书籍，手不释卷，才识遂日以增进，长官咸倚重之”。在北洋水师中，杨用霖是一位很有威信的将领，其为人“沈毅勇敢”，“在营治军，严明有威，而爱抚士兵不啻家人子弟，疾苦劳顿必亲临慰问”。由于他对部属非常关心爱护，大家感戴他，“以故士咸为用”。
1894年9月17日，北洋水师与日本联合舰队在黄海展开大战，战斗打响后，杨用霖奋然对部下说：“战不必捷，然此海即余死所！”又说：“时至矣！吾将以死报国”。部下激动得调眼泪说：“公死，吾辈何以为生？赴汤蹈火，惟公所命！”海战中，杨用霖协助管带左翼总兵林泰曾，指挥全舰将士奋力鏖战。在激烈的炮火中，旗舰“定远”中弹起火，烈焰汹腾，向全舰蔓延。在此危急关头，杨用霖突转“镇远”之舵，挡在“定远”之前，并向敌舰发起攻击，使“定远”得以即时扑灭大火，从容应敌。当时在附近海域“观战”的西方海军人士，皆啧啧称赞道“靡此，而定远殆矣！”战到后来，终于迫使日本联合舰队逃离战场。战后论功，杨用霖得补用副将，赏加“捷勇巴图鲁”勇号。
1894年11月，“镇远”驶回威海卫，管带林泰曾因舰触礁，引咎自尽。杨用霖升护理左翼总兵兼署“镇远”管带。翌年，日本舰队进攻威海卫，杨用霖协助丁汝昌、刘步蟾击退日舰的8次进攻。北洋水师伤亡惨重，牛昶昞欲推举杨用霖与日军接洽投降，杨用霖严词拒绝。在刘公岛一片乞降逃生的凄凉气氛里，杨用霖口诵文天祥的诗句：”人生自古谁无死，留取丹心照汗青“，用手枪自戕。当部下听到枪声冲入他的住舱时，只见他端坐椅上，头垂胸前，鲜血从鼻孔汨汨地流向胸襟，而枪依然握在手中。杨用霖发出了北洋海军的最后一枪。[1]