公元274年，三国之间的战争硝烟已然散去，作为最终胜利者的魏国还没有采下果实多久，就被司马氏取而代之。此时，西晋建国已有近十年，其统一全国的步伐也在有条不紊的进行，就在这一年，林禄呱呱落地。在那个讲究门第家世的年代，出生名门便意味着以后仕途一片光明。林禄无疑就是其中的幸运儿，在其出生时，家族已十分显赫。其祖父林礼，字元副，是为林氏始祖比干第46世孙，原属“济南林”（林姓在北方形成的最大的望族）一支。西晋时先为主簿，而后做到了太子太傅（也就是太子的师傅）这个位置，可见其深受西晋王室的信任与宠爱。其父林颖，后来也官至黄门侍郎（具体职务是侍从皇帝，传达诏命，负责掌管机密文件）。其家族历经林禄祖、父两代人的经营，早已成为当时绝对的名门望族。关于林禄的出生地，现存史籍均无记载，我们只能尽量根据现有材料进行推测，根据当时情况，其出生地大抵有两种可能：一是当时家族所在地山东济南，自西汉时期林尊带领族人自中原迁往山东济南后，林氏族人开始在那繁衍发展，并逐渐形成了“济南林”家族，作为原属“济南林”一支的林礼便是在这里出生，因此作为林礼之孙林禄在此出生的可能性相当大。二是当时的西晋首都洛阳，作出这样的推测源自于其祖辈父辈均在朝廷任职，林禄在洛阳出生的可能性也是有的。有关林礼出生地也许还有其它可能，但是这并不重要，重要的是林禄出生名门，家世显赫。然而西晋建国还未多久，由分封而来的地方诸侯国势力越来越大，日益威胁中央朝廷，而周边不断崛起的少数民族又开始在中原地区肆意烧杀抢掠，不得已之下，林礼率领子孙跟随西晋政权的南移，从山东济南，徙迁至下邳（今江苏省下邳县）梓桐乡。而根据史料记载，此时的林禄已经担任琅琊王府参军，辅助这位后来的晋元帝司马睿，就这样，林禄开始正式踏上历史舞台。
也许晋武帝本人并没有想到，就在其统一全国数十年之后，西晋的统治便开始岌岌可危，而后来的永嘉之乱更是将尚且年幼的西晋王朝的生机尽数掐断。
永嘉之乱无疑是一场民族浩劫、一场民族灾难，但并不意味着所有人都会遭殃，有些人甚至会因此受益。这场永嘉之乱也使一批人受益，而其中受益最大的无疑是当时的琅琊王司马睿。虽然司马睿贵为西晋皇亲国戚，但其宗亲关系可谓相当疏远。在永嘉之乱中，不仅西晋皇帝被俘，那些宗亲关系很近的王公贵族也被尽数消灭。因此，司马睿成了当时继承大统的不二人选，而身为司马睿参军（即参谋军务，也就是参谋、幕僚这种角色）的林禄也开始慢慢崭露头角，林禄与后来的丞相王导一道积极向司马睿进言，主张南迁，从而避开战乱，开拓自己的势力。很快，司马睿接纳了这个建议。晋建武年间，司马睿率中原汉族衣冠仕族以及大群民众南渡，史称“永嘉之乱，衣冠南渡”。在这场南迁中司马睿最终定都江东建康（今南京），史称东晋。在南迁过程中，林禄又一直伴随司马睿左右，并积极为司马睿出谋划策，首先他与众大臣建议在长江南北设置侨州郡县以安置流亡人口、平稳人心，这得到了司马睿的首肯。而后他又与王导王敦兄弟一道极力笼络南方士族，协调南北大族之间的关系。林禄一系列正确的计策为司马睿政权在江东的巩固和发展立下了汗马功劳，因此深得司马睿的重用和赏识。