据《金华府志》记载，他曾在放羊时随道士到金华山洞中修炼道法，其兄黄初起四处寻找，不知下落，40年后才在山洞外相见。从前的羊群早已化成了满山的白石，但黄初平一声呵叱，石头立即变成羊群。黄初起惊异万分，仰其弟之功法，亦立志修道。从此，黄初起留在洞中跟随弟弟一起修炼，不食人间烟火，每天以松籽茯苓充腹，最终得道成仙。因此，有说黄大仙为黄氏二兄弟。
也有说黄大仙乃葛洪弟子黄也人。因为民除害兴利，泽被一方，所以民众为其在金华山修建起黄大仙祠，又名赤松观，世代祀奉，由此各地信奉黄大仙者均以金华为“仙乡”，以赤松观为“祖庙”。
黄大仙庙宇遍布东南沿海一带，以至东南亚及美国。其中浙江省金华市黄大仙祠和香港黄大仙庙最为著名，信仰者云集，香火炽盛。
浙江金华黄大仙祠是黄大仙的祖庙。香港的黄大仙庙亦是一座典型的道教宫观，位于九龙竹园区，人称“香港第一大庙”，为“金华分迹”而来。祠中供奉的黄大仙，在香港人心中是一个法力无边神通广大的神仙，有求必应，无数善男信女对其顶礼膜拜。又因为黄大仙庙处于香港的交通要道，来往方便，所以到此来朝拜的人如潮如涌，终日香火缭绕，热闹非常。