五线谱的发源地是希腊。在古希腊，音乐的主要表现形式是声乐，歌词发音的高低长短是用字母表示的，到了罗马时代，开始用另一种符号来表示音的高低，这种记谱法称为“纽姆记谱法”（Neuma），这就是五线谱的雏形。“Neuma”源自希腊语，意为符号，是用绘图的形式表示的初期纽姆形状（如图）。 纽姆记谱法
纽姆符号开关清晰，有时表明一个音，也常常表明一组音，它能够帮助演唱者记忆、了解各种曲调进行特征，但它不能表示音的长短，也没有固定的高低位置，于是后人便划出一根直线，将纽姆符号写在线的上下，以线为中心点，把音固定为F，再根据上下位置确定音高，这种形式称为“一线谱”。
到了11世纪，僧人规多把纽姆符号放在四根线上，从而确定其音高，这种乐谱称为“四线乐谱”。开始的线谱是用不同的颜色画成的，如红线代表F音，黄线或绿线代表C音。 四线谱
到了13世纪，四线乐谱采用全部黑色线，只是在线的前端写上一个拉丁字母表示线的音高，这就是谱号的雏形。
由于四线的纽姆乐谱并不能把节奏标出来，因此必须对每个音的长短有精确的确定方法，这就是定量音乐的起因。13世纪，科伦对约翰教学乐僧佛兰克著《定理歌曲艺术》一书中首次提出了黑音符的长度。
15世纪时，出现了白音符，音符种类也增加了。线谱发展到这种状态时，已基本能记录音的高低位置和音长短。到了16世纪，开始使用划分小节的记谱法，符头也变成了圆形。17世纪，四线谱又被改进为五线谱，经过300年的逐步完善，现已成为当今世界上公用的音乐记谱法。