一、朔源
管风琴的祖先可以追溯到古希腊时期牧羊人吹奏的乐器双笛（Double flute），双笛由两支不同音调的管子组成，后来被由几根到二十几根音管按音高顺序排列的排笛（Panflute）所取代，这两种乐器都是通过吹奏振动音管中的空气柱来发声。
公元前3世纪，古希腊亚力士山大城（Alexandria）的工程师克特西比奥斯（Ctesibios）发明了一架“水压式管风琴”（Hydraulic Organ），这是历史上记载的较早出现的管风琴。水压式管风琴由水力风箱、音管与操纵杆组成。水力风箱产生气体，并把产生的气体存放在储气箱中，一排音管按大小依次放置在储气箱的开孔上，演奏者通过操纵杆控制活塞来演奏，活塞开启后气体就能够进入管中，振动空气柱从而产生声音。水压式管风琴声音宏亮、具有威慑性，常被贵族们用于竞技活动中为角斗士助威，但水压式管风琴的气压受水量变化的影响较大，不易控制，因此人们一直在努力对其进行改进，到后来发展出风箱式管风琴。
风箱式管风琴最早的记载在公元2世纪左右，此间风箱式与水压式一直并存，直到公元4世纪左右，风箱式装置替代了水压式。从现存的文献资料来看，直至公元9世纪以前，关于管风琴的所有描述都是在世俗场合下使用的，操纵风箱的苦差事一般都由奴隶或战俘来做。虽然教会在古罗马时期开始兴起，但早期教会坚持对器乐的排斥，使得管风琴并未从一开始就进入教堂，而是一种流行在贵族之间的世俗乐器。
二、中世纪
公元824年，德国亚琛（Achen）大教堂中安装了一台管风琴——这是第一台置于教堂的管风琴，至此管风琴才在教会中有了一席之地。之后，管风琴陆续进入教堂，每个礼拜日的早晨，管风琴的声音在城中响起仿佛在告知与召集人们参加礼拜。
公元950年，英国温切斯特大教堂里建造了一座当时欧洲最大的管风琴，这座管风琴有400根音管，26个风箱，演奏时需要70人来鼓风，其声响彻全城。
除了在教堂中使用的大型管风琴之外，还出现了适合在家庭会客、街头演绎等世俗场合中使用的管风琴。便携式管风琴是一种形制较小，可以夹在胳膊底下随身携带的管风琴，便携式管风琴的演奏方法和手风琴相似，使用右手弹奏、左手鼓风，由于用手送风是一件繁重的工作，因此这种管风琴并未普及开来。随后出现了形制更大一些的，能够放在桌子上的固定式管风琴，固定式管风琴通常只有一排琴键，一组或几组音管以及为了保持不同音域中音量平衡的两个送风踏板，一般由助手在旁边按压，固定式管风琴可以满足一些小型教堂或贵族的需要。综上所述，自中世纪以来，管风琴演变出了教堂管风琴、便携式管风琴、固定式管风琴三种形式，多为一排键盘和一组或多组八英尺音管构成。到11世纪早期为止，管风琴都没有太大的发展，只停留在乐器结构的改进方面。