元素思想的起源很早，古巴比伦人和古埃及人曾经把水（后来又把空气和土），看成是世界的主要组成元素，形成了三元素说。古印度人有四大种学说，古代中国人有五行学说。
关于元素的学说，即把元素看成构成自然界中一切实在物体的最简单的组成部分的学说，早在远古就已经产生了。不过，在古代把元素看作是物质的一种具体形式的这种近代观念是不存在的。无论在我国古代的哲学中还是在印度或西方的古代哲学中，都把元素看作是抽象的、原始精神的一种表现形式，或是物质所具有的基本性质。
古希腊自然哲学提出了著名四元素说。这不是希腊哲学家创造的，四元素说在古希腊的传统民间信仰中即存在，但不具有（相对上来说）坚实的理论体系支持。古希腊的哲学家是“借用”了这些元素的概念来当作本质。
米利都派哲学家泰勒斯主张的万物的本质是水，而且也唯有水才是本质，土和气这两种元素则是水的凝聚或稀薄。阿那克西曼德则将本质改为一种原始物质（称为“无限”或称“无定者”），同时又加上第四元素火。四大元素由这种原始物质形成之后，就以土、水、气、火的次序分为四层。火使水蒸发，产生陆地，水气上升把火围在云雾的圆管里。人们眼中看见象是天体的东西，就是这些管子的洞眼，使人们能从洞眼中望见里面的火。形成了四元素的最早雏形。 共49张 化学元素
另一个米利都派哲学家阿那克西米尼则把气或者空气看作是原始物质，并把其他元素说成是由空气组成。空气变得稀薄后就成了火。他的论证是，空气从嘴里呼出来是热的，而在压力下喷出来时则感到是冷的。同样，通过凝聚的过程，气先是变成水，然后变成土。这些元素之间的差异只是量变的结果，元素只是凝聚或稀薄到不同程度的空气。
早期以米利督学派为首的哲学家，多以单一元素作为本质，直到恩培多克勒（Empedocles）才首次建立四元素并存的哲学体系，亦有人主张这是首次尝试以科学的方法解释传统的四元素说，但是从恩培多克勒所留下来的残缺文献来看，这种说法并没有足够的证据支持。恩培多克勒在大约公元前450年于其著作《论自然》中，使用了“根”（希腊文：ῥιζὤματα）一词。恩培多克勒是系统提出四元素学说的第一个人。他认为万物由四种物质元素土、气、水、火组成，这种元素是永恒存在的，由另外两种抽象元素爱和恨使他们连结或分离。
德谟克利特则认为，万物的本原是原子与虚空。原子是一种最后的不可分的物质微粒。宇宙的一切事物都是由在虚空中运动着的原子构成。所谓事物的产生就是原子的结合。原子处在永恒的运动之中，即运动为原子本身所固有。虚空是绝对的空无，是原子运动的场所。