在史前的狩猎时代，人类主要自发地以大家庭的形式聚居；没有所谓政府和国家，只有小规模的财富积累和劳动分工，也没有法令和统治者。无政府主义者主张这段时期为原始的无政府状态。
有人认为可以从道家圣人老子、庄子的作品发现无政府主义的宗旨，例如“闻在宥天下、不闻治天下也”、“彼窃钩者诛，窃国者为诸侯”。同样，无政府主义倾向也可以溯源至古代希腊哲学家的观点，比如斯多葛派哲学创始人芝诺，还有阿瑞斯提普斯，他说智者不应该为政府放弃自己的自由。之后的社会运动参与者包括中世纪的自由人（Freien Geistes）、再洗礼派教徒、英格兰的掘地者（Diggers）和激进者（Ranters）团体，也都被认为具有无政府主义的概念。
最早的“无政府”的使用出现在前467年埃斯库罗斯的戏剧《七将攻忒拜》。其中，安提戈涅公主的哥哥波吕尼刻斯参与攻打忒拜，统治者因此禁止埋葬波吕尼刻斯的尸体作为惩罚，安提戈涅公开拒绝接受禁令，说“就算没有别人来，我也要自己埋葬他，并独自承担埋葬我的亲兄弟所带来的危险。对这种挑衅对抗城市统治者的无政府行为，我并不羞耻（ekhous apiston tênd anarkhian polei）。”
古希腊也被西方认为是首先创造了作为哲学思想的无政府主义，斯多葛派哲学家芝诺作出了这一贡献，他被克鲁泡特金称为“古希腊最好的无政府主义诠释者”。按克鲁泡特金的总结，芝诺“批判了国家万能、干涉和管制，并提出了个人的道德法则的重要”。在古希腊哲学体系之内，芝诺无政府自由社群的主张和政府论相对，后者的代表性表述为柏拉图共和政体和乌托邦。芝诺提出人有自卫本能，这让人变得利己，自然也相应地赋予了人类另一本能——社会性。像一些现代无政府主义者一样，他相信如果人们按照本能行事，就不需要法律、法院或是警察，不需要寺庙和公共偶像崇拜，也不用钱（赠品经济代替交换）。年代久远，我们只能通过引文支离破碎地了解芝诺的信仰。 无政府主义
16世纪欧洲的再洗礼派教徒往往被认为是现代无政府主义的宗教先驱。[1] 英国现代数学家、哲学家伯特兰·罗素在《西方哲学史》中说再洗礼派教徒“批判所有的法律，他们认为所有好人都被圣灵指引……以这个前提他们到达了共产主义……”。小说《Q》则描述了这一活动及其革命性的意识形态。1548年，埃蒂安·德拉博埃蒂（Etienne de la Boetie）写了Discours de la servitude volontaire（志愿性服从之道），一篇探究人们服从统治者的文章。17世纪英国内战时，掘地者中的Gerrard Winstanley则出版了一个小册子，提倡公社所有制、以小块耕地为单位的社会组织和经济组织，它也被认为是现代无政府主义的先驱。