土壤有机质主要来源于植物、动物及微生物残体，其中高等植物为主要来源。原始土壤中最早出现在母质中的有机体是微生物。随着生物的进化和成土过程的发展，动、植物残体及其分泌物就成为土壤有机质的基本来源。在自然土壤中，地面植被残落物和根系是土壤有机质的主要来源，如树木、灌丛、草类及其残落物，每年都向土壤提供大量有机残体。在农业土壤中，土壤有机质的来源较广，主要有作物的根茬、还田的秸秆和翻压绿肥；人畜粪尿、工农副产品的下脚料(如酒糟、亚铵造纸废液等)；城市生活垃圾、污水；土壤微生物、动物(如蚯蚓、昆虫等)的遗体及分泌物；人为施用的各种有机肥料(厩肥、腐殖酸肥料、污泥以及土杂肥等)。其中，耕地土壤中自然植被已不存在，主要来自作物根的分泌物、根茬、枯枝落叶以及人们每年施入的有机肥料(绿肥、堆肥、沤肥和厩肥等)。
进入土壤的有机残体，尽管来源不同，但是从化学角度来看，主要有碳水化合物(包括一些简单的糖类及淀粉、纤维素和半纤维素等多糖类)、含氮化合物(主要为蛋白质)、木质素等物质。此外，还有一些脂溶性物质(如树脂、蜡质等)。土壤有机质的基本元素组成是C、O、H、N，其中C占52%～58%、O占34%～39%、H占3.3%～4.8%、N占3.7%～4.1%。其次是P和S，还有K，Ca，Mg，Si，Fe，Zn，Cu，B，Mo，Mn等灰分元素，C/N一般为10～12。上述各有机组分在有机残体中的含量随植物的种类、器官和年龄而异[2] 。
土壤有机质通常以下列几种状态存在于土壤之中。
机械混合状态
进入土壤中的有机残体处于未分解和半分解状态与土壤矿物质部分机械地混合在一起。处于这种状态的有机质占土壤有机质总量的0.6%～48.4%。有时为了研究工作的需要,利用重液(比重为1.8～2.03)将这部分有机质(通常称为轻组)与已和土壤矿物质部分相结合的有机质(通常称为重组)分离开来。并分别对它们的数量、组成、性质进行研究。
生命体
生活在土壤中的各种活体(如植物根、土壤动物、微生物等),可以把它们视为土壤中的一个独立部分，也可以视为土壤有机质的一部分，生命体就是指土壤中各种活体的数量。据Jenkinsen的估算，土壤的生命体占土壤有机质总量的0.56%～4.6%，平均为2.59%。这部分有机质主要吸附在土壤矿物质表面或其他有机物质的表面上。