中国古代的司法机关早在西周时期有了明确的从事司法审判的司寇，在此之前的夏商时期只是有了监狱这种司法执行机关。西周时的最高审判权还在周王手里，他统辖的中央地区的具体司法官是士师和眚史。西周时的案件区域管辖还没有明确区分，不过审级已经有了王、三公、司寇、乡、遂、县六级，古代的司法机关基本形成。到战国时期，各国也有自己的司法机关，秦国的最高司法官叫廷尉，楚国叫廷理，齐国叫大理。秦朝建立后，中央司法机关是廷尉府，最高司法官是廷尉。秦的地方是郡县制，地方的司法机关由地方的最高行政长官（父母官）——郡守和县令兼任。疑难案件上报到中央，一般的则自己处理。秦朝的司法机关体制奠定了以后中国历代王朝司法机关的基础。
汉朝基本继承了秦朝的制度，包括司法体制，所以历史上有了“汉承秦制”的说法。汉朝中央的司法机关仍然是廷尉，地方则与秦朝相同。但汉武帝之后，王权逐渐加强，出现了尚书台这种中枢组织，尚书台内设立了执法机构，在西汉是三公曹，东汉是二千石曹，从而侵夺了廷尉的司法权。还有，汉朝对于重大案件 由中央主要官员会审，这种名为“杂治”的会审制度体现了皇权对司法权的控制进一步加强。
到了三国两晋南北朝，除了基本继承汉朝司法制度外，也有了一些发展。北齐将廷尉改称大理寺，下属官员也增多了，扩大了司法机关的规模。更重要的一点是，死刑的复核权收归了皇帝，这是古代司法制度的一大变化。
古代的司法制度基本成熟、制度化。隋唐的司法机关是三个：大理寺、刑部和御史台。大理寺职责是审判，刑部是司法行政，御史台是监察。但刑部权限很大，可以对审判进行干预，而且复核大理寺的徒、流以上的案件。御史台除了监督外，还参加重大案件的审判。皇帝交办的重大案件由以上三个司法机关共同审理，这就是唐朝的“三司推事”。同时，死刑的复奏制度也明确化，死刑执行前必须再报皇帝，批准以后才能执行。
宋朝的司法机关也是继承了唐朝的体制，但也有些变化，如宋太宗时期设置了审刑院，侵夺了大理寺和刑部的部分职权，到神宗时撤消，职权又分归大理寺和刑部。地方的司法机关，州和县也是司法和行政合一的。为了加强对地方司法的管理，在各路设立了提点刑狱官来监督各州县的司法事务。宋朝还规定地方司法官必须亲自审理案件，否则处以徒二年的刑罚。从这以后，一直到明清时期，八百多年的时间里，州（府）县官员都要亲自审判案件。
元朝在继承前朝的体制基础上，也有变化，在保留刑部和御史台的同时，设置大宗正府来代替大理寺。蒙古人享受了很多的司法特权。
也是以三法司为主要司法机关。但是其职权发生了变化，大理寺的审判权归了刑部，而刑部的复核权则给了大理寺，御史台改名为都察院。明朝的特务组织如锦衣卫、东厂、西厂也都有司法审判权，甚至还凌驾于普通三法司之上，直接受皇帝管辖，自行审判、执行。同时，明清的会审制度也完善起来。死刑案件的最高决定权还在皇帝手里。中央集权在司法方面有了集中体现。古代司法机关的发展变化，体现出皇权逐步加强的趋势，司法机关一直隶属于行政，最终隶属于皇帝，说明了司法仅仅是君主专制的一种工具，司法的独立是很难出现的。