数理统计是伴随着概率论的发展而发展起来的一个数学分支，研究如何有效的收集、整理和分析受随机因素影响的数据，并对所考虑的问题作出推断或预测，为采取某种决策和行动提供依据或建议。
数理统计起源于人口统计、社会调查等各种描述性统计活动.公元前2250年，大禹治水，根据山川土质，人力和物力的多寡，分全国为九州；殷周时代实行井田制，按人口分地，进行了土地与户口的统计；春秋时代常以兵车多寡论诸侯实力，可见已进行了军事调查和比较；汉代全国户口与年龄的统计数字有据可查；明初编制了黄册与鱼鳞册，黄册乃全国户口名册，鱼鳞册系全国土地图籍，绘有地形，完全具有现代统计图表的性质。可见，我国历代对统计工作非常重视，只是缺少系统研究，未形成专门的著作。
在西方各国，统计工作开始于公元前3050年，埃及建造金字塔，为征收建筑费用，对全国人口进行普查和统计，到了亚里士多德时代，统计工作开始往理性演变。这时，统计在卫生、保险、国内外贸易、军事和行政管理方面的应用，都有详细的记载，统计一词，就是从意大利一词逐步演变而成的。
数理统计的发展大致可分为古典时期、近代时期和现代时期三个阶段。[2]
(19世纪以前)
这是描述性的统计学形成和发展阶段，是数理统计的萌芽时期。在这一时期里，瑞士数学家伯努利(1654-1705年)较早地系统论证了大数定律。1763年，英国数学家贝叶斯提出了一种归纳推理的理论，后被发展为一种统计推断方法――贝叶斯方法，开创了数理统计的先河。法国数学家棣莫佛(1667-1754)于1733年首次发现了正态分布的密度函数，并计算出该曲线在各种不同区间内的概率，为整个大样本理 论奠定了基础。1809年，德国数学家高斯(1777-1855)和法国数学家勒让德(1752-1833)各自独立地发现了最小二乘法，并应用于观测数据的误差分析，在数理统计的理论与应用方面都作出了重要贡献，他不仅将数理统计应用到生物学，而且还应用到教育学和心理学的研究，并且详细地论证了数理统计应用的广泛性，他曾预言："统计方法，可应用于各种学科的各个部门" 。[2]
(19世纪末至1945年)
数理统计的主要分支建立，是数理统计的形成时期.上一世纪初，由于概率论的发展从理论上接近完备，加之工农业生产迫切需要，推动着这门学科的蓬勃发展。
1889年，英国数学家皮尔逊(1857-1936)提出了矩估计法，次年又提出了频率曲线的理论.并于1900年在德国数学家赫尔梅特在发现 c 2分布的基础上提出了c 2 检验，这是数理统计发展史上出现的第一个小样本分布。