1801年，意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后，由于谷神星运行至太阳背后，使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星，但是根据大多数人计算的结果来寻找谷神星都没有结果。只有时年24岁的高斯所计算的谷神星的轨道，被奥地利天文学家海因里希·奥尔伯斯的观测所证实，使天文界从此可以预测到谷神星的精确位置。同样的方法也产生了哈雷彗星等很多天文学成果。高斯使用的方法就是最小二乘法，该方法发表于1809年他的著作《天体运动论》中[2][4] 。其实法国科学家勒让德于1806年独立发明“最小二乘法”，但因不为世人所知而默默无闻[2] 。
1829年，高斯提供了最小二乘法的优化效果强于其他方法的证明[5] 。
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小[6][7][1] 。
最小二乘法还可用于曲线拟合，其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达[3] 。
最小二乘法因其原理简单、收敛速度较快、易于理解和实现而被广泛应用于参数估计中。[12]
最小二乘法是解决曲线拟合问题最常用的方法。其基本思路是：令[8]
其中， 是事先选定的一组线性无关的函数， 是待定系数 ，拟合准则是使 与 的距离 的平方和最小，称为最小二乘准则[8] 。
设(x,y)是一对观测量，且 满足以下的理论函数[9] ：
其中 为待定参数[9] 。
为了寻找函数 的参数 的最优估计值，对于给定 组（通常 ）观测数据 ，求解目标函数
取最小值的参数 。求解的这类问题称为最小二乘问题，求解该问题的方法的几何语言称为最小二乘拟合[9] 。
对于无约束最优化问题，最小二乘法的一般形式为[9] ：
其中 称为残差函数。当 是 的线性函数时，称为线性最小二乘问题，否则称为非线性最小二乘问题[9] 。
在无约束最优化问题中，有些重要的特殊情形，比如目标函数由若干个函数的平方和构成，这类函数一般可以写成[8] ：
其中 ，通常要求m≥n，我们把极小化这类函数的问题[8] ：
称为最小二乘优化问题。最小二乘优化是一类比较特殊的优化问题[8] 。
根据样本数据，采用最小二乘估计式可以得到简单线性回归模型参数的估计量。但是估计量参数与总体真实参数的接近程度如何，是否存在更好的其它估计式，这就涉及到最小二乘估计式或估计量的最小方差（或最佳）（Best）性、线性（Linear）及无偏（Unbiased）性，简称为BLU特性。这就是广泛应用普通最小二乘法估计经济计量模型的主要原因。下面证明普通最小二乘估计量具有上述三特性[10] 。