设 是来自总体X的一个样本,θ是包含在总体X的分布中的待估参数。
若估计量 的数学期望 存在,且有 ,则称 是θ的无偏估计量。
在科学技术中, 称为以 作为θ的估计的系统误差,无偏估计的实际意义就是无系统误差。
例如,设总体X的均值𝜇及方差σ2都存在但均未知,因为 , ,这就是说不论总体服从什么分布,其样本均值是总体均值的无偏估计,样本方差是总体方差的无偏估计。若 ,则称 是θ的渐进无偏估计量。
设总体X的k阶中心矩 存在, 是X的一个样本,不论X服从什么分布, 是 的无偏估计量。特别地,不论X服从什么分布,只要E(X)存在, 总是E(X)的无偏估计。
证明
因为 与X同分布,所以 。
对于总体X,设E(X)=𝜇,D(X)=σ2都存在,且σ2>0,若𝜇,σ2均未知,则σ2的估计量 是有偏的。另一方面,由于 ,所以 是σ2的渐进无偏估计量。
证明
因为 ,而
所以 是σ2的有偏估计。
若在 的两边同乘 ,即 ,而 。
可见样本方差S2可以作为方差σ2的估计,而且是无偏估计。因此常用S2作为方差σ2的估计量。从无偏估计量的角度考虑,S2比二阶中心矩作为 的估计好。[1]
在实际应用中,对整个系统(整个实验)而言无系统偏差,就一次实验来讲, 可能偏大也可能偏小,实质上并说明不了什么问题,只是平均来说它没有偏差,所以无偏性只有在大量的重复实验中才能体现出来;另一方面,无偏估计只涉及一阶矩(均值),虽然计算简便,但往往会出现一个参数的无偏估计有多个,而无法确定哪个估计量好。因此,无偏性的作用在于可以把重复估计中的各次误差通过平均来消除。这并不意味着该估计量在一次使用时并能获得良好的结果。在具体问题中,无偏性是否合理,应当结合具体情况来考虑。在有些问题中,无偏性的要求可能会导出不同的结果来。[2]
事实上, 中的每一个均可作为θ的无偏估计量,究竟哪个估计量更合理,就看哪个估计量的观察值更接近真实值,即估计量的观察值更密集地分布在真实值附近。而方差能反映随机变量取值的分散程度,所以无偏估计以方差最小者为最好、最合理,为此后人引进了估计量的有效性概念。