日志
最小二乘法
|||
最小二乘法可以用来处理一组数据，可以从一组测定的数据中寻求变量之间的依赖关系，这种函数关系称为经验公式。
下面将介绍最小二乘法的精确定义及如何寻求x与y之间近似成线性关系时的经验公式。
假定实验测得变量之间的n个数据(x1,y1)、(x2,y2)......(xn,yn)，则在xoy平面上，可以得到n个点Pi(xi,yi)（i=1,2,...,n），这种图形称为“散点图”，从图中可以看出这些点大致散落在某直线近旁，我们认为x和y近似为一线性函数。
考虑函数y=ax+b，其中a,b为待定常数。如果Pi(xi,yi)（i=1,2,...,n）在一条直线上，则可以认为变量之间的关系为y=ax+b。但一般说来, 这些点不可能在同一直线上. 记为Ei=yi-(axi+b)，它反映了用直线y=ax+b来描述x=xi，y=yi时，计算值y与实际值yi的偏差。当然，要求偏差越小越好，但由于Ei可正可负，所以不能认为当∑Ei=0时，函数y=ax+b就好好地反应了变量之间的关系，因为可能每个偏差的绝对值都很大。为了改进这个缺陷，就考虑用∑|Ei|。但绝对值不易做解析运算，因此，进一步用∑Ei2 来度量总偏差。因偏差的平方和最小可以保证每个偏差都不会很大。于是问题归结为确定y=ax+b中的常数a和b，使 F(a,b)=∑Ei2 = ∑(yi-axi-b)2 为最小。这种确定系数a,b的方法称为最小二乘法。
由极值原理得
?F/?a=?F/?b=0 （“?”为反写“6”，不会拼那个符号，不好意思）
即
解此联立方程得
