小白学统计(70)最小二乘法

最小二乘法(又称最小平方法)是一种数学优化技术。简单的说,就是通过误差平方和的最小化,寻找数据的最佳函数匹配。

历史背景

1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥尔伯斯根据高斯计算出来的轨道重新发现了谷神星。

1806年,法国科学家勒让德独立创立最小二乘法,但因不为世人所知而默默无闻。勒让德曾与高斯为谁最早创立最小二乘法原理发生争执。

1809年,高斯使用的最小二乘法的方法发表于《天体运动论》中。

1829年,高斯提供了最小二乘法的优化效果强于其他方法的证明,因此最小二乘法也被称为高斯-马尔可夫定理。

分析原理

最小二乘法(又称最小平方法)是一种数学优化技术。简单的说,就是通过误差平方和的最小化,寻找数据的最佳函数匹配。

现有回归函数:

小白学统计(70)最小二乘法
其一元线性回归方程为:

小白学统计(70)最小二乘法
假定n对样本数据(x1,y1),(x2,y2)……(xn,yn)为已知,现在需要确定通过这些点的哪一条直线描述X与Y最好。根据最小二乘法建立回归直线的原则就是:使Yi的估计值与其离差平方和最小。因此设

小白学统计(70)最小二乘法
小白学统计(70)最小二乘法

范例分析

某市欲对货运总量与工业总产值的数量关系进行研究,以便通过工业总产值预测货运总量。现将1991-2000年的数据,列入表8-1中,根据这些数据建立回归方程。

货运总量 2.8 2.9 3.2 3.2 3.4 3.2 3.3 3.7 3.9 4.2
工业总值 25 27 29 32 34 36 35 39 42 45

单位:货运总量(亿吨);工业总产值(10亿元);

解:分析步骤如下

1、确定因变量和自变量,通过散点图观察它们之间的关系。从下图可以看出,两者之间有线性关系。

小白学统计(70)最小二乘法

2、进行数据计算

数据计算表
年份 货运总量 工业总值 XY X2 Y2
1991 2.8 25 70.0 625 7.84
1992 2.9 27 78.3 729 8.41
1993 3.2 29 92.8 841 10.24
1994 3.2 32 102.4 1024 10.24
1995 3.4 34 115.6 1156 11.56
1996 3.2 36 115.2 1296 10.24
1997 3.3 35 115.5 1225 10.89
1998 3.7 39 144.3 1521 13.69
1999 3.9 42 163.8 1704 15.21
2000 4.2 45 189.0 2025 17.64
合计 33.8 344 1186.9 12206 115.96

3、带入公式计算

小白学统计(70)最小二乘法

本文为专栏文章,来自:生活统计学,内容观点不代表本站立场,如若转载请联系专栏作者,本文链接:https://www.afenxi.com/34277.html 。

(2)
生活统计学的头像生活统计学专栏
上一篇 2016-10-21 14:29
下一篇 2016-10-22 00:37

相关文章

关注我们
关注我们
分享本页
返回顶部