最小二乘法公式 - 數(shù)學(xué)公式
最小二乘法公式是一個(gè)數(shù)學(xué)的公式，此處所講最小二乘法，專指線性回歸方程！a= - Σxy-ΣxΣy/N/ - Σx^2- - Σx^2/Nb=y - 平均-a*x（平均）。最小二乘法公式：設(shè)擬合直線的公式為,其中：擬合直線的斜率為：；計(jì)算出斜率后，根據(jù)和已經(jīng)確定的斜率k，利用待定系數(shù)法求出截距b。
公式
a= - NΣxy-ΣxΣy/ - NΣx^2- - Σx^2
b=y - 平均-a*x（平均）
最小二乘法原理在我們研究兩個(gè)變量 - x,y之間的相互關(guān)系時(shí)，通?？梢缘玫揭幌盗谐蓪Φ臄?shù)據(jù) - x1,y1、x2,y2.xm,ym；將這些數(shù)據(jù)描繪在x-y直角坐標(biāo)系中 - 如圖1,若發(fā)現(xiàn)這些點(diǎn)在一條直線附近，可以令這條直線方程如 - 式1-1。
推導(dǎo)過程
在我們研究兩個(gè)變量 - x, y之間的相互關(guān)系時(shí)，通常可以得到一系列成對的數(shù)據(jù) - x1, y1, - x2, y2.. - xm , ym；將這些數(shù)據(jù)描繪在x -y直角坐標(biāo)系中 - 如圖1, 若發(fā)現(xiàn)這些點(diǎn)在一條直線附近，可以令這條直線方程如 - 式1-1。
Y計(jì)= a0 + a1 X - 式1-1
其中：a0、a1 是任意實(shí)數(shù)
為建立這直線方程就要確定a0和a1，應(yīng)用《最小二乘法原理》，將實(shí)測值Yi與利用 - 式1-1計(jì)算值 - Y計(jì)=a0+a1X的離差 - Yi-Y計(jì)的平方和〔∑ - Yi – Y計(jì)2〕最小為“優(yōu)化判據(jù)”。
令: φ = ∑ - Yi – Y計(jì)2 - 式1-2
把 - 式1-1代入 - 式1-2中得:
φ = ∑ - Yi – a0 – a1 Xi2 - 式1-3
當(dāng)∑ - Yi-Y計(jì)2最小時(shí)，可用函數(shù) φ 對a0、a1求偏導(dǎo)數(shù)，令這兩個(gè)偏導(dǎo)數(shù)等于零。
- 式1-4
- 式1-5
亦即
m a0 + - ∑Xi a1 = ∑Yi - 式1-6
- ∑Xi a0 + - ∑Xi2 a1 = ∑ - Xi, Yi - 式1-7
得到的兩個(gè)關(guān)于a0、 a1為未知數(shù)的兩個(gè)方程組，解這兩個(gè)方程組得出：
a0 = - ∑Yi / m – a1 - ∑Xi / m - 式1-8
a1 = [∑Xi Yi – - ∑Xi ∑Yi/ m] / [∑Xi2 – - ∑Xi2 / m] - 式1-9
這時(shí)把a(bǔ)0、a1代入 - 式1-1中, 此時(shí)的 - 式1-1就是我們回歸的元線性方程即：數(shù)學(xué)模型。
在回歸過程中，回歸的關(guān)聯(lián)式是不可能全部通過每個(gè)回歸數(shù)據(jù)點(diǎn) - x1, y1、 x2, y2…xm,ym,為了判斷關(guān)聯(lián)式的好壞,可借助相關(guān)系數(shù)“R”，統(tǒng)計(jì)量“F”，剩余標(biāo)準(zhǔn)偏差“S”進(jìn)行判斷；“R”越趨近于 1 越好；“F”的絕對值越大越好；“S”越趨近于 0 越好。
R = [∑XiYi – m - ∑Xi / m - ∑Yi / m]/ SQR{[∑Xi2 – m - ∑Xi / m2][∑Yi2 – m - ∑Yi / m2]} - 式1-10 *
在 - 式1-1中，m為樣本容量，即實(shí)驗(yàn)次數(shù)；Xi、Yi分別任意一組實(shí)驗(yàn)X、Y的數(shù)值。微積分應(yīng)用課題一 最小二乘法
從前面的學(xué)習(xí)中, 我們知道最小二乘法可以用來處理一組數(shù)據(jù), 可以從一組測定的數(shù)據(jù)中尋求變量之間的依賴關(guān)系, 這種函數(shù)關(guān)系稱為經(jīng)驗(yàn)公式. 本課題將介紹最小二乘法的精確定義及如何尋求 與 之間近似成線性關(guān)系時(shí)的經(jīng)驗(yàn)公式. 假定實(shí)驗(yàn)測得變量之間的 個(gè)數(shù)據(jù) , , …, , 則在 平面上, 可以得到 個(gè)點(diǎn) , 這種圖形稱為“散點(diǎn)圖”, 從圖中可以粗略看出這些點(diǎn)大致散落在某直線近旁, 我們認(rèn)為 與 之間近似為一線性函數(shù), 下面介紹求解步驟.
考慮函數(shù), 其中 和 是待定常數(shù). 如果 在一直線上, 可以認(rèn)為變量之間的關(guān)系為 . 但一般說來, 這些點(diǎn)不可能在同一直線上. 記 , 它反映了用直線 來描述 , 時(shí), 計(jì)算值 與實(shí)際值 產(chǎn)生的偏差. 當(dāng)然要求偏差越小越好, 但由于 可正可負(fù), 因此不能認(rèn)為總偏差 時(shí), 函數(shù) 就很好地反映了變量之間的關(guān)系, 因?yàn)榇藭r(shí)每個(gè)偏差的絕對值可能很大. 為了改進(jìn)這一缺陷, 就考慮用 來代替 . 但是由于絕對值不易作解析運(yùn)算, 因此, 進(jìn)一步用 來度量總偏差. 因偏差的平方和最小可以保證每個(gè)偏差都不會(huì)很大. 于是問題歸結(jié)為確定 中的常數(shù) 和 , 使 為最小. 用這種方法確定系數(shù), 的方法稱為最小二乘法.
由極值原理得 , 即
解此聯(lián)立方程得
- *
問題 I 為研究某一化學(xué)反應(yīng)過程中, 溫度 ℃對產(chǎn)品得率 - %的影響, 測得數(shù)據(jù)如下:
溫度 ℃
100 110 120 130 140 150 160 170 180 190
得率 - %
45 51 54 61 66 70 74 78 85 89
- 1 利用“ListPlot”函數(shù), 繪出數(shù)據(jù) 的散點(diǎn)圖 - 采用格式: ListPlot[{ , , …, }, Prolog->AbsolutePointSize] ;
- 2 利用“Line”函數(shù), 將散點(diǎn)連接起來, 注意觀察有何特征? - 采用格式: Show[Graphics[Line[{ , , …, }]] , Axes->True ] ;
- 3 根據(jù)公式 - *, 利用“Apply”函數(shù)及集合的有關(guān)運(yùn)算編寫一個(gè)小的程序, 求經(jīng)驗(yàn)公式;
- 程序編寫思路為: 任意給定兩個(gè)集合A - 此處表示溫度、B - 此處表示得率, 由公式 - *可定義兩個(gè)二元函數(shù) - 集合A和B為其變量分別表示 和 . 集合A元素求和: Apply[Plus,A] 表示將加法施加到集合A上, 即各元素相加, 例如Apply[Plus,{1,2,3}]=6;Length[A]表示集合A 元素的個(gè)數(shù), 即為n; A.B表示兩集合元素相乘相加;A*B表示集合A與B元素對應(yīng)相乘得到的新的集合.
- 4 在同一張圖中顯示直線 及散點(diǎn)圖;
- 5 估計(jì)溫度為200時(shí)產(chǎn)品得率.
然而, 不少實(shí)際問題的觀測數(shù)據(jù) , , …, 的散點(diǎn)圖明顯地不能用線性關(guān)系來描敘, 但確實(shí)散落在某一曲線近旁, 這時(shí)可以根據(jù)散點(diǎn)圖的輪廓和實(shí)際經(jīng)驗(yàn), 選一條曲線來近似表達(dá) 與 的相互關(guān)系.
問題 II 下表是美國舊轎車價(jià)格的調(diào)查資料, 今以 表示轎車的使用年數(shù), - 美元表示相應(yīng)的平均價(jià)格, 求 與 之間的關(guān)系.
案例分析
使用年數(shù)
1 2 3 4 5 6 7 8 9 10
平均價(jià)格
2651 1943 1494 1087 765 538 484 290 226 204
- 1 利用“ListPlot”函數(shù)繪出數(shù)據(jù) 的散點(diǎn)圖, 注意觀察有何特征?
- 2 令 , 繪出數(shù)據(jù) 的散點(diǎn)圖, 注意觀察有何特征?
- 3 利用“Line”函數(shù), 將散點(diǎn)連接起來, 說明有何特征?
- 4 利用最小二乘法, 求 與 之間的關(guān)系;
- 5 求 與 之間的關(guān)系;
- 6 在同一張圖中顯示散點(diǎn)圖 及 關(guān)于 的圖形.
思考與練習(xí)
1. 假設(shè)一組數(shù)據(jù) : , , …, 變量之間近似成線性關(guān)系, 試?yán)眉系挠嘘P(guān)運(yùn)算, 編寫一簡單程序: 對于任意給定的數(shù)據(jù)集合 , 通過求解極值原理所包含的方程組, 不需要給出 、 計(jì)算的表達(dá)式, 立即得到 、 的值, 并就本課題 I / - 3進(jìn)行實(shí)驗(yàn).
注: 利用Transpose函數(shù)可以得到數(shù)據(jù)A的第一個(gè)分量的集合, 命令格式為:
先求A的轉(zhuǎn)置, 然后取第一行元素, 即為數(shù)據(jù)A的第一個(gè)分量集合, 例如
- A即為矩陣
= - 數(shù)據(jù)A的第一個(gè)分量集合
= - 數(shù)據(jù)A的第二個(gè)分量集合
B-C表示集合B與C對應(yīng)元素相減所得的集合, 如 = .
2. 最小二乘法在數(shù)學(xué)上稱為曲線擬合, 請使用擬合函數(shù)“Fit”重新計(jì)算 與 的值, 并與先前的結(jié)果作一比較.
其他思路
- 1已知多條近似交匯于同一個(gè)點(diǎn)的直線，想求解出一個(gè)近似交點(diǎn)：尋找到一個(gè)距離所有直線距離平方和最小的點(diǎn)，該點(diǎn)即最小二乘解; - 2已知多個(gè)近似分布于同一直線上的點(diǎn)，想擬合出一個(gè)直線方程：設(shè)該直線方程為y=kx+b，調(diào)整參數(shù)k和b，使得所有點(diǎn)到該直線的距離平方之和最小，設(shè)此時(shí)滿足要求的k=k0，b=b0，則直線方程為y=k0x+b0。