最小二乘法（Least Squares Method）是一種數(shù)學(xué)優(yōu)化技術(shù)，它通過最小化誤差的平方和來尋找數(shù)據(jù)的最佳擬合函數(shù)。在統(tǒng)計(jì)學(xué)和線性回歸中，最小二乘法被廣泛應(yīng)用于擬合數(shù)據(jù)并建立變量間的關(guān)系模型。

(資料圖片)

下面我們以一個(gè)簡單的線性回歸問題為例來說明最小二乘法的原理。

假設(shè)我們有一組數(shù)據(jù)點(diǎn)：(1, 1), (2, 2), (3, 2), (4, 3)，我們想要找到一條直線 y = ax + b，使得這些數(shù)據(jù)點(diǎn)到直線的距離之和最小。

首先，我們需要確定誤差（error）的度量。在最小二乘法中，誤差被定義為實(shí)際值與預(yù)測(cè)值之間的差的平方。即，對(duì)于每個(gè)數(shù)據(jù)點(diǎn) (x_i, y_i)，誤差為 e_i = (y_i - (ax_i + b))^2。

我們的目標(biāo)是找到參數(shù) a 和 b，使得所有數(shù)據(jù)點(diǎn)的誤差平方和最小，即最小化下面的目標(biāo)函數(shù)：

E(a, b) = Σ(y_i - (ax_i + b))^2

為了最小化這個(gè)目標(biāo)函數(shù)，我們可以對(duì) a 和 b 分別求偏導(dǎo)數(shù)，并令它們等于零：

?E/?a = Σ(-2x_i(y_i - (ax_i + b))) = 0

?E/?b = Σ(-2(y_i - (ax_i + b))) = 0

通過解這兩個(gè)方程，我們可以得到適合這組數(shù)據(jù)點(diǎn)的最佳 a 和 b 值。在這個(gè)例子中，a ≈ ，b ≈ 。因此，我們找到的最佳擬合直線為 y = + 。

通過最小二乘法，我們找到了一條使得數(shù)據(jù)點(diǎn)到直線的距離之和最小的直線，從而實(shí)現(xiàn)了對(duì)數(shù)據(jù)的擬合。這種方法可以推廣到多元線性回歸和非線性回歸等更復(fù)雜的問題。

關(guān)鍵詞：