在数学和统计学中，最小二乘法是一种用于拟合数据点到直线或曲线的方法。它通过最小化误差的平方和来找到最佳拟合线。这种方法广泛应用于数据分析、机器学习等领域。接下来，我们来看一些关于最小二乘法的典型习题。
例题一：简单线性回归
假设有一组数据点 \((x_1, y_1), (x_2, y_2), ..., (x_n, y_n)\)，我们需要找到一条直线 \(y = mx + b\) 来最好地拟合这些数据点。根据最小二乘法，我们可以计算出斜率 \(m\) 和截距 \(b\) 的公式：
\[
m = \frac{n\sum(x_iy_i) - \sum x_i \sum y_i}{n\sum(x_i^2) - (\sum x_i)^2}
\]
\[
b = \frac{\sum y_i - m\sum x_i}{n}
\]
现在，给定以下数据点：
- \( (1, 2), (2, 3), (3, 5), (4, 4), (5, 5) \)
请计算这条直线的斜率 \(m\) 和截距 \(b\)。
解答：
首先计算各项的总和：
\[
\sum x_i = 1 + 2 + 3 + 4 + 5 = 15
\]
\[
\sum y_i = 2 + 3 + 5 + 4 + 5 = 19
\]
\[
\sum x_i^2 = 1^2 + 2^2 + 3^2 + 4^2 + 5^2 = 55
\]
\[
\sum x_iy_i = 1\cdot2 + 2\cdot3 + 3\cdot5 + 4\cdot4 + 5\cdot5 = 60
\]
代入公式：
\[
m = \frac{5\cdot60 - 15\cdot19}{5\cdot55 - 15^2} = \frac{300 - 285}{275 - 225} = \frac{15}{50} = 0.3
\]
\[
b = \frac{19 - 0.3\cdot15}{5} = \frac{19 - 4.5}{5} = \frac{14.5}{5} = 2.9
\]
因此，拟合直线为 \(y = 0.3x + 2.9\)。
例题二：多项式拟合
对于一组数据点，有时需要使用多项式函数进行拟合。例如，给定数据点 \((1, 1), (2, 4), (3, 9)\)，我们尝试用二次多项式 \(y = ax^2 + bx + c\) 进行拟合。
请确定系数 \(a, b, c\) 的值。
解答：
根据最小二乘法，我们需要解一个线性方程组。具体来说，我们需要最小化误差平方和：
\[
E(a, b, c) = \sum_{i=1}^{n} [y_i - (ax_i^2 + bx_i + c)]^2
\]
通过对 \(a, b, c\) 求偏导数并令其为零，可以得到一个线性方程组：
\[
\begin{cases}
\sum x_i^4 \cdot a + \sum x_i^3 \cdot b + \sum x_i^2 \cdot c = \sum x_i^2 y_i \\
\sum x_i^3 \cdot a + \sum x_i^2 \cdot b + \sum x_i \cdot c = \sum x_i y_i \\
\sum x_i^2 \cdot a + \sum x_i \cdot b + n \cdot c = \sum y_i
\end{cases}
\]
代入数据点计算各项的总和：
\[
\sum x_i = 1 + 2 + 3 = 6, \quad \sum x_i^2 = 1^2 + 2^2 + 3^2 = 14, \quad \sum x_i^3 = 1^3 + 2^3 + 3^3 = 36
\]
\[
\sum x_i^4 = 1^4 + 2^4 + 3^4 = 98, \quad \sum y_i = 1 + 4 + 9 = 14, \quad \sum x_i y_i = 1\cdot1 + 2\cdot4 + 3\cdot9 = 38
\]
\[
\sum x_i^2 y_i = 1^2\cdot1 + 2^2\cdot4 + 3^2\cdot9 = 98
\]
将这些值代入方程组，解得：
\[
a = 1, \quad b = 0, \quad c = 0
\]
因此，拟合的二次多项式为 \(y = x^2\)。
以上是两个典型的最小二乘法习题及其解答。通过这些练习，可以更好地理解和应用最小二乘法在实际问题中的解决方法。
