最小二乘法 最小二乘法是一种通过最小化误差平方和来拟合数据或估计模型参数的数学优化技术。 第一步：核心思想与问题设定 最小二乘法解决的是拟合问题：给定一组数据点 \((x_ i, y_ i)\)（\(i=1,2,...,n\)），假设这些点大致符合某个数学模型（例如线性模型 \(y = ax + b\)），但存在观测误差。目标是找到模型参数（如 \(a, b\)），使模型预测值 \(\hat{y}_ i = ax_ i + b\) 与实测值 \(y_ i\) 的总体偏差最小。 第二步：定义误差度量 为衡量偏差，定义每个点的残差 \(e_ i = y_ i - \hat{y} i\)。最小二乘法不直接最小化残差的和（正负误差会抵消），而是最小化残差的平方和： \[ S = \sum {i=1}^n e_ i^2 = \sum_ {i=1}^n (y_ i - ax_ i - b)^2 \] 平方操作使正负误差同等贡献，且对大误差更敏感，从而得到稳定解。 第三步：求解参数（以线性拟合为例） 将 \(S\) 视为关于参数 \(a, b\) 的函数，通过求偏导并令其为零找到极小值点： \[ \frac{\partial S}{\partial a} = -2\sum_ {i=1}^n (y_ i - ax_ i - b)x_ i = 0 \] \[ \frac{\partial S}{\partial b} = -2\sum_ {i=1}^n (y_ i - ax_ i - b) = 0 \] 整理后得到正规方程组： \[ \begin{cases} a\sum x_ i^2 + b\sum x_ i = \sum x_ i y_ i \\ a\sum x_ i + nb = \sum y_ i \end{cases} \] 解此方程组可得唯一解（若数据点不共线）： \[ a = \frac{n\sum x_ i y_ i - \sum x_ i \sum y_ i}{n\sum x_ i^2 - (\sum x_ i)^2}, \quad b = \frac{\sum y_ i \sum x_ i^2 - \sum x_ i \sum x_ i y_ i}{n\sum x_ i^2 - (\sum x_ i)^2} \] 第四步：推广与矩阵形式 对于更一般的线性模型 \(y = \beta_ 1 f_ 1(x) + ... + \beta_ m f_ m(x)\)（其中 \(f_ j\) 是基函数，如多项式、三角函数），可写成矩阵形式 \(\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \mathbf{e}\)。 最小化平方和 \(\|\mathbf{y} - \mathbf{X}\boldsymbol{\beta}\|^2\) 的解为： \[ \hat{\boldsymbol{\beta}} = (\mathbf{X}^\mathsf{T}\mathbf{X})^{-1}\mathbf{X}^\mathsf{T}\mathbf{y} \] 此解要求 \(\mathbf{X}^\mathsf{T}\mathbf{X}\) 可逆（即自变量间无多重共线性）。 第五步：应用假设与局限性 最小二乘法隐含假设：误差项独立、方差恒定且均值为零。若误差服从正态分布，则最小二乘估计等价于极大似然估计。局限性包括：对异常值敏感（因平方放大大误差），且可能受多重共线性影响。改进方法有加权最小二乘法、正则化（岭回归）等。