多重回归

作者：追风剑情发布于：2026-3-5 10:06 分类：Algorithms

一、函数定义

$$ f_\theta(x_1,\cdots,x_n)=\theta_0+\theta_1x_1+\cdots+\theta_nx_n $$

从函数定义看，多重回归就是存在多个自变量。

二、向量形式

将上面的函数形式写成向量形式。

$$ \boldsymbol{\theta}= \begin{bmatrix} \theta_0 \\ \theta_1 \\ \theta_2 \\ \vdots \\ \theta_n \\ \end{bmatrix} \quad \mathbf{x}= \begin{bmatrix} x_0 \\ x_1 \\ x_2 \\ \vdots \\ x_n \\ \end{bmatrix} \quad (x_0=1) $$

将$\boldsymbol{\theta}$转置后与$\mathbf{x}$相乘

$$ \boldsymbol{\theta^T} \mathbf{x} = \theta_0x_0+\theta_1x_1+\cdots+\theta_nx_n $$

可以看出，向量表达式更简洁。

$$ f_\theta(\mathbf{x})=\boldsymbol{\theta^T} \mathbf{x} $$

三、参数更新表达式的一般形式

设 $u=E(\theta)、v=f_\theta(x)$ 的部分是一样的（参见直线最小二乘法）。为了一般化，我们可以考虑对第j个元素$\theta_j$求偏微分表达式。

$$ \frac{\partial u}{\partial \theta_j}=\frac{\partial u}{\partial v} \cdot \frac{\partial v}{\partial \theta_j} $$

求v对$\theta_j$的微分。

$$ \begin{flalign} \frac{\partial v}{\partial \theta_j}&=\frac{\partial}{\partial \theta_j}(\boldsymbol{\theta^T} \mathbf{x}) &\\ &=\frac{\partial}{\partial \theta_j}(\theta_0x_0+\theta_1x_1+\cdots+\theta_nx_n) &\\ &=x_j &\\ \end{flalign} $$

所以，第j个参数更新表达式就是这样。

$$ \theta_j := \theta_j - \eta \displaystyle\sum_{i=1}^{n} \left( f_\theta(\boldsymbol{x}^{(i)}) - y^{(i)} \right) x_j^{(i)} $$

像这样包含了多个变量的回归称为多重回归。

标签: Algorithms