多项式回归

作者：追风剑情发布于：2026-3-4 10:07 分类：Algorithms

一、定义函数

$$ f_\theta(x)=\theta_0+\theta_1x+\theta_2x^2+\theta_3x^3+\cdots+\theta_nx^n $$

注意：虽然次数越大拟合得越好，但难免也会出现过拟合的问题。

示例：$f_\theta(x)=\theta_0+\theta_1x+\theta_2x^2$

设 $u=E(\theta)、v=f_\theta(x)$，然后试着用 u 对 $\theta_2$ 偏微分，求出更新表达式。

$$ \begin{flalign} &\frac{\partial v}{\partial \theta_2} = \frac{\partial}{\partial \theta_2}(\theta_0+\theta_1x+\theta_2x^2) = x^2 &\\ \end{flalign} $$

最终的参数更新表达式

$$ \begin{flalign} &\theta_0 := \theta_0 - \eta \displaystyle\sum_{i=1}^{n} \left( f_\theta(x^{(i)}) - y^{(i)} \right) \quad \; &\\ \end{flalign} $$ $$ \begin{flalign} &\theta_1 := \theta_1 - \eta \displaystyle\sum_{i=1}^{n} \left( f_\theta(x^{(i)}) - y^{(i)} \right) x^{(i)} &\\ \end{flalign} $$ $$ \begin{flalign} &\theta_2 := \theta_2 - \eta \displaystyle\sum_{i=1}^{n} \left( f_\theta(x^{(i)}) - y^{(i)} \right) x^{(i)^2} &\\ \end{flalign} $$

标签: Algorithms