拉格朗日乘数法

作者:追风剑情 发布于:2022-5-9 10:06 分类:Algorithms

在实际的最小值问题中,有时会对变量附加约束条件,例如下面这个问题。

当 $x^2+y^2=1$ 时,求 x+y 的最小值。

这种情况下我们使用拉格朗日乘数法。这个方法首先引入参数λ,创建下面的函数L $$L=f(x,y)-λg(x,y)=(x+y)-λ(x^2+y^2-1)$$ 分别对x、y求偏导数,得 $$\frac{δL}{δx}=1-2λx=0,\quad\frac{δL}{δy}=1-2λy=0$$ 根据这些式子以及约束条件$x^2+y^2=1$,可得$x=y=λ=±1/\sqrt{2}$。
因而,当$x=y=-1/\sqrt{2}$时,x+y取得最小值$-2/\sqrt{2}$。
在用于求性能良好的神经网络的正则化技术中,经常会使用该方法。

标签: Algorithms

Powered by emlog  蜀ICP备18021003号-1   sitemap

川公网安备 51019002001593号