iteration

在微積分課程裡我們有學到如何利用 Lagrange multiplier 來解 constraint optimization 問題. 這邊要介紹課本裡沒教的 Lagrangian function. Goal: 我們想要解以下這個問題 $$\underset{x}{min}f(x),\text{subject to }g(x)=0.$$ Observation 微積分課本告訴我們

這裡我們再多討論一點 Lagrangian function. 我們先看最簡單的一維問題, 求一個有限制式的函數最小值問題: $$\underset{x}{min}f(x),\text{subject to }g(x)=0.$$ 我們引進 Lagrangian function $$L(x,\lambda )=f(x)+\lambda g(x)$$ 並且知道

這裡我們討論一下 Lagrange multiplier. 我們知道, 如果想要解以下這個有限制式的最佳化問題 $$\underset{x}{min}f(x),\text{subject to }g(x)=k,$$ 一個方式是引進 Lagrange multiplier, $\lambda$, 然後可以列出以下兩個式子 $$ \partial_x f +