ラグランジュの未定乗数法

ラグランジュの未定乗数法(method of Lagrange multiplier)は制約付き最適化問題を解くための手法です。

例えば、次の制約付き最大化問題を考えます。

\[ \max_\boldsymbol{x} f(\boldsymbol{x}) \ \ \mathrm{s.t.} \ \ g_i(\boldsymbol{x}) = 0 \ \ (i = 1, \dots, N) \]

このとき、

\[ F(\boldsymbol{x}, \boldsymbol{\lambda}) = f(\boldsymbol{x}) + \sum_{i=1}^N \lambda_i g_i(\boldsymbol{x}) \]

に対して

\[ \frac{\partial F(\boldsymbol{x}, \boldsymbol{\lambda})}{\partial \boldsymbol{x}} = 0, \ \ \frac{\partial F(\boldsymbol{x}, \boldsymbol{\lambda})}{\partial \boldsymbol{\lambda}} = 0 \]

を満たす \(\boldsymbol{x}\)\(\boldsymbol{\lambda} = (\lambda_1, \dots, \lambda_N)\) は最初の制約付き最大化問題の解となります。

この \(\boldsymbol{\lambda}\) をラグランジュの未定乗数(Lagrange multiplier) と呼びます。

なぜこれが成り立つかは、

\[ \frac{\partial F(\boldsymbol{x}, \boldsymbol{\lambda})}{\partial \lambda_i} = g_i(\boldsymbol{x}) \ \ (i = 1, \dots, N) \]

となることから分かります。