Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Метод решения задач оптимизации с ограничениями
Method to solve constrained optimization problems
В математической оптимизации метод множителей Лагранжа — это способ нахождения локальных максимумов и минимумов функции при наличии уравнений-ограничений (то есть при условии, что одно или несколько уравнений должны быть точно выполнены выбранными значениями переменных). Метод назван в честь математика Жозефа Луи Лагранжа.
In mathematical optimization, the method of Lagrange multipliers is a strategy for finding the local maxima and minima of a function subject to equation constraints (i. e., subject to the condition that one or more equations have to be satisfied exactly by the chosen values of the variables). It is named after the mathematician Joseph Louis Lagrange.
Заявление
Следующее известно как теорема множителей Лагранжа. Пусть – целевая функция, – функция ограничений, обе принадлежащие (то есть имеющие непрерывные первые производные). Пусть – оптимальное решение следующей задачи оптимизации, такое, что для матрицы частных производных , :
The following is known as the Lagrange multiplier theorem. Let be the objective function, be the constraints function, both belonging to (that is, having continuous first derivatives). Let be an optimal solution to the following optimization problem such that, for the matrix of partial derivatives , :
Тогда существует единственный множитель Лагранжа такой, что (Обратите внимание, что это несколько условное обозначение, где обычно рассматривается как столбец-вектор для обеспечения соответствия размерностей. Однако, можно представить его и как строку-вектор без транспонирования). Теорема множителей Лагранжа утверждает, что в любой локальной точке максимума (или минимума) функции, вычисленной при заданных ограничениях равенства, при выполнении условий регулярности (описанных ниже), градиент функции (в этой точке) может быть выражен как линейная комбинация градиентов ограничений (в этой точке), где множители Лагранжа выступают в качестве коэффициентов. Это эквивалентно утверждению, что любое направление, ортогональное всем градиентам ограничений, также ортогонально градиенту функции. Или, иными словами, что направленная производная функции равна 0 во всех допустимых направлениях.
Then there exists a unique Lagrange multiplier such that (Note that this is a somewhat conventional thing where is clearly treated as a column vector to ensure that the dimensions match. But, we might as well make it just a row vector without taking the transpose). The Lagrange multiplier theorem states that at any local maximum (or minimum) of the function evaluated under the equality constraints, if constraint qualification applies (explained below), then the gradient of the function (at that point) can be expressed as a linear combination of the gradients of the constraints (at that point), with the Lagrange multipliers acting as coefficients. This is equivalent to saying that any direction perpendicular to all gradients of the constraints is also perpendicular to the gradient of the function. Or still, saying that the directional derivative of the function is 0 in every feasible direction.
Современная формулировка с помощью дифференцируемых коллекторов
Проблема нахождения локальных максимумов и минимумов при ограничениях может быть обобщена до поиска локальных максимумов и минимумов на дифференцируемом многообразии. В дальнейшем не требуется, чтобы это было евклидово пространство или даже риманово многообразие. Все упоминания градиента (который зависит от выбора римановой метрики) могут быть заменены внешней производной.
The problem of finding the local maxima and minima subject to constraints can be generalized to finding local maxima and minima on a differentiable manifold In what follows, it is not necessary that be a Euclidean space, or even a Riemannian manifold. All appearances of the gradient (which depends on a choice of Riemannian metric) can be replaced with the exterior derivative
Достаточные условия
Достаточные условия для локального максимума или минимума при ограничениях могут быть сформулированы в терминах последовательности главных миноров (определителей верхне-левых подматриц) расширенной гессианской матрицы вторых производных лагранжиана.
Sufficient conditions for a constrained local maximum or minimum can be stated in terms of a sequence of principal minors (determinants of upper left justified sub matrices) of the bordered Hessian matrix of second derivatives of the Lagrangian expression.
Теория управления
В теории оптимального управления множители Лагранжа интерпретируются как косостоятельные переменные, а формулировка множителей Лагранжа сводится к минимизации гамильтониана в принципе минимума Понтрягина.
In optimal control theory, the Lagrange multipliers are interpreted as costate variables, and Lagrange multipliers are reformulated as the minimization of the Hamiltonian, in Pontryagin's minimum principle.
Нелинейное программирование
У метода множителей Лагранжа есть несколько обобщений. В нелинейном программировании существует несколько правил множителей, например, правило множителей Каратеодори — Джона и правило выпуклых множителей для ограничений типа неравенств.
The Lagrange multiplier method has several generalizations. In nonlinear programming there are several multiplier rules, e. g. the Carathéodory–John Multiplier Rule and the Convex Multiplier Rule, for inequality constraints.
Силовые системы
Методы, основанные на множителях Лагранжа, находят применение в электроэнергетических системах, например, при размещении распределённых источников генерации (РИГ) и отключении нагрузки.
Methods based on Lagrange multipliers have applications in power systems, e. g. in distributed energy resources (DER) placement and load shedding.
Безопасный подкрепленный процесс обучения
Метод множителей Лагранжа применим к марковским процессам принятия решений с ограничениями. Он естественным образом приводит к алгоритмам на основе градиента, первичной-двойственной пары, в безопасном обучении с подкреплением.
The method of Lagrange multipliers applies to constrained Markov decision processes. It naturally produces gradient based primal dual algorithms in safe reinforcement learning.
Экспозиция
плюс краткое обсуждение метода множителей Лагранжа в вариационном исчислении, применяемом в физике.
— plus a brief discussion of Lagrange multipliers in the calculus of variations as used in physics.