Введение
Алгоритм, используемый для решения нелинейных задач наименьших квадратов. В математике и вычислительной технике алгоритм Левенберга — Марквардта (LMA или просто LM), также известный как метод демпфированных наименьших квадратов (DLS), применяется для решения нелинейных задач наименьших квадратов. Эти задачи минимизации особенно часто возникают при аппроксимации кривых методом наименьших квадратов. LMA представляет собой интерполяцию между алгоритмом Гаусса — Ньютона (GNA) и методом градиентного спуска. LMA более устойчив, чем GNA, что означает, что во многих случаях он находит решение, даже если начальная точка находится далеко от окончательного минимума. Для хорошо обусловленных функций и разумных начальных параметров LMA, как правило, работает медленнее, чем GNA. LMA также можно рассматривать как метод Гаусса — Ньютона с использованием подхода доверительной области. Алгоритм был впервые опубликован в 1944 году Кеннетом Левенбергом, однако, как и другие итеративные алгоритмы оптимизации, LMA находит только локальный минимум, который не обязательно является глобальным минимумом.
In mathematics and computing, the Levenberg–Marquardt algorithm (LMA or just LM), also known as the damped least squares (DLS) method, is used to solve non linear least squares problems. These minimization problems arise especially in least squares curve fitting. The LMA interpolates between the Gauss–Newton algorithm (GNA) and the method of gradient descent. The LMA is more robust than the GNA, which means that in many cases it finds a solution even if it starts very far off the final minimum. For well behaved functions and reasonable starting parameters, the LMA tends to be slower than the GNA. LMA can also be viewed as Gauss–Newton using a trust region approach. The algorithm was first published in 1944 by Kenneth Levenberg, However, like other iterative optimization algorithms, the LMA finds only a local minimum, which is not necessarily the global minimum.
Выбор параметра амортизации
Различные более или менее эвристические аргументы были выдвинуты в пользу наилучшего выбора параметра демпфирования \lambda. Существуют теоретические аргументы, показывающие, почему некоторые из этих вариантов гарантируют локальную сходимость алгоритма; однако, эти варианты могут привести к тому, что глобальная сходимость алгоритма будет страдать от нежелательных свойств метода наискорейшего спуска, в частности, очень медленной сходимости вблизи оптимума. Абсолютные значения любого выбора зависят от того, насколько хорошо масштабирована исходная задача. Маркардт рекомендовал начинать со значения \lambda_0 и коэффициента \nu > 1. Изначально устанавливается \lambda = \lambda_0 и вычисляется остаточная сумма квадратов после одного шага от начальной точки с коэффициентом демпфирования \lambda, а затем с \lambda_0 / \nu. Если оба этих значения хуже начальной точки, то параметр демпфирования увеличивается последовательным умножением на \nu, пока не будет найдена лучшая точка с новым коэффициентом демпфирования \lambda_0\nu^k для некоторого k.
If use of the damping factor \lambda / \nu results in a reduction in squared residual, then this is taken as the new value of \lambda (and the new optimum location is taken as that obtained with this damping factor) and the process continues; if using \lambda / \nu resulted in a worse residual, but using \lambda resulted in a better residual, then \lambda is left unchanged and the new optimum is taken as the value obtained with \lambda as damping factor. An effective strategy for the control of the damping parameter, called delayed gratification, consists of increasing the parameter by a small amount for each uphill step, and decreasing by a large amount for each downhill step. The idea behind this strategy is to avoid moving downhill too fast in the beginning of optimization, therefore restricting the steps available in future iterations and therefore slowing down convergence. Since the second order derivative can be a fairly complex expression, it can be convenient to replace it with a finite difference approximation
where and have already been computed by the algorithm, therefore requiring only one additional function evaluation to compute The choice of the finite difference step can affect the stability of the algorithm, and a value of around 0.1 is usually reasonable in general.
Если использование коэффициента демпфирования \lambda / \nu приводит к уменьшению квадрата невязки, то это принимается как новое значение \lambda (и новое оптимальное положение принимается как полученное с этим коэффициентом демпфирования), и процесс продолжается; если использование \lambda / \nu привело к ухудшению невязки, но использование \lambda привело к улучшению, то \lambda остается неизменным, и новый оптимальный показатель принимается как значение, полученное с \lambda в качестве коэффициента демпфирования. Эффективная стратегия контроля параметра демпфирования, называемая «отложенным вознаграждением», заключается в увеличении параметра на небольшую величину при каждом шаге вверх и уменьшении на большую величину при каждом шаге вниз. Идея этой стратегии состоит в том, чтобы избежать слишком быстрого спуска в начале оптимизации, тем самым ограничивая шаги, доступные на будущих итерациях, и, следовательно, замедляя сходимость. Поскольку вторая производная может быть довольно сложным выражением, может быть удобно заменить ее приближением конечных разностей, где и уже были вычислены алгоритмом, поэтому требуется только одна дополнительная оценка функции для вычисления. Выбор шага конечных разностей может повлиять на устойчивость алгоритма, и значение около 0.1 обычно является разумным в общем случае.
If use of the damping factor \lambda / \nu results in a reduction in squared residual, then this is taken as the new value of \lambda (and the new optimum location is taken as that obtained with this damping factor) and the process continues; if using \lambda / \nu resulted in a worse residual, but using \lambda resulted in a better residual, then \lambda is left unchanged and the new optimum is taken as the value obtained with \lambda as damping factor. An effective strategy for the control of the damping parameter, called delayed gratification, consists of increasing the parameter by a small amount for each uphill step, and decreasing by a large amount for each downhill step. The idea behind this strategy is to avoid moving downhill too fast in the beginning of optimization, therefore restricting the steps available in future iterations and therefore slowing down convergence. Since the second order derivative can be a fairly complex expression, it can be convenient to replace it with a finite difference approximation
where and have already been computed by the algorithm, therefore requiring only one additional function evaluation to compute The choice of the finite difference step can affect the stability of the algorithm, and a value of around 0.1 is usually reasonable in general.