Сравнивайте с английским: нажмите на абзац — оригинал откроется в окне. Кнопка EN под абзацем показывает его прямо в тексте.
Содержание
Введение
Способность численных алгоритмов сохранять точность при малых изменениях входных данных.
Ability of numerical algorithms to remain accurate under small changes of inputs
В математической области численного анализа, численная устойчивость является обычно желаемым свойством численных алгоритмов. Точное определение устойчивости зависит от контекста. Одним из контекстов является численный линейный анализ, а другим – алгоритмы решения обыкновенных и частных дифференциальных уравнений методом дискретных приближений. В численном линейном анализе основная проблема – неустойчивость, вызванная близостью к сингулярностям различного рода, таким как очень малые или почти совпадающие собственные значения. С другой стороны, в численных алгоритмах для дифференциальных уравнений беспокойство вызывает рост ошибок округления и/или небольших флуктуаций в начальных данных, которые могут привести к значительному отклонению конечного результата от точного решения. Некоторые численные алгоритмы могут подавлять небольшие флуктуации (ошибки) во входных данных, другие же могут усиливать такие ошибки. Вычисления, которые можно доказать, что не увеличивают ошибки приближения, называются численно устойчивыми. Одной из распространенных задач численного анализа является попытка выбора устойчивых алгоритмов – то есть, алгоритмов, которые не дают сильно отличающихся результатов при незначительных изменениях входных данных. Противоположным явлением является неустойчивость. Как правило, алгоритм включает в себя приближенный метод, и в некоторых случаях можно доказать, что алгоритм стремится к правильному решению в некотором пределе (при использовании действительных чисел, а не чисел с плавающей точкой). Даже в этом случае нет гарантии, что он сойдется к правильному решению, поскольку ошибки округления или усечения с плавающей точкой могут быть усилены, а не подавлены, что приведет к экспоненциальному росту отклонения от точного решения.
In the mathematical subfield of numerical analysis, numerical stability is a generally desirable property of numerical algorithms. The precise definition of stability depends on the context. One is numerical linear algebra and the other is algorithms for solving ordinary and partial differential equations by discrete approximation. In numerical linear algebra, the principal concern is instabilities caused by proximity to singularities of various kinds, such as very small or nearly colliding eigenvalues. On the other hand, in numerical algorithms for differential equations the concern is the growth of round off errors and/or small fluctuations in initial data which might cause a large deviation of final answer from the exact solution. Some numerical algorithms may damp out the small fluctuations (errors) in the input data; others might magnify such errors. Calculations that can be proven not to magnify approximation errors are called numerically stable. One of the common tasks of numerical analysis is to try to select algorithms which are robust – that is to say, do not produce a wildly different result for very small change in the input data. An opposite phenomenon is instability. Typically, an algorithm involves an approximative method, and in some cases one could prove that the algorithm would approach the right solution in some limit (when using actual real numbers, not floating point numbers). Even in this case, there is no guarantee that it would converge to the correct solution, because the floating point round off or truncation errors can be magnified, instead of damped, causing the deviation from the exact solution to grow exponentially.
Стабильность в численной линейной алгебре
Существуют различные способы формализации концепции устойчивости. Следующие определения прямой, обратной и смешанной устойчивости часто используются в численной линейной алгебре. Рассмотрим задачу, решаемую численным алгоритмом, как функцию f, отображающую входные данные x в решение y. Результат алгоритма, обозначим его y*, обычно отличается от "точного" решения y. Основными источниками ошибок являются ошибки округления и ошибки усечения. Прямая ошибка алгоритма – это разность между полученным результатом и точным решением; в этом случае Δy = y* − y. Обратная ошибка – это наименьшее Δx, такое что f(x + Δx) = y*; другими словами, обратная ошибка показывает, какую задачу алгоритм фактически решил. Прямая и обратная ошибки связаны числом обусловленности: прямая ошибка по величине не превышает число обусловленности, умноженное на величину обратной ошибки. Во многих случаях более естественно рассматривать относительную ошибку вместо абсолютной ошибки Δx. Алгоритм считается обратно устойчивым, если обратная ошибка мала для всех входных данных x. Конечно, "малая" величина – понятие относительное, и ее определение зависит от контекста. Часто требуется, чтобы ошибка была того же порядка, или, возможно, лишь на несколько порядков величины больше, чем единица округления. Обычно определение численной устойчивости использует более общую концепцию, называемую смешанной устойчивостью, которая объединяет прямую и обратную ошибки. Алгоритм считается устойчивым в этом смысле, если он приближенно решает близкую задачу, то есть существует Δx, такое что и Δx мало, и f(x + Δx) − y* мало. Следовательно, обратно устойчивый алгоритм всегда устойчив. Алгоритм считается прямо устойчивым, если его прямая ошибка, деленная на число обусловленности задачи, мала. Это означает, что алгоритм прямо устойчив, если его прямая ошибка имеет величину, сопоставимую с прямой ошибкой некоторого обратно устойчивого алгоритма.
There are different ways to formalize the concept of stability. The following definitions of forward, backward, and mixed stability are often used in numerical linear algebra. Consider the problem to be solved by the numerical algorithm as a function f mapping the data x to the solution y. The result of the algorithm, say y*, will usually deviate from the "true" solution y. The main causes of error are round off error and truncation error. The forward error of the algorithm is the difference between the result and the solution; in this case, 1=Δy = y* − y. The backward error is the smallest Δx such that 1=f (x + Δx) = y*; in other words, the backward error tells us what problem the algorithm actually solved. The forward and backward error are related by the condition number: the forward error is at most as big in magnitude as the condition number multiplied by the magnitude of the backward error. In many cases, it is more natural to consider the relative error instead of the absolute error Δx. The algorithm is said to be backward stable if the backward error is small for all inputs x. Of course, "small" is a relative term and its definition will depend on the context. Often, we want the error to be of the same order as, or perhaps only a few orders of magnitude bigger than, the unit round off. The usual definition of numerical stability uses a more general concept, called mixed stability, which combines the forward error and the backward error. An algorithm is stable in this sense if it solves a nearby problem approximately, i. e., if there exists a Δx such that both Δx is small and f (x + Δx) − y* is small. Hence, a backward stable algorithm is always stable. An algorithm is forward stable if its forward error divided by the condition number of the problem is small. This means that an algorithm is forward stable if it has a forward error of magnitude similar to some backward stable algorithm.
Стабильность в числовых дифференциальных уравнениях
Вышеуказанные определения особенно важны в ситуациях, когда погрешности усечения несущественны. В других контекстах, например, при решении дифференциальных уравнений, используется иное определение численной устойчивости. В области численных методов решения обыкновенных дифференциальных уравнений существует несколько понятий численной устойчивости, например, A-устойчивость. Они связаны с понятием устойчивости в теории динамических систем, часто с устойчивостью по Ляпунову. При решении жестких уравнений важно использовать устойчивый метод. Другое определение применяется в численных методах решения уравнений в частных производных. Алгоритм решения линейного эволюционного уравнения в частных производных считается устойчивым, если полная вариация численного решения в фиксированный момент времени остается ограниченной при стремлении размера шага к нулю. Теорема эквивалентности Лакса утверждает, что алгоритм сходится, если он является согласованным и устойчивым (в этом смысле). Устойчивость иногда достигается за счет введения численной диффузии. Численная диффузия – это математический термин, обеспечивающий рассеивание ошибок округления и других ошибок в вычислениях, предотвращая их накопление и приводящее к "взрыву" решения. Анализ устойчивости по фон Нейману – широко используемая процедура для анализа устойчивости конечно-разностных схем, применяемых к линейным уравнениям в частных производных. Эти результаты не применимы к нелинейным уравнениям в частных производных, где общее, непротиворечивое определение устойчивости усложняется множеством свойств, отсутствующих в линейных уравнениях.
The above definitions are particularly relevant in situations where truncation errors are not important. In other contexts, for instance when solving differential equations, a different definition of numerical stability is used. In numerical ordinary differential equations, various concepts of numerical stability exist, for instance A stability. They are related to some concept of stability in the dynamical systems sense, often Lyapunov stability. It is important to use a stable method when solving a stiff equation. Yet another definition is used in numerical partial differential equations. An algorithm for solving a linear evolutionary partial differential equation is stable if the total variation of the numerical solution at a fixed time remains bounded as the step size goes to zero. The Lax equivalence theorem states that an algorithm converges if it is consistent and stable (in this sense). Stability is sometimes achieved by including numerical diffusion. Numerical diffusion is a mathematical term which ensures that roundoff and other errors in the calculation get spread out and do not add up to cause the calculation to "blow up". Von Neumann stability analysis is a commonly used procedure for the stability analysis of finite difference schemes as applied to linear partial differential equations. These results do not hold for nonlinear PDEs, where a general, consistent definition of stability is complicated by many properties absent in linear equations.