Введение

Необходимое условие оптимальности, связанное с динамическим программированием

Уравнение Беллмана, названное в честь Ричарда Э. Беллмана, является необходимым условием оптимальности, связанным с математическим методом оптимизации, известным как динамическое программирование. Оно выражает "значение" задачи принятия решения в определенный момент времени через выигрыш от некоторых начальных решений и "значение" оставшейся задачи принятия решения, возникающей в результате этих начальных решений. Это разбивает задачу динамической оптимизации на последовательность более простых подзадач, как предписывает "принцип оптимальности" Беллмана. Уравнение применимо к алгебраическим структурам с полным порядком; для алгебраических структур с частичным порядком можно использовать обобщенное уравнение Беллмана. Уравнение Беллмана впервые было применено к теории управления и другим областям прикладной математики, а затем стало важным инструментом в экономической теории; хотя базовые концепции динамического программирования были предвосхищены в «Теории игр и экономического поведения» Джона фон Неймана и Оскара Моргенштерна и в последовательном анализе Авраама Вальда. Термин «уравнение Беллмана» обычно относится к уравнению динамического программирования, связанному с задачами оптимизации в дискретное время. В задачах оптимизации в непрерывное время аналогичным уравнением является частное дифференциальное уравнение, называемое уравнением Гамильтона — Якоби — Беллмана. В дискретное время любая многоэтапная задача оптимизации может быть решена путем анализа соответствующего уравнения Беллмана. Соответствующее уравнение Беллмана можно найти, вводя новые переменные состояния (расширение состояния). Однако, полученная многоэтапная задача оптимизации с расширенным состоянием имеет пространство состояний большей размерности, чем исходная многоэтапная задача оптимизации – проблема, которая потенциально может сделать расширенную задачу неразрешимой из-за «проклятия размерности». В качестве альтернативы было показано, что если функция стоимости многоэтапной задачи оптимизации удовлетворяет структуре "обратной отделимости", то соответствующее уравнение Беллмана можно найти без расширения состояния.

Методы растворения

Метод неопределенных коэффициентов, также известный как "метод подбора и проверки", может быть использован для решения некоторых уравнений Беллмана с бесконечным горизонтом и автономных систем. Уравнение Беллмана можно решить методом обратной индукции, либо аналитически в нескольких частных случаях, либо численно с помощью компьютера. Численная обратная индукция применима к широкому кругу задач, но может оказаться невозможной при большом количестве переменных состояния из-за "проклятия размерности". Приблизительное динамическое программирование было предложено Д. П. Берцекасом и Дж. Н. Цициклисом с использованием искусственных нейронных сетей (многослойных перцептронов) для аппроксимации функции Беллмана. Это эффективная стратегия снижения влияния размерности, заключающаяся в замене запоминания полного отображения функции для всей области определения на запоминание параметров единственной нейронной сети. В частности, для систем с непрерывным временем был разработан приближенный метод динамического программирования, сочетающий итерации по политике с нейронными сетями. Для систем с дискретным временем был предложен подход к решению уравнения Гамильтона-Якоби-Беллмана (HJB), объединяющий итерации значений и нейронные сети. Вычисляя условия первого порядка, связанные с уравнением Беллмана, а затем используя теорему о конверте для исключения производных функции значения, можно получить систему разностных или дифференциальных уравнений, называемую "уравнениями Эйлера". Затем стандартные методы решения разностных или дифференциальных уравнений могут быть использованы для вычисления динамики переменных состояния и переменных управления в задаче оптимизации.

Применение в экономике

Первое известное применение уравнения Беллмана в экономике связано с Мартином Бекманом и Ричардом Мутом. Мартин Бекманн также много писал о теории потребления, используя уравнение Беллмана в 1959 году. Его работа повлияла на Эдмунда Фелпса и других. Известным экономическим применением уравнения Беллмана является основополагающая статья Роберта К. Мертона 1973 года о модели ценообразования активов во времени. (См. также проблему портфеля Мертона). Решение теоретической модели Мертона, в которой инвесторы выбирают между доходом сегодня и будущим доходом или приростом капитала, представляет собой форму уравнения Беллмана. Поскольку экономические приложения динамического программирования обычно приводят к уравнению Беллмана, которое является разностным уравнением, экономисты называют динамическое программирование «рекурсивным методом», и в настоящее время в экономике признается подполе рекурсивной экономики. Нэнси Стоки, Роберт Э. Лукас и Эдвард Прескотт подробно описывают стохастическое и нестохастическое динамическое программирование и разрабатывают теоремы о существовании решений проблем, удовлетворяющих определенным условиям. Они также описывают множество примеров моделирования теоретических проблем в экономике с использованием рекурсивных методов. Эта книга привела к тому, что динамическое программирование стало применяться для решения широкого спектра теоретических проблем в экономике, включая оптимальный экономический рост, добычу ресурсов, проблемы «принципал — агент», государственные финансы, инвестиции в бизнес, ценообразование активов, предложение факторов производства и промышленную организацию. Ларс Люнгквист и Томас Саргент применяют динамическое программирование для изучения различных теоретических вопросов в денежно-кредитной политике, фискальной политике, налогообложении, экономическом росте, теории поиска и экономике труда. Авинаш Диксит и Роберт Пиндик показали ценность этого метода для анализа вопросов капитального бюджетирования. Андерсон адаптировал эту технику для оценки бизнеса, включая частные предприятия. Использование динамического программирования для решения конкретных проблем осложняется информационными трудностями, такими как выбор ненаблюдаемой ставки дисконтирования. Существуют также вычислительные проблемы, главная из которых — «проклятие размерности», возникающее из-за огромного количества возможных действий и потенциальных переменных состояния, которые необходимо учитывать перед выбором оптимальной стратегии. Для подробного обсуждения вычислительных вопросов см. Миранда и Факлер, а также Meyn, 2007.