Кіріспе
Динамикалық бағдарламалаумен байланысты оптималдықтың қажетті шарты – Ричард Э. Беллменнің есімімен аталатын Беллмен теңдеуі, динамикалық бағдарламалау деп аталатын математикалық оптимизация әдісімен байланысты оптималдықтың қажетті шарты болып табылады. Ол белгілі бір уақыт мезгіліндегі шешімдік мәселенің "мәнін" бастапқы таңдаулардан алынатын пайда мен осы бастапқы таңдаулардың нәтижесінде туындайтын қалған шешімдік мәселенің "мәні" тұрғысынан жазады. Бұл, Беллменнің "оптималдық принципінде" көрсетілгендей, динамикалық оптимизация мәселесін қарапайым қосалқы мәселелер тізбегіне бөледі. Теңдеу толық реттелген алгебралық құрылымдарға қолданылады; ішінара реттелген алгебралық құрылымдар үшін жалпы Беллмен теңдеуін пайдалануға болады. Беллмен теңдеуі алғаш рет инженерлік басқару теориясына және қолданбалы математиканың басқа да салаларына қолданылды, содан кейін экономикалық теорияда маңызды құралға айналды; алайда, динамикалық бағдарламалаудың негізгі ұғымдары Джон фон Нейман мен Оскар Моргенштерннің «Ойындар теориясы және экономикалық мінез-құлық» және Абрахам Вальдтың тізбектік талдауында көрініс тапқан. «Беллмен теңдеуі» термині көбінесе дискретті уақыт оптимизациясы мәселелерімен байланысты динамикалық бағдарламалау теңдеуін білдіреді. Үздіксіз уақыт оптимизациясы мәселелерінде, оған сәйкес теңдеу – Гамильтон-Жакоби-Беллмен теңдеуі деп аталатын дербес дифференциалдық теңдеу болып табылады. Дискретті уақытта кез келген көп сатылы оптимизация мәселесін тиісті Беллмен теңдеуін талдау арқылы шешуге болады. Тиісті Беллмен теңдеуін жаңа күй айнымалыларын енгізу арқылы (күйді кеңейту) табуға болады. Дегенмен, нәтижесіндегі кеңейтілген күйлі көп сатылы оптимизация мәселесі бастапқы көп сатылы оптимизация мәселесіне қарағанда жоғары өлшемді күй кеңістігіне ие – бұл мәселе кеңейтілген мәселені «өлшемділіктің қарғысы» салдарынан шешілмейтін ете алады. Сонымен қатар, егер көп сатылы оптимизация мәселесінің құн функциясы «кері бөлінетін» құрылымға ие болса, онда күйді кеңейтусіз Беллмен теңдеуін табуға болады.
A Bellman equation, named after Richard E. Bellman, is a necessary condition for optimality associated with the mathematical optimization method known as dynamic programming. It writes the "value" of a decision problem at a certain point in time in terms of the payoff from some initial choices and the "value" of the remaining decision problem that results from those initial choices. This breaks a dynamic optimization problem into a sequence of simpler subproblems, as Bellman's “principle of optimality" prescribes. The equation applies to algebraic structures with a total ordering; for algebraic structures with a partial ordering, the generic Bellman's equation can be used. The Bellman equation was first applied to engineering control theory and to other topics in applied mathematics, and subsequently became an important tool in economic theory; though the basic concepts of dynamic programming are prefigured in John von Neumann and Oskar Morgenstern's Theory of Games and Economic Behavior and Abraham Wald's sequential analysis. The term 'Bellman equation' usually refers to the dynamic programming equation associated with discrete time optimization problems. In continuous time optimization problems, the analogous equation is a partial differential equation that is called the Hamilton–Jacobi–Bellman equation. In discrete time any multi stage optimization problem can be solved by analyzing the appropriate Bellman equation. The appropriate Bellman equation can be found by introducing new state variables (state augmentation). However, the resulting augmented state multi stage optimization problem has a higher dimensional state space than the original multi stage optimization problem an issue that can potentially render the augmented problem intractable due to the “curse of dimensionality”. Alternatively, it has been shown that if the cost function of the multi stage optimization problem satisfies a "backward separable" structure, then the appropriate Bellman equation can be found without state augmentation.
Ерітінді әдістері
Белгісіз коэффициенттер әдісі, сондай-ақ "болжау және тексеру" әдісі, кейбір шексіз горизонтты, автономды Беллман теңдеулерін шешу үшін қолданылуы мүмкін. Беллман теңдеуін кері индукция арқылы шешуге болады, кейбір ерекше жағдайларда аналитикалық түрде немесе компьютерде сандық түрде. Сандық кері индукция кең ауқымдағы проблемаларға қолданылады, бірақ күйдің көптеген айнымалылары болған жағдайда, өлшемділіктің қарғысы салдарынан орындалуы қиын болуы мүмкін. Д. П. Берцекас және Ж. Н. Цициклис динамикалық бағдарламалауды жасанды нейрондық желілерді (көпқабатты перцептрон) қолдану арқылы Беллман функциясын жуықтау үшін енгізді. Бұл – бүкіл кеңістіктік домен үшін толық функциялық байланысты жаттаудың орнына, тек нейрондық желінің параметрлерін жаттау арқылы өлшемділіктің әсерін азайтудың тиімді стратегиясы. Атап айтқанда, үздіксіз уақыт жүйелері үшін, нейрондық желілермен саясат итерацияларын біріктіретін жуық динамикалық бағдарламалау әдісі ұсынылды. Дискретті уақытта, құндылық итерациялары мен нейрондық желілерді біріктіретін HJB теңдеуін шешу әдісі ұсынылды. Беллман теңдеуімен байланысты бірінші реттік шарттарды есептеу және содан кейін мән функциясының туындыларын жою үшін конверт теоремасын қолдану арқылы "Эйлер теңдеулері" деп аталатын айырма теңдеулері немесе дифференциалдық теңдеулер жүйесін алуға болады. Осыдан кейін, айырма немесе дифференциалдық теңдеулерді шешудің стандартты әдістерін күйдің айнымалыларының динамикасын және оңтайландыру мәселесінің басқару айнымалыларын есептеу үшін пайдалануға болады.
Экономикадағы қолдануы
Беллман теңдеуін экономикада алғаш рет Мартин Бекман мен Ричард Мут қолданған. Мартин Бекман 1959 жылы Беллман теңдеуін пайдалана отырып, тұтыну теориясы туралы кеңінен жазды. Оның еңбегі Эдмунд С. Фелпс сияқты басқа ғалымдарға да әсер етті. Беллман теңдеуінің маңызды экономикалық қолданылуы – Роберт К. Мертонның 1973 жылғы уақыт бойынша капитал активтерінің бағалау моделіне арналған мақаласы. (Мертонның портфельдік мәселесін де қараңыз). Мертонның теориялық моделінің шешімі, онда инвесторлар бүгінгі табыс пен болашақ табыс немесе капиталдан түсетін пайда арасында таңдау жасайды, Беллман теңдеуінің бір түрі болып табылады. Динамикалық бағдарламалаудың экономикалық қолданылуы көбінесе айырмашылық теңдеуі болып табылатын Беллман теңдеуіне әкеледі, сондықтан экономистер динамикалық бағдарламалауды «рекурсивті әдіс» деп атайды және экономика ішінде рекурсивті экономиканың жеке саласы мойындалған. Нэнси Стоки, Роберт Э. Лукас және Эдвард Прескотт стохастикалық және детерминистік динамикалық бағдарламалауды егжей-тегжейлі сипаттайды және белгілі бір шарттарға жауап беретін мәселелерге шешімдердің болуы үшін теоремалар жасайды. Олар сонымен қатар рекурсивті әдістерді қолдана отырып, экономикадағы теориялық мәселелерді модельдеудің көптеген мысалдарын келтіреді. Бұл кітап динамикалық бағдарламалаудың экономикадағы теориялық мәселелердің кең ауқымын шешу үшін қолданылуына әкелді, соның ішінде оңтайлы экономикалық өсім, ресурстарды игеру, басқарушы-принциптік мәселелер, мемлекеттік қаржы, бизнес инвестициялары, активтерді бағалау, факторлық ұсыныс және өнеркәсіптік ұйымдастыру. Ларс Люнгквист пен Томас Саргент динамикалық бағдарламалауды ақша-кредит саясаты, фискалдық саясат, салық салу, экономикалық өсім, іздеу теориясы және еңбек экономикасы салаларындағы түрлі теориялық мәселелерді зерттеу үшін қолданады. Авинаш Диксит пен Роберт Пиндик капиталды бюджеттеу мәселесін қарастыру үшін бұл әдістің маңыздылығын көрсетті. Андерсон бұл әдісті жекеменшік кәсіпорындарды қоса алғанда, кәсіпорындарды бағалауға бейімдеді. Динамикалық бағдарламалауды нақты мәселелерді шешу үшін қолдану ақпараттық қиындықтармен күрделенеді, мысалы, байқауға келмейтін дисконттау ставкасын таңдау. Есептеу мәселелері де бар, олардың ең бастысы – оптималды стратегияны таңдау үшін қарастырылуы керек көптеген мүмкін әрекеттер мен әлеуетті күй айнымалыларынан туындайтын өлшемділіктің қиындығы. Есептеу мәселелерін кеңінен талқылау үшін Миранда мен Факлердің, сондай-ақ Meyn 2007 жылғы еңбектерін қараңыз.