Құбыршық ойыны: Теориялық модель және адам әрекеттерінің айырмашылығы

Кіріспе

Аркадалық ойын. Ойын теориясында Роберт Розентал 1981 жылы тұңғыш рет ұсынған «Жүзбарыс» ойыны – екі ойыншының кезекпен, үнемі артып келе жатқан төлемнің үлкен бөлігін алу немесе төлемді екінші ойыншыға жіберуін таңдайтын кеңейтілген ойын түрі. Төлемдер осылай есептелген: егер біреуі төлемді қарсыласына жіберсе, ал қарсыласы келесі раундта төлемді алса, ол осы раундта төлем алғаннан сәл кем алады, бірақ қосымша алмасудан кейін әлеуетті пайда жоғарылайды. Сондықтан, әр раундта ойыншы төлемді алуға қызығушылық танытса да, күту олар үшін тиімдірек болар еді. Дәстүрлі «Жүзбарыс» ойыны 100 раундтан тұрады (содан аты шыққан), бірақ осы құрылымдағы, раундтар саны әртүрлі болатын кез келген ойын «Жүзбарыс» ойыны деп аталады. Бұл ойындардың бірегей толық тепе-теңдік нүктесі (және кез келген Нэш тепе-теңдігі) – ойынның бірінші раундында бірінші ойыншы төлемді алуы. Дегенмен, тәжірибелік сынақтарда салыстырмалы түрде аз ойыншы осылай істейді, нәтижесінде толық тепе-теңдік пен Нэш тепе-теңдігінен жоғары төлем алады. Бұл нәтижелер кейбір жағдайларда толық тепе-теңдік пен Нэш тепе-теңдігі адамның ойын стратегиясын дұрыс болжамауы мүмкін екенін көрсетеді. «Жүзбарыс» ойыны ойын теориясының кіріспе курстарында және оқулықтарда кері индукция және үстемдік ететін стратегияларды іріктеу арқылы ойынды шешудің стандартты әдісін көрсету үшін жиі қолданылады.

Ресми анықтама

Жүз аяқты ойыны былай жазылуы мүмкін: , мұнда және ойыншылар және кезекпен ойнайды, ойыншыдан бастап, әр кезекте максимум раундқа дейін қадам жасай алады. Ойын бірінші рет ойналғанда аяқталады, әйтпесе раундтан кейін, егер ешқашан ойналмаса. Егер ойын ойыншының соңғы қадамын жасауымен аяқталса, онда ойынның нәтижесі келесідей анықталады:

Егер ойнаса, онда ойыншы монета алады және ойыншы алады. Егер ойнаса, онда ойыншы монета алады және ойыншы алады.

Мұнда басқа ойыншыны білдіреді.

Тепе-теңдік талдау және кері индукция

Стандартты ойын теориясы құралдары бірінші ойыншының бірінші раундта дефектке (қайта бас тартуға) барып, монеталардың үйіндісін өзіне алып кететінін болжайды. Мыңбуыл ойынында таза стратегия – ойынның әрбір шешім нүктесі үшін (тіпті кейбір шешім нүктелеріне ешқашан қол жеткізілмесе де) іс-қимылдар жиынтығынан тұрады, ал аралас стратегия – мүмкін болатын таза стратегиялардың ықтималдық таралуы болып табылады. Мыңбуыл ойынының бірнеше таза стратегиялық Нэш тепе-теңдігі және шексіз көп аралас стратегиялық Нэш тепе-теңдігі бар. Дегенмен, тек бір суб-ойынның кемел тепе-теңдігі бар (Нэш тепе-теңдігі тұжырымдамасын жетілдіру). Бұл бірегей суб-ойынның кемел тепе-теңдігінде әр ойыншы әр мүмкіндікті пайдаланып дефектке (қайта бас тартуға) барады. Бұл, әрине, бірінші кезеңде дефектке (қайта бас тартуға) баруды білдіреді. Алайда, Нэш тепе-теңдігінде бастапқы шешімдерден кейін қабылданатын іс-қимылдар (бірінші ойыншы бірден дефектке (қайта бас тартуға) барғандықтан, оларға ешқашан қол жеткізілмесе де) ынтымақтастыққа негізделуі мүмкін. Бірінші ойыншының дефектке (қайта бас тартуға) баруы – бұл бірегей суб-ойынның кемел тепе-теңдігі және кез келген Нэш тепе-теңдігінің қажетті шарты, оны кері индукция арқылы анықтауға болады. Егер екі ойыншы ойынның соңғы раундына жетсе, екінші ойыншы дефектке (қайта бас тартуға) барып, төлемнің сәл үлкен бөлігін алу арқылы жақсырақ болады. Екінші ойыншы дефектке (қайта бас тартуға) барады деп есептесек, бірінші ойыншы екінші соңғы раундта дефектке (қайта бас тартуға) барып, екінші ойыншыға соңғы раундта дефектке (қайта бас тартуға) баруға рұқсат ету арқылы алатын төлемнен сәл жоғары төлем алады. Бірақ мұны білгеннен кейін екінші ойыншы үшінші соңғы раундта дефектке (қайта бас тартуға) баруы керек, бірінші ойыншыға екінші соңғы раундта дефектке (қайта бас тартуға) баруға рұқсат ету арқылы алатын төлемнен сәл жоғары төлем алады. Бұл ойлау ойын ағашы арқылы кері қарай жүреді, бірінші ойыншының бірінші раундта дефектке (қайта бас тартуға) баруы ең жақсы іс-қимыл деген қорытындыға жетеді. Ойын ағашының кез келген түйініне осы ойлауды қолдануға болады. Төрт раундтан кейін аяқталатын ойын үшін бұл ойлау келесідей жүреді. Егер ойынның соңғы раундына жетсек, 2-ші ойыншы 3 монетаның орнына 4 монета алу үшін r орнына d таңдап, жақсырақ болады. Алайда, 2 d таңдаса, 1 екінші соңғы раундта D таңдауы керек, 2 монетаның орнына 3 монета алады. 1 екінші соңғы раундта D таңдайтынын ескерсек, 2 үшінші соңғы раундта d таңдауы керек, 1 монетаның орнына 2 монета алады. Бірақ осыны ескерсек, 1-ші ойыншы бірінші раундта D таңдауы керек, 0 монетаның орнына 1 монета алады. Мыңбуыл ойынында көптеген Нэш тепе-теңдігі бар, бірақ олардың барлығында бірінші ойыншы бірінші раундта дефектке (қайта бас тартуға) барады, ал екінші ойыншы келесі раундта жиі дефектке (қайта бас тартуға) барады, бұл бірінші ойыншыны өткізіп жіберуден аулақ етеді. Нэш тепе-теңдігінде болу стратегияның ойынның әр нүктесінде рационалды болуын талап етпейді, суб-ойынның кемел тепе-теңдігіндегідей. Бұл ойынның ешқашан қол жеткізілмейтін кейінгі раундтарында ынтымақтастыққа негізделген стратегиялар әлі де Нэш тепе-теңдігінің бөлігі болуы мүмкін екенін білдіреді. Жоғарыдағы мысалда бір Нэш тепе-теңдігі – екі ойыншының да әр раундта дефектке (қайта бас тартуға) баруы (егерде ешқашан қол жеткізбейтін кейінгі раундтарда да). Тағы бір Нэш тепе-теңдігі – 1-ші ойыншының бірінші раундта дефектке (қайта бас тартуға) баруы, бірақ үшінші раундта өткізіп жіберуі, ал 2-ші ойыншы кез келген мүмкіндікті пайдаланып дефектке (қайта бас тартуға) баруы.

Standard game theoretic tools predict that the first player will defect on the first round, taking the pile of coins for himself. In the centipede game, a pure strategy consists of a set of actions (one for each choice point in the game, even though some of these choice points may never be reached) and a mixed strategy is a probability distribution over the possible pure strategies. There are several pure strategy Nash equilibria of the centipede game and infinitely many mixed strategy Nash equilibria. However, there is only one subgame perfect equilibrium (a popular refinement to the Nash equilibrium concept). In the unique subgame perfect equilibrium, each player chooses to defect at every opportunity. This, of course, means defection at the first stage. In the Nash equilibria, however, the actions that would be taken after the initial choice opportunities (even though they are never reached since the first player defects immediately) may be cooperative. Defection by the first player is the unique subgame perfect equilibrium and required by any Nash equilibrium, it can be established by backward induction. Suppose two players reach the final round of the game; the second player will do better by defecting and taking a slightly larger share of the pot. Since we suppose the second player will defect, the first player does better by defecting in the second to last round, taking a slightly higher payoff than she would have received by allowing the second player to defect in the last round. But knowing this, the second player ought to defect in the third to last round, taking a slightly higher payoff than he would have received by allowing the first player to defect in the second to last round. This reasoning proceeds backwards through the game tree until one concludes that the best action is for the first player to defect in the first round. The same reasoning can apply to any node in the game tree. For a game that ends after four rounds, this reasoning proceeds as follows. If we were to reach the last round of the game, Player 2 would do better by choosing d instead of r, receiving 4 coins instead of 3. However, given that 2 will choose d, 1 should choose D in the second to last round, receiving 3 instead of 2. Given that 1 would choose D in the second to last round, 2 should choose d in the third to last round, receiving 2 instead of 1. But given this, Player 1 should choose D in the first round, receiving 1 instead of 0. There are a large number of Nash equilibria in a centipede game, but in each, the first player defects on the first round and the second player defects in the next round frequently enough to dissuade the first player from passing. Being in a Nash equilibrium does not require that strategies be rational at every point in the game as in the subgame perfect equilibrium. This means that strategies that are cooperative in the never reached later rounds of the game could still be in a Nash equilibrium. In the example above, one Nash equilibrium is for both players to defect on each round (even in the later rounds that are never reached). Another Nash equilibrium is for player 1 to defect on the first round, but pass on the third round and for player 2 to defect at any opportunity.

Эмпирикалық нәтижелер

Бірнеше зерттеулер Нэш тепе-теңдігінің (және сол сияқты, субойынның толық тепе-теңдігі) ойынының сирек кездесетінін көрсетті. Оның орнына, қатысушылар көбінесе ішінара ынтымақтастық көрсетеді, бірнеше жүрісте "R" (немесе "r") ойнап, соңында "D" (немесе "d") таңдайды. Ойын бойы толық ынтымақтастық та сирек кездеседі. Мысалдар үшін McKelvey and Palfrey (1992), Nagel and Tang (1998) немесе Krockow et al. (2016) зерттеулеріне қараңыз. Ғалымдар мүліктің мөлшерінің артуының әсерін зерттеді. Басқа ойындардағыдай, мысалы, ультиматум ойынында, мүліктің мөлшері артқан сайын, ойын Нэш тепе-теңдігіне жақындасады (бірақ оған жете алмайды). Эмпирикалық зерттеулер дәстүрлі тепе-теңдік талдауымен үйлеспейтін нәтижелер бергендіктен, осы мінез-құлықты түсіндіру үшін бірнеше ұсыныстар жасалды. Эксперименттік деректерді түсіндіру үшін бізге әлде альтруистік агенттер, әлде шектеулі рационалдылыққа ие агенттер қажет.

Артықшылықтарға негізделген түсіндірме

Адамдардың тепе-теңдік мінез-құлқынан ауытқуының бір себебі – кейбір адамдардың альтруист болуы мүмкін. Негізгі идеясы – әр ойын кезінде альтруист агентке қарсы ойнаудың белгілі бір ықтималдығы бар, және егер бұл ықтималдық жеткілікті жоғары болса, сіз бірінші раунд емес, соңғы раундта бас тартуға тиіссіз. Егер жеткілікті көп адам альтруист болса, бірінші раундта бас тартудан алынатын пайданы құрбан ету, қарсыласыңыздың альтруист екенін анықтау үшін ақырғы бағасы тұрарлық. McKelvey және Palfrey (1992) альтруист агенттер мен рационалды агенттердің аралас стратегияны қолданатын моделін жасады (яғни, олар белгілі бір ықтималдықпен бірнеше түйіндерде ойнайды). Эксперименттік деректерге жақын нәтиже алу үшін, модельде ойыншылардың шамамен 5% альтруист болуы керек. Elmshauser (2022) альтруист агенттерді және тәуекелден қашық болатын агенттерді (рационалды агенттердің орнына) қамтитын модельдің эксперименттік деректерді одан да жақсы түсіндіретінін көрсетті. Кейбір эксперименттерде, көп ұсыныс жасаған ойыншылар басқа ойындарда немесе өмірлік жағдайларда да ең альтруист агенттер болатынын анықтауға тырысты (мысалы, Pulford et al немесе Gamba and Regner (2019) әлеуметтік бағдарлануды бағалаған). Көп ұсыныс жасаған ойыншылар шынымен де көбірек альтруизм көрсетті, бірақ айырмашылық аса үлкен болған жоқ.

Шектелген рационалдылық түсіндірмесі

Розенталь (1981) егер сіздің қарсыласыңыз Нэш мінез-құлқынан ауытқуы мүмкін деп ойлауға негіз болса, онда бірінші раундта дефекттенбеудің пайдалы болуы мүмкін екенін ұсынды. Тағы бір мүмкіндік – қателік. Әрекетте қателік жасау мүмкіндігі болса, мысалы, сіздің қарсыласыңыз кері индукция арқылы толық ойланбағандықтан, бастапқы раундтарда ынтымақтасу тиімді (және рационалды) болуы мүмкін. Маккельви мен Палфридің (1995) кванттық жауап тепе-теңдігі агенттердің қателермен Нэш тепе-теңдігін ойнайтын моделін жасады және оны жүзбауыр ойынына қолданды. Жүзбауыр ойынындағы мінез-құлықты түсіндіруге болатын тағы бір модель – k деңгейі моделі, ол танымдық иерархия теориясы болып табылады: L0 ойыншысы кездейсоқ ойнайды, L1 ойыншысы L0 ойыншысына ең жақсы жауап береді, L2 ойыншысы L1 ойыншысына ең жақсы жауап береді, және т.б. Көптеген ойындарда ғалымдар ойыншылардың көпшілігі L2 немесе L3 деңгейіндегі ойыншылар екенін байқады, бұл жүзбауыр ойынының тәжірибелік деректерімен сәйкес келеді. Гарсия Пола және авторлар (2020) эксперимент нәтижесі бойынша, көптеген ойыншылар Level k логикасы немесе кванттық жауап логикасын қолданады деген қорытындыға келді. Дегенмен, Парко, Рапопорт және Стейн (2002) қаржылық ынталандыру деңгейі үш ойыншы ойынының нәтижесіне маңызды әсер ете алатынын көрсетті: ауытқуға ынталандыру неғұрлым жоғары болса, қайталамалы бір реттік ойындық эксперименттік жобада Нэш тепе-теңдігіне қарай оқу мінез-құлқына бейімділік соғұрлым артады. Паласиос Хуерта мен Волиж (2009) тәжірибелі шахмат ойыншыларының ойын стилі колледж студенттерінен өзгеше екенін анықтады. Эло рейтингінің өсуімен ойынды жалғастыру ықтималдығы төмендейді; эксперименттегі барлық гроссмейстерлер алғашқы мүмкіндікте тоқтады. Олар шахматшылардың кері индукциялық ойлауды жақсы меңгергенін, сондықтан тепе-теңдікке жету үшін аз оқу қажет екенін қорытындылады. Алайда, осы нәтижелерді қайталауға тырысқан Левитт, Лист және Садофф (2010) он алты гроссмейстердің бірі де алғашқы торапта ойынды тоқтату арқылы күрт қайшы келетін нәтижелерді тапты. Крокков және авторлардың сапалық зерттеулері, ойын барысында ойыншылардың ойларын дауыстап айтуды талап ететін ойлау протоколдарын қолданды, ойын барысында шешім қабылдаудың әртүрлі бейімділіктерін көрсетті, мысалы, әрекетке бейімділік немесе аяқтауға бейімділік, бұл ойынның иррационалды таңдауларына әкелуі мүмкін.

Rosenthal (1981) suggested that if one has reason to believe his opponent will deviate from Nash behavior, then it may be advantageous to not defect on the first round. Another possibility involves error. If there is a significant possibility of error in action, perhaps because your opponent has not reasoned completely through the backward induction, it may be advantageous (and rational) to cooperate in the initial rounds. The quantal response equilibrium of McKelvey and Palfrey (1995) created a model with agents playing Nash equilibrium with errors and they applied it to the Centipede game. Another modelling able to explain behaviors in the centipede game is the level k model, which is a cognitive hierarchy theory : a L0 player plays randomly, the L1 player best responds to the L0 player, the L2 player best responds to the L1 player and so on. In many games, scholars observed that most of the player were L2 or L3 players, which is consistent with the centipede game experimental data. Garcia Pola et al. (2020) concluded from an experiment that most of the players either play following a Level k logic or a Quantal response logic. However, Parco, Rapoport and Stein (2002) illustrated that the level of financial incentives can have a profound effect on the outcome in a three player game: the larger the incentives are for deviation, the greater propensity for learning behavior in a repeated single play experimental design to move toward the Nash equilibrium. Palacios Huerta and Volij (2009) find that expert chess players play differently from college students. With a rising Elo, the probability of continuing the game declines; all Grandmasters in the experiment stopped at their first chance. They conclude that chess players are familiar with using backward induction reasoning and hence need less learning to reach the equilibrium. However, in an attempt to replicate these findings, Levitt, List, and Sadoff (2010) find strongly contradictory results, with zero of sixteen Grandmasters stopping the game at the first node. Qualitative research by Krockow et al., which employed think aloud protocols that required players in a Centipede game to vocalise their reasoning during the game, indicated a range of decision biases such as action bias or completion bias, which may drive irrational choices in the game.

Маңыздылығы

Бұл ойын тұтқынның дилеммасына ұқсас, жеке мүдде мен өзара пайда арасындағы қайшылықты көрсетеді. Егер оны сақтауға болатын болса, екі ойыншы да ойын бойында ынтымақтасуды қалайтын болар еді. Дегенмен, ойыншының жеке мүддесі немесе ойыншылардың бір-біріне сенімсіздігі кедергі келтіріп, олардың соқыр ынтымақтастықтан нашар нәтиже алуына себеп болуы мүмкін. Тұтқынның дилеммасы осы фактіге көп назар бөлгенімен, жүзбауыр ойынына салыстырмалы түрде аз көңіл бөлінді. Сонымен қатар, Бинмор (2005) кейбір нақты жағдайларды жүзбауыр ойыны арқылы түсіндіруге болады деп санайды. Ол келтірген мысалдардың бірі – бір-біріне сенімсіздікпен тауар алмасатын тараптар арасындағы қарым-қатынас. Бинмор (2005) жүзбауыр ойынымен ұқсас келетін тағы бір мысал ретінде гермафродит теңіз басының жұптасу әрекетін келтіреді, олар ұрықтандыру үшін жұмыртқа алмасуды кезекпен жасайды. Мұндай жағдайларда ынтымақтастық кең таралғанын көреміз. Жүзбауыр ойынындағы белгілі бір деңгейдегі ынтымақтастық үшін алдағы сыйақылар бірден бас тартудан әлдеқайда жоғары болғандықтан, кері индукция арқылы алынған «рационалды» шешімдер парадоксалды сияқты көрінеді. Бұл, сондай-ақ тәжірибелік қатысушылардың жүзбауыр ойынында үнемі ынтымақтасатыны туралы мәліметтер кері индукция шешімдеріндегі идеалдаулардың тиімділігі туралы пікірталас тудырды, қараңыз Aumann (1995, 1996) және Binmore (1996).