Отложенное вознаграждение: психология самоконтроля

Введение

Сопротивление немедленному вознаграждению в обмен на более позднее вознаграждение – психологическая концепция.

Отложенное удовлетворение, или дифференцированное удовлетворение, – это способность сопротивляться искушению немедленного удовольствия в надежде получить ценное и долгосрочное вознаграждение в будущем. Иными словами, отложенное удовлетворение описывает процесс, который человек переживает, когда он сопротивляется соблазну немедленной награды, предпочитая более выгодную награду в дальнейшем. Как правило, отложенное удовлетворение связано с отказом от меньшей, но более быстрой награды ради получения большей или более продолжительной награды позже. Растущее количество исследований связывает способность к отложенному удовлетворению с множеством других положительных результатов, включая академические успехи, физическое здоровье, психическое здоровье и социальную компетентность. Способность человека к отложенному удовлетворению связана с другими схожими навыками, такими как терпение, контроль импульсов, самоконтроль и сила воли, которые все участвуют в саморегуляции. В широком смысле, саморегуляция охватывает способность человека адаптировать себя по мере необходимости для соответствия требованиям окружающей среды. Отложенное удовлетворение является противоположностью дисконтированию во времени, которое представляет собой «предпочтение меньших немедленных вознаграждений по сравнению с большими, но отсроченными вознаграждениями» и отражает «тот факт, что субъективная ценность вознаграждения уменьшается с увеличением времени ожидания». Предполагается, что способность выбирать отсроченные вознаграждения контролируется когнитивно-аффективной системой личности (CAPS). На способность человека к отложенному удовлетворению могут влиять различные факторы. Когнитивные стратегии, такие как использование отвлекающих или «холодных» мыслей, могут повысить способность к задержке, как и неврологические факторы, такие как сила связей в фронтостриарном пути. Исследователи в области поведения сосредоточились на факторах, определяющих выбор в пользу отсрочки подкрепления, и изучали, как манипулировать этими факторами для увеличения времени задержки. Возраст также играет роль: дети до пяти лет демонстрируют выраженную неспособность к отложенному удовлетворению и чаще всего стремятся к немедленному удовлетворению. Незначительная разница между мужчинами и женщинами позволяет предположить, что женщины могут быть лучше в откладывании вознаграждений. Неспособность выбирать ожидание вместо немедленного подкрепления связана с избегающим поведением, таким как прокрастинация, а также с другими клиническими диагнозами, такими как тревога, синдром дефицита внимания и гиперактивности и депрессия. Зигмунд Фрейд, основатель психоаналитической теории, обсуждал роль эго в балансировании немедленных желаний, обусловленных удовольствием, и морально мотивированных выборов суперэго. Фандер и Блок расширили психоаналитические исследования по этой теме и обнаружили, что импульсивность, или недостаток контроля эго, оказывает более сильное влияние на способность человека выбирать отсроченные вознаграждения, если награда более желанна. Наконец, экологические и социальные факторы также играют роль: например, на задержку влияет самоналоженный или внешний характер вознаграждения, степень вовлеченности в задачу во время задержки, характеристики ранних отношений матери и ребенка, предыдущий опыт человека с ненадежными обещаниями вознаграждения (например, в условиях бедности) и современные социокультурные ожидания и парадигмы. Исследования на животных представляют собой еще один источник информации, описывающий характеристики отложенного удовлетворения, которые не так легко проверить на выборках людей, например, экологические факторы, влияющие на этот навык.

Delayed gratification, or deferred gratification, is the resistance to the temptation of an immediate pleasure in the hope of obtaining a valuable and long lasting reward in the long term. In other words, delayed gratification describes the process that the subject undergoes when the subject resists the temptation of an immediate reward in preference for a later reward that is more favorable. Generally, delayed gratification is associated with resisting a smaller but more immediate reward in order to receive a larger or more enduring reward later. A growing body of literature has linked the ability to delay gratification to a host of other positive outcomes, including academic success, physical health, psychological health, and social competence. A person's ability to delay gratification relates to other similar skills such as patience, impulse control, self control and willpower, all of which are involved in self regulation. Broadly, self regulation encompasses a person's capacity to adapt the self as necessary to meet demands of the environment. Delaying gratification is the reverse of delay discounting, which is "the preference for smaller immediate rewards over larger but delayed rewards" and refers to the "fact that the subjective value of reward decreases with increasing delay to its receipt". It is theorized that the ability to choose delayed rewards is under the control of the cognitive affective personality system (CAPS). Several factors can affect a person's ability to delay gratification. Cognitive strategies, such as the use of distracting or "cool" thoughts, can increase delay ability, as can neurological factors, such as strength of connections in the frontal striatal pathway. Behavioral researchers have focused on the contingencies that govern choices to delay reinforcement, and have studied how to manipulate those contingencies in order to lengthen delay. Age plays a role too; children under five years old demonstrate a marked lack of delayed gratification ability and most commonly seek immediate gratification. A very small difference between males and females suggest that females may be better at delaying rewards. The inability to choose to wait rather than seek immediate reinforcement is related to avoidance related behaviors such as procrastination, and to other clinical diagnoses such as anxiety, attention deficit hyperactivity disorder and depression. Sigmund Freud, the founder of psychoanalytic theory, discussed the ego's role in balancing the immediate pleasure driven desires of the id with the morality driven choices of the superego. Funder and Block expanded psychoanalytic research on the topic, and found that impulsivity, or a lack of ego control, has a stronger effect on one's ability to choose delayed rewards if a reward is more desirable. Finally, environmental and social factors play a role; for example, delay is affected by the self imposed or external nature of a reward contingency, by the degree of task engagement required during the delay, by early mother child relationship characteristics, by a person's previous experiences with unreliable promises of rewards (e. g., in poverty), and by contemporary sociocultural expectations and paradigms. Research on animals comprises another body of literature describing delayed gratification characteristics that are not as easily tested in human samples, such as ecological factors affecting the skill.

Система когнитивно-аффективной обработки

Одна хорошо обоснованная теория саморегуляции, называемая когнитивно-аффективной системой личности (CAPS), предполагает, что отсрочка удовлетворения является следствием способности применять "холодные" регуляторные стратегии (то есть спокойные, контролируемые и когнитивные стратегии) вместо "горячих" регуляторных стратегий (то есть эмоциональные, импульсивные и автоматические реакции) при столкновении с провокацией.

Стэнфордский эксперимент с зефиром

Основополагающее исследование задержки удовлетворения – ныне знаменитый «эксперимент с зефиром» – было проведено Уолтером Мишелем в 1960-х и 1970-х годах в Стэнфордском университете. Мишель и его коллеги интересовались стратегиями, которые дети дошкольного возраста использовали, чтобы противостоять искушению. Они предлагали четырёхлетним детям зефир и сообщали, что у них есть два варианта: (1) позвонить в колокольчик в любой момент, чтобы позвать экспериментатора и съесть зефир, или (2) дождаться возвращения экспериментатора (примерно через 15 минут) и получить два зефира. Сообщение было следующим: «небольшая награда сейчас, большая награда позже». Некоторые дети не выдержали и съели зефир, в то время как другие смогли отложить удовлетворение и получить желанные два зефира. В последующих экспериментах Мишель обнаружил, что дети могли дольше ждать, если использовали определенные «холодные» техники отвлечения внимания (закрывали глаза, прятались под партой, пели песни или представляли себе крендельки вместо зефира перед собой), или если изменили своё представление о зефире (сосредоточившись на его сходстве с ватным шариком, а не на его тягучем, восхитительном вкусе). Дети, которые ждали дольше, при повторной оценке в подростковом и взрослом возрасте, продемонстрировали впечатляющий спектр преимуществ перед своими сверстниками. В подростковом возрасте у них были более высокие баллы SAT, социальная компетентность, уверенность в себе и самооценка, а родители оценивали их как более зрелых, лучше справляющихся со стрессом, более склонных к планированию и более рациональных. Взрослые, способные к большей задержке удовлетворения, реже страдали от наркотической зависимости или других зависимостей, разводились или имели избыточный вес. Каждая минута, на которую ребенок в дошкольном возрасте мог отложить удовлетворение, в среднем соответствовала снижению индекса массы тела на 0,2 пункта через 30 лет. Каждый из этих положительных результатов требует определенной способности отказаться от немедленной награды ради большей выгоды в будущем. Способность к задержке удовлетворения также, по-видимому, служит защитой от чувствительности к отвержению (склонности к тревоге при предчувствии межличностного отвержения). В ходе 20-летнего наблюдения за участниками «эксперимента с зефиром» было установлено, что люди с высокой чувствительностью к отказу, которые в дошкольном возрасте демонстрировали сильную способность к задержке удовлетворения, имели более высокую самооценку и более адаптивные навыки преодоления трудностей по сравнению с людьми, которые в четыре года проявляли высокую чувствительность к отказу, но низкую способность к задержке удовлетворения. Кейси и его коллеги также с помощью функциональной магнитно-резонансной томографии (fMRI) сканировали мозг 26 участников во время выполнения задания. Исследователи предположили, что люди с высокой способностью к задержке удовлетворения с большей вероятностью будут использовать «холодные» стратегии регуляции для контроля своих реакций, что проявится в активации правой префронтальной коры, в то время как люди с низкой способностью к задержке удовлетворения будут использовать «горячие» стратегии, которые активируют вентральную полосатую область, также связанную с зависимостью. Результаты подтвердили эту дифференциальную активность мозга.

The seminal research on delayed gratification – the now famous "marshmallow experiment" – was conducted by Walter Mischel in the 1960s and 1970s at Stanford University. Mischel and his colleagues were interested in strategies that preschool children used to resist temptation. They presented four year olds with a marshmallow and told the children that they had two options: (1) ring a bell at any point to summon the experimenter and eat the marshmallow, or (2) wait until the experimenter returned (about 15 minutes later), and earn two marshmallows. The message was: "small reward now, bigger reward later." Some children broke down and ate the marshmallow, whereas others were able to delay gratification and earn the coveted two marshmallows. In follow up experiments, Mischel found that children were able to wait longer if they used certain "cool" distraction techniques (covering their eyes, hiding under the desk, singing songs, or imagining pretzels instead of the marshmallow in front of them), or if they changed the way they thought about the marshmallow (focusing on its similarity to a cotton ball, rather than on its gooey, delectable taste). The children who waited longer, when re evaluated as teenagers and adults, demonstrated a striking array of advantages over their peers. As teenagers, they had higher SAT scores, social competence, self assuredness and self worth, and were rated by their parents as more mature, better able to cope with stress, more likely to plan ahead, and more likely to use reason. As adults, the high delayers were less likely to have drug problems or other addictive behaviors, get divorced, or be overweight. Each minute, that a preschooler was able to delay gratification translated on average to a reduction of 0.2 points of the Body Mass Index 30 years later. Each of these positive outcomes requires some ability to forgo short term reward in favor of a higher payoff in the future. The ability to delay gratification also appears to be a buffer against rejection sensitivity (the tendency to be anxious when anticipating interpersonal rejection). In a 20 year follow up of the marshmallow experiment, individuals with vulnerability to high rejection sensitivity who had shown strong delay of gratification abilities as preschoolers had higher self esteem and self worth and more adaptive coping skills, in comparison to the individuals who had high rejection sensitivity but low delay of gratification as four year olds. Casey and colleagues also scanned the brains of 26 participants using functional magnetic resonance imaging (fMRI) as they completed the task. The researchers hypothesized that high delayers would be more likely to use "cool" regulation strategies to control their responses, which would manifest as activation of the right prefrontal cortex, whereas low delayers would use "hot" strategies, which would activate the ventral striatum, an area also linked to addiction. Indeed, results showed this differential brain activity.

Нейрокогнитивные факторы

То, как человек формулирует ситуацию, существенно влияет на результат принятия решения. Исследования "горячих" и "холодных" стратегий показывают, что когда дети когнитивно представляют ожидаемое как реальную награду, сосредотачиваясь на возбуждающих, "горячих" качествах награды (вкус, запах, звук, тактильные ощущения и т.п.), их самоконтроль и способность откладывать удовлетворение снижаются. В то же время, направление внимания на символ награды, с акцентом на её абстрактных, "холодных" качествах (форма, цвет, количество и т.п.), может усилить самоконтроль и увеличить время ожидания. Оптимальный самоконтроль и максимальная задержка удовлетворения достигаются при переключении внимания на конкурирующий объект, особенно на его возбуждающие, "горячие" качества, а также на центр удовольствия. Лимбическая система всегда реагирует на потенциальную возможность немедленного удовольствия. Показано, что обучение откладыванию удовлетворения способствует развитию позитивного социального поведения, такого как готовность делиться и позитивное взаимодействие со сверстниками.

Индивидуальные пороги задержки

В исследовании 2011 года исследователи проверили, готовы ли люди сознательно выбирать между немедленным и отложенным вознаграждением, предложив им фиксированную сумму (гипотетических) денег, которую они могли бы получить сразу, или сообщив, что они могут подождать месяц ради большей суммы. Результаты показали, что готовность отложить вознаграждение зависела от предлагаемой суммы, но также выявила значительные индивидуальные различия в пороге будущей награды, которая была достаточно мотивирующей, чтобы отказаться от немедленной. Исследование 2001 года продемонстрировало, что если вознаграждение не будет предоставлено в течение очень длительного времени, например, 180–300 месяцев (15–25 лет), величина денежного вознаграждения становится несущественной; большинство участников выбирали немедленное вознаграждение, даже если отложенное было бы значительно больше. У отложенного вознаграждения есть свои пределы, и задержка может быть настолько долгой, что ожидание перестает казаться оправданным.

Применение при СДВГ

По сравнению с нейротипичными детьми, дети с СДВГ обычно проявляют большую импульсивность, сильнее реагируя на немедленность и качество вознаграждения, чем на частоту получения вознаграждения и усилия, необходимые для его достижения. Однако исследователи эмпирически доказали, что эти импульсивные поведенческие паттерны можно изменить с помощью простой тренировки самоконтроля, в которой скорость получения подкрепления конкурирует с частотой, количеством или значимостью награды. Одно исследование показало, что любая вербальная активность во время ожидания подкрепления увеличивает способность к отсрочке удовлетворения у участников с СДВГ. Дети младше пяти лет демонстрируют наименее эффективные стратегии отсрочки удовлетворения, например, рассматривают награду и думают о ее привлекательных свойствах. К пяти годам большинство детей способны проявлять лучший самоконтроль, осознавая контрпродуктивность фокусировки на награде. Пятилетние дети часто предпочитают активно отвлекаться или даже использовать самоинструкции, чтобы напомнить себе о том, что ожидание приводит к получению более ценной награды. В возрасте от 8 до 13 лет у детей развивается когнитивная способность различать и использовать абстрактные мысли и мысли, вызывающие возбуждение, чтобы отвлечься от награды и тем самым увеличить время ожидания. Снижение саморегуляции и контроля импульсов в пожилом возрасте предсказывает соответствующее снижение стратегий отсрочки вознаграждения, в частности, уменьшение временного дисконтирования из-за снижения эффективности стратегий "охлаждения".

Влияние пола

В 33 исследованиях гендерных различий был обнаружен небольшой, но значимый эффект (r = 0,06). Этот эффект может быть связан с незначительными гендерными различиями, выявленными в задержке дисконтирования (то есть в тенденции снижать ценность отложенной награды), а также с более высоким уровнем импульсивности и невнимательности у мальчиков. Для дальнейшего анализа необходимо выяснить, начинается ли эта незначительная разница в определенном возрасте (например, в период полового созревания) или сохраняется стабильной на протяжении всей жизни. Некоторые исследователи предполагают, что эта гендерная разница может быть связана с тем, что матери чаще, чем отцы, склонны жертвовать своими желаниями и потребностями ради удовлетворения потребностей ребенка. Клинические и социальные психологи отмечают, что способность откладывать удовлетворение играет важную роль в общей психологической адаптации человека. Люди, лучше умеющие откладывать удовлетворение, сообщают о более высоком уровне благополучия, самооценки и открытости новому опыту, а также о более эффективных способах реагирования на гнев и другие раздражители. Это справедливо и для злоупотребления психоактивными веществами, азартных игр и других аддиктивных форм поведения у подростков и взрослых. Это может быть связано с высокой корреляцией между интеллектом и способностью к отсроченному удовлетворению. Однако одно исследование не выявило значимых различий между группами с обсессивно-компульсивным расстройством (ОКР) и здоровыми контрольными группами в способности к отсроченному удовлетворению, в то время как у людей с обсессивно-компульсивным расстройством личности наблюдалось значительное улучшение этого показателя. Депрессия также связана со сниженной способностью откладывать удовлетворение, хотя направление причинно-следственной связи остается неясным. Депрессивный человек, испытывающий трудности с тем, чтобы заставить себя заниматься ранее приятными делами, (сознательно или бессознательно) отдает приоритет краткосрочному комфорту и демонстрирует сниженную способность к отсроченному удовлетворению. Есть данные о том, что люди, практикующие намеренное членовредительство (например, порезы), менее терпимы к эмоциональному дистрессу, но более терпимы к физической боли. Таким образом, предполагается, что они причиняют себе боль, поскольку не могут отложить удовлетворение и нуждаются в быстром способе прекратить эмоциональные страдания.

Throughout 33 studies on gender differences, a small significant effect (r = .06) has been found This effect may be related to the slight gender differences found in delay discounting (i. e., minimizing the value of a delayed reward) and higher levels of impulsivity and inattention in boys. Further studies are needed to analyze if this minute difference begins at a certain age (e. g., puberty) or if it has a stable magnitude throughout the lifespan. Some researchers suggest this gender difference may correspond with a mother's tendency to sacrifice her wants and needs in order to meet those of her child more frequently than a father does. by clinical and social psychologists, suggesting that the ability to delay gratification plays a critical role in a person's overall psychological adjustment. People with better ability to delay gratification report higher wellbeing, self esteem and openness to experience, as well as more productive ways of responding to anger and other provocations. as are substance abuse, gambling, and other addictive behaviors in adolescents and adults. This may stem from the high correlation between intelligence and delayed gratification, One experiment, however, did not find any significant differences between samples with OCD and healthy controls in delayed gratification, while finding substantially improved delayed gratification among those with obsessive–compulsive personality disorder. Depression is also associated with lower capacity to delay gratification, though the direction of cause and effect is not clear. A depressed person who has difficulty pushing themself to engage in previously enjoyed activities is (deliberately or not) prioritizing short term comfort and is demonstrating an impaired ability to delay gratification. There is evidence that individuals who engage in deliberate self harm (e. g. cut themselves) are less able to tolerate emotional distress but are more able to tolerate physical pain. Thus it is argued that they injure themselves because they cannot delay gratification and need a way to end emotional pain quickly.

Психоаналитические побуждения и импульсы

Зигмунд Фрейд рассматривал борьбу с отсрочкой удовлетворения как усилия человека преодолеть инстинктивное, либидинальное влечение ид. Согласно классической психоаналитической теории, психика человека состоит из ид, эго и суперэго.

Кто контролирует

Факторы, влияющие на способность отсрочить удовлетворение, зависят от того, является ли задержка самоналоженной (задержка может быть прекращена по воле ожидающего) или внешне навязанной другим человеком, учреждением или обстоятельствами. Когда задержка самоналожена, физическое присутствие награды, кажется, способствует отсрочке удовлетворения. С другой стороны, когда задержка навязана извне, дети не могут ждать так долго, когда награда присутствует, что указывает на большую фрустрацию в этих обстоятельствах. Одной из таких издержек является упущенная выгода, связанная со временем ожидания. В ожидании люди теряют время, которое могли бы потратить на поиск другой пищи. Поиск калорийной пищи дает явное эволюционное преимущество. Кроме того, существует риск, что возможность получить награду будет прервана, например, хищником, также известный как риск прекращения. В исследовании, проведенном Хейденом и Платтом, макакам дали выбор между умеренной наградой, которую они точно получат, и более рискованным вариантом. Рискованный вариант предусматривал большую награду в 50% случаев и маленькую награду в остальных 50%. Общая выгода была одинаковой, но макаки предпочли более рискованный вариант. Исследователи предположили, что макаки не рассматривали свои действия как рискованные, а скорее как получение большой, отложенной награды. Они рассуждали, что макаки воспринимали большую награду как гарантированную: если они не получат ее сразу, то получат позже, но с большей задержкой. Чтобы проверить эту теорию, они провели тот же тест, варьируя время между возможностями выбора награды. Они обнаружили, что с увеличением интервала количество выборов в пользу более рискованной награды уменьшалось. В одном исследовании изучалось, насколько дисконтирование награды зависит от контекста. Меняя время и расстояние между маленькими и большими наградами, они смогли проверить, как эти факторы влияют на принятие решений у тамаринов и мармозет. Они показали, что тамарины готовы преодолевать большие расстояния ради большей награды, но не будут ждать так долго, как мармозеты. И наоборот, мармозеты будут ждать дольше, но не будут преодолевать такие большие расстояния. Исследователи заключили, что такое поведение дисконтирования напрямую связано с типичным кормовым поведением этих видов. Тамарины ищут насекомых на больших расстояниях. Поиск и поедание насекомых требует быстрого и импульсивного решения и действия. Мармозеты, напротив, питаются древесным соком, который выделяется медленнее, но не требует от них преодоления больших расстояний. Физиологическое сходство между людьми и другими животными, особенно приматами, привело к увеличению числа сравнительных исследований между этими группами. Будущие исследования с использованием моделей на животных могут расширить наше понимание того, как люди принимают решения о немедленном или отложенном удовлетворении в реальном мире.

Factors affecting one's ability to delay gratification depend on whether the delay contingency is self imposed (delay can be terminated at the will of the person waiting) or externally imposed by another person, institution or circumstance. When the contingency is self imposed, the physical presence of the reward seems to aid in delaying gratification. On the other hand, when the delay is externally imposed, children are not able to wait as long when the reward is present, suggesting greater frustration under these circumstances. One such cost is the basic opportunity cost associated with time spent waiting. While waiting, individuals lose time that could be used to find other food. Seeking high calorie food conveys a clear evolutionary advantage. Second, there is the risk that the chance to get the reward will be cut short, perhaps by a predator, also known as a termination risk. In a study conducted by Haden and Platt, macaque monkeys were given the choice of a medium reward that they knew they would receive, versus a more risky choice. The riskier choice would reward the monkey with a large reward fifty percent of the time, and a small reward the other fifty percent. The ultimate payoff was the same, but the monkeys preferred the riskier choice. They speculated that the monkeys did not see their action as risky, but rather as a large, delayed reward. They reasoned that the monkeys viewed the large reward as certain: if they did not get the large reward the first time around, they would eventually get it, but at a longer delay. To test for this theory, they gave the same test while varying the time between the opportunities to choose a reward. They found that as the interval increased, the number of times that the monkeys chose the more risky reward decreased. One study looked at how reward discounting is context specific. By differing the time and space between small and large rewards, they were able to test how these factors affected the decision making in tamarins and marmosets. They showed that tamarins will travel longer distances for larger food rewards, but will not wait as long as marmosets. Conversely, marmosets will wait longer, but will not travel as far. They then concluded that this discounting behavior directly correlates to the normal feeding behavior of species. The tamarins feed over large distances, looking for insects. Capturing and eating insects requires a quick and impulsive decision and action. The marmosets, on the other hand, eat tree sap, which takes more time to secrete, but does not require that the marmosets to cover large distances. The physiological similarities between humans and other animals, especially primates, have led to more comparative research between the two groups. Future research with animal models then can expand our own understanding of how people make decisions about instant versus delayed gratification in the real world.