Подкрепление в поведенческой психологии: типы и механизмы.

Введение

Последствия, влияющие на будущее поведение организма

В поведенческой психологии под подкреплением понимаются последствия, которые увеличивают вероятность повторения организма определенного поведения в будущем, как правило, в присутствии конкретного предшествующего стимула. Например, крысу можно обучить нажимать на рычаг, чтобы получать пищу, когда включается свет. В этом примере свет является предшествующим стимулом, нажатие на рычаг – оперативное поведение, а пища – подкрепляющий стимул. Аналогично, ученик, получающий внимание и похвалу за ответ на вопрос учителя, с большей вероятностью будет отвечать на вопросы в классе в будущем. Вопрос учителя – это предшествующий стимул, ответ ученика – поведение, а похвала и внимание – подкрепление. Последствия, вызывающие стремление к чему-либо, такое как субъективные ощущения "хотения" и "нравится" (желание и удовольствие), функционируют как вознаграждения или положительное подкрепление. Существует также отрицательное подкрепление, которое заключается в устранении нежелательного стимула. Примером отрицательного подкрепления может служить прием аспирина для снятия головной боли. Подкрепление является важным компонентом оперантного обусловливания и модификации поведения. Эта концепция находит применение в различных практических областях, включая воспитание, коучинг, терапию, саморазвитие, образование и управление.

Терминология

В поведенческих науках термины "позитивный" и "негативный", используемые в строгом техническом смысле, относятся к природе действия, выполняемого со стороны воздействующего фактора, а не к оценке операнта этого действия и его последствий. "Позитивные" действия – это те, которые добавляют фактор в окружающую среду, будь то приятный или неприятный, в то время как "негативные" действия – это те, которые удаляют или удерживают из окружающей среды фактор любого типа. В свою очередь, строгий смысл термина "подкрепление" относится только к обусловливанию на основе вознаграждения; введение неприятных факторов и удаление или удержание приятных факторов вместо этого обозначаются как "наказание", которое, используемое в строгом смысле, противопоставляется "подкреплению". Таким образом, "положительное подкрепление" относится к добавлению приятного фактора, "положительное наказание" – к добавлению неприятного фактора, "отрицательное подкрепление" – к удалению или удержанию неприятного фактора, а "отрицательное наказание" – к удалению или удержанию приятного фактора. Это употребление противоречит некоторым нетехническим трактовкам четырехкомбинационных терминов, особенно в случае термина "отрицательное подкрепление", который часто используется для обозначения того, что в технической терминологии описывается как "положительное наказание", поскольку в нетехническом употреблении "подкрепление" понимается как охватывающее как вознаграждение, так и наказание, а "отрицательное" – как относящееся к оценке операнта, реагирующего на вводимый фактор. Напротив, техническая терминология использует термин "отрицательное подкрепление" для описания стимулирования определенного поведения путем создания ситуации, в которой неприятный фактор присутствует или будет присутствовать, но совершение этого поведения приводит либо к избежанию этого фактора, либо к предотвращению его возникновения, как в эксперименте Мартина Селигмана, в котором собаки научились избегать электрических ударов.

Введение

Б. Ф. Скиннер был известным и влиятельным исследователем, сформулировавшим многие теоретические конструкции подкрепления и бихевиоризма. Скиннер определял подкрепляющие стимулы на основе изменения силы реакции (частоты реакции), а не по более субъективным критериям, таким как то, что кому-то приятно или ценно. Соответственно, действия, продукты или предметы, считающиеся приятными или доставляющими удовольствие, не обязательно являются подкрепляющими (поскольку они не приводят к увеличению предшествующей им реакции). Стимулы, ситуации и действия соответствуют определению подкрепляющих стимулов только в том случае, если поведение, непосредственно предшествующее потенциальному подкреплению, возрастает в аналогичных ситуациях в будущем; например, ребенок, получающий печенье, когда просит его. Если частота "поведения, направленного на получение печенья" увеличивается, то печенье можно рассматривать как подкрепляющее "поведение, направленное на получение печенья". Однако, если "поведение, направленное на получение печенья" не увеличивается, печенье нельзя считать подкрепляющим. Единственным критерием, определяющим, является ли стимул подкрепляющим, является изменение вероятности поведения после предъявления этого потенциального подкрепляющего стимула. Другие теории могут фокусироваться на дополнительных факторах, таких как ожидание человеком определенного результата от поведения, но в бихевиоральной теории подкрепление определяется увеличением вероятности реакции. Изучение подкрепления привело к огромному количеству воспроизводимых экспериментальных результатов. Подкрепление является центральной концепцией и процедурой в специальном образовании, прикладном анализе поведения и экспериментальном анализе поведения, а также ключевой концепцией в некоторых медицинских и психофармакологических моделях, в частности, при изучении зависимости, пристрастия и компульсивного поведения.

История

Лабораторные исследования подкрепления обычно относят к работам Эдварда Торндайка, известного своими экспериментами с кошками, выбирающимися из проблемных ящиков. Многие другие ученые продолжили эти исследования, в частности Б. Ф. Скиннер, который опубликовал свою основополагающую работу на эту тему в книге «Поведение организмов» в 1938 году и развил эти исследования во многих последующих публикациях. Скиннер, в частности, утверждал, что положительное подкрепление превосходит наказание в формировании поведения. Хотя наказание может казаться полной противоположностью подкреплению, Скиннер утверждал, что они существенно различаются, отмечая, что положительное подкрепление приводит к устойчивому изменению поведения (в долгосрочной перспективе), в то время как наказание изменяет поведение лишь временно (в краткосрочной перспективе) и имеет множество негативных побочных эффектов. Впоследствии многие исследователи расширили наше понимание подкрепления и оспорили некоторые выводы Скиннера. Например, Азрин и Холц определили наказание как «следствие поведения, которое снижает будущую вероятность этого поведения», а некоторые исследования показали, что положительное подкрепление и наказание одинаково эффективны в изменении поведения. Исследования эффектов положительного подкрепления, отрицательного подкрепления и наказания продолжаются и сегодня, поскольку эти концепции являются основополагающими для теории обучения и находят широкое применение на практике.

Кондиционирование оператора

Термин оперантное обусловливание был введен Скиннером для обозначения того, что в его экспериментальной парадигме организм свободен воздействовать на окружающую среду. В этой парадигме экспериментатор не может спровоцировать желаемый ответ; экспериментатор ждет, пока ответ возникнет (будет проявлен организмом), а затем предоставляется потенциальный подкрепляющий стимул. В парадигме классического обусловливания экспериментатор вызывает (элицитирует) желаемый ответ, представляя стимул, вызывающий рефлекс, безусловный стимул (UCS), который они сочетают (предшествуют) с нейтральным стимулом, условным стимулом (CS). Подкрепление – базовый термин в оперантном обусловливании. Что касается аспекта наказания в оперантном обусловливании, см. статью «Наказание (психология)».

Положительное усиление

Положительное подкрепление происходит, когда желаемое событие или стимул следует за поведением, как его результат, и вероятность повторения этого поведения в аналогичных ситуациях возрастает. Терапия с высокой вероятностью инструкций (HPI) – это поведенческая терапия, основанная на принципе положительного подкрепления.

Дальнейшие идеи и концепции

Различить положительное и отрицательное подкрепление может быть сложно и не всегда необходимо. Гораздо полезнее сосредоточиться на том, что добавляется или убирается, и на том, как это влияет на поведение. Событие, которое наказывает поведение для одних, может подкреплять поведение для других. Некоторые виды подкрепления могут включать как положительные, так и отрицательные аспекты, например, наркозависимый принимает наркотики ради вызванной эйфории (положительное подкрепление) и одновременно для устранения симптомов абстиненции (отрицательное подкрепление). Подкрепление играет важную роль в повышении производительности в деловой среде. Сотрудники постоянно мотивированы возможностью получить положительный стимул, такой как повышение или премия. Их также стимулирует отрицательное подкрепление, например, избавление от неприятных задач. Хотя отрицательное подкрепление может быть эффективным в краткосрочной перспективе (то есть стимулирует финансово выгодные действия), чрезмерная зависимость от него препятствует способности работников проявлять творческий подход и вовлеченность, что необходимо для долгосрочного роста.

Первичные и вторичные армирующие элементы

Первичный подкрепляющий стимул, иногда называемый безусловным подкрепляющим стимулом, – это стимул, которому не требуется сочетание с другим стимулом для того, чтобы функционировать как подкрепление, и который, вероятнее всего, приобрел эту функцию в процессе эволюции и благодаря своей роли в выживании вида. Примеры первичных подкрепляющих стимулов включают пищу, воду и половое влечение. Некоторые первичные подкрепляющие стимулы, такие как определенные наркотики, могут имитировать эффекты других первичных подкрепляющих стимулов. Хотя эти первичные подкрепляющие стимулы относительно стабильны на протяжении жизни и у разных людей, их подкрепляющая ценность варьируется из-за множества факторов (например, генетики, опыта). Так, один человек может предпочитать один вид пищи, а другой – избегать его. Или один человек может есть много, а другой – очень мало. Таким образом, хотя пища является первичным подкрепляющим стимулом для обоих людей, ценность пищи как подкрепления у них различается. Вторичный подкрепляющий стимул, иногда называемый условным подкрепляющим стимулом, – это стимул или ситуация, которая приобрела свою функцию подкрепления после сочетания со стимулом, который уже функционирует как подкрепление. Этот стимул может быть первичным подкрепляющим стимулом или другим условным подкрепляющим стимулом (например, деньгами). При попытке различить первичные и вторичные подкрепляющие стимулы в человеческих примерах используйте «тест пещерного человека». Если стимул – это то, что пещерный человек естественным образом посчитал бы желательным (например, сладости), то это первичный подкрепляющий стимул. Если же пещерный человек не проявил бы к нему никакой реакции (например, долларовая купюра), то это вторичный подкрепляющий стимул. Как и в случае с первичными подкрепляющими стимулами, организм может испытывать удовлетворение и депривацию, связанные со вторичными подкрепляющими стимулами.

Другие термины для арматуры

Обобщенный подкрепляющий стимул – это условный подкрепляющий стимул, который приобрел подкрепляющую функцию в результате сочетания со многими другими подкрепляющими стимулами и функционирует как подкрепляющий стимул при широком спектре мотивирующих операций. (Примером может служить деньги, поскольку они связаны со многими другими подкрепляющими стимулами). В процедуре оценки подкрепляющих стимулов потенциально подкрепляющий, но незнакомый стимул представляется организму независимо от его предшествующего поведения. Социально опосредованное подкрепление предполагает предоставление подкрепления, требующего поведения другого организма. Например, подкрепление обеспечивает другой человек. Принцип Премака – это частный случай подкрепления, разработанный Дэвидом Премаком, который утверждает, что высокожелаемая деятельность может эффективно использоваться в качестве подкрепления для менее желаемой деятельности. Поскольку какое-либо измеряемое поведение не идентифицируется как усиливаемое, использование термина «неконтингентное подкрепление» вызывает споры.

Природные и искусственные арматуры

В своей статье 1967 года «Произвольное и естественное подкрепление» Чарльз Ферстер предложил классифицировать подкрепление на события, которые увеличивают частоту оперантного поведения как естественное следствие самого поведения, и события, которые влияют на частоту, требуя участия человека, например, в токеновой экономике, где испытуемые получают вознаграждение от терапевта за определенное поведение. В 1970 году Баер и Вольф разработали концепцию «поведенческих ловушек». Для попадания в поведенческую ловушку требуется лишь простое действие, однако, оказавшись в ней, сопротивляться ее воздействию и изменению поведения практически невозможно. Именно использование поведенческой ловушки расширяет репертуар человека, подвергая его естественному подкреплению этого поведения. Поведенческие ловушки обладают четырьмя характеристиками:
Они «приманивают» желаемым подкреплением, которое «завлекает» обучающегося в ловушку. Для попадания в ловушку требуется лишь незначительное усилие, уже присутствующее в репертуаре. Взаимосвязанные контингентные подкрепления внутри ловушки мотивируют человека приобретать, расширять и поддерживать целевые навыки. Они могут оставаться эффективными в течение длительного времени, поскольку у человека наблюдается мало или совсем нет эффектов насыщения. Таким образом, искусственное подкрепление можно использовать для формирования или развития обобщенных навыков, постепенно переходя к естественному подкреплению для поддержания или увеличения поведения. Другой пример – социальная ситуация, которая обычно возникает в результате определенного поведения после достижения им определенного уровня.

Схемы периодического усиления

Поведение не всегда подкрепляется каждый раз, когда оно проявляется, и схема подкрепления сильно влияет на скорость формирования оперантного поведения, его частоту в любой момент времени и продолжительность после прекращения подкрепления. Самые простые правила, управляющие подкреплением, – это постоянное подкрепление, при котором каждый ответ подкрепляется, и угасание, при котором ни один ответ не подкрепляется. Между этими крайностями более сложные графики подкрепления определяют правила, по которым и когда ответ будет сопровождаться подкрепляющим стимулом. Определенные графики подкрепления надежно индуцируют определенные паттерны поведения, и эти правила применимы к многим различным видам. Изменчивость и предсказуемость подкрепления оказывают существенное влияние на функционирование различных графиков. Многие простые и сложные графики были подробно исследованы Б. Ф. Скиннером на голубях.

Простые графики

Схема соотношений – усиление зависит только от количества выполненных организмом ответов. Непрерывное подкрепление (CRF) – график подкрепления, при котором каждое проявление инструментального ответа (желаемого поведения) сопровождается подкрепляющим стимулом. Процедуры:
Дифференциальное подкрепление альтернативного поведения (DRA) – процедура обусловливания, при которой нежелательное поведение уменьшается путем помещения его на угасание или, реже, предоставления условного наказания, одновременно обеспечивая подкрепление желаемого поведения. Например, учитель обращает внимание на ученика только тогда, когда тот поднимает руку, игнорируя его, когда он выкрикивает что-либо. Дифференциальное подкрепление другого поведения (DRO) – также известная как процедура обучения упущению, инструментальная процедура обусловливания, при которой положительный подкрепляющий стимул периодически предоставляется только в том случае, если испытуемый совершает действие, отличное от целевого поведения. Например, подкрепление любых движений рук, кроме ковыряния в носу. PRP (пост-подкрепляющая пауза) фиксированного интервала часто сопровождается ускоряющейся скоростью ответов в форме вогнутой кривой, в то время как фиксированные схемы соотношений приводят к более "угловой" динамике ответов. Фиксированный интервальный скачок: паттерн ответов, развивающийся при графике фиксированного интервала, производительность при фиксированном интервале отражает способность испытуемого определять время. Организмы, графики подкрепления которых "разрежены" (то есть требуют большего количества ответов или большего времени ожидания перед подкреплением), могут испытывать "напряжение соотношения", если разрежение происходит слишком быстро. Это приводит к поведению, аналогичному наблюдаемому при угасании. Напряжение соотношения – нарушение динамики ответов, возникающее при слишком быстром увеличении требования фиксированного соотношения. Пропорциональный рывок (Ratio run) – высокий и устойчивый темп ответов, позволяющий выполнить каждое требование к соотношению. Обычно более высокие требования к соотношению приводят к более длительным паузам после подкрепления. Частичные графики подкрепления более устойчивы к угасанию, чем графики непрерывного подкрепления. Схемы соотношений более устойчивы, чем интервальные схемы, а переменные схемы – более устойчивы, чем фиксированные. Мгновенные изменения ценности подкрепления приводят к динамическим изменениям в поведении.