1. Сила положительного подкрепления
У нас всегда есть выбор: мы можем обращать внимание на плохие или на хорошие вещи. Естественный для большинства из нас порядок действий такой: как только мы видим, что что-то пошло не так, мы обращаем на это внимание. Ребёнка ставим в угол, сотрудника лишаем премии, а собаку бьём по зубам. О.Г. Торсунов называет это сознанием мухи. С другой стороны, есть сознание пчелы, которая видит, как всё вокруг хорошо и приятно. Как раз об этом сегодня и речь.
Положительное подкрепление — это событие, совпадающее с каким-либо действием и ведущее к увеличению вероятности повторного совершения этого действия.
Есть два вида подкреплений: положительное и отрицательное. Положительное — это то, чего желает субъект: пища, ласка или похвала. Отрицательное подкрепление — это то, чего субъект не желает: шлепок, нахмуривание бровей, неприятный звук, некомфортная ситуация.
Возьмём ситуацию со звонками детей родителям. Родители хотят, чтобы их дети им звонили как можно чаще, но дети часто этого не делают. Есть два варианта подкрепления. Положительный будет в том, что как только дети позвонят, — нужно им сказать: «как здорово, что ты позвонил». Звонящий с большой вероятностью захочет это повторить. Отрицательное подкрепление будет таким: «Почему ты так долго не звонил? Почему я должен каждый раз сам тебе звонить?». Тут сын не захочет звонить повторно, чтобы избежать таких ситуаций. Фактически, вы обучите его не звонить.
На Хабре и Мегамозге примером положительного подкрепления является карма, рейтинг и ачивки-значки.
Написал хороший пост, — получил плюс к карме. Написал плохой пост — на тебе отрицательное подкрепление и, как следствие, нежелание писать в дальнейшем вообще. Так, в конечном итоге, фильтруются упёртые и упоротые пользователи.
Время подкрепления
Хорошо, когда подкрепление даётся вовремя. Если вы говорите своей жене что-то типа: «Вчера ты выглядела просто превосходно», — это будет не так хорошо, как если бы вы сказали это сразу. Если вы попросили собаку сеть и она села, нужно тут же дать ей подкрепление. Когда она встанет будет точно поздно.
С дугой стороны, можно дать подкрепление слишком рано и это тоже не поможет делу. Подкрепление попыток не обязательно приведёт к результату. Например, если вы хвалите нового сотрудника просто за попытки, он может привыкнуть, что достаточно хорошенько пытаться, но результат необязателен.
Величина подкрепления
Каким должно быть подкрепление? —Чем меньше, тем лучше. Подкрепление должно быть легко перевариваемым и не должно превращаться во что-то очень значительное. Если вы тренируете животных — дайте им что-то, что они съедят за 5 секунд. У людей принято, что чем труднее работа, — тем сильнее и значительнее должно быть подкрепление.
А ещё бывает куш. Это в 100 раз больше обычного подкрепления и всегда неожиданно. Это может быть внезапный торт в офисе, принесённый руководителем без повода. Или это может быть спонтанная поездка в питерский ДивоОстров с детьми. Такое подкрепление (вроде как незаслуженное) тоже работает. Но оно должно быть внезапным и реально большим.
Условное подкрепление
Нам нравится новогодняя музыка, потому что это означает, что скоро Новый Год и будет интересный, и, я надеюсь, трезвый праздник. Мы не любим запах зубного кабинета, потому что за этим запахом следует зубосверление, иногда боль и куча потраченных денег и времени. Это, по сути, отложенные подкрепления: сначала идёт признак подкрепления, а потом само подкрепление. Деньги, за которые мы работаем, тоже являются условным подкреплением. Поработали > получили деньги > приобрели новый автомобиль.
Режимы подкреплений
Не нужно давать подкрепления вечно. Как только субъект научился нужному поведению вы можете давать подкрепления в случайном и непредсказуемом порядке. Если вы один раз научили ребёнка кататься на велосипеде, — вы не будете хвалить его в течение всей дальнейшей жизни. Это будет, как минимум, странно. Но именно редкие и спонтанные подкрепления станут тем стимулирующим моментом, который сможет поддержать поведение.
Пример из личной практики: если дизайнер работает на постоянном среднем (или чуть ниже среднего) уровне, то всплески геинальности служат таким подкреплением с его стороны. Я в такие моменты думаю: «он, конечно, негодяй, но иногда выдаёт очень хорошие вещи, которые нравятся заказчикам. Так что увольнять его пока что не нужно».
2. Процесс выработки
Когда субъект уже делает то, что нужно и просто нужно подкрепить это поведение — всё более-менее понятно. Но что делать, если нужное поведение ещё нет и подкреплять, как будто, и нечего?
Выработка состоит в том, чтобы использовать малейшую тенденцию к нужному поведению и шаг за шагом сдвигать её к поставленной цели. Разбейте конечную цель на ряд последовательных, более мелких, целей. Найдите какое-то поведение, которое осуществляется уже сейчас, как первый шаг. Часто происходит так, что субъект может выполнить нужную задачу (или её часть) случайно. В этом случае вам нужно обязательно заметить это поведение и его подкрепить.
Ниже перечислены 10 правил выработки, которые подробно разбирает автор. В рамках этой статьи подробное описание не влезет, но можно поверхностно с ними ознакомиться.
- Повышайте критерий понемногу, чтобы всегда была возможность выполнить требуемое и получить подкрепление.
- Отрабатывайте что-нибудь одно в конкретный промежуток времени. Не пытайтесь отрабатывать несколько критериев одновременно.
- Прежде, чем переходить к повышению уровня, подкрепите текущий
- Вводя новые критерии временно ослабьте старые
- Планируйте программу обучения так, чтобы всегда быть готовыми к резкому прогрессу в обучении
- Не меняйте тренеров в процессе выработки конкретного навыка
- Если один путь выработки не приносит успеха, найдите другой способ. Их много
- Не заканчивайте обучение, не дав положительного подкрепления. Это равносильно наказанию.
- Если навык ухудшается, — быстро пройдитесь по всему предыдущему процессу обучения, давая подкрепления
- Оканчивайте тренировку на высокой ноте. Конец обучения должен быть радостным, а не унылым.
3. Отучение
Карен Прайор также пишет и о процессе отучения. Т.е. когда есть какое-то нежелательное поведение, от которого вы хотите избавиться. Она приводит 8 принципов отучения. Первые четыре из них негативные, а вторые позитивные. Как вы можете догадаться, вторая половина принципов действует лучше и даёт сохраняющийся результат.
- Убить, удалить, избавиться. Просто убрать источник или органичить его так, чтобы он не смог физически выполнять нежелательное действие.
- Наказание. Поставить ребёнка в угол, ударить собаку палкой, лишить программиста премии
- Отрицательное подкрепление
- Угашение. Не обращаете внимание на нежелательное поведение. Не подкрепляете его никак: ни отрицательно, ни положительно.
- Выработка несовместимого поведения. Выработать такое новое поведение, которое будет несовместимо с нежелательным.
- Добиться, чтобы данное поведение совершалось по сигналу, а потом постепенно убрать этот сигнал
- Формирование отсутствия. Подкрепляется всё что угодно, кроме нежелательного поведения.
- Смена мотивации. Определите, почему и зачем происходит нежелательное поведение и попробуйте заменить цель поведения на более нужную/правильную.
PS: Карен Прайор много пишет о дрессировке животных, но эти же принципы можно так же успешно применять в нашей повседневной жизни. Я лично в процессе чтения книги замечал, как хорошо на меня лично действуют положительные подкрепления. Могу сказать, что овладев наукой, изложенной в книге, можно действительно получить +1 к общению, как это и объявлено на обложке книги.
Комментарии (30)
robux
05.04.2015 10:58+1Я так и не понял, почему «не рычите на собаку».
А вообще, вопрос мотивации один ключевых — всегда читаю с интересом.
PapaBubaDiop
05.04.2015 19:03Рычать на собаку очень помогает, особенно когда едешь на велосипеде с работы.
robux
06.04.2015 16:50+1Рычать не помогает. Но помогает горсть камней.
Летом регулярно проезжаю мимо территорий с собаками, заранее набираю камни и проезжая мимо прижигаю по задницам (ну или куда попадёт) собакам, бегущим на меня. Потом уже, завидев меня, они не выбегают из подворотни (как делают на всех других), а интеллигентно лают из-за забора :)
Vedomir
06.04.2015 14:29+1Книжку еще не читал, но судя по статье ответ видится такой:
Возьмём ситуацию со звонками детей родителям. Родители хотят, чтобы их дети им звонили как можно чаще, но дети часто этого не делают. Есть два варианта подкрепления. Положительный будет в том, что как только дети позвонят, — нужно им сказать: «как здорово, что ты позвонил». Звонящий с большой вероятностью захочет это повторить. Отрицательное подкрепление будет таким: «Почему ты так долго не звонил? Почему я должен каждый раз сам тебе звонить?». Тут сын не захочет звонить повторно, чтобы избежать таких ситуаций. Фактически, вы обучите его не звонить.
То есть обычно слишком часто используют отрицательно подкрепление и слишком редко положительное. Хотя я могу и ошибаться.robux
06.04.2015 17:21Про собак сначала. Выше уже немножко писал. В промзоне где работаю из-под каждых ворот выбегают зубатые псины и сразу кидаются, лают и слюной брызгают.
Женщины предпочитают их прикармливать, а я предпочитаю заранее набрать камней и взять палку. Палка для ближнего боя, а камни для дистанционного поражения. До палки редко доходит, потому как получив ещё на дистанции камнем и видя, что я буду давать жёсткий отпор, собаки предпочитают забежать обратно за свой забор и уже оттуда лаять.
С колбасой же они будут выбегать гарантированно (что они и делают, когда видят сердобольных женщин). Ну да, они виляют хвостом, даже если нет колбасы, и не трогают. Но кто знает, что у чужой собаки в голове — сегодня виляет, а завтра цапнет. Это ненадёжно.
Камни дешевле, чем колбаса, и надёжней. Их не надо заранее готовить, они всегда под рукой. И собаки с каждым разом всё менее охотно выбегают из-за своего забора. И в конце концов, увидев меня, вобще предпочитают, или лаять из-за забора, или продолжать спокойно лежать (знают, ни колбасы, ни доминирования со мной не обломится).
И это единственно правильно, я считаю. Собака должна охранять свою территорию, а не бегать по улице, бросаясь на прохожих/проезжих или стреляя колбасу. Ясно, что виноваты хозяева собак, которые не воспитали их должным образом (а я видел собак, выдержке коих позавидовало бы большинство гопников).
О чём я? К сожалению, люди недалеко ушли от зверей. Воспитание большинства людей находится на таком уровне, что положительное подкрепление на них не действует, и остаётся только отрицательное подкрепление.
Прихожу к мнению, что для мотивации и кнут, и пряник хороши. Тонкость заключается только в правильном дозировании, понятном для дрессируемого. Т.е. система мотивации должна быть максимально прозрачной для всех участников.
marked-one
08.04.2015 15:24То, что Вы делаете, это:
Убить, удалить, избавиться. Просто убрать источник или органичить его так, чтобы он не смог физически выполнять нежелательное действие.
Оно работает ровно до тех пор, пока Вы можете себе позволитьУбить, удалить, избавиться.
Думаю, вряд ли Вы будете кидаться камнями в свою собственную собаку и бить ее палкой, если она к Вам приблизится. Да и дети: посмел подойти слишком близко — сразу ремня? Начальники, коллеги, жена/муж, родители, домашние животные и т.п. — как к ним примените палку и камень? Мне кажется, если Вы работаете с кем-то совместно, то отрицательное подкрепление выйдет боком прежде всего Вам.
Другое дело, что в Вашей конкретной ситуации с собаками я, скорее, на Вашей стороне. Женщины, прикармливающие собак, решают свою проблему, но при этом создают проблемы для других людей, ходящих по этой дороге: на человека, их не покормившего собаки могут и напасть. Про хозяев я вообще молчу. К сожалению, подобных людей огромное количество, но это совсем отдельный разговор.
А от воспитания в данном случае ничего не зависит. Зависит от Вашей возможности влиять на конкретного человека (или животное), только и всего. Вот собаки плохо воспитаны, но на них Вы в данной ситуации повлиять можете, пользуетесь своей властью и реализуете эту возможность. А с их хозяевами Вы ничего сделать не сможете, пока не получите возможность влиять на них (став хорошим другом, уважаемым в их среде человеком, их начальником и так далее).
eugzol
06.04.2015 17:25+1В оригинале: «Don't shoot the dog» – не стреляйте в собаку. Насколько я понял, имеется в виду, что даже самую злобную собаку можно «передрессировать». Почему переводчики фантазируют такие названия – что с фильмами, что с книгами – это вопрос к качеству современного гуманитарного образования.
robux
06.04.2015 17:45Это в корне меняет дело, так как отрицательное (естественно, как и положительное) подкрепление не должно уничтожать (или необратимо травмировать) дрессируемого, а лишь воспитывать его и направлять в конструктивное русло. У меня по этому поводу целая теория есть с ключевым понятием «воспитательная контрдеструкция» :)
eugzol
06.04.2015 17:50> Это в корне меняет дело, так как отрицательное (естественно, как и положительное) подкрепление не должно уничтожать дрессируемого
Насколько я понимаю, культурный контекст, немного не так. Просто пристрелить злобного пса – это нормальное/рутинное дело для западных владельцев питомцев, типа дважды не подумают.
> а лишь воспитывать его и направлять в конструктивное русло. У меня по этому поводу целая теория есть с ключевым понятием «воспитательная контрдеструкция» :)
А что касается детей, то точно такой же принцип: по неким формальным тестам списать в дебилы, да и всех делов. После чего уже и у учителей, и у родителей, будет законное основание не заморачиваться с совершенствованием собственных воспитательских/педагогических навыков и т.д.
Что у вас за теория? :)robux
06.04.2015 18:14Нуу… вы уж крайние случаи привели ))
Ежедневно всё равно приходится быть мягше: кнут и пряник.
Полностью мою теорию мотивации можно почитать здесь.
Цитирую «мякотку»:
17) смысл воспитательной контрдеструкции (ВКД) – подвергать встречному разрушению агрессора до тех пор, пока он не признает, что только в процессе созидания возникают полезные вещи или идеи. цель ВКД: переключение человека от критики и разрушения к проектированию и созиданию
18) ВКД – это деструктивная реакция на деструктора с целью его перевоспитания, а именно переключения его из режима разрушения в режим созидания. «воспитательная» означает, что вы должны давить на разрушителя настолько сильно и до тех пор, пока он не согласится изменить своё поведение, но при этом не уничтожить его (как морально, так и физически)
19) ВКД исходит из того, что бесперспективно строить с человеком, который настроен на разрушение. Бесперспективно вести конструктивный диалог с человеком, который настроен деструктивно. Это всё равно, что строить дом под бомбёжками и артобстрелом. Ломать легче, чем строить. Тот кто критикует, всегда будет иметь преимущество перед тем, кто пытается вести конструктивный диалог. Если вы хотите достроить дом, пора отложить мастерок, выключить бетономешалку, садиться за зенитное орудие, в танк и подавить агрессора. При этом нужно стараться не уничтожить его, а заставить признать, что первичная цель человека – созидание. Только после этого можно возвращаться к строительству. В этом и заключается суть ВКД.
MAXH0
05.04.2015 11:35+1Отмечу, не как замечание автору, а как К.О., что конспект не передает и сотой доли всего очарования книги.
При должном старании книгу легко найти в сети в разнообразных форматах.
Скачивайте, читайте, наслаждайтесь.
Язык автора книги легок, идеи ясны, много забавных практических примеров которые заставляют взглянуть на процесс обучения и взаимодействия с людьми по новому.
Кстати, из поста у меня возникло ощущение, что топикпастер не разобрался (или сознательно упростил) чем отрицательное подкрепление отличается от наказания. Это зависит от времени подачи подкрепления. И в случае «мухи» получится именно наказание, которое работает слабо, в отличии от отрицательного подкрепления, которое работает не менее эффективно чем положительное.
navff Автор
05.04.2015 19:40+1Да. Автор прямо пишет, что отрицательное подкрепление реально работает. Более того, оно часто реально необходимо. Одновременно с этим она предлагает уделять большее внимание положительным подкреплениям.
А, язык книги очаровательный. Видимо, можно было включить в топик одну-две истории из книги, чтобы передать настроение. Учту на будущее.
Mixim333
05.04.2015 18:25Извините, но ни кому, кроме меня слова вроде: «Как только субъект научился нужному поведению вы можете давать подкрепления в случайном и непредсказуемом порядке.», а особенно: «Добиться, чтобы данное поведение совершалось по сигналу, а потом постепенно убрать этот сигнал» не напомнили опыты Павлова И.П. (я про собаку Павлова)? Блин, нет, я все понимаю, рефлексы и все такое, но в таком ключе.
А книжку нужно будет почитать, наверняка полезная и интересная.navff Автор
05.04.2015 19:27+1Это стиль автора. А автор — профессиональный дрессировщик. Она пишет об опыте работы с животными и в книге действительно много примеров из океанариумов и ипподромов. Но она так же приводит много примеров, как изложенные принципы работают с людьми. Поэтому в книге используется слова «объект» и «субъект», ибо это работает как для животных, так и для людей.
eugzol
06.04.2015 17:26Это школа Скиннера, а не Павлова. Крайне упрощённо говоря: Павлов воздействовал на внутренние ощущения субъектов, а Скиннер на их поведение.
Vedomir
06.04.2015 14:27Написал хороший пост, — получил плюс к карме. Написал плохой пост — на тебе отрицательное подкрепление и, как следствие, нежелание писать в дальнейшем вообще.
И вот здесь кстати огромная проблема в том что карма не привязана к статьям или комментариям и анонимна.
Очень часто бывает так что карму минусуют, но при этом все статьи и комментарии за последние пару недель заплюсованы, причем нередко счет плюсов там идет на десятки (в случае статей и на сотни).
За что минусуют понять невозможно. Кто минусует — тоже. По сути дела получается отрицательно подкрепление действия «писать статьи и комментарии».
Конечно положительно подкрепление сильно перевешивает, но все равно мне тут видится серьезная недоработка.
Может стоило бы +- к карме выводить рядом со статьями и комментариями, а автору в профиле показывать где именно их поставили?eugzol
06.04.2015 17:28Карен Прайор в книге пишет постоянно: задумайтесь, ЧТО ИМЕННО вы поощряете. Какое конкретно поведение сопоставлено подкреплению. Если задать такой вопрос для «кармы» – очевидный ответ – она поощряет конформность субъектов, следованию «генеральной линии партии» :) А не какое-то там качество постов или ещё что такое (хотя, косвенно, может и этому способствовать).
Vedomir
06.04.2015 17:36Сколько раз в статье подчеркивалось, что дрессируемый должен понимать, за что именно его дрессируют?
Проблема с анонимной кармой именно в том, что дрессируемый хабрапользователь не понимает, за что именно его поощряют.
Именно это я имел в виду.eugzol
06.04.2015 17:42Дрессировка работает на не рациональном уровне «понимания», а на глубоко бессознательном. То есть в независимости от того, понимает там что-то субъект или нет. Я понял, что вы имели в виду. Вы написали, как и что по-вашему должно поощряться. А я написал как по факту есть.
sergiks
09.04.2015 20:28Вернёмся к встреченному пока только дважды на странице слову «монетизация» – оба раза в тегах статьи.
Есть у меня сервис с бесплатным режимом, который большинство устраивает. Какими поощрениями можно склонять пользователей постепенно приобретать доп. опции?navff Автор
10.04.2015 06:42В Basecamp нет никаких поощрений. Просто через 60 дней вы не сможете пользоваться их охренительным продуктом. Продукт настолько крут, что никаких ачивок не нужно для того чтобы оставить человека на платной версии. Поощрение может быть только одно: крутая функция, которая нужна. Если на вашем платном тарифе добавляется «интеграция с gmail-календарём» или ещё что-то подобное, вы почти никого не убедите. Пример: Bitrix24 имеет бесплатный тариф со всем необходимым для малого предприятия функционалом и я вообще не собираюсь на платный тариф.
В общем случае, вы не можете заставить людей перейти на платную версию, не ограничив базовый функционал. Например, Slack даёт 10 тыс искабельных сообщений, а это месяца на три работы.
Но есть одна фишка, которая может заставить перейти на платную версию: сокращение рутины. Если у вас в бесплатном тарифе есть рутинные операции, а в платном их можно избежать, — это будут покупать. Например, регулярные повторяемые задачи, шаблоны, автоинформатор или что-то такое.sergiks
10.04.2015 08:56Разумеется, платный режим предлагает функции и расширенные лимиты, которые многие хотят, но обходятся и без них. Бесплатный обещан «навсегда», тут меня правила игры я не стану.
В этом и вопрос: «собака» не останется голодной. Но её надо как-то поощрить лучшей жизнью. Большинство даже не очень довольных своей нынешней жизнью не предпримут усилий её изменить. До тех пор, пока. Пока их не свозят за границу, и они не увидят сами, как ещё бывает. Пока у них не появится сосед, который знает, умеет и делает что-то там иначе, лучше.
Наверное, стоит случайным образом выбирать заинтересованных и давать им месяц про-режима бесплатно.
minamoto
15.04.2015 12:39По такому варианту работает Wargaming в своем проекте «World of Tanks». Платный премиум-аккаунт иногда дарится пользователям за некоторые достижения в игре, людям нравится пользоваться премиумом, но количества подаренного не хватает, и многие переходят к покупке.
Можете так же — пользователям, которые уперлись в ограничение, дарить про-режим на 1-2 дня, например, чтобы они почувствовали его удобство, но чтобы подарка не было достаточно, чтобы перекрыть все потребности, и осталась необходимость именно приобрести этот про-режим.
mattheus
Вроде и понимаешь умом, что человек просто продолжение животного царства, а не какое-то особенно выдающееся существо, а значит те же принципы дрессуры с положительным и отрицательным подкреплением на него будут действовать, но субъективно неприятно воспринимать себя субъектом дрессировки, даже если это положительно скажется на результатах работы или действиях в коллективе…
А что автор предлагает делать если человек осознает что его дрессируют? Ведь любой социальный прием работает до тех пор пока целевая группа не осознает самого факта направленного воздействия, а в IT не дураки работают, могут быстро догадаться что поисходит?
edwardspec
Если премия/похвала — попытка положительного подкрепления, то это ничем не менее приятно.
Вкусняшки собакам дают не потому, что считают их идиотами, а потому что нравится результат выполнения команд (и хочется, чтобы такие же хорошие результаты были и в будущем). Аналогично руководителю нравится результат вашей работы.
navff Автор
Ага. У меня, пока я читал книжку, складывалось какое-то двоякое впечатление по началу. Однако, задумавшись над тем, что происходит вокруг меня, я нашёл много примеров вокруг себя, как работают принципы, изложенные в книге. Это не выглядит аморально.
Пример: я поощряю некурящих сотрудников. Видят ли сотрудники, что это стимуляция? —Конечно, видят. Это им нравится? —Да, это безумно нравится всем некурящим сотрудникам.
binarydao
А чем от дрессировки отличается, к примеру, воспитание детей? Поощряем желаемое поведение, осуждаем нежелаемое.
Да и с точки зрения взрослого человека дрессура — это не так плохо. Сделал работу хорошо? Вот тебе положительная обратная связь. Сдал проект? Получи премию. Просто долго и усердно трудишься — почесали за ушком.
У нас я чаще встречал другую крайность, когда менеджеры апеллируют к суперэго: миссия компания, высокие горизонты, внутренняя ответственность, чистые идеалы подшипникостроения. И ты вроде бы понимаешь, зачем все это говорится, но не веришь. И видишь, что вещающий тоже не верит.
А вот в тортик или премию все верят.
eugzol
> У нас я чаще встречал другую крайность, когда менеджеры апеллируют к суперэго: миссия компания, высокие горизонты, внутренняя ответственность, чистые идеалы подшипникостроения. И ты вроде бы понимаешь, зачем все это говорится, но не веришь. И видишь, что вещающий тоже не верит.
Я вообще думаю, что разговоры о «манипуляциях» и «дрессировках» с этаким либеральным придыханием с подтекстом, мол, высоко развитому человеку все эти вещи и даже разговоры о них должны быть противны – они придуманы теми людьми, которые хотят получить некоторую полезную для себя работу совсем не выдавая исполнителю никакого поощрения :)
eugzol
> Ведь любой социальный прием работает до тех пор пока целевая группа не осознает самого факта направленного воздействия
Скажите мне, какая целевая группа не осознаёт направленного воздействия такого приёма, например, как выплата зарплаты и премии? :) И ничего: отбери эти поощрения, так подавляющее большинство людей (включая айтишников) перестанут делать эту работу. А так делают.