«Я слишком доверял исследованиям на малых выборках»: Даниэль Канеман и прайминг

Где вы это слышали

На Хабре в апреле 2025 года вышла статья о том, как продавать подписки в приложениях для iPhone «по науке», с опорой на нобелевского лауреата Канемана. Она пересказывает опыт из книги: студенты, которые составляли фразы из слов о старости, потом медленнее выходили из аудитории. Из опыта автор выводит совет: показывать на экране оплаты слова «успех» и «выгода», чтобы у человека возникла приятная связь с платным тарифом. В блоге сервиса Yagla тот же опыт описан так: участники «стали двигаться гораздо медленнее, хотя им и было 18-20 лет». Ни в одном из этих текстов нет ни слова о том, что опыт не повторился.

Кто это был

Даниэль Канеман родился в 1934 году в Тель-Авиве, детство провел во Франции. Вместе с Амосом Тверски он с 1970-х годов изучал, как люди ошибаются, когда принимают решения в условиях неопределенности. За эти работы, из которых выросла поведенческая экономика, Канеман в 2002 году получил Нобелевскую премию по экономике. Тверски до премии не дожил: он умер в 1996 году. Канеман умер 27 марта 2024 года в возрасте 90 лет.

Книгу «Thinking, Fast and Slow» он выпустил в 2011 году. В ней две системы мышления: быстрая, которая срабатывает сама, и медленная, которая требует усилия. Издатель пишет, что продал больше 2,6 млн экземпляров. По-русски она вышла в 2013 году в издательстве АСТ под названием «Думай медленно… решай быстро».

Что написано в книге

Прайминг Канеман описывает в четвертой главе, «The Associative Machine», то есть «Ассоциативная машина». Прайминг означает подготовку: слово или образ, которые человек только что видел, влияют на то, что он подумает и сделает дальше, причем сам он этого не замечает.

Главный пример главы — опыт психолога Джона Барга из Нью-Йоркского университета, опубликованный в 1996 году. Студенты составляли фразы из наборов слов, и в одной группе среди них попадались слова, связанные со старостью: «Флорида», «забывчивый», «лысый», «седой», «морщины». Потом студентов отправляли в другую комнату, и экспериментатор незаметно засекал, сколько времени они идут по коридору. Те, кто читал слова о старости, шли медленнее. Канеман называет это «эффектом Флориды».

Рядом в главе стоят другие опыты того же рода: люди, которым показывали изображения денег, становились менее отзывчивыми к другим; в офисной кухне, где за чай и кофе платили в ящик честности, денег оставляли больше в те недели, когда над ящиком висела картинка с глазами. Вывод главы Канеман формулирует жестко: читатель, которому трудно поверить в такие результаты, должен принять, что они верны, потому что «disbelief is not an option», неверие здесь не вариант.

2012: опыт не повторился

В январе 2012 года бельгийские психологи из Брюссельского свободного университета под руководством Стефана Дойена опубликовали в журнале PLoS ONE попытку повторить опыт Барга. Скорость ходьбы они мерили не секундомером, а инфракрасными датчиками, и участников взяли вдвое больше: 120 человек против 60 у Барга. Эффекта не было. Во втором опыте половине экспериментаторов сказали, что студенты после слов о старости пойдут медленнее, а другой половине, что быстрее. Замедление появилось только у тех, кто его ждал. Это подтвердили и датчики: студенты правда шли медленнее, но только рядом с экспериментатором, который этого ожидал. На опросе после опыта выяснилось, что часть участников заметила, о чем были слова. Их вывод: на походку действуют слова вместе с ожиданиями экспериментатора.

26 сентября 2012 года Канеман разослал письмо исследователям социального прайминга. Список адресатов ему, как он пишет, составил в основном сам Барг. Канеман называет себя «general believer», человеком, который в целом верит в этот эффект, и предупреждает: «I see a train wreck looming», он видит, что надвигается крушение. Область, пишет он, стала главным примером сомнений в честности психологических исследований, и первыми пострадают молодые ученые, которые ищут работу. В письме он предлагает выход: пять авторитетных лабораторий выбирают по одному эффекту, в который больше всего верят, и проверяют их по кругу: лаборатория B повторяет опыт лаборатории A, лаборатория C повторяет опыт B, и так до замыкания цепочки. Результаты публикуются в любом случае. Затраты он оценивает в десять поездок: каждая лаборатория отправляет человека посмотреть, как опыт ведут у соседа, и проверить, как его повторяют у нее самой.

Что случилось с остальными опытами

Опыты с деньгами проверили отдельно. В 2015 году Дуг Рорер, Гарольд Пашлер и Кристин Харрис провели четыре больших эксперимента, повторяя опыты о том, как вид купюр меняет взгляды человека на неравенство и рынок. Эффекта не нашлось ни в одном. В 2019 году группа Пола Лоддера свела 246 экспериментов с денежным праймингом в мета-анализ. Средний эффект вышел заметным, но авторы нашли признаки того, что журналы чаще печатали удачные опыты, и попросили проверять эффект заранее зарегистрированными исследованиями с большой выборкой.

2 февраля 2017 года психологи Ульрих Шиммак, Мориц Хене и Камини Кесаван разобрали все исследования, на которые опирается четвертая глава: 31 опыт из 12 статей. Все 31 опыт показали значимый результат, хотя при таких маленьких выборках часть опытов должна была ничего не показать, даже если эффект настоящий. Их вывод: исследования из главы нельзя считать доказательством того, что незаметные сигналы сильно меняют поведение человека.

Под этим разбором Канеман оставил комментарий. «What the blog gets absolutely right is that I placed too much faith in underpowered studies», пишет он: главное блог понял верно, он слишком доверял исследованиям, где участников было явно недостаточно. Экспериментальные доказательства идей главы, по его словам, оказались значительно слабее, чем он считал, когда писал книгу, и это его ошибка, потому что он знал все, что нужно, чтобы умерить восторг. Ирония в том, что первая совместная статья Канемана и Тверски, 1971 года, была как раз о том, что исследователи слишком доверяют малым выборкам. От самой идеи Канеман не отказался: в том же комментарии он пишет, что по-прежнему верит, что действия можно подготовить незаметным сигналом, только эффект не может быть таким большим и надежным, как выходило в главе. Сайт Retraction Watch, который следит за ошибками и отзывами научных статей, связался с Канеманом, и он подтвердил, что комментарий оставил сам.

Что из этого правда сейчас

Прайминг как явление никуда не делся. Если человек только что видел слово «врач», слово «медсестра» он узнает быстрее: такие опыты на время реакции Дэвид Мейер и Роджер Шваневельдт описали в 1971 году, и с тех пор они повторяются в лабораториях. Под вопросом другое: правда ли, что одно прочитанное слово заметно меняет поступок, например походку, щедрость или готовность заплатить.

В 2023 году группа Долорес Альбаррасин свела в журнале Psychological Bulletin 351 исследование о том, как прайминг меняет поведение, и нашла эффект средней силы, который сохраняется и после поправки на выборочную публикацию, хотя становится меньше. Заранее зарегистрированных среди 224 работ в этом своде оказалось три. Эффект Флориды при этом остается опытом, который не повторился, когда экспериментатор не знал, чего ждать.

Как это пересказывает отрасль

Маркетинговые тексты берут из главы ровно то, что в ней написано в 2011 году: слово на экране меняет поведение человека, и этим можно управлять. Опыт Барга идет как доказательство, деньги и глаза над ящиком идут как готовые приемы для страницы оплаты и витрины. Письмо 2012 года, повторы Дойена и Рорера и комментарий 2017 года в эти тексты не попадают, хотя все они лежат в открытом доступе.

Комментарий Контекстемы

Канеман признал ошибку там же, где его критиковали: в комментарии под разбором своей главы, и объяснил, в чем она. Сведений о том, что четвертую главу правили в переизданиях, мы не нашли, так что читатель книги получает версию 2011 года, а поправку автора нужно искать отдельно.

Маркетологу из этой истории полезно взять проверку, а не прием. Если совет опирается на один эффектный опыт из популярной книги, стоит найти, повторяли ли этот опыт и что сказал о нем сам автор позже. Для эффекта Флориды на это уходит одна поисковая строка.

Пересказ: близко к тексту, от которого отошел автор. Отрасль точно передает четвертую главу «Думай медленно… решай быстро» 2011 года. Сам Канеман в 2017 году написал, что доказательства в этой главе значительно слабее, чем он считал, а опыт Барга не повторился, когда экспериментатор не знал, чего ждать.

Источники: Daniel Kahneman, письмо «A proposal to deal with questions about priming effects», 26.09.2012, опубликовано Nature (PDF); Ed Yong, «Nobel laureate challenges psychologists to clean up their act», Nature, 03.10.2012; S. Doyen, O. Klein, C.-L. Pichon, A. Cleeremans, «Behavioral Priming: It’s All in the Mind, but Whose Mind?», PLoS ONE, 18.01.2012; U. Schimmack, M. Heene, K. Kesavan, «Reconstruction of a Train Wreck: How Priming Research Went off the Rails», Replicability-Index, 02.02.2017, с комментарием Д. Канемана; Retraction Watch, «“I placed too much faith in underpowered studies:” Nobel Prize winner admits mistakes», 20.02.2017; D. Rohrer, H. Pashler, C. R. Harris, «Do subtle reminders of money change people’s political views?», Journal of Experimental Psychology: General, 2015; P. Lodder и др., «A comprehensive meta-analysis of money priming», Journal of Experimental Psychology: General, 2019; W. Dai, D. Albarracín и др., «Priming Behavior: A Meta-Analysis of the Effects of Behavioral and Nonbehavioral Primes on Overt Behavioral Outcomes», Psychological Bulletin, 2023; D. E. Meyer, R. W. Schvaneveldt, «Facilitation in recognizing pairs of words», Journal of Experimental Psychology, 1971; Princeton University, некролог Д. Канемана, 28.03.2024; издательство АСТ, «Думай медленно… решай быстро»; Хабр, «Продаем iOS-подписки по науке: нобелевский лауреат Канеман и поведенческая экономика», 29.04.2025; блог Yagla, «Прайминг-эффект, или Психологическое программирование в маркетинге».