Механизм усовершенствования принятия решений

Реферат

По дисциплине: «СТРАТЕГИЧЕСКИЙ МЕНЕДЖМЕНТ»

На тему:

«КАК УСОВЕРШЕНСТВОВАТЬ ПРИНЯТИЕ РЕШЕНИЙ?»

г. Москва – 2009 г.

ВВЕДЕНИЕ

Дэниел Канеман, Амос Тверски и другие исследователи описали специфические ловушки разума (когнитивные искажения), в которые попадают лица, принимающие решения (ЛПР). В результате мы теперь можем с поразительной точностью и надежностью объяснять, как люди принимают решения. Более того, благодаря нормативным моделям экономической теории мы имеем ясное представление о том, каким именно в идеале может быть принятие решений. Если бы мы все поступали оптимально, то издержки и выгоды всегда были бы точно взвешены, нетерпения не существовало, важная информация не игнорировалась, а поведение всегда соответствовало нравственным установкам. К сожалению, мы очень плохо понимаем, как помочь людям преодолеть многочисленные ловушки их разума и начать поступать оптимально.

САМЫЙ ВАЖНЫЙ ВОПРОС

Мы полагаем, что пришло время сделать шаг в изучении когнитивных искажений в суждениях и принятии решений от описания к разработке принципов их преодоления. Хотя предыдущие исследования выявили ряд важных находок для усовершенствования принятия решений, мы уверены, что еще множество других откровений ждут своего часа. Мы надеемся, что в ближайшие годы ученые, занимающиеся изучением суждений и принятия решений, сконцентрируют свое внимание на поиске принципов преодоления искажений и постараются найти ответ на самый важный вопрос: как нам усовершенствовать принятие решений?

ПОЧЕМУ ЭТОТ ВОПРОС ТАК ВАЖЕН?

Ошибки обходятся дорого

Мы считаем, что важность данного вопроса очевидна: решения приводят к важным результатам для отдельных лиц, семей, компаний, правительств и обществ. Развитие знания о том, как улучшить эти результаты, принесут выгоду всем этим людям, коллективам и учреждениям. В конце концов, из-за ошибок, вызванных искажениями в суждениях, лица, принимающие решения, откладывают недостаточно пенсионных сбережений, вступают в ненужные конфликты, заключают браки с неподходящими партнерами, выбирают неудачную работу и понапрасну вторгаются в чужие страны. С учетом значительных издержек, порождаемых принятием неоптимальных решений, для нашей научной дисциплины очень важно сконцентрировать усилия на усовершенствовании знаний о принципах, которые могут привести к принятию более правильных решений.

Ошибки будут обходиться еще дороже

Издержки от неоптимальных решений уже значительно выросли со времени первых исследований когнитивных искажений, начавшихся 50 лет назад. По мере того как основа экономики все больше смещалась от сельского хозяйства к промышленности, важность оптимального принятия решений возрастала. А уж в экономике, основанной на знаниях, хорошее решение — это основной продукт интеллектуального работника2. Кроме того, слишком большое количество информации, дефицит времени, необходимость одновременного выбора и другие ограничения вносят искажения в решения все большего числа людей. Наконец, с возрастанием глобализации экономики каждое искаженное решение, по-видимому, будет иметь последствия для все более широких слоев общества.

ЛПР готовы воспринимать новые идеи

Исследования по принятию решений актуальны для бизнесменов, врачей, политиков, юристов, частных лиц и многих других категорий, для которых неспособность сделать оптимальный выбор может стоить особенно много. Ограничения, открытые исследователями в нашей сфере, освещены достаточно широко, на них обращают внимание студентов многих общеобразовательных и профессиональных программ обучения. Те, кого мы опрашивали, жаждут научиться практическому применению накопленных нами знаний об искажениях в принятии решений, чтобы улучшить собственные результаты. При этом наша дисциплина в первую очередь предлагает описание ловушек, которые мешают ЛПР, а не понимание того, как их можно избежать или хотя бы сократить.

Нас ждут новые открытия

Активизация наших усилий по разработке методов совершенствования принятия решений должна принести дополнительные выгоды исследователям, интересующимся умственными процессами, лежащими в основе искаженного суждения. Благодаря тщательному изучению того, что может, а что не может улучшить принятие решений, исследователи наверняка сформируют лучшее понимание механизмов, лежащих в основе ошибок в принятии решений. Это углубит наше и так значительное понимание принятия решений.

ЧТО СЛЕДУЕТ ДЕЛАТЬ, ЧТОБЫ ОТВЕТИТЬ НА ГЛАВНЫЙ ВОПРОС?

Положим, мы осознали важность выявления принципов предотвращения ошибок при принятии решений. Следующий вопрос: с чего начать? Чтобы ответить на него, мы сначала вкратце обсудим, как мы определяем, что есть «оптимальное решение». Затем мы обобщим разрозненные знания, которые были накоплены за последние десятилетия учеными в сфере суждений о том, как уменьшить искажения при принятии решений. Наш анализ существующей литературы структурирован таким образом, чтобы выделить наиболее перспективные направления дальнейших исследований для устранения когнитивных ловушек в принятии решений.

Оптимальное принятие решений

Как упоминалось в начале статьи, мы полагаем, что нормативные модели из экономической теории предлагают разумные критерии оптимальности для принятия решений. Согласно этим моделям, предпочтения должны быть транзитивными и нечувствительными к незначительным изменениям в контексте. Кроме того, выявленные предпочтения должны согласовываться с заявленными предпочтениями3, а математические ошибки в суждениях не должны быть систематическими (если только для их предотвращения не требуется особой способности к вычислениям). Мы также добавили условие, чтобы лицо, принимающее решения, оставалось уверенным в правильности своего выбора не только до, но и после того, как выбор сделан (по результатам тщательного, хладнокровного размышления). Наконец, мы постулируем, что оптимальное решение — это решение, которое ЛПР будет считать правильным выбором независимо от того, оценивает ли оно собственное решение или чужое.

Преодоление ловушек: первые неудачи

Прежде чем мы начнем обсуждать успешные подходы к усовершенствованию принятия решений, важно отметить, насколько сложным оказался поиск ответов, несмотря на значительные усилия. В 1982 г. Фишхофф [12] проанализировал результаты четырех стратегий, которые предлагались в качестве средств против искаженний в принятии решений:

предупреждение ЛПР о возможности искажений;

указание направления воздействия искажений;

обеспечение обратной связи по результатам;

обширная программа обучения с коучингом, обратной связью и другими мерами воздействия для улучшения суждений.

Согласно исследованиям Фишхоффа, подвергавшимся в последующие 25 лет тщательной проверке, первые три стратегии практически не дают результата, и даже интенсивная персонифицированная обратная связь дала лишь умеренное улучшение в принятии решений [4]. Подобный итог является неутешительным для психологов и экономистов, надеявшихся, что их исследования смогут усовершенствовать суждения людей и их способность к принятию решения.

Система 1 и Система 2

Мы считаем, что разграничение когнитивной функции человека на Систему 1 и Систему 2, предложенное Становичем и Вестом [32], дает полезную систему координат для упорядочивания и существующих знаний о результативных принципах улучшения принятия решений, и будущих находок в этой области. Термин «Система 1» обозначает наше интуитивное мышление, как правило быстрое, автоматичное, не требующее усилий, неявное и эмоциональное. Система 2 — это логическое мышление, более медленное, осознанное, затратное, явственное и формальное.

Людям часто не хватает важной информации, влияющей на выбор, при этом доступную информацию они могут не заметить, еще они сталкиваются с дефицитом времени и средств и способны хранить в оперативной памяти относительно малый объем информации. Чем больше люди заняты, чем больше им приходится держать в голове, с чем большей нехваткой времени они сталкиваются, с тем большей вероятностью они будут полагаться на когнитивную Систему 1. И это не всегда ошибочно. Во многих ситуациях мышление в Системе 1 ведет к принятию превосходных решений путем повышения эффективности без ущерба для качества4. Существуют также свидетельства, что в ситуации эмоционального выбора (такого как выбор супруга или произведения искусства) когнитивная Система 2 может привести к решениям, о которых люди впоследствии будут жалеть [37–39]. К тому же было продемонстрировано, что неосознаваемое мышление приводит к лучшему выбору, чем осознаваемое, в решении некоторых сложных задач, таких как выбор квартиры, основанный на детализированных данных [10]. Однако в тех ситуациях, когда мы знаем, что искажения суждений могут принести вред (например, в оценке разнообразных соискателей, в оценке процента нашего вклада в групповой проект, в выборе между покупками и сбережениями), опора исключительно на Систему 1, скорее всего, приведет нас к дорогостоящим ошибкам.

Важный вопрос: возможен ли переход из Системы 1 в Систему 2, когда это необходимо?

Существуют ситуации, для которых заведомо известно, что люди в них подвержены когнитивному искажению того или иного специфического типа. Для таких ситуаций был открыт целый ряд многообещающих приемов преодоления искажений путем перевода мышления ЛПР из Системы 1 в Систему 25. Один из таких успешных приемов основан на замене интуиции на формальный аналитический процесс. Например, если для конкретного процесса принятия решения имеются исторические данные об исходной информации и результатах, то ЛПР может построить линейную модель, т.е. формулу, взвешивающую и суммирующую соответствующие независимые переменные (параметры регрессии) для получения количественного прогноза новых результатов. Исследователи обнаружили, что линейные модели генерируют прогнозы значительно лучше, чем эксперты в самых различных предметных областях [9]. Так, Д. Мур и его коллеги [23] провели исследование интерпретации оценок аттестатов выпускников средних школ, продемонстрировавшее ценность линейных моделей в принятии решений о найме на работу, приеме в вуз и других видах отбора. Было показано, что члены вузовских приемных комиссий при сравнении кандидатов из разных школ не способны учитывать разную степень снисходительности при выставлении оценок в школе абитуриента. Авторы исследования доказали, что таких ошибок можно легко избежать, построив линейную модель (например, рассчитывать стандартизированный средний балл абитуриента путем нормирования с учетом среднего балла его школы). В целом мы считаем, что использование линейных моделей может помочь ЛПР избежать ошибок, связанных со многими типами когнитивных ловушек, но пока этот метод был апробирован лишь в небольшой части потенциально пригодных областей.

Другой прием, активизирующий мышление в Системе 2, заключается во взгляде извне: необходимо попытаться мысленно устранить себя из конкретной ситуации или начать рассматривать весь спектр решений, к которому относится текущая проблема [16]. Переход на позицию стороннего лица уменьшает чрезмерную уверенность6 ЛПР относительно своих знаний [13], времени, которое им потребуется для завершения задачи [16], а также оценку ими собственных шансов на предпринимательский успех [8]. Лица, принимающие решения, могут также усовершенствовать свои суждения, спросив стороннее лицо о его / ее мнении относительно решения.

Другое исследование о действенности перевода мышления людей в Систему 2 показало, что простое поощрение людей к рассмотрению противоположных вариантов решений сокращает ошибки в суждениях независимо от их природы.

Это справедливо для таких особо стойких искажений, как чрезмерная уверенность, суждение задним числом и «якорение»7 [17, 25]. Исследователям также удалось успешно нейтрализовать часть ошибок в суждениях, обычно классифицируемых как результат применения эвристики [36].

Результат достигался следующими способами:

замена индивидуальных решений на групповые;

обучение ЛПР статистическим методам;

наделение ЛПР ответственностью за принимаемые решения.

Один из перспективных приемов преодоления искажений заключается в целенаправленном стимулировании включения Системы 2. Целенаправленность предполагает нейтрализацию именно того когнитивного механизма, который предположительно является источником обнаруженных искажений. В исследовании, посвященном суждению задним числом (тенденции преувеличивать степень, с которой ЛПР могло предвидеть тот или иной результат в момент предсказания), Слович и Фишхофф [31] разработали гипотезу о механизме возникновения искажений. Они предположили, что суждение задним числом является результатом неспособности субъекта воспользоваться имеющимися в наличии знаниями и силой логического вывода. Вооружившись этой идеей, исследователи выдвинули предположение, что люди будут менее подвержены влиянию искажений, если их снабдить сведениями, противоречащими принятому ими решению. Результаты исследований подтвердили гипотезу Словича и Фишхоффа. Отсюда следует, что наиболее успешные направления для исследователей, ищущих, как сократить искажения эвристических решений, могут быть основаны на «понимании когнитивных процессов человека и гипотез на этот счет» [12, с. 431] и того, как эти процессы могут привести к тому или иному искажению. Следуя этому подходу, другая группа ученых сделала предположение, что требование незаслуженного признания происходит от излишнего внимания к оценке лишь собственного вклада ЛПР при игнорировании вклада других членов коллектива.

Они обнаружили, что требование оценивать не только свой вклад, но также и вклад других сокращает этот эффект [28].

Другое многообещающее направление, также изучающее, как Система 2 может помочь преодолеть ошибки Системы 1, показало, что можно использовать рассуждения по аналогии для уменьшения ограничений осведомленности ЛПР (об ограниченной осведомленности см. [2]). Опираясь на работу Томсона, Гентнера и Левенштейна [35], в двух последовательных исследованиях [14, 24] было установлено, что ЛПР, которых обучали видеть и понимать общие принципы, лежащие в основе набора, казалось бы, несвязанных задач, впоследствии демонстрировали лучшую способность нахождения решений в новой ситуации, основанной на том же общем принципе. Эта работа согласуется с наблюдениями Томпсона и его коллег [35] о том, что внешние детали в ситуации обучения часто отвлекают нас от видения основополагающих обобщенных принципов. Оказывается, рассуждения по аналогии дают надежду на преодоление данного барьера в сторону усовершенствования решений.

Работы по сравнению совместного и раздельного рассмотрения вариантов решений предполагают, что люди могут перейти от неоптимальной Системы 1 к более совершенной Системе 2, когда они принимают во внимание множество вариантов и выбирают сраз у между всеми, нежели когда они принимают или отвергают каждый вариант по отдельности. Например, Базерман, Уайт и Левенштейн [5] доказали, что люди проявляют более ограниченный личный интерес8, оценивая каждый раз по одному варианту, нежели когда они рассматривают множество вариантов сразу.

Те же авторы ранее показали [3], что люди демонстрируют меньше силы воли при взвешивании вариантов выбора по отдельности, нежели совместно.

Результаты исследований, изложенные выше, наводят на мысль, что любое изменение контекста, активизирующее хладнокровное мышление Системы 2, способно сократить распространенные искажения, являющиеся результатом опрометчивости, импульсивности и озабоченности относительным (субоптимальным) результатом.

Действительно, сравнительные исследования совместного и раздельного принятия решений указывают на тот факт, что наши первые порывы скорее эмоциональные, нежели логические [22].

В той же области получено еще несколько наводящих на размышление результатов, например, что сила воли ослабевает, когда люди находятся в ситуации экстремальной умственной нагрузки [29] или когда они не имеют опыта в той предметной области, в которой совершается выбор [20]. Еще одно исследование показало, что люди принимают менее импульсивные и неоптимальные решения в самых разных сферах, если они делают выбор задолго до наступления его последствий (см. обзор в [20]).

Вопрос, который мы задаем в свете всех этих исследований, звучит следующим образом: когда и как тщательно отобранные, стимулирующие когнитивную функцию изменения контекста могут быть максимально использованы для сокращения влияния искажений при принятии решений?

Другой важный вопрос: а можем ли мы задействовать Систему 1 для усовершенствования принятия решений?

Альберт Эйнштейн однажды сказал: «Мы не можем решить проблему тем же способом мышления, посредством которого мы ее создавали». Однако похоже, что неосознаваемая мыслительная система действительно может делать именно это.

В последние годы Р. Тэйлер, К. Санстейн и их сотрудники предложили новый общий подход к улучшению искаженных решений, который задействует автоматические когнитивные процессы в наших интересах [33]. Вместо попытки переключить мышление ЛПР из Системы 1 в Систему 2 (в ситуациях, когда известно, что обработка информации Системой 1 часто приводит к искажению решений) данный подход пытается изменить окружение таким образом, чтобы Система 1 начала производить хороший результат. Данный тип стратегии усовершенствования, который Тэйлер и Санстейн в подробностях обсуждают в своей книге Nudge9 [34], обращен к людям, которые конструируют ситуации для осуществления выбора (это могут быть сами ЛПР или другие «архитекторы выбора») таким образом, чтобы максимизировать шансы совершения мудрого выбора, несмотря на известные искажения. Например, искажение, поощряющее бездействие, создает предпочтение для опций по умолчанию [27]. «Архитекторы выбора» могут использовать это наблюдение для усовершенствования принятия решений, позаботившись о том, чтобы выбор по умолчанию был с большой вероятностью выбором, наилучшим для ЛПР и/ или для общества. Например, сделав пенсионный план 401(k)10 выбором по умолчанию, можно добиться значительного роста уровня сбережений сотрудников [6].

Также было получено многообещающее свидетельство того, что эксплуатация особенностей мышления Системы 1 для усовершенствования выбора, характерного для этой же системы, может быть особенно результативна в области тех искажений, наличие которых люди не любят признавать или не верят в то, что они им подвержены.

Например, многие из нас подвержены скрытым расовым предрассудкам, но стыдятся в них признаться даже самим себе. Осознанные усилия «сделать лучше» при прохождении тестов на такие скрытые предубеждения обычно оказываются тщетными [26]. Однако испытуемые, ощущающие во время теста влияние чернокожего экспериментатора, а не белого, демонстрировали меньший уровень скрытых расовых предрассудков [7, 19].

Результаты такого приема «измените окружение» резко контрастируют с провалом подхода «старайтесь усерднее», который полагается на сознательные усилия.

В качестве резюме данного раздела мы зададим вопрос: «Могут ли решения, преодолевающие искажения, само наличие которых люди отказываются признавать, быть найдены внутри той же самой автоматической системы мышления, которая этот класс проблем и порождает?»

ЗАКЛЮЧЕНИЕ

Люди весьма доверяют своей интуиции. Последние 50 лет исследований в сфере принятия решений подвергают сомнению эту веру для широкого спектра ситуаций. Ключевая задача психологов здесь — определение того, как и в каких ситуациях следует пытаться перейти от интуитивно притягательной когнитивной Системы 1 к более склонной к размышлению когнитивной Системе 2, а когда стоит конструировать ситуации, заставляющие Систему 1 работать во благо ЛПР. Безусловно, второстепенные решения не нуждаются в полноценном запуске процессов Системы 2 или в новой «архитектуре» принятия решений. Кроме того, для активного использования Системы 2 или изменения «архитектуры» выбора не подходят ситуации, в которых люди и так не склонны к искажениям или очевидно получают выгоду от автоматического процесса. Однако чем глубже мы понимаем суть искажений, порождаемых Системой 1 в самых разнообразных ситуациях, тем более привлекательны для нас проверенные на практике в этих ситуациях приемы достижения лучших решений. Описательных исследований за последние десятилетия было проведено немало. Поэтому данная статья призывает к интенсификации работ уже в области стратегий совершенствования решений.

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. BarghJ.A., FergusonM.L. (2000). «Beyond behaviorism: on the automaticity of higher mental processes». Psychological Bulletin, Vol. 126,рр. 925–945.

2. Bazerman M.H., Chugh D. (2005). «Bounded awareness: focusing failures in negotiation». In: Thompson L. (Ed.). Frontiers of Social Psychology: Negotiation. New York: Psychological Press.

3. Bazerman M.H., Loewenstein G.F., White S.B. (1992). «Reversals of preference in allocation decisions: Judging an alternative versus choosing among alternatives». Administrative Science Quarterly, Vol. 37, pp. 220–240.

4. Bazerman M.H., Moore D. (2008). Judgment In Managerial Decision Making (7th ed.). Hoboken, NJ, Wiley.

5. Bazerman M.H., White S.B., Loewenstein G.F. (1995). «Perceptions of fairness in interpersonal and individual choice situations». Current Directions in Psychological Science, Vol. 4, pp. 39–43.

6. Benartzi S., Thaler R.H. (2007). «Heuristics and biases in retirement savings behavior». Journal of Economic Perspectives, Vol. 21, pp. 81–104.

7. Blair I.V. (2002). «The malleability of automatic stereotypes and prejudice». Personality & Social Psychology Review, Vol. 6, pp. 242–261.

8. Cooper A.C., Woo C.Y., Dunkelberg W.C. (1988). «Entrepreneurs’ perceived chances for success». Journal of Business Venturing, Vol. 3, pp. 97–109.

9. Dawes R.M. (1971). «A case study of graduate admissions: application of three principles of human decision making». American Psychologist, Vol. 26, pp. 180–188.

10. Dijksterhuis A. (2004). «Think different: the merits of unconscious thought in preference development and decision making». Journal of Personality and Social Psychology, Vol. 60, pp. 817–830.

11. Dijksterhuis A., Nordgren L.F. (2006). «A theory of unconscious thought». Perspectives on Psychological Science, Vol. 1, pp. 95–109.

12. Fischhoff B. (1982). «Debiasing». In: Kahneman D., Slovic P., Tversky A. (Eds.). Judgment Under Uncertainty: Heuristics and Biases (pp. 422–444).

Cambridge, United Kingdom: Cambridge University Press.

13. Gigerenzer G., Hoffrage U., Kleinbolting H. (1991). «Probabilistic mental models: a brunswikian theory of confidence». Psychological Review, Vol. 98, pp. 506–528.

14. Idson L.C., Chugh D., Bereby-Meyer Y., Moran S., Grosskopf B., Bazerman M. (2004). «Overcoming focusing failures in competitive environments». Journal of Behavioral Decision Making, Vol. 17, pp. 159–172.

15. Jolls C., Sunstein C.R., Thaler R. (1998). «A behavioral approach to law and economics». Stanford Law Review, Vol. 50, pp. 1471–1550.

16. Kahneman D., Lovallo D. (1993). «Timid choices and bold forecasts: a cognitive perspective on risk and risk taking». Management Science, Vol. 39, pp. 17–31.

17. Larrick R.P. (2004). «Debiasing». In: Koehler D.J., Harvey N. (Eds.). Blackwell Handbook of Judgment and Decision Making (pp. 316–337), Oxford, United Kingdom: Blackwell.

18. Lerner J.S., Tetlock P.E. (1999). «Accounting for the effects of accountability». Psychological Bulletin, Vol. 125, pp. 255–275.

19. Lowery B.S., Hardin C.D., Sinclair S. (2001). «Social influence effects on automatic racial prejudice». Journal of Personality and Social Psychology, Vol. 81, pp. 842–855.

20. Milkman K.L., Rogers T., Bazerman M. (2008). «Harnessing our inner angels and demons: what we have learned about want / should conflict and how that knowledge can help us reduce shortsighted decision making». Perspectives on Psychological Science, Vol. 3, pp. 324–338.

21. Milkman K.L., Rogers T., Bazerman M. (2009). «Highbrow films gather dust: time-inconsistent preferences and online DVD rentals». Management Science, Vol. 55, pp. 1047–1059.

22. Moore D., Lowenstein G. (2004). «Self-interest, automaticity, and the psychology of conflict of interest». Social Justice Research, Vol. 17, pp. 189–202.

23. Moore D.A., Swift S.A., Sharek Z., Gino F. (2009). Correspondence Bias in Performance Evaluation: Why Grade Inflation Works (Working Paper 2004-E42). Manuscript submitted for publication,Carnegie Mellon, Pittsburgh, PA.

24. Moran S., Bereby-Meyer Y., Bazerman M.H. (2008). «Stretching the effectiveness of analogical training in negotiations: teaching diverse principles for creating value». Negotiation and Conflict Management Research, Vol. 1, pp. 99–134.

25. Mussweiler T., Strack F., Pfeiffer T. (2000). «Overcoming the inevitable anchoring effect: considering the opposite compensates for selective accessibility». Personality and Social Psychology Bulletin, Vol. 26, pp. 1142–1150.

26. Nosek B.A., Greenwald A.G., Banaji M.R. (2007). «The Implicit Association Test at age 7: a methodological and conceptual review». In: Bargh J.A. (Ed.). Social Psychology and the Unconscious: the Automaticity of Higher Mental Processes. New York: Psychology Press.

27. Ritov I., Baron J. (1992). «Status-quo and omission biases». Journal of Risk & Uncertainty, Vol. 5, pp. 49–61.

28. Savitsky K., Van Boven L., Epley N., Wight W. (2005). «The unpacking effect in responsibility allocations for group tasks». Journal of Experimental Social Psychology, Vol. 41, pp. 447–457.

29. Shiv B., Fedorikhin A. (1999). «Heart and mind in conflict: the interplay of affect and cognition in consumer decision making». Journal of Consumer Research, Vol. 26, pp. 278–292.

30. Slovic P. (1969). «Analyzing the expert judge: a descriptive study of a stockbroker’s decision processes». Journal of Applied Psychology, Vol. 53, pp. 255–263.

31. Slovic P., Fischhoff B. (1977). «On the psychology of experimental surprises». Journal of Experimental Psychology: Human Perception and Performance, Vol. 3, pp. 544–551.

32. Stanovich K.E., West R.F. (2000). «Individual differences in reasoning: implications for the rationality debate». Behavioral & Brain Sciences, Vol. 23, pp. 645–665.

33. Sunstein C.R., Thaler R.H. (2003). «Libertarian paternalism is not an oxymoron». University of Chicago Law Review, Vol. 70, pp. 1159–1199.

34. Thaler R.H., Sunstein C.R. (2008). Nudge. New Haven, CT: Yale University Press.

35. Thompson L., Gentner D., Loewenstein J. (2000). «Avoiding missed opportunities in managerial life: analogical training more powerful than individual case training». Organizational Behavior & Human Decision Processes, Vol. 82, pp. 60–75.

36. Tversky A., Kahneman D. (1974). «Judgment under uncertainty: Heuristics and biases». Science, Vol. 185, pp. 1124–1131.

37. Wilson T.D., Kraft D. (1993). «Why do I love thee? Effects of repeated introspection on attitudes toward the relationship». Personality and Social Psychology Bulletin, Vol. 19, pp. 409–418.

38. Wilson T.D., Lisle D., Schooler J., Hodges S.D., Klaaren K.J., LaFleur S.J. (1993). «Introspecting about reasons can reduce post-choice satisfaction». Personality and Social Psychology Bulletin, Vol. 19, pp. 331–339.

39. Wilson T.D., Schooler J.W. (1991). «Thinking too much: introspection can reduce the quality of preferences and decisions». Journal of Personality and Social Psychology, Vol. 60, pp. 181–192.