CC BY
69
2014
ВЕСТНИК САНКТ-ПЕТЕРБУРГСКОГО УНИВЕРСИТЕТА
Сер. 12
Вып. 1
ОБЩАЯ ПСИХОЛОГИЯ
УДК 159.95
А. А. Четвериков, А. С. Одайник
МОДЕЛИ СУБЪЕКТИВНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ РЕШЕНИЯ КОГНИТИВНЫХ ЗАДАЧ: ЧАСТЬ II. ТЕОРИИ КОСВЕННОЙ ОЦЕНКИ*
Санкт-Петербургский государственный университет,
Российская Федерация, 199034, Санкт-Петербург, Университетская наб., 7/9
Во второй части статьи продолжается анализ теорий мета-оценки, то есть субъективной оценки эффективности решения задач. Описываются модели косвенной оценки, рассматривающие мета-оценки как результат анализа косвенных признаков, не имеющих непосредственного отношения к выбранному решению. Например, человек может быть уверен в ответе, поскольку он знает, что в принципе хорошо решает задачи данного типа, или испытывать чувство «на кончике языка», поскольку у него возникает много ассоциаций в ответ на заданный вопрос. Как и в случае теорий дополнительной оценки и теорий частичного доступа, рассмотренных в первой части статьи, теории косвенной оценки обладают схожими сильными и слабыми сторонами, вне зависимости от того, какие конкретно мета-оценки они описывают. Подобного рода модели хорошо справляются с проблемой расхождения объективной эффективности и мета-оценок, но взаимосвязь между этими параметрами оказывается для данного класса теорий проблемой. В заключении рассматриваются возможные направления дальнейшего развития теорий мета-оценки. Формулируются три проблемы для будущих теорий: (1) как объяснить соответствие и рассогласование мета-оценок и объективной эффективности решения? (2) что объединяет различные мета-оценки и в чем они отличаются? (3) как соотносятся между собой мета-оценки и осознанность? Библиогр. 40 назв.
Ключевые слова: мета-когнитивные процессы, модели субъективной оценки, уверенность, чувство знания, чувство «на кончике языка», чувство «близости решения».
THE MODELS OF SUBJECTIVE EVALUATION OF PERFORMANCE IN COGNITIVE TASKS: PART 2. INFERENTIAL THEORIES
A. A. Chetverikov, A. S. Odainic
St. Petersburg State University, 7/9, Universitetskaya nab., St. Petersburg, 199034, Russian Federation
In the second part of the present paper we continue to describe the models of meta-evaluation, that is the subjective evaluation of one's own cognitive performance. We review the inferential theories which propose that subjective evaluation is the result of the indirect analysis of the decision. For example, one can be fully confident in his/her answer as he/she generally solves the tasks of this type well, or one can feel that the answer is "on the tip of the tongue" when the question evokes many associations. As in the case of additional evaluation theories and partial access theories reviewed in the first part of the paper, inferential theories have similar strengths and weaknesses regardless of the specific meta-judgment in question. They can handle well the problem of why meta-evaluations and objective performance can be dissociated. However, they do have difficulties in explaining why meta-evaluations are nevertheless correlated with the objective performance. In the final section of the paper we analyze the possible further
* Исследование выполнено при поддержке гранта РГНФ № 12-36-01294.
directions for the theories of meta-evaluations. We pose three problems for the future theories: (1) how to explain the dissociation and the correlation of meta-knowledge and objective efficacy; (2) what is common and what is different for different meta-evaluations; (3) how are meta-evaluations and awareness related to each other. Refs 40.
Keywords: metacognitive processes, subjective evaluation of performance, confidence, feeling of knowledge, tip-of-the-tongue, warmth ratings.
Как было показано в первой части данной статьи [1], теории дополнительной оценки и теории частичного доступа достаточно хорошо объясняют наличие взаимосвязи между объективной эффективностью решения и ее субъективной оценкой. Однако, как объяснить расхождение или диссоциацию этих двух показателей? Почему человек может быть уверен в правильности своего ответа, когда ответ ошибочен [2], или как может возникать пред-инсайтное ощущение близости решения, когда само решение еще не найдено [3]? Один из вариантов ответа на этот вопрос предлагается теориями косвенной оценки (inferential theories). Они предполагают, что у человека нет прямого доступа к данным об эффективности когнитивного процесса, из-за чего мы вынуждены использовать разного рода косвенные оценки.
Теории косвенной оценки. Теории косвенной оценки описывают правила, схемы или эвристики, которые могут использоваться человеком, чтобы оценить свою эффективность. Например, Т. Нельсон и Л. Наренс [4] предложили гипотезу «никакой магии» (No-Magic Hypothesis) для объяснения чувства знания, то есть способности человека определить, помнит ли он нечто, даже если в данный момент он не может вспомнить то, что необходимо. Согласно этой гипотезе, если мы не можем вспомнить необходимую информацию, то мы можем вспомнить нечто с ней связанное (например, «я уже вспоминал это раньше») и по определенным правилам предсказать на основе этой информации будущую эффективность воспроизведения (например, «чем больше раз я вспоминал это раньше, тем больше вероятность, что я вспомню это в будущем»). Таким образом, у нас не существует никакого специального блока или процесса, отслеживающего наличие невоспроизведенного элемента в памяти, или какого-либо специального доступа к неосознаваемой информации в принципе.
Хорошим примером схем, которые используются для мета-оценки, являются представления о собственной эффективности. В исследовании Дж. Эрлингер и Д. Даннин [5] студентам предлагалось заполнить опросник, в котором нужно было дать оценку своей эффективности по ряду шкал, включая абстрактное мышление и навыки программирования. Затем им предлагался тест, который для одних испытуемых описывался как тест на абстрактное мышление, а для других — как тест на способность к программированию. После прохождения теста их также просили оценить свою эффективность в данном тесте. Испытуемые в целом оценивали себя лучше в области абстрактного мышления и давали более высокие оценки своих результатов, если считали, что тест направлен на абстрактное мышление, хотя объективных различий в эффективности обнаружено не было. В другом эксперименте в той же работе авторы манипулировали самооценками испытуемых и показали, что это приводит к снижению оценок эффективности в конкретном тесте. Испытуемым предлагалось ответить на ряд вопросов на тему географии, которые были либо легкими, либо сложными. После чего им предлагалось отметить на карте местоположение городов из заранее подготовленного списка. Хотя объективно точность ответов
испытуемых практически не различалась, те, кто отвечал на сложные вопросы, оценил свою эффективность в тесте ниже, чем те, кто отвечал на легкие вопросы.
Схожим образом эксперты с низкой и средней эффективностью склонны переоценивать свою успешность. Например, предсказания профессиональных биржевых трейдеров не отличаются по своей точности от предсказаний обычных людей. При этом первые в значительно большей степени склонны переоценивать успешность своих прогнозов, чем вторые [6]. Аналогичное исследование прогнозов в условиях финансового кризиса показало, что хотя эксперты лишь слегка лучше в прогнозах на рынке акций и рынке валют, их уверенность в своих прогнозах значительно превосходит уверенность обывателей [7]. Нужно отметить, что эффективность клинических прогнозов в психологии и психиатрии также далека от совершенства и практически всегда оказывается не лучше простейших статистических моделей [8-11]. Однако представители данных профессий часто склонны считать себя способными делать точные предсказания и редко соглашаются с выводами исследований [12]. Таким образом, мета-оценки эффективности могут быть значительно завышенными по сравнению с объективными оценками эффективности, даже в тех случаях, когда речь идет о профессионально значимых областях деятельности.
В то же время Д. Даннин и др. [13] показали, что те, кто объективно высокоэффективен в своей области, склонны недооценивать свою эффективность в сравнении с другими, а те, кто низкоэффективен — переоценивать. Авторы объясняют эффект недоуверенности высокоэффективных испытуемых тем, что они страдают от «проклятья знаний» [14], то есть считают, что другие обладают теми же знаниями, что и они, и, как следствие, недооценивают себя. Чрезмерно высокая оценка эффективности у малоэффективных испытуемых в свою очередь возникает в связи с тем, что навык мета-когнитивной оценки тесно взаимосвязан с оцениваемым навыком. Говоря иначе, если человек не знает, как делать правильно, он не в состоянии понять, когда может совершить ошибку. Соответственно, его оценка эффективности в целом оказывается завышенной, что приводит к появлению сверхуверенности в конкретном тесте.
Разумеется, помимо представления о собственной эффективности существует большое количество других схем, позволяющих давать мета-оценки вне зависимости от возможности прямой оценки эффективности решения. Например, Г. Гигерен-цер и коллеги [15] указывают, что оценки уверенности могут строиться на основе «вероятностных ментальных моделей». Они предполагают, что мы вполне можем оценить правильность ответа, опираясь на ряд имплицитных логических связей между ответом и нашими знаниями о мире. Например, человек может быть уверен, что футбольная команда Томска играет хуже команды Сан-Паулу, хотя он никогда не слышал ни о той, ни о другой. Его уверенность будет основана на том, что он знает, например, что Сан-Паулу — в Бразилии, а бразильцы, в целом, хорошо играют в футбол. Подобного рода косвенные оценки характерны не только для уверенности. Исследования А. Кориата, уже упоминавшиеся в первой части статьи, показали, что оценки чувства знания, то есть оценки того, что я знаю нечто, когда я не могу это нечто вспомнить, в задачах воспроизведения определяются не наличием особого доступа к памяти, а количеством все же воспроизводимой информации [16]. При этом не важно, правильная или неправильная информация воспроизводится. При вопросе, знает ли испытуемый, как звали полководца, который вместе с Кутузовым
и Багратионом был одним из командующих российской армии в войне 1812 года, он может вспомнить памятник на Казанской площади, фрагменты из романа «Война и мир», то, что эта война подробно изучалась на уроках истории, и т. д., и т. п. Исходя из того, что он вспоминает достаточно много связанного материала, испытуемый, вероятно, ответит, что знает ответ, даже если не может вспомнить или вовсе не знает его. Схожим образом чувство «на кончике языка» при запоминании пар слов оказывается связано с частотой запоминания слова-ключа независимо от частоты запоминания слова-цели [17]. Вероятность того, что у человека возникнет чувство «на кончике языка» для слова НОРА выше, если он запоминал пары СОВА-НОРА и СОВА-КРОЛИК, чем если он запоминал только первую пару.
Описанные эффекты и стоящие за ними модели говорят о том, что нам не нужно иметь специальный доступ к той информации, на основе которой принимается решение, чтобы оценить его эффективность, как это предполагается в теориях дополнительной оценки, описанных в предыдущей части статьи. Нам в принципе, вообще не нужен доступ к этой информации, как это предполагается теориями частичного доступа. Эта идея хорошо иллюстрируется работой Г. Мэтви и коллег [18]. Авторы продемонстрировали, что оценки степени заученности материала при задаче генерации слова не различаются для тех, кто непосредственно генерирует слова, и тех, кто только наблюдает за этим процессом. Другими словами, внешний наблюдатель на основе данных об испытуемом делает те же выводы, что и сам испытуемый. У внешнего наблюдателя, по определению, нет доступа к информации, на основе которой принималось решение, а значит, для мета-оценок эта информация не нужна.
Основная трудность для моделей косвенной оценки заключается в объяснении того, почему мета-оценка в случае эффективного решения когнитивных задач все же обычно выше, чем в случае неэффективного. Другими словами, если у нас нет особого доступа к процессу или данным, как мы можем отличить ситуации правильного и неправильного ответа или правильного или неправильного предсказания в оценке чувства знания?
А. Кориат высказывает следующую точку зрения: «Мета-знания точны потому, что точны знания» [2, с. 119]. Если при звучании некоторого вопроса у человека возникает множество ассоциаций, то действительно более вероятно, что он знает ответ на этот вопрос, чем если ассоциаций мало или вовсе нет. Поэтому, хотя в ряде случаев эвристика «больше ассоциаций — больше уверенность в знании» будет ошибочна, в целом она вполне полезна для мета-оценки. Исходя из модели самосогласованности (self-consistency) А. Кориата [19], оценки уверенности отражают не объективную точность ответа, а согласованность различных проверок, направленных на выяснение ответа. С точки зрения этой теории, принятие решения можно описать как многократный выбор из набора возможных ключей, относящихся к ответу. Уверенность определяется долей ключей, относящихся к ответу в итоговой выборке. Эта модель отличается от других моделей оценки неопределенности, рассмотренных в первой части статьи, только тем, что здесь прямо указано, что ключи могут как непосредственно относиться к ответу, так и иметь к нему только косвенное отношение, как, например, указанная выше доступность информации. Впрочем, если это те же ключи, на основе которых человек принимает решение, то становится неясно, как разграничить косвенные и прямые ключи к ответу. Подобный взгляд размывает границу между данной теорией и теориями альтернативной оценки, поскольку
предполагается, что мы используем одни и те же эвристики для принятия решения и оценки уверенности, и тогда к нему оказывается применима та же критика, что и к теориям альтернативной оценки.
Другим возможным вариантом ответа является предположение о лишь частичном совпадении между эвристиками, используемыми для принятия решения и для его оценки. Так, для оценки решения помимо эвристик, использованных для принятия решения, могут использоваться данные о времени, которое потребовалось, чтобы это решение принять. Но тогда возникают новые вопросы. Во-первых, зачем нужен такой сложный механизм? Почему бы не использовать те же данные, что использовались для принятия решения, или почему бы не использовать для принятия решения те же данные, что используются для его оценки? Кроме того, рассмотрим оценки, опирающиеся на общие представления о собственных знаниях. Можно предположить, что при принятии решения эти оценки никаким образом использоваться не могут. В самом деле, как может помочь в выборе правильного ответа знание, что в целом человек решает данный вид задач хорошо? По сути, никак, разве что он может потратить на эту задачу больше времени, если есть выбор между разными типами задач. Но тем не менее он будет использовать эту общую оценку при оценке эффективности своих решений. Зачем ему использовать иррелевантный факт при оценке своей эффективности? Традиционно использование эвристик объясняется недостатком или экономией ресурсов [20-23]. Но в ситуации оценки уже принятого решения, когда ресурсы уже выделены, о какой экономии может идти речь?
Можно предположить, что использование эвристик, не имеющих отношения к ответу, связано с тем, что целью мета-оценок в конечном итоге является не ответ на вопрос экспериментатора, а контроль над выполняемыми процессами и их коррекция. С этой точки зрения присутствие различий между теми механизмами, которые принимают решение, и теми, которые его оценивают, обеспечивает независимость проверки.
Возможно также, что одним из механизмов оценки эффективности решения является повторное решение задачи. Учитывая то, что в любой системе всегда присутствует некоторый уровень случайности, повторное решение позволяет избежать части ошибок. В качестве контраргумента для такого подхода иногда приводится пример с обучением математике в школе. Предполагается, что, решив пример заново тем же способом, ученик рискует повторить свою ошибку, и поэтому мудрый учитель предложит для проверки использовать другой способ решения или идти в обратном порядке. Разумеется, в подобном аргументе есть разумное зерно. Однако, как свидетельствует опыт авторов, иногда решение примера заново все же позволяет заметить ошибки. Точно так же повторное решение когнитивной задачи как один из способов мета-оценки решения позволяет увеличить ее точность. Более того, это согласуется и с интуицией. В самом деле, ситуации, когда после принятия решения мы осознаем его неточность, не так уж и редки [24]. Если бы каждый раз, чтобы обнаружить ошибку в написанном слове, авторам пришлось писать его как-то по-другому, они бы вряд ли выбрались за пределы первой страницы. Экспериментальные данные также свидетельствуют, что после принятия решения человек может его поменять — если дать ему такую возможность [25, 26].
Наконец, может быть, мы в принципе не можем получить доступ непосредственно к процессу решения? Об этом часто свидетельствуют интроспективные
отчеты — решение может неожиданно появляться как будто бы ниоткуда, сопровождаясь переживанием инсайта. Тогда становится понятным использование эвристик и во многих случаях можно даже предположить, почему мы можем отличить успешные решения задач от неуспешных. Так, использование общей оценки своей эффективности в прошлом является достаточно очевидным, хотя и не очень надежным, ключом к оценке своей будущей эффективности. Но человек может оценивать правильность своих ответов и в перцептивных задачах, какие здесь могут быть эвристики? Чаще всего упоминается эвристика «беглости переработки информации» [27, 28]. Согласно определению, беглость переработки информации субъективно переживается как некая легкость или плавность процесса, и на основе этого субъективного переживания делается вывод относительно других мета-оценок, например, чувства знания или уверенности в ответе. Но нужно заметить, что беглость переработки информации при такой трактовке сама является мета-оценкой и к ней применимы все те же вопросы.
Направления дальнейшего развития. С учетом всех вышеперечисленных проблем можно сделать вывод, что ответы на вопросы, которые были заданы во вступлении к первой части статьи, до конца не известны. Каждый класс моделей обладает своими недостатками и сильными сторонами. Скорее всего, итоговое решение будет строиться на основе моделей косвенной оценки, поскольку они позволяют включить механизмы, описываемые в других подходах, как частные эвристики. Однако для этого требуется понять функциональный смысл мета-оценок, поскольку иначе остается неясным, зачем использовать эвристики, особенно не имеющие прямого отношения к правильности решения.
Необходимо четко сформулировать те проблемы, которые нуждаются в объяснении, как это было сделано в работе Т. Плескача и Дж. Басмейера для исследований уверенности [29]. С нашей точки зрения, на данный момент для мета-когнитивных исследований наиболее важны три проблемы:
1. Соотношение объективной эффективности и мета-оценок.
2. Соотношение различных мета-оценок.
3. Соотношение мета-оценок и осознанности.
Первая из этих проблем рассматривалась в данной статье. Подчеркнем, что речь идет о том, что в одних случаях мета-оценки оказываются положительно взаимосвязанными с объективной эффективностью, а в других такая взаимосвязь отсутствует или даже оказывается негативной.
Вторая проблема заключается в том, что наличие большого числа различных терминов для обозначения мета-оценок вызывает вопрос, отражают ли эти мета-оценки работу одного и того же механизма или разных. Существуют аргументы как в пользу первого, так и в пользу второго варианта. Например, беглость переработки информации оказывает схожее влияние на различные мета-оценки [27, 30], что говорит о возможном наличии общего механизма. С другой стороны, корреляционные исследования взаимосвязей между мета-оценками показывают заметно более слабые связи по сравнению с теми, которые можно было бы ожидать, если бы за всеми мета-оценками стоял общий фактор [31]. Проделанный нами обзор показывает, что общего между различными мета-оценками достаточно много, и они могут рассматриваться в совокупности. Исходя из этого, объединение различных направлений мета-когнитивных исследований представляется перспективным. Попытки
частичного объединения были сделаны в работе Т. Нельсона и Л. Наренса [4] для мета-оценок памяти и в работах А. Кориата для оценок уверенности и чувства знания [32]. В более общем виде вариант такого объединения предлагается в работах А. Четверикова, где мета-оценки рассматриваются как специфические виды аффективной оценки, то есть оценки по принципу «хорошо — плохо» или «нравится — не нравится» [33, 34]. Это позволяет выделить их общие свойства и объяснить, почему иррелевантные факторы, такие как настроение или общая успешность могут оказывать влияние на мета-оценки. Например, исследования доверия к описываемой в тексте информации показывают, что сложность чтения текста негативно взаимосвязана с оценками доверия, но эта негативная взаимосвязь опосредуется оценками эмоций, вызываемых текстом [34]. Другой вариант объединения возможен, например, с позиций теорий репрезентаций высшего порядка [35, 36]. Эти теории предполагают, что существуют репрезентации более низкого уровня, которые осознаются тогда, когда они становятся объектом репрезентаций более высокого уровня, в свою очередь обычно остающихся неосознанными. Они позволяют достаточно легко ответить на вопрос, как связаны между собой различные мета-когнитивные суждения — они затрагивают репрезентации более высокого порядка. Из этого утверждения, в частности, следует, что оценки уверенности часто не являются мета-оценками, поскольку они могут являться суждением о внешнем мире, а не о решении. Например, утверждение «я видел нечто» мало отличается от суждения «я видел нечто с вероятностью 75%» [35]. Однако до сих пор не совсем ясно, какие эмпирические следствия можно выдвинуть на основе этих теорий. В целом, требуется значительно больше исследований в данном направлении, чтобы сделать какие-либо выводы о тождестве или различии исследуемых феноменов.
Третья проблема обусловлена тем, что мета-оценки интуитивно кажутся тесно взаимосвязанными с осознанностью. В самом деле, если мы оцениваем собственные решения, то предполагается, что мы осознаем то, что оцениваем. Поэтому, например, оценки уверенности в перцептивных задачах часто упоминаются в обзорах критериев осознанности [37]. Однако взаимосвязь между осознанностью и мета-оценками, на наш взгляд, значительно сложнее. Если компьютер, помимо решения некоторой задачи выдает также некоторую вероятностную оценку правильности этого решения, это не означает, что в нем присутствует какая-либо осознанность. Подробно анализируя эту проблему, Дж. Меткалф предлагает разделять мета-оценки на аноэтические, ноэтические и аутоноэтические, в соответствии с тем, что должно осознаваться в момент определения оценки [38]. При этом уверенность может попадать в разные категории в зависимости от дизайна исследования. Эту проблему можно рассмотреть и с обратной стороны. Так, шкала перцептивной ясности [39] или ставки на ответ [40], используемые в качестве критериев осознанности, вполне могут рассматриваться как мета-оценки. Если я оцениваю, насколько ясно я видел объект, чем это отличается от оценки того, насколько правильно я категоризовал этот объект или его части? Подобного рода неопределенность требует новых теоретических и методологических решений для того, чтобы определить, какова связь между степенью осознанности и мета-оценками.
В заключение отметим, что в исследовании мета-оценок за последние двадцать лет наблюдается быстрое развитие. Переход от моделей альтернативной оценки через модели частичного доступа к моделям косвенной оценки сопровождался нако-
плением эмпирических знаний, проверкой и уточнением формулируемых теорий. И хотя в результате модель А. Кориата, например, кажется похожей на ранние модели теоретиков уверенности, она все же сильно отличается от них. Таким образом, прогресс в данной области кажется возможным, что вызывает определенный оптимизм.
Литература
1. Четвериков А. А., Одайник А. С. Модели субъективной оценки эффективности решения когнитивных задач: Ч. 1. Теории дополнительной оценки и теории частичного доступа // Вестн. С.-Петерб. ун-та. Сер. 12. № 3. 2013. С. 55-61.
2. Koriat A. Subjective confidence in perceptual judgments: a test of the self-consistency model // Journal of experimental psychology. General. 2011. Vol. 140, N 1. P. 117-139.
3. Васильев И. А., Поплужный В. Л., Тихомиров О. К. Эмоции и мышление. М.: Изд-во Моск. ун-та, 1980. 192 с.
4. Nelson T. O., Narens L. Metamemory: A theoretical framework and new findings // The psychology of learning and motivation: advances in research and theory. 1990. Vol. 26. P. 125-173.
5. Ehrlinger J., Dunning D. How chronic self-views influence (and potentially mislead) estimates of performance // Journal of personality and social psychology. 2003. Vol. 84, N 1. P. 5-17.
6. Torngren G., Montgomery H. Worse Than Chance? Performance and Confidence Among Professionals and Laypeople in the Stock Market // Journal of Behavioral Finance. 2004. Vol. 5, N 3. P. 148-153.
7. Zaleskiewicz T. Financial forecasts during the crisis: Were experts more accurate than laypeople? // Journal of Economic Psychology. 2011. Vol. 32, N 3. P. 384-390.
8. Grove W. M., Zald D. H., Lebow B. S., Snitz B. E., Nelson C. Clinical versus mechanical prediction: A meta-analysis // Psychological Assessment. 2000. Vol. 12, N 1. P. 19-30.
9. Dawes R., Faust D., Meehl P. Clinical versus actuarial judgment // Science. 1989. Vol. 243, N 4899. P. 1668-1674.
10. Hilton N. Z. Sixty-Six Years of Research on the Clinical Versus Actuarial Prediction of Violence // The Counseling Psychologist. 2006. Vol. 34, N 3. P. 400-409.
11. Aegisdуttir S., White M. J., Spengler P. M. et al. The Meta-Analysis of Clinical Judgment Project: Fifty-Six Years of Accumulated Research on Clinical Versus Statistical Prediction // The Counseling Psychologist. 2006. Vol. 34, N 3. P. 341-382.
12. Dawes R. M. House of cards: Psychology and psychotherapy based on myth. New York: The Free Press, 1994. 343 p.
13. Dunning D., Johnson K., Ehrlinger J., Kruger J., Keen R. Why Own People Fail to Recognize Incompetence // Current Directions in Psychological Science. 2012. Vol. 12, N 3. P. 83-87.
14. Camerer C., Loewenstein G., Weber M. The Curse of Knowledge in Economic Settings: An Experimental Analysis George Loewenstein // Journal of Political Economy. 2013. Vol. 97, N 5. P. 1232-1254.
15. Gigerenzer G., Hoffrage U., Kleinbolting H. Probabilistic mental models: a Brunswikian theory of confidence // Psychological review. 1991. Vol. 98, N 4. P. 506-528.
16. Koriat A. How do we know that we know? The accessibility model of the feeling of knowing // Psychological review. 1993. Vol. 100, N 4. P. 609-639.
17. Metcalfe J., Schwartz B. L., Joaquim S. G. The cue-familiarity heuristic in metacognition // Journal of experimental psychology. Learning, memory, and cognition. 1993. Vol. 19, N 4. P. 851-861.
18. Matvey G., Dunlosky J., GuttentagR. Fluency of retrieval at study affects judgments of learning (JOLs): an analytic or nonanalytic basis for JOLs? // Memory & Cognition. 2001. Vol. 29, N 2. P. 222-233.
19. Koriat A. The self-consistency model of subjective confidence // Psychological review. 2012. Vol. 119, N 1. P. 80-113.
20. Goldstein D. G., Gigerenzer G. Fast and frugal forecasting // International Journal of Forecasting. 2009. Vol. 25, N 4. P. 760-772.
21. Gigerenzer G., Goldstein D. G. Reasoning the fast and frugal way: models of bounded rationality // Psychological review. 1996. Vol. 103, N 4. P. 650-669.
22. Kahneman D. Maps of bounded rationality: Psychology for behavioral economics // The American Economic Review. 2003. Vol. 93, N 5. P. 1449-1475.
23. Shah A. K., Oppenheimer D. M. Heuristics made easy: an effort-reduction framework // Psychological bulletin. 2008. Vol. 134, N 2. P. 207-222.
24. Одайник А. С. Уверенность как результат независимой проверки гипотез // Психология. Журнал Высшей школы экономики. 2013. Т. 10, № 3. С. 3-28.
25. Rabbitt P. Consciousness is slower than you think // The Quarterly journal of experimental psychology. Section A, Human experimental psychology. 2002. Vol. 55, N 4. P. 1081-1092.
26. Rabbitt P., Rodgers B. What does a man do after he makes an error? An analysis of response programming // The Quarterly Journal of Experimental Psychology. 1977. Vol. 29, N 4. P. 727-743.
27. Alter A. L., Oppenheimer D. M. Uniting the tribes of fluency to form a metacognitive nation // Personality and social psychology review. 2009. Vol. 13, N 3. P. 219-235.
28. Oppenheimer D. M. The secret life of fluency // Trends in cognitive sciences. 2008. Vol. 12, N 6. P. 237241.
29. Pleskac T. J., Busemeyer J. R. Two-stage dynamic signal detection: a theory of choice, decision time, and confidence // Psychological review. 2010. Vol. 117, N 3. P. 864-901.
30. Topolinski S., Reber R. Gaining Insight Into the "Aha" Experience // Current Directions in Psychological Science. 2010. Vol. 19, N 6. P. 402-405.
31. Weaver IIIC. A., Kelemen W. L. Comparing processing-based, stimulus-based, and subject-based factors in metacognition // Metacognition / eds Chambres P., Izaute M., Marescaux P.-J. Boston, MA: Kluwer, 2002. P. 49-60.
32. Koriat A. The self-consistency model of subjective confidence // Psychological review. 2011. Vol. 119, N 1. P. 80-113.
33. Четвериков А. А. Что мы осознаем, когда наступаем на одни и те же грабли: аффективная оценка повторяющихся ответов // Экспериментальная психология. 2011. Vol. 4. № 2. P. 36-47.
34. Четвериков А. А. Доверие к приятному и приятность легкоусваиваемого // Вестн. С.-Петерб. ун-та. Сер. 12. 2012. № 1. P. 129-133.
35. Kobes B. W. Metacognition and consciousness: A review essay of Janet Metcalfe & Arthur P. Shimam-ura (Eds) metacognition: Knowing about knowing // Philosophical Psychology. 1997. Vol. 10, N 1. P. 93-102.
36. Rosenthal D. Consciousness, content, and metacognitive judgments // Consciousness and Cognition. 2000. Vol. 9, N 2. P. 203-214.
37. Иванчей И. И., Морошкина Н. В. Измерение осознанности. Старая проблема на новый лад // Когнитивная психология сознания: Сб. статей / под ред. В. М. Аллахвердова, О. В. Защиринской. СПб.: ЛЕМА, 2011. P. 39-53.
38. Metcalfe J., Son L. Anoetic, Noetic and Autonoetic Metacognition // The Foundations of Metacognition / eds M. Beran, J. R. Brandl, J. Perner, J. Proust. Oxford, UK: Oxford University Press, 2012. P. 289-301.
39. Sandberg K., Timmermans B., Overgaard M., Cleeremans A. Measuring consciousness: Is one measure better than the other? // Consciousness and cognition. 2010. Vol. 19, N 4. P. 1-10.
40. Persaud N., Mcleod P., Cowey A. Post-decision wagering objectively measures awareness // Nature Neuroscience. 2007. Vol. 10, N 2. P. 257-261.
Статья поступила в редакцию 25 октября 2013 г.
Контактная информация
Четвериков Андрей Анатольевич — аспирант; a.chetverikov@psy.spbu.ru
Одайник Александр Семенович — магистрант; odainic@gmail.com
Chetverikov Andrey A. — post-graduate student; a.chetverikov@psy.spbu.ru
Odainic Alexander S. — graduate student; odainic@gmail.com
