CC BY-NC-ND
27
Различительная способность концептуальных карт для оценки уровня компетенции
Пилотное исследование
Ю. А. Тюменева, А. В. Капуза, К. П. Вергелес
Статья поступила в редакцию в июле 2017 г.
А.В. Капуза и К. П. Вергелес работали над статьей в рамках Программы фундаментальных исследований Национального исследовательского университета «Высшая школа экономики» и с использованием средств субсидии в рамках государственной поддержки ведущих университетов Российской Федерации «5-100».
Тюменева Юлия Алексеевна
кандидат психологических наук, доцент Института образования Национального исследовательского университета «Высшая школа экономики». E-mail: [email protected] Капуза Анастасия Васильевна аспирант 1-го курса Национального исследовательского университета «Высшая школа экономики». E-mail: [email protected] Вергелес Ксения Петровна магистр 2-го курса Национального исследовательского университета «Высшая школа экономики». E-mail: vergeles. [email protected]
Адрес: 101000, Москва, ул. Мясницкая, 20.
Аннотация. В предыдущих исследованиях показана эффективность использования концептуальных карт (КК) для оценки структуры знаний, однако такая оценка, как правило, осуществлялась в целях отслеживания индивидуального прогресса в рамках формирующего эксперимента. Не выделялись и не проверялись формальные индикаторы карт, их чувствительность к уровню компетентности в той или иной области знания как полезное диагностическое свойство КК, обусловливающее возможность их применения для стандартизированного оценивания. Обобщая данные о структуре знания у специалистов с разным уровнем компетентно-
сти (экспертов и новичков), авторы теоретически задают такие индикаторы и предпринимают первую попытку проверить их различительную способность на контрастных группах. После получения стандартизированной инструкции и короткого обучения новички (п = 9) и эксперты (п = 4) в области анализа данных индивидуально строили свои КК. Формальные индикаторы основывались на интерпретации КК как графа. Теоретически выделенные формальные индикаторы КК (обобщенность используемых понятий, связанность структуры, доля единичных и комплексных понятий) действительно показали свою различительную способность. Помимо этого, авторы идентифицировали несколько содержательных параметров КК (наличие ключевых понятий, наличие ошибочных связей, процедурный/концептуальный характер знаний), которые также различались в контрастных группах. Полученные результаты выглядят обнадеживающе с точки зрения измерения уровня компетентности с помощью КК, хотя требуются дальнейшие исследования на расширенных и гетерогенных выборках для проверки их устойчивости и обобщаемости. Ключевые слова: когнитивное развитие, концептуальные карты, структура знаний, формирование научных понятий, эксперты,новички.
ЭО!: 10.17323/1814-9545-2017-4-150-170
В двух важнейших концепциях усвоения нового — теории когнитивного развития Ж. Пиаже и культурно-исторической теории Л. С. Выготского—структурные изменения сложившейся системы знаний рассматриваются как основа интеллектуального развития и используются в качестве критерия возрастной периодизации. Для Ж. Пиаже изменения в когнитивной структуре являются результатом взаимосвязанных процессов ассимиляции и аккомодации: новая информация усваивается существующей структурой в той мере, в какой эта структура способна ее усвоить, и в то же время новая информация модифицирует существующую структуру [Пиаже, 2001]. Л. С. Выготский трактует обучение как присвоение новых знаковых структур, которые постепенно сами становятся средствами ориентировки в последующей деятельности и на следующих стадиях обучения. Началом этого процесса считается акт передачи ребенку знаковой структуры, которая в дальнейшем процессе обучения реконструируется и ассимилируется, так что присвоенное знание может гибко использоваться в решении целого класса задач [Выготский, 1982. С. 188-202, 244267, 305; 1983. С. 78-85, 128, 147-151, 225, 292-316]. Некоторые современные теории обучения также прямо указывают на важность структурной перестройки системы знаний по мере обучения (например, [Ausubel, 2000; Novak, 2002]).
И с фундаментальной, и с практической точки зрения было бы важно убедиться, что обучение действительно приводит к перестройке всей структуры знания, а не только к количественному его приросту. Традиционными способами оценивания (контрольная или тест) в силу самого их устройства выявить изменения в структуре знания невозможно. Они измеряют приобретенные умения, но не то, как эти новые умения влияют на старые, не то, как изменяются все связи между элементами нового знания, как выстраивается иерархия в системе новых понятий, какое значение отдельным элементам знания придавалось до усвоения нового и придается после, т. е. не изменениям в структуре знания.
В последнее время появляются системы оценки учебных результатов, которые ставят во главу угла как раз структурные изменения: например, основанный на теориях развития и обучения Л. С. Выготского, В. В. Давыдова и П. Я. Гальперина тест SAM (School Achievements Monitoring) [Нежнов, Карданова, Элько-нин, 2011] или созданный в рамках конструктивистского подхода к обучению метод концептуальных карт [Novak, Cañas, 2008; Lavigne, 2005]. Однако разработчики теста SAM не предполагают прямой оценки структурных изменений, а только допускают, что именно структурная перестройка системы знаний позволяет учащимся решать задачи более продвинутых уровней. А что касается концептуальных карт, на сегодняшний день их эффективность как метода оценки сложно оценить однозначно.
1. Переструктурирование знания как результат обучения
Рис. 1. Понятие концептуальной карты
Источник: http://
www.trizland.ru/
trizba/articles/2436
КОНЦЕПТУАЛЬНАЯ КАРТА
это Граф
имеющий
Узлы
создают связи между
<-
(вершины <-
графа)
представляют
Концепты
объясняют отношения между
Соединительные линии (связи)
содержат Предложения
2. Концептуальные карты как инструмент оценки структуры знания
Одним из инструментов для оценивания изменений в структуре знания наряду с сортировкой проблем (problem sorting) [Novak, Musonda, 1991] и клиническим интервью Ж. Пиаже [Брангье, 2000] является концептуальная карта (КК). Под КК понимается графическая репрезентация понятий, относящихся к какой-то теме или области знаний. Обычно узлы на КК отражают понятия, а ребра, или связи между ними, — то, как эти понятия связаны в представлении респондента (рис. 1).
Для нас важно не только то, что КК оказались более надежным, валидным [McClure, Sonak, Suen, 1999; Wallace, Mintzes, 1990; Stoddart et al., 2000] и наиболее информативным [Lavigne, 2005] инструментом среди других способов оценивания структуры знания, но и то, что они показали хорошую чувствительность к эффектам обучения [Wallace, Mintzes, 1990] и к возникающим во время обучения неверным обобщениям и пробелам в знаниях [Surber, Smith, 1981; Lavigne, 2005].
В данной работе мы проверяем, насколько КК пригодна для того, чтобы различить структуры знания у людей, имеющих разные уровни компетентности в той или иной дисциплине. Эмпирически установлено, что КК могут отражать изменения в индивидуальной структуре знания, связанные с обучением (см., например, [Novak, Musonda, 1991; von der Heidt, 2015]). Однако, во-первых, предметом оценки в этих исследованиях были индивидуальные изменения в структуре знания учащихся в определенной дисциплине [Wallace, Mintzes, 1990], а не общие характеристики, отличающие опытных людей от неопытных. Вполне возможно, что инструмент чувствителен к индивидуальным изменениям, но, будучи «глубоко качественным», не позволяет их обобщать—а значит, не дает возможности сравнивать характеристики структуры знания на разных уровнях развития компетентности.
Во-вторых, в имеющихся исследованиях КК анализируется работа учащегося с терминами, относящимися только к данной теме или к данной дисциплине [Lapp, Nyman, Berry, 2010; Dauer, Long, 2015]. Деятельность учащегося оценивается по критериям, специфическим для рассматриваемой дисциплины, такая оценка важна с точки зрения диагностики хода обучения, но не позволяет обнаружить закономерности изменений в структуре знаний, общих для разных областей. Например, показано, что следование определенной программе обучения физике приводит к формированию у учащихся двух ключевых понятий, «атом» и «молекула», и к их правильному связыванию с наблюдаемыми феноменами, в частности с испарением [Novak, Musonda, 1991]. Однако это заключение невозможно перенести на другую дисциплину, скажем, на статистику, так как для статистики потребовалось бы определиться с ключевыми понятиями, которые должны быть освоены, и с «правильными» связями этих понятий с наблюдаемыми феноменами. То есть качественный, содержательный подход к анализу КК не позволяет судить о пригодности данного инструмента для диагностики структуры знания в разных дисциплинах.
В-третьих, в предыдущих исследованиях КК использовались скорее как средство обучения, чем как инструмент сравнительной оценки. Например, некоторые авторы отдавали предпочтение закрытым КК и предлагали их учащимся вместе с набором понятий, ключевых для определенной темы или дисциплины [Wallace, Mintzes, 1990; Lapp, Nyman, Berry, 2010]. Они намеревались проследить, как будут меняться связи между ключевыми понятиями и какие новые понятия будут добавляться в карту по мере того, как учащийся обучается. Однако с точки зрения оценки предзаданный набор ключевых понятий является подсказкой для начинающих учащихся и вмешивающимся фактором для продвинутых в теме. Поскольку возможности использовать такой набор у разных учеников разные, его применение вносит в оценку неконтролируемую вероятность случайной ошибки, снижая надежность КК как инструмента. В другом исследовании учащимся предлагалось заполнить понятиями КК, пропозиционная структура которых уже была подготовлена [Ruiz-Primo et al., 2001]. Такие задания требуют хорошо развитого реляционного мышления, что является опять-таки вмешивающимся фактором.
Другой вариант дизайна исследований с применением концептуальных карт — их построение самими авторами на основе клинических интервью с учащимися [Novak, Musonda, 1991]. Надежность получаемых таким способом КК остается под вопросом, так как не совсем ясно, какое влияние на итоговый вид карт оказывает предварительный тренинг авторов исследования и их ассистентов. Кроме того, клиническое интервью допускает уточ-
няющие вопросы от интервьюеров, которые могут наводить учащихся на определенные ответы и вносить тем самым свою долю случайной ошибки в итоговую оценку.
Методическая разнородность имеющихся исследований КК и слабый контроль влияния тех или иных вариаций в подходах к работе с КК не позволяют полагаться на полученные в этих исследованиях результаты как на надежные, поэтому вопрос, способны ли КК распознавать такие свойства структуры знания, которые характерны для всех индивидов и различаются в зависимости от уровня компетентности, остается открытым.
3. Эксперты Чтобы проверить чувствительность КК к общим особенностям и новички как структуры знаний у более компетентных специалистов, необхо-контрастные димо сравнить контрастные группы, т. е. людей, которые по объ-группы ективным характеристикам должны явно различаться по уровню компетентности в той или иной области деятельности. Контрастные группы могут составить люди, имеющие длительный опыт работы и более высокую формальную квалификацию в определенной области знания (группа экспертов), и начинающие работать или даже только начинающие изучать эту область (группа новичков). Особенность такого — относительного [Chi, 2011] — подхода к определению экспертов заключается в том, что понятие «эксперт» не подразумевает «врожденного» превосходства экспертов по сравнению с новичками, а сводится к накоплению опыта в решении профессиональных задач, и для отделения эксперта от новичка используется формальный признак опытности.
Мы убеждены, что структура знаний экспертов и новичков различна, и это суждение основано на результатах многих эмпирических исследований. Так, одно из первых важных наблюдений было сделано относительно организации знаний экспертов: они лучше структурированы и иерархизированы [Chi, Glaser, Rees, 1982; Kim, 2013]. То есть при решении некоторой задачи эксперты репрезентируют ее таким образом, что сама репрезентация уже содержит основу для последующего решения [Jee et al., 2014; Chi, Glaser, Rees, 1982]. Во-вторых, было показано, что эксперты распределяют время решения задачи в пользу ее хорошей репрезентации. Они удовлетворяются результатом только тогда, когда репрезентация задачи доведена до исполнительского уровня, т. е. до всех промежуточных действий и целей. В отличие от экспертов новички стремятся испробовать разные способы решения задачи, ориентируясь на единичные ее признаки [Lowe, Lowe, 1996; Li, Kaiser, 2011]. В-третьих, новички группируют задачи по их внешним характеристикам и приступают к их решению со стороны процедур, пригодность которых определяют на основании этих внешних характеристик [Chase,
Simon, 1973; Perkins, Salomon, 2012]. Например, студенты-физики первых курсов группировали и решали задачи, ориентируясь на такие их параметры, как наличие в условии задачи наклонной плоскости или падающего тела. Эксперты же группировали задачи по физическим принципам, таким как сохранение энергии. На этих более абстрактных параметрах они строили и подход к решению [Van Lehn, Chi, 2012]. В других исследованиях также обнаружен более абстрактный характер единиц информации, выделяемых экспертами при решении задач [Chi, Feltovich, Glaser, 1981; Lowe, Lowe, 1996; Bläsing, Tenenbaum, Schack, 2009].
Описанные различия в решении задач между экспертами и новичками сохранялись и в том случае, когда новички классифицировали простые задачи, и тип, и принцип решения которых были им хорошо известны [Sloutsky, Yarlas, 2000], и даже если инструкция прямо ориентировала их на классификацию по принципиальным характеристикам [Bilalic, Gobet, 2009]. С другой стороны, эксперты могли классифицировать задачи и на основании их внешнего сходства, если получали соответствующую инструкцию, но когда в инструкции не уточнялось, на каких именно принципах должна происходить классификация, эксперты проводили ее по ключевым существенным признакам задач, а не по внешнему сходству. Более того, оказалось, что экспертные классификации задач согласованы между собой [Ibid.], что может свидетельствовать о существовании некоторой «идеальной» структуры знания в определенной теме или дисциплине, к которой с опытом приходят все эксперты.
Отличительные признаки КК экспертов были обнаружены практически во всех областях деятельности (спорт, академическая деятельность, метеорология, музыка, шахматы и др.), в которых сравнивались паттерны решения задач экспертами и новичками (обзор см. в [Вергелес, 2017]). Это означает, что сложно организованная, иерархизированная и отличающаяся высокой степенью связанности структура знаний эксперта может являться результатом развития знания как такового, независимо от специфического содержания области знаний, тогда как внимание новичка к способам решения и единичным характеристикам проблем может быть признаком стартового этапа на пути освоения знания.
4. Формальные индикаторы КК
Мы планируем показать, что структура знании, представленная в виде КК, имеет формальные характеристики, общие для определенного уровня развития компетентности в конкретной области знания. Под формальными мы имеем в виду структурные характеристики КК, т. е. их свойства, которые не зависят от того, какие конкретные понятия используются. Формальные характеристики карты, таким образом, включают только узлы
Рис. 2. Граф и его основные характеристики
Висячая вершина
и ребра между ними и не включают наименования понятий и ребер. Именно формальные индикаторы являются центральными для нашего исследования, потому что, во-первых, позволяют сделать оценку КК объективной и стандартизированной (одни и те же объективные показатели оцениваются по одной и той же процедуре), а во-вторых, делают такую оценку менее зависимой от компетентности оценивающего и даже доступной для неспециалистов в данной области знания.
Для анализа формальных характеристик КК мы полагались на теорию графов [Оре, 1968], поскольку карта, состоящая из множества узлов (или вершин) и набора связей (или ребер), по сути представляет собой граф. На рис. 2 схематически изображен граф с его основными характеристиками.
Мы считаем, что КК имеют формальные характеристики, отражающие отмеченные выше особенности структуры знания. К ним мы относим уровень обобщенности понятия, равномерность обобщений в структуре, комплексные понятия, единичные понятия, связанность структуры.
Для операционализации уровня обобщенности понятия мы одновременно использовали два показателя: объемность понятия и количество иерархий, которые возглавляет понятие. В терминах графа объемность понятия может быть измерена количеством исходящих ребер, а формирование иерархии — исходящими последовательными связями с узлами. Сам по себе объем, т. е. число исходящих ребер, может и не отражать уровень обобщенности понятия, если все исходящие связи ведут к единичным понятиям (без исходящих ребер). С другой стороны, единственная исходящая из понятия иерархическая связь со многими последовательно соподчиненными понятиями может в терминах графа означать этапы какого-то процесса, например принятия решения, что опять-таки не позволяет судить
об уровне обобщенности «верхнего» понятия. Следовательно, необходимо учитывать и объем, и наличие иерархий. Этот индикатор мы рассчитывали как отношение объемности понятий (мы брали среднее количество исходящих ребер трех самых объемных понятий в КК) к уровню иерархичности исходящих понятий. Мы ожидали, что уровень обобщенности (с учетом иерархичности подлежащих понятию связей) будет выше у экспертов, чем у новичков.
Равномерность обобщений в структуре свидетельствует о последовательности в переходе от наиболее общих к единичным понятиям, о наличии промежуточных звеньев. Судя по имеющимся в литературе данным, с ростом компетентности обучающегося не только появляется иерархичность в структуре его знаний, но и становится все более сложной, развернутой, представляющей все возможные уровни обобщения иерархия усвоенных понятий. Так что мы ожидали, что эксперты будут использовать понятия с промежуточными уровнями обобщения, обнаруживая тем самым более равномерную структуру знаний, тогда как новички будут отдавать предпочтение крайним уровням, т. е. строить непосредственные ребра между очень общими и единичными понятиями без использования промежуточных уровней обобщения. Этот индикатор мы рассчитывали как среднюю разницу в объеме трех наиболее объемных понятий.
Комплексные понятия являются результатом взаимодействия нескольких других понятий. Мы ожидали, что комплексные понятия будут встречаться у экспертов чаще, чем у новичков. Индикатор рассчитывался по количеству смежных ребер, т. е. ребер, имеющих общий узел.
Единичные понятия не имеют других связей, кроме одной входящей. Мы ожидали, что у новичков единичных понятий будет больше, чем у экспертов. Индикатор рассчитывался как количество висячих узлов в карте.
Связанность структуры — показатель плотности связей между понятиями. Мы ожидали, что у экспертов степень связанности карты будет выше. Индикатор рассчитывался как отношение числа понятий к числу ребер между ними.
Мы ожидали, что внутри контрастных групп КК будут схожими по всем указанным индикаторам. Задачей нашей работы стало, таким образом, показать различительную способность КК в теоретически ожидаемом направлении на контрастных по уровню компетенции группах специалистов.
Другая задача исследования состояла в том, чтобы подтвердить, что кроме формальных характеристик КК обладают определенными качествами, которые, как уже зафиксировано в научной литературе, различаются у новичков и экспертов. Под
5. Качественные индикаторы КК
качественными индикаторами мы имеем в виду содержание понятий и связей в КК, зависящее от конкретной области знания: какие именно понятия используются и как именно называются ребра между ними. Качественная оценка может быть проведена только специалистами в данной области, и в этом смысле она зависит от особенностей самих оценщиков, т. е. субъективна. Тем не менее она также важна, так как если мы обнаружим соответствие качественных индикаторов КК наших контрастных групп прежде полученным данным, мы подтвердим конструкт-ную валидность открытых (т. е. не содержащих заданного списка понятий) КК как инструмента для оценки структуры знаний экспертов и новичков.
Мы анализируем три качественных индикатора структуры знаний. Во-первых, мы ожидали увидеть некоторый общий набор ключевых понятий в группе экспертов. Многочисленные исследования решения задач экспертами и новичками показали, что в любой области эксперты имеют общие представления о том, что является ключевой (т. е. структурообразующей) информацией в их профессиональных задачах, новички же не обладают еще ключевыми для решения профессиональных задач знаниями. Соответственно, не должно обнаружиться общего для всех новичков набора понятий — ни аналогичного экспертному, ни какого-либо другого. Во-вторых, мы ожидали, что эксперты будут преимущественно использовать понятия, относящиеся к так называемым декларативным знаниям (идеям, теориям, концепциям), а новички — понятия, связанные со способами решения задачи, т. е. с процедурными знаниями, как это показано в предыдущих экспериментах [Chi, Feltovich, Glaser, 1981; Sloutsky, Yarlas, 2000; Stylianou, 2002; Rittle-Johnson, Schneider, 2014]. В-третьих, мы предполагали, что новички будут совершать ошибки, связывая понятия, а эксперты — нет. Во всех без исключения известных нам исследованиях были зафиксированы ошибки связывания понятий у новичков, хотя в них не использовалась открытая форма КК. Следовательно, обнаружив ошибки в группе новичков и не обнаружив их в группе экспертов, мы также подтвердим конструктную валидность открытых КК.
6. Метод
6.1. Выборка
Предметной областью, в которой мы сравнивали КК экспертов и новичков, стали методы статистического анализа данных. В исследовании приняли участие 13 респондентов. Девять из них, составившие группу новичков, — студенты 1-го курса магистратуры, успешно окончившие курс по статистическому анализу. Все они использовали количественный анализ данных при выполнении курсовой работы и не более года выполняли рабочие обязанности, связанные с анализом данных. Часть новичков
имела предварительные знания в статистическом анализе, полученные при обучении в бакалавриате.
Группу экспертов (четыре человека) составили преподаватели методов анализа данных со стажем работы более четырех лет, имеющие не менее шести публикаций с результатами статистического анализа данных в рецензируемых журналах. Такой профессиональный опыт был принят за экспертный достаточно условно. Столь же условно «назначаются» экспертные характеристики во всех других исследованиях новичков и экспертов, выполненных в уже отмеченном относительном подходе. Для нас главными критериями отбора экспертов выступили стаж преподавания и наличие публикаций, в которых использован анализ данных, как свидетельство определенного уровня экспертизы. Принятый критерий скорее консервативный с точки зрения наших целей: если обнаружатся различия между КК новичков и КК экспертов уже этого уровня, то их тем более можно ожидать при сравнении с более компетентными специалистами.
Исследование проводилось индивидуально. Сначала респон- 6.2. Инструмент денты знакомились с инструкцией по построению концептуаль- и процедура ных карт. Инструкция была дана в письменном виде и содержала примеры карт по другим предметным областям. После ознакомления с инструкцией респонденты, если у них были вопросы, могли задать их экспериментатору, и затем они составляли концептуальную карту на тему «Статистический анализ данных». Задание по построению карты предъявлялось в открытой форме: инструкция содержала только тему и не содержала списка понятий (). По ходу создания карты никаких дополнительных инструкций, советов, комментариев респонденты не получали. Во времени участников исследования не ограничивали, при этом сроки выполнения задания сильно варьировали от респондента к респонденту: минимальный составил 45 минут, максимальный — около двух часов. Во время создания карт один из авторов этой статьи находился в той же комнате, что и респондент.
Мы рассчитали средние значения формальных индикаторов КК для контрастных групп (табл. 1). Для оценки значимости различий в показателях между контрастными группами использован непараметрический критерий Манна — Уитни, пригодный для случаев, когда неизвестен характер распределения данных в небольшой выборке.
Степень обобщенности используемых в карте понятий рассчитывалась как отношение между объемностью самого объемного понятия (числом исходящих от него ребер) и количеством иерархических узлов, т. е. узлов, имеющих как входящие,
7. Результаты
7.1. Анализ формальных индикаторов КК
Таблица 1. Средние значения и отклонения формальных индикаторов концептуальных карт у новичков и экспертов
Индикаторы Новички Эксперты
Среднее Отклонение Среднее Отклонение
Узлы 20,6 5,5 14,3 5,3
Ребра 17 6,4 17,8 6,6
Связанность 1,4 0,7 0,8 0,01
Висячие узлы 12 5,9 2,5 3
Смежные ребра 2,8 3,8 11 4
Объем 1-й уровень 6,7 4,7 3,5 1,3
2-й уровень 2,2 1,01 2,3 0,5
3-й уровень 1,6 1,1 2 0,8
Иерархические узлы 6,6 3,5 9,8 3,6
Степень обобщенности 0,8 0,8 0,3 0,06
так и исходящие связи. Установлено, что КК контрастных групп значимо различаются по уровню обобщенности (и = 0; р < 0,01)1. Примеры карт экспертов и новичков представлены на рис. 3 и 4.
Другим важным показателем обобщенности используемых в КК понятий является средняя разница в объеме трех наиболее объемных понятий, которая также значимо различается в группах экспертов и новичков (и = 0, р < 0,01). Этот показатель отражает равномерность обобщений в структуре знания и наличие переходных по уровню обобщения понятий, связывающих наиболее общее понятие с единичными. У экспертов обобщения более равномерны, так как наиболее объемные понятия содержат примерно одинаковое число связей (3,5; 2,3 и 2,0), тогда как новички используют понятия, резко различающиеся по уровню обобщенности (6,7; 2,2; 1,6).
Хотя группы экспертов и новичков не различались по среднему количеству узлов в КК, так же как и ребер (иузлов = 6,5; р > 0,05; иребер = 19,5; р > 0,05), отношение количества узлов и ребер на индивидуальном уровне по критерию Манна — Уит-ни статистически значимо различалось в двух группах (и = 0; р = 0,01). Как и ожидалось, уровень связанности КК у экспертов был выше, чем у новичков.
1 Использован критерий Манна — Уитни, так как не соблюдается необходимое для ?-теста условие — нормальность распределения.
Рис. 3. Пример карты эксперта
Рис. 4. Пример карты новичка
!
Самих единичных понятий, т. е. висячих узлов, было существенно больше у новичков, чем у экспертов (12,0 и 2,5 соответственно; и = 2,5; р < 0,01), тогда как комплексных понятий, т. е. узлов, имеющих смежные ребра, было больше у экспертов
= 2,8, БО = 3,2).
(^эксперты = 11,0, БО = 4,1; М,
новички
В результате анализа качественных характеристик структурирования знаний мы выявили три отличительные особенности карт новичков: отсутствие единого набора используемых понятий; преимущественное использование процедурных понятий; ошибочные связи между понятиями.
Отсутствие единого набора используемых понятий. Единый для группы специалистов набор понятий трактуется как ключевой для данной области знания. В литературе ключевыми, как правило, считаются понятия, которые встречаются более чем у половины экспертов [ШаИасе, М^геэ, 1990]. У наших экспертов в этом качестве выступили следующие понятия: «гипотеза»,
7.2. Качественный анализ КК
«данные», «анализ», «переменные» и «результаты». Их использовали все эксперты без исключения. Эти понятия действительно отражают базовые элементы статистического анализа данных, так как определяют общий подход к анализу, подбор методов, логику всех используемых процедур и интерпретацию. Новички из этого списка использовали только термины «переменные» и «данные» и фактически игнорировали «гипотезу», «анализ» и «результаты». Нельзя было исключать возможность, что новички выделяют в качестве ключевых какие-то другие понятия. Однако оказалось, что в их картах практически не встречаются одинаковые понятия, что может свидетельствовать об отсутствии сформированных ключевых понятий на начальном уровне развития компетентности.
Преимущественное использование процедурных понятий. Имеющиеся данные об особенностях решения задач экспертами и новичками дают основание ожидать от экспертов преимущественного использования понятий, относящихся к так называемым декларативным знаниям (идеям, теориям, концепциям), а от новичков — использования процедурных понятий [Rittle-Johnson, Schneider, 2014]. Действительно, КК экспертов помимо общих, ключевых для данной области понятий («гипотеза», «исследовательский вопрос», «анализ» и др.) в обязательном порядке содержали другие теоретически нагруженные понятия, например «выборка», «связь», «различия» или «концепции», «модели», «ковариаты», «интерпретация результатов», «задачи исследования», «метод». Новички же отдавали предпочтение процедурным понятиям, которые описывают действия по анализу данных. Например, они перечисляли виды регрессионного анализа или шаги, необходимые для его выполнения.
Ошибочные связи между понятиями. В отличие от экспертов, новички нередко устанавливали ошибочные связи между понятиями. Например, ошибочными являются интерпретация «переменных» как формы описания «данных», или «вывод», следующий непосредственно из «построенной модели», или объяснительная функция «статистики» по отношению к «исследованию», или замкнутая циклическая связь между понятиями «анализ данных», «переменные» и «данные».
8. Интерпретация Цель этого исследования была двоякой. Во-первых, мы хотели теоретически определить такие формальные индикаторы КК, которые отражали бы определенные особенности структуры знаний. Во-вторых, мы хотели убедиться в различительной способности этих индикаторов, сопоставив две контрастные группы — новичков и экспертов в определенной области знаний. Обе цели были достигнуты: действительно, эмпирически установлено, что теоретически выделенные характеристики КК
различаются в группах экспертов и новичков в области статистических методов анализа данных. Такими характеристиками выступили: уровень обобщенности используемых понятий, присутствие понятий разного уровня обобщенности, связанность понятий друг с другом, доля комплексных и единичных понятий. Иными словами, в результате нашей работы характеристики структуры знаний, различающиеся, судя по данным предыдущих исследований, у экспертов и новичков, получили свои индикационные элементы в КК. Эти индикаторы, рассматриваемые здесь как элементы графа, формально описываются как соотношения разных типов узлов и ребер, представленных в карте.
Важно, что именно такой формальный подход позволил превратить крайне индивидуализированные КК в набор объективных параметров, не зависящих от профессионального уровня самих оценщиков карт. Тем самым КК выведены из круга инструментов индивидуализированной оценки в область оценки объективной, поставлены в один ряд с другими стандартизированными методами оценивания. Предыдущие работы показали, что КК чувствительны к индивидуальным изменениям в структуре знаний по мере роста уровня компетентности, наши результаты свидетельствуют о том, что КК пригодны для использования в сравнительных исследованиях.
Установление различительной способности ряда индикаторов является только первым шагом в подтверждении диагностического потенциала КК. Но предложенный нами формальный подход обеспечивает доступность КК для дальнейших проверок: от надежности показателей до конструктной валидности. Например, с точки зрения надежности безусловно необходимо продемонстрировать ретестовую устойчивость всех заявленных индикаторов. Для подтверждения конструктной валидности важно получить поддержку предлагаемой интерпретации наших индикаторов. Ведь сам по себе подсчет различных элементов в карте не ведет автоматически к их интерпретации в терминах структуры знания. Здесь мы логически допустили, что элементы и их соотношение отражают определенные характеристики структуры знания, к примеру, соотношение числа узлов и связей отражает связанность понятий, а висячие узлы — понятия, которые респондент рассматривает как единичные. Мы показали, что эти индикаторы принимают разные значения в контрастных группах, причем эти различия именно таковы, как мы ожидали, но, конечно, здесь требуется более фундаментальная поддержка нашей интерпретации.
Перспективы данной работы нам видятся в логике теоретических воззрений Л. С. Выготского относительно развития научных понятий, поскольку формирование именно этих понятий отражает концептуальная карта. Л. С. Выготский предполагал,
что ход развития научных понятий противоположен пути развития житейских понятий [Выготский, 1982]. Если житейские понятия развиваются от осознания отдельных явлений или предметов, на которые указывает понятие, до понимания абстрактного значения самого понятия, то научное понятие сразу дается как абстрактное значение, и его развитие идет в направлении осознания представленного в нем предмета. Признаками зрелости понятия (любого: и житейского, и научного) Л. С. Выготский называет возможность связать его логически с другими понятиями, погруженность его в иерархическую систему других понятий разного уровня обобщенности.
Некоторые теоретические предположения Л. С. Выготского нашли отражение в композиции выделенных нами индикаторов. Так, например, мы использовали индикатор степени обобщенности понятия как долю исходящих иерархизированных связей среди всех исходящих из этого понятия ребер. Индикатор, который мы назвали «равномерность обобщения», мы рассчитывали как среднюю разницу в объеме трех самых объемных понятий в КК, предполагая, что эксперты, в отличие от новичков, будут использовать понятия всех уровней обобщенности — в полном соответствии с идеей Л. С. Выготского о том, что зрелое понятие должно функционировать в системе других понятий разного уровня обобщения. Теория Л. С. Выготского представляется нам очень перспективной для планирования дальнейшей работы по анализу КК, с другой стороны, возможно, что метод концептуальных карт удастся использовать для эмпирической поддержки самой теории.
Серьезное ограничение нашего исследования состоит в том, что мы проверили различительную способность формальных индикаторов КК на одной-единственной выборке, и, более того, выборке гомогенной и малочисленной. Сама по себе малочисленность не представляет большой угрозы для пилотного исследования. Во-первых, потому что его целью является скорее апробация нового метода анализа, чем строгая оценка характеристик респондентов. Во-вторых, исследования с помощью концептуальных карт как глубоко качественный метод, использующийся только индивидуально и требующий для проведения много времени, как правило, применяется на небольших выборках: например, n — 19 [Jeong, Lee, 2012], n — 3 [Lavigne, 2005], n — 8 [Kandiko, Kinchin, 2012], n — 11 [McNeil, 2015]. Однако вкупе с однородностью выборки малочисленность наших групп респондентов препятствует пока распространению сделанных выводов на другие области знаний. И хотя качественный блок нашей работы привел к результатам, совпадающим с полученными с помощью КК в других исследованиях (например, об ошибочных связях между понятиями или о преимущественном использовании процедурных понятий новичками), для гене-
рализации выводов совершенно необходимо в дальнейшем исследовать паттерны КК у новичков и экспертов в самых разных областях знаний. Тем более что первые результаты, полученные с помощью предложенного количественного метода анализа концептуальных карт, выглядят обнадеживающе.
1. Брангье Ж.-К. (2000) Беседы с Жаном Пиаже // Психологический жур- Литература нал. Т. 21. № 4. С. 107-111.
2. Вергелес К. П. (2017) Особенности в способах репрезентации проблемы, ее оценке и подходах к решению у экспертов. Систематический обзор: курсовая работа магистра департамента психологии НИУ ВШЭ (неопубликованная).
3. Выготский Л. С. (1983) История развития высших психических функций // Выготский Л. С. Собрание сочинений в 6 т. Т. 3. М.: Педагогика. C. 5-328.
4. Выготский Л. С. (1982) Мышление и речь // Выготский Л. С. Собрание сочинений в 6 т. Т. 2. М.: Педагогика.
5. Нежнов П. Г., Карданова Е. Ю., Эльконин Б. Д. (2011) Оценка результатов школьного образования: структурный подход // Вопросы образования / Educational Studies Moscow. № 1. С. 26-43. DOI: 10.17323/18149545-2011-1-26-43
6. Оре О. (1968) Теория графов. М.: Наука, 1968.
7. Пиаже Ж. (2001) Теория Пиаже // Л. Ф. Обухова, Г. В. Бурменская (ред.) Жан Пиаже: теория, эксперименты, дискуссии. М.: Гардарики. С. 106157.
8. Ausubel D. P. (2000) The Acquisition and Retention of Knowledge: A Cognitive View. Dordrecht: Kluwer Academic Publishers.
9. Bilalic M., Gobet F. (2009) They Do What They Are Told to Do: The Influence of Instruction on (Chess) Expert Perception-Commentary on Lin-hares and Brum (2007) // Cognitive Science. Vol. 33. No 5. P. 743-747.
10. Blasing B., Tenenbaum G., Schack T. (2009) The Cognitive Structure of Movements in Classical Dance // Psychology of Sport and Exercises. Vol. 10. No 3. P. 350-360.
11. Chase W. G., Simon H. A. (1973) The Mind's Eye in Chess // W. G. Chase (ed.) Visual Information Processing. New York: Academic Press. P. 215281.
12. Chi M. T.H. (2011) Theoretical Perspectives, Methodological Approaches, and Trends in the Study of Expertise // Y. Li. (ed.) Expertise in Mathematics Instruction: An International Perspective. New York, NY: Springer. P. 17-39.
13. Chi M. T.H., Feltovich P., Glaser R. (1981) Categorization and Representation of Physics Problems by Experts and Novices // Cognitive Science. Vol. 5. No 2. P. 121-152.
14. Chi M. T.H., Glaser R., Rees E. (1982) Expertise in Problem Solving // R. J. Sternberg (ed.) Advances in the Psychology of Human Intelligence. Vol. 1. Hillsdale, NJ: Lawrence Erlbaum Associates. P. 7-76.
15. Dauer J. T., Long T. M. (2015) Long-Term Conceptual Retrieval by College Biology Majors Following Model-Based Instruction // Journal of Research in Science Teaching. Vol. 52. No 8. P. 1188-1206.
16. Jee B. D., Gentner D., Uttal D. H., Sageman B., Forbus K., Manduca C. A., Tikoff B. (2014) Drawing on Experience: How Domain Knowledge Is Reflected in Sketches of Scientific Structures and Processes // Research in Science Education. Vol. 44. No 6. P. 859-883.
17. Jeong A., Lee W. J. (2012) Developing Causal Understanding with Causal Maps: The Impact of Total Links, Temporal Flow, and Lateral Position of Outcome Nodes // Educational Technology Research and Development. Vol. 60. No 2. P. 325-340.
18. Kandiko C. B., Kinchin I. M. (2012) What Is a Doctorate? A Concept-Mapped Analysis of Process Versus Product in the Supervision of Lab-Based PhDs // Educational Research. Vol. 54. No 1. P. 3-16.
19. Kim M. (2013) Concept Map Engineering: Methods and Tools Based on the Semantic Relation Approach // Educational Technology Research and Development. Vol. 61. No 6. P. 951-978.
20. Lapp D. A., Nyman M. A., Berry J. S. (2010) Student Connections of Linear Algebra Concepts: An Analysis of Concept Maps // International Journal of Mathematical Education in Science and Technology. Vol. 41. No 1. P. 1-18.
21. Lavigne N. C. (2005) Mutually Informative Measures of Knowledge: Concept Maps Plus Problem Sorts in Statistics // Educational Assessment. Vol. 10. No 1. P. 39-71.
22. Li Y., Kaiser G. (eds) (2011) Expertise in Mathematics Instruction: An International Perspective. New York, NY: Springer Science+Business Media.
23. Lowe R. K., Lowe K. (1996) Background Knowledge and the Construction of a Situational Representation from a Diagram // European Journal of Psychology of Education. Vol. 11. No 4. P. 377-397.
24. McClure J.R., Sonak B., Suen H. K. (1999) Concept Map Assessment of Classroom Learning: Reliability, Validity, and Logistical Practicality // Journal of Research in Science Teaching. Vol. 36. No 4. P. 475-492.
25. McNeil S. (2015) Visualizing Mental Models: Understanding Cognitive Change to Support Teaching and Learning of Multimedia Design and Development // Educational Technology Research and Development. Vol. 63. No 1. P. 73-96.
26. Novak J. D. (2002) Meaningful Learning: The Essential Factor for Conceptual Change in Limited or Inappropriate Propositional Hierarchies Leading to Empowerment of Learners // Science Education. Vol. 86. No 4. P. 548-571.
27. Novak J. D., Cañas A. J. (2008) The Theory Underlying Concept Maps and How to Construct Them. Technical Report of the Florida Institute for Human and Machine Cognition. https://cmap.ihmc.us/docs/theory-of-concept-maps
28. Novak J. D., Musonda D. (1991) A Twelve-Year Longitudinal Study of Science Concept Learning // American Educational Research Journal. Vol. 28. No 1. P. 117-153.
29. Perkins D. N., Salomon G. (2012) Knowledge to Go: A Motivational and Dispositional View of Transfer // Educational Psychologist. Vol. 47. No 3. P. 248-258.
30. Rittle-Johnson B., Schneider M. (2014) Developing Conceptual and Procedural Knowledge of Mathematics // R. C. Kadosh, A. Dowker (eds) Oxford Handbook of Numerical Cognition. Oxford, UK: Oxford University. P. 1102-1118
31. Ruiz-Primo M.A., Schultz S. E., Li M., Shavelson R. J. (2001) Comparison of the Reliability and Validity of Scores from Two Concept-Mapping Techniques // Journal of Research in Science Teaching. Vol. 38. No 2. P. 260278.
32. Sloutsky V. M., Yarlas A. S. (2000) Problem Representation in Experts and Novices: Part 2. Underlying Processing Mechanisms / Proceedings of the XXII Annual Conference of the Cognitive Science Society. P. 475-480.
33. Stoddart T., Abrams R., Gasper E., Canaday D. (2000) Concept Maps as Assessment in Science Inquiry Learning — A Report of Methodology // International Journal of Science Education. Vol. 22. P. 1221-1246.
34. Stylianou D. A. (2002) On the Interaction of Visualization and Analysis: The Negotiation of a Visual Representation in Expert Problem Solving // Journal of Mathematical Behavior. Vol. 21. No 3. P. 303-317.
35. Surber J. R., Smith P. L. (1981) Testing for Misunderstanding // Educational Psychologist. Vol. 16. No 3. P. 165-174.
36. Van Lehn K., Chi M. (2012) Adaptive Expertise as Acceleration of Future Learning: A Case Study // P. J. Durlach, A. M. Lesgold (eds) Adaptive Technologies for Training and Education. Cambridge: Cambridge University. P. 28-45.
37. Von der Heidt T. (2015) Concept Maps for Assessing Change in Learning: A Study of Undergraduate Business Students in First-Year Marketing in China // Assessment & Evaluation in Higher Education. Vol. 40. No 2. P. 286-308.
38. Wallace J. D., Mintzes J. J. (1990) The Concept Map As a Research Tool: Exploring Conceptual Change in Biology // Journal of Research in Science Teaching. Vol. 27. No 10. P. 1033-1052.
Distinctive Ability of Concept Maps for Assessing Levels of Competence
Pilot study
Authors Yulia Tyumeneva
Candidate of Sciences in Psychology, Associate Professor, Institute of Education, National Research University Higher School of Economics. E-mail: jutu@ yandex.ru
Anastasiya Kapuza
Postgraduate Student, National Research University Higher School of Economics. E-mail: a. [email protected]
Kseniya Vergeles
Master Student, National Research University Higher School of Economics. E-mail: [email protected]
Address: 20 Myasnitskaya Str., 101000 Moscow, Russian Federation.
Abstract Previous research has proved the concept mapping is an effective tool to evaluate knowledge structure, but usually the concept mapping served to foster and trace individual progress in specific field of knowledge. No attention was paid to identifying or verifying the formal indicators of concept maps or their sensitiveness to the level of competence in a specific field of knowledge. However it will make possible to use concept mapping as a standardized tool. In the current study some possible indicators are suggested based on concept maps of experts (n = 4) and novices (n = 9) in the field of data analysis. Experts and novices constructed their concept maps individually after receiving standardized instructions and brief training. Formal indicators were based on interpreting concept map as a graph. Specifically, indicators such as generality of concepts used, structure coherence, proportions of singular, complex concepts, etc. were expected to be discriminative for different levels of competence. We found that nearly all indicators actually discriminate between experts and novices. In addition, a few qualitative parameters of concept maps were identified (availability of key concepts, existence of erroneous relationships, procedural/conceptual nature of knowledge) which also differed across groups. As a result, concept mapping look potentially helpful for standardized evaluation of competence levels if we use the formal indicators. Although further research on extended and heterogeneous samples is required to test stability and generalizability of this formal approach to the concept mapping.
Keywords cognitive development, concept mapping, knowledge structure, development of scientific concepts, expert, novice.
References Ausubel D. P. (2000) The Acquisition and Retention of Knowledge: A Cognitive View. Dordrecht: Kluwer Academic Publishers. Bilalic M., Gobet F. (2009) They Do What They Are Told to Do: The Influence of Instruction on (Chess) Expert Perception-Commentary on Linhares and Brum (2007). Cognitive Science, vol. 33, no 5, pp. 743-747. Bläsing B., Tenenbaum G., Schack T. (2009) The Cognitive Structure of Movements in Classical Dance. Psychology of Sport and Exercises, vol. 10, no 3, pp. 350-360.
Bringuier J.-C. (2000) Besedy s Zhanom Piazhe [Conversations with Jean Pia-get]. Psikhologicheskiy zhurnal, vol. 21, no 4, pp. 107-111.
Chase W. G., Simon H. A. (1973) The Mind's Eye in Chess. Visual Information Processing (ed. W. G. Chase), New York: Academic Press, pp. 215-281.
Chi M. T.H. (2011) Theoretical Perspectives, Methodological Approaches, and Trends in the Study of Expertise. Expertise in Mathematics Instruction: An International Perspective (ed. Y. Li), New York, NY: Springer, pp. 17-39.
Chi M. T.H., Feltovich P., Glaser R. (1981) Categorization and Representation of Physics Problems by Experts and Novices. Cognitive Science, vol. 5, no 2, pp. 121-152.
Chi M. T.H., Glaser R., Rees E. (1982) Expertise in Problem Solving. Advances in the Psychology of Human Intelligence. Vol. 1 (ed. R. J. Sternberg), Hillsdale, NJ: Lawrence Erlbaum Associates, pp. 7-76.
Dauer J. T., Long T. M. (2015) Long-Term Conceptual Retrieval by College Biology Majors Following Model-Based Instruction. Journal of Research in Science Teaching, vol. 52, no 8, pp. 1188-1206.
Jee B. D., Gentner D., Uttal D. H., Sageman B., Forbus K., Manduca C. A., Tik-off B. (2014) Drawing on Experience: How Domain Knowledge Is Reflected in Sketches of Scientific Structures and Processes. Research in Science Education, vol. 44, no 6, pp. 859-883.
Jeong A., Lee W. J. (2012) Developing Causal Understanding with Causal Maps: The Impact of Total Links, Temporal Flow, and Lateral Position of Outcome Nodes. Educational Technology Research and Development, vol. 60, no 2, pp. 325-340.
Kandiko C. B., Kinchin I. M. (2012) What Is a Doctorate? A Concept-Mapped Analysis of Process Versus Product in the Supervision of Lab-Based PhDs. Educational Research, vol. 54, no 1, pp. 3-16.
Kim M. (2013) Concept Map Engineering: Methods and Tools Based on the Semantic Relation Approach. Educational Technology Research and Development, vol. 61, no 6, pp. 951-978.
Lapp D. A., Nyman M. A., Berry J. S. (2010) Student Connections of Linear Algebra Concepts: An Analysis of Concept Maps. International Journal of Mathematical Education in Science and Technology, vol. 41, no 1, pp. 1-18.
Lavigne N. C. (2005) Mutually Informative Measures of Knowledge: Concept Maps Plus Problem Sorts in Statistics. Educational Assessment, vol. 10, no 1, pp. 39-71.
Li Y., Kaiser G. (eds) (2011) Expertise in Mathematics Instruction: An International Perspective. New York, NY: Springer Science+Business Media.
Lowe R. K., Lowe K. (1996) Background Knowledge and the Construction of a Situational Representation from a Diagram. European Journal of Psychology of Education, vol. 11, no 4, pp. 377-397.
McClure J.R., Sonak B., Suen H. K. (1999) Concept Map Assessment of Classroom Learning: Reliability, Validity, and Logistical Practicality. Journal of Research in Science Teaching, vol. 36, no 4, pp. 475-492.
McNeil S. (2015) Visualizing Mental Models: Understanding Cognitive Change to Support Teaching and Learning of Multimedia Design and Development. Educational Technology Research and Development, vol. 63, no 1, pp. 73-96.
Nezhnov P., Kardanova E., Elkonin B. (2011) Otsenka rezultatov shkolnogo obra-zovaniya: strukturnyy podkhod [Measuring Educational Outputs: One Possible Approach]. Voprosy obrazovaniya/ Educational Studies. Moscow, no 1, pp. 26-43. DOI: 10.17323/1814-9545-2011-1-26-43.
Novak J. D. (2002) Meaningful Learning: The Essential Factor for Conceptual Change in Limited or Inappropriate Propositional Hierarchies Leading to Empowerment of Learners. Science Education, vol. 86, no 4, pp. 548-571.
Novak J. D., Cañas A. J. (2008) The Theory Underlying Concept Maps and How to Construct Them. Technical Report of the Florida Institute for Human and Machine Cognition. Available at: https://cmap.ihmc.us/docs/theo-ry-of-concept-maps (accessed 10 November 2017).
Novak J. D., Musonda D. (1991) A Twelve-Year Longitudinal Study of Science Concept Learning. American Educational Research Journal, vol. 28, no 1, pp. 117-153.
Ore 0. (1968) Teoriya grafov [Theory of Graphs]. Moscow: Nauka.
Perkins D. N., Salomon G. (2012) Knowledge to Go: A Motivational and Dispositional View of Transfer. Educational Psychologist, vol. 47, no 3, pp. 248-258.
Piaget J. (2001) Teoriya Piazhe [Piaget's Theory]. Zhan Piazhe: teoriya, eks-perimenty, diskussii [Jean Piaget: Theory, Experiments, Discussions] (eds. L. Obukhova, G. Burmenskaya), Moscow: Gardariki, pp. 106-157.
Rittle-Johnson B., Schneider M. (2014) Developing Conceptual and Procedural Knowledge of Mathematics. Oxford Handbook of Numerical Cognition (eds R. C. Kadosh, A. Dowker), Oxford, UK: Oxford University, pp. 1102-1118.
Ruiz-Primo M.A., Schultz S. E., Li M., Shavelson R. J. (2001) Comparison of the Reliability and Validity of Scores from Two Concept-Mapping Techniques. Journal of Research in Science Teaching, vol. 38, no 2, pp. 260-278.
Sloutsky V. M., Yarlas A. S. (2000) Problem Representation in Experts and Novices: Part 2. Underlying Processing Mechanisms. Proceedings of the Annual Conference of the Cognitive Science Society, pp. 475-480.
Stoddart T., Abrams R., Gasper E., Canaday D. (2000) Concept Maps as Assessment in Science Inquiry Learning—A Report of Methodology. International Journal of Science Education, vol. 22, pp. 1221-1246.
Stylianou D. A. (2002) On the Interaction of Visualization and Analysis: The Negotiation of a Visual Representation in Expert Problem Solving. Journal of Mathematical Behavior, vol. 21, no 3, pp. 303-317.
Surber J. R., Smith P. L. (1981) Testing for Misunderstanding. Educational Psychologist, vol. 16, no 3, pp. 165-174.
Van Lehn K., Chi M. (2012) Adaptive Expertise as Acceleration of Future Learning: A Case Study. Adaptive Technologies for Training and Education (eds P. J. Durlach, A. M. Lesgold), Cambridge: Cambridge University, pp. 28-45.
Vergeles K. (2017) Osobennosti v sposobakh reprezentatsii problemy, yeye ot-senke i podkhodakh k resheniyu u ekspertov. Sistematicheskiy obzor [Special Characteristics of Problem Representation, Assessment and Solution by Experts: A systematic Review] (Master's Thesis, School of Psychology, NRU HSE) (unpublished).
Von der Heidt T. (2015) Concept Maps for Assessing Change in Learning: A Study of Undergraduate Business Students in First-Year Marketing in China. Assessment & Evaluation in Higher Education, vol. 40, no 2, pp. 286308.
Vygotsky L. (1982) Myshlenie i rech' [Thinking and Speech]. Sobranie sochineniy L. Vygotskogo v 6 t. T. 2 [The Collected Works of Lev Vygotsky in Six Volumes. Vol. 2]. Moscow: Pedagogika.
Vygotsky L. (1983) Istoriya razvitiya vysshikh psikhicheskikh funktsiy [The History of the Development of Higher Mental Functions]. Sobranie sochineniy L. Vygotskogo v 6 t.T. 3 [The Collected Works of Lev Vygotsky in Six Volumes. Vol. 3], Moscow: Pedagogika, pp. 5-328.
Wallace J. D., Mintzes J. J. (1990) The Concept Map As a Research Tool: Exploring Conceptual Change in Biology. Journal of Research in Science Teaching, vol. 27, no 10, pp. 1033-1052.
