РЕШЕНИЕ КОМПЛЕКСНЫХ ПРОБЛЕМ В PISA-2012 И PISA-2015: ВЗАИМОДЕЙСТВИЕ СО СЛОЖНОЙ РЕАЛЬНОСТЬЮ Текст научной статьи по специальности «Науки об образовании»

АЛЕКСАНДР ПОДДЬЯКОВ

Решение комплексных проблем в PISA-2012 и PISA-2015: взаимодействие со сложной реальностью

Аннотация. В 2012 г. участникам Международной программы по оценке образовательных достижений учащихся PISA впервые в истории массового тестирования был предложен новый тип задач - интерактивные. В статье дается их анализ. Представлено стоящее за ними научное направление - психология решения комплексных задач в сложной многофакторной среде, требующей поиска, экспериментирования, управления в условиях неопределенности. Обсуждаются открывающиеся возможности и возникающие трудности при внедрении таких задач в практику массового оценивания; особое внимание уделено проблеме стандартной оценки творческих заданий. Анализируется возрастающее значение исследований исследовательского поведения и «экспериментирования с экспериментированием», а также их влияние на образовательную политику.

Ключевые слова: решение комплексных проблем, науки о сложности, PISA, интерактивные задачи, экспериментирование с экспериментированием, образовательная политика.

В2012 г. участникам Международной программы по оценке образовательных достижений учащихся (Programme for International Student Assessment, PISA) впервые в истории массового тестирования и оценки были предложен новый тип задач - интерактивные задачи с многофакторными объектами. В отечественных источниках, посвященных PISA-2012, эти задачи обычно крайне скупо характеризуются как компьютерные (требующие взаимодействия с компьютером). Сразу подчеркнем: компьютеризованность - вовсе не самая главная их характеристика. Они вполне могут быть реализованы и в другом виде, просто компьютер -самый удобный на данный момент инструмент предъявления их содержания (а также регистрации процесса решения и обработки результатов).

Главная же особенность этих задач -то, что они требуют от школьника самостоятельного исследования новой сложной многофакторной системы с заранее неизвестными свойствами, причем он ведет это исследование не чистым отвлеченно-аналитическим путем, а путем непосредственного практического взаимодействия с новым объектом - выдвигая гипотезы, тут же экспериментально проверяя их и пытаясь управлять объектом. Эти интерактивные задачи противопоставляются разработчиками РКА-2012 задачам другого типа, которые они называют аналитическими. В аналитических задачах вся необходимая для решения информация изначально заложена в условиях (таково, например, абсолютное большинство школьных математических задач, заданий тестов интеллекта и т.п.). Задания такого типа имеют свои достоинства (иначе бы их не использовали), но в них полностью отсутствует этап сбора фактических дан-

34

ных, без которого реальная познавательная деятельность невозможна. Участнику даются условия задачи, с которыми он может как-то работать на бумаге или в уме, но он не может получить никакой новой информации от самого объекта, о котором говорится в задаче. Вся эта информация получена или придумана составителем задания и передана испытуемому в готовом виде. В интерактивных же задачах поиск и приобретение новой информации из среды - важнейшая составная часть1 (Frensch, Funke, 1995). Здесь проблема выбора или создания схемы наблюдения, плана эксперимента и т.д. имеет принципиальное значение для процесса и результатов решения.

Программа по оценке образовательных достижений учащихся PISA - один из самых масштабных современных проектов, реализуемый Организацией экономического сотрудничества и развития. В нем участвуют десятки и сотни тысяч 15-летних школьников (в 2012 г. -порядка 200 тыс.) из десятков стран, и нацелен он на оценку тех компетент-ностей, знаний, умений, которые требуются в реальной жизни, в практической деятельности. Задания для него конструируются и отбираются международным коллективом экспертов. Мы постараемся показать, что появление интерактивных многофакторных задач в столь масштабном проекте, как PISA, -это отражение ряда закономерных тенденций в изменении содержания образования и оценке образовательных достижений.

В данной статье мы остановимся на следующих вопросах.

• Какова научная основа, на которой конструируются эти задачи? Сразу укажем, что это интереснейшее направление современной когнитивной психологии - психология решения комплексных проблем и задач (complex problem solving), активно развивающаяся последние 30 лет и являющаяся частью наук о сложности (complexity sciences).

• Зачем эти задачи введены в PISA, что и как они диагностируют?

• С какими комплексными проблемами сталкивается данное направление при внедрении в практику массовой диагностики? В решение каких проблем оно само включено как составная часть?

ПСИХОЛОГИЯ РЕШЕНИЯ КОМПЛЕКСНЫХ ПРОБЛЕМ И ЗАДАЧ КАК НАУЧНОЕ НАПРАВЛЕНИЕ

Под комплексной проблемой понимается такая, в которую входит множество разнородных подпроблем (подзадач), связанных друг с другом как прямыми, непосредственными, так и отдаленными отношениями и связями, - так что невозможно решить какую-либо из этих подзадач изолированно, по отдельности, и приходится распутывать сразу всё одновременно, причем часто в условиях ограниченного времени. Такая запутанность, многосвязность - часть сложной реальности. Как пишет Д. Дёрнер (1997, с. 106), в сложной системе имеет место переплетение зависимостей по типу пружинного матраса: если потянуть в одном месте, в движение приводится практически всё, если надавить в другой точке, произойдет то же самое. Поэтому делая, казалось бы, что-то одно, решающий на самом деле воздействует на множество самых разных объектов, связанных между собой. В результате он может сталкиваться с побочными и отдаленными следствиями, часть из которых прямо противоположна его целям.

Примеров деятельностей по решению комплексных проблем в современном обществе очень много - начиная с того, как дети осваивают компьютер или адаптируются к новой среде при переезде на новое место жительства, и кончая тем, как большие коллективы высококвалифицированных специалистов пытаются реализовать новейшие проекты: космические, ядерные, военные, научные, гуманитарные и т.п. Яркий пример комплексной проблемы - организация работы Большого адронного коллайдера. В этом проекте задействовано множество специалистов по всему

1 Простой эмпирический критерий различения задач этих двух типов - может ли задача быть решена в уме непосредственно после прочтения условий (может ли человек решить ее, так сказать, прикрыв глаза, чтобы ничто не отвлекало, и заложив руки за спину сразу после прочтения условий). Если да, то это аналитическая задача. Если же для решения необходим поиск заранее неизвестной информации в ходе обследования объекта и экспериментирования с ним (необходимы руки для манипуляций с объектом и глаза для наблюдения за происходящим), то это интерактивная задача.

об авторе

А.Н. Поддья-ков, профессор факультета психологии НИУ ВШЭ, доктор психологических наук

35

миру и решается множество взаимосвязанных проблем и задач - от высоких, относящихся к нерешенным вопросам науки (ради чего, собственно, проект и реализуется) до задач обеспечения разнообразной безопасности, технического снабжения, организации питания сотрудников и т.д.; навскидку перечислена лишь малая часть.

И.А. Васильев (2004) пишет, что в отечественной науке один из первых психологических подходов к анализу решения комплексных проблем был реализован Б.М. Тепловым в работе «Ум полководца», опубликованной в 1945 г. (Теплов, 1985). Задачи, которые решает полководец, ведущий войну, являются, разумеется, комплексными.

Позднее проблематика решения комплексных задач изучалась в научной школе оперативного мышления В.Н. Пушкина, немецкой школе оперативного интеллекта Д. Дёрнера, концепции имплицитного научения при управлении динамическими системами Д. Бродбента и Д. Берри, смысловой теории мышления О.К. Тихомирова - прежде всего, в работах одного из основных ее представителей И.А. Васильева, в нашей концепции исследовательской деятельности и творческого мышления человека в сложных развивающихся областях (Васильев, 1998, 2004; Дёр-нер, 1997; Поддьяков А.Н., 2002, 2006; Пушкин, 1965; Berry, Broadbent, 1995; Dörner, 1990; Goode, Beckman, 2009; Frensch, Funke, 1995; Funke, 2012; Gre-iff et al., 2013; Güss et al., 2010; Osman, 2010; Poddiakov, 2006; Quesada, Kintsh, Gomez, 2005; и др.).

Актуальность исследований в данной области обусловлена следующим. Развитие общества характеризуется все возрастающей динамичностью, человечество создает и вовлекает себя во все новые, более широкие и сложные сети различных взаимодействий (технологических, экономических, информационных, социальных, политических,

военных и т.д.). Возникла необходимость понять, как человек решает такие проблемы, где необходимы знания сразу многих научных и практических областей, учет намерений и действий других людей - партнеров, союзников и противников, способность собирать разнообразную информацию из множества источников и принимать сразу много решений в условиях ограниченного времени, управлять сразу множеством новых и разнообразных объектов и явлений, связанных между собой. Это требует от субъекта отхода от простых канонических схем «одно действие - один эффект» («одна причина - одно следствие»). Необходима иная система организации познавательной деятельности -качественно более высокого уровня.

Изучением этого предметного поля и занимается одна из интенсивно развивающихся областей когнитивной психологии - психология решения комплексных проблем и задач2 (задач по изучению сложных динамических систем и управлению ими).

Чтобы лучше понять специфику решения комплексных проблем по сравнению с тем, что изучает другое направление когнитивной психологии - принятие решений (decision making), можно обратиться к вершине этого второго - работам нобелевского лауреата Д. Канемана и его коллеги А. Тверски со ставшими классическими примерами. Решающему предъявляется ограниченное число альтернатив с четко сформулированными характеристиками (скажем, в задаче «Азиатская болезнь» - два способа лечения эпидемии и их последствия), и человек должен принять решение о предпочтительности одной из них (Канеман, Тверски, 2003). В этих работах блестяще показаны систематические нарушения рациональной логики принятия решения, происходящие при том, что в задаче имеются все данные для правильного выбора, этих данных немного, и они ясно сформулированы.

2 Мы согласны с имеющимся в педагогике и психологии обучения, а также и в других научных областях различением понятий «проблема» и «задача». Одно из ключевых отличий: «проблема» означает сложный вопрос, не имеющий однозначного решения; «задача» - вопрос, имеющий четкий ответ (в том числе ответ о невозможности решения - о том, что множество решений пусто). В рамках данной статьи не будем проводить строгих различений между этими понятиями, поскольку применительно к сложным динамическим ситуациям, изучаемым в направлении «complex problem solving», такие различения теряют традиционный универсальный смысл. То, что для одного решающего - проблема, для другого - задача (и кто из этих двоих больше прав, в общем случае неизвестно), и даже для одного человека в ходе решения то, что выглядело задачей, может становиться проблемой, и наоборот; границы здесь весьма динамичны. В дальнейшем мы будем пользоваться словосочетаниями «решение комплексных проблем» и «решение комплексных задач» в зависимости от контекста.

36

Направление «решение комплексных задач» изучает реальность другого типа. Здесь решающий не выбирает между уже имеющимися альтернативами (как покупатель - один стиральный порошок среди нескольких на полке магазина), а сам изобретает, генерирует альтернативы. Он экспериментирует, пытается управлять новыми объектами методом проб и ошибок, обнаруживает новые свойства, связи и закономерности и т.д.

Покажем различие этих подходов на материале двух версий шахматной игры - классической и модифицированной. Классическая игра в шахматы - это пример последовательного принятия решений: играющий на основе наблюдаемого расположения фигур на доске выбирает оптимальный ход - один из конечного (пусть и большого) числа вариантов. Доказано, что существует выигрышный алгоритм такого выбора (выигрышный алгоритм шахматной игры).

Однако, предлагает Д. Дёрнер, представьте себе, что вы играете в шахматы на доске неопределённо большого размера, значительная часть которой скрыта туманом, с играющими, число которых точно неизвестно. Не ясно точно, кто ваши противники, а кто партнеры и по каким правилам каждый из них играет. В дополнение ко всему фигуры связаны между собой невидимыми резиновыми жгутами, так что перемещение одной приводит к непредсказуемому перемещению других. Комплексную проблему на начальных этапах решения можно сравнить с подобной игрой «вслепую», и она качественно отличается от дебюта в классической шахматной игре с известным набором шахматных фигур и единственным противником. Для комплексных проблем нет и не может быть алгоритмов, с помощью которых можно просчитать имеющиеся альтернативы и выбрать наилучшую3' Решение комплексных проблем требует и комплекса разнообразных способностей: познавательных (способностей экспериментировать, собирать информацию из множества источников, обрабатывать ее в условиях ограниченного

времени и принимать несколько решений одновременно), личностных и эмоциональных (способностей действовать в условиях новизны и неопределенности, внутренней готовности к различным результатам действий, в том числе неожиданным - как положительным, так и отрицательным), социальных способностей, связанных с пониманием и учетом намерений и действий множества людей - партнеров, союзников и противников.

Итак, направления «решение комплексных проблем» (complex problem solving) и «принятие решений» (decision making) имеют дело с разными сторонами реальности и дополняют друг друга. И параллельно тому, как в школе Канема-на и Тверски исследовали ошибки нерационального принятия решений, в школе Дёрнера изучали ошибки генерации альтернатив, неразумного экспериментирования, неправильного управления целями и т.д. - недаром его книга 1987 г. называется «Логика неудачи: стратегическое мышление в сложных ситуациях» (русский перевод: Дёрнер, 1997).

Как в других научных областях, граница между этими двумя дополняющими друг друга подходами не жесткая. Так, направление «naturalistic decision making», рассматривающее принятие решений в реальных ситуациях экстремальной деятельности, отсчитывает свою официальную историю с анализа причин трагедии 3 июля 1988 г., когда американский крейсер «Винсеннес», находящийся у берегов Ирана, сбил ракетами иранский пассажирский самолет с 290 пассажирами и 16 членами экипажа, ошибочно приняв его за иранский истребитель-бомбардировщик, готовящийся к маневру для атаки. Часть важных положений этого направления весьма близка направлению «решение комплексных задач», что позволяет объединить оба под более общим названием «комплексное познание», «познавательная деятельность в сложных условиях» (complex cognition) (Funke, 2010; Klein, 2008; Knauff, Wolf, 2010; Lipshitz et al., 2001).

37

3 Это связано, с одной стороны, с тем, что в комплексные проблемы всегда входят подпроблемы и подзадачи, пока сформулированные нечетко (например, в силу новизны деятельности) и, значит, не допускающие применение строгих алгоритмов, а с другой стороны, с тем, что часть подзадач, сформулированных совершенно четко, оказывается алгоритмически неразрешимой - что часто трудно понять человеку, столкнувшемуся с данным явлением.

В теории управления под многосвязными понимаются такие объекты и системы, в которых тот или иной параметр зависит сразу от нескольких или же один параметр определяет сразу несколько других.

Вернемся к PISA - в разные годы там были представлены задачи на принятие решений (условно назовем их «канема-новские», аналитические4). А в 2012 г. были введены комплексные задачи. Назовем их «дёрнеровскими», поскольку именно Дитриха Дёрнера разработчики официально назвали тем ученым, чьи исследования легли в основу заданий PISA-2012. Это задачи интерактивные (требующие экспериментирования), динамические, многофакторные. В наиболее сложных компьютерных сценариях, разработанных в данном научном направлении, используются такие объекты, как, например, виртуальная фабрика, город или государство с тысячами (!) неизвестных внутренних связей, и участник должен разобраться хотя бы в части из них, чтобы относительно успешно управлять этой системой (Дёр-нер, 1997). Можно высказать обоснованное предположение, что множество современных стратегических компьютерных игр типа «Цивилизации» и т.п. имеют одним из своих источников научные разработки Д. Дёрнера («Таналанд», «Моро», «Лоххаузен» и др.), ведущиеся с 1970-х гг. Об их сходстве пишут прямо (Riegler, 1998, p. 43). Даже если эти компьютерные игры возникли позже совершенно независимо (что кажется маловероятным), эта параллель показывает неслучайность движения культуры (науки, интеллектуальных игр) в данном направлении. Начинали использоваться такие сложные сценарии и в школе О.К. Тихомирова (Лысенко, 1989).

Подробный перечень собственно научных представлений, лежащих в основе направления «решение комплексных задач», подробно описан нами ранее (Поддьяков А.Н., 2002, 2006; Поддьяков, Елисеенко, 2013), здесь же мы отметим следующее.

Данное направление (complex problem solving) является составной частью активно развивающихся в последние десятилетия наук о сложности (complexity sciences), использующих математический аппарат теорий сложных динамических систем. Эти науки о сложности и динамике систем развивают холистический (целостный, а не редукционистский) подход5. Их аппарат способен конструктивно, не впадая ни в сверхдетерминизм, ни в агностицизм, работать с понятиями неопределенности, нестабильности, непредсказуемости и рассматривать множественные взаимодействия. Эти науки возникли в ХХ в. в преодолении ограничений научных подходов Нового времени, идеалом для которых служили геометрия Эвклида, механика Ньютона, детерминизм Лапласа и которые в настоящее время рассматриваются как редукционистские (упрощающие реальность до ее насильственного подчинения одному или нескольким принципам, формулам, аксиомам). Как пишет лауреат Нобелевской премии И. Пригожин, в те времена в науке господствовала «иллюзия универсального» - иллюзия возможности существования единой, «божественной», точки зрения, «с которой открывается вид на всю реальность» (Пригожин, Стенгерс, 1986, с. 289). И преимуществом, и недостатком редукционистского подхода и порождаемых им систем статического, инвариантного типа является то, что они создают более однозначные, простые, внутренне непротиворечивые модели реальности. Принципиальной слабостью таких инвариантных систем является непреодолимый разрыв между бесконечным богатством изменяющейся реальности и идеализирующим понятийным единством, простотой и точностью (Глой, 1994).

Соответственно, разработчики интерактивных комплексных задач транслируют в их содержание современные представления наук о сложности: о внутренней динамике и неполной предсказуемости поведения сложных систем; их непрозрачности (недоступности непосредственному наблюдению важ-

4 В их число входит блестящая задача, где 15-летнему подростку предлагается разобраться в тарифных и (якобы) скидочных опциях оператора сотовой связи - здесь имитируется ситуация, когда вся информация у решающего есть, но при этом опции искусно поданы так, чтобы провоцировать выгодный оператору выбор из сгенерированных им же альтернатив.

5 Одной из их предшественниц (или даже основ) считается «Тектология» А.А. Богданова, опубликованная 100 лет назад, в 1913 г.

38

ных свойств, связей, закономерностей); о множественности целей, которые возникают при управлении такой системой; о неизбежности получения побочных результатов, сложным образом связанных с исходными целями; и т.д. В PISA-2012 это сделано, разумеется, выборочно и в ограниченном объеме, ведь речь шла о задании, на которое отводится 15-20 минут, - одном среди других. Здесь перед разработчиками стояла весьма сложная психолого-педагогическая задача (или даже комплексная проблема): создать объект, в котором способны разобраться путем исследования школьники за ограниченное время и который при этом все-таки подпадал бы под разряд именно сложных, - этакий «минималистски сложный объект» (minimally complex item), простейший представитель класса сложных, при этом валидный в диагностическом отношении как инструмент психологического измерения (Greiff et al., 2013).

В интерактивном задании PISA-2012 сохранены как минимум два основных свойства сложных систем: непрозрачность (неполнота исходных данных, которые надо собирать самостоятельно путем практического экспериментирования) и многосвязность. В теории управления под многосвязными понимаются такие объекты и системы, в которых тот или иной параметр зависит сразу от нескольких, или же один параметр определяет сразу несколько других. (В односвязных объектах любой параметр связан только с каким-то одним и не более.) Многосвязность наблюдается во множестве природных явлений, в работе сложных технических систем, в экономике, общественной жизни и т.д.

При этом в интерактивном задании PISA-2012 не воспроизводились такие характеристики сложных систем, как внутренняя динамика, разнородность областей знаний, необходимых для решения, множественность участников решения и др. Часть из них будет реализована в PISA-2015.

Обратимся непосредственно к описанию и анализу интерактивных заданий в PISA-2012 и PISA-2015.

Рис. Общий вид МР3-плеера, предлагаемого для обследования школьникам, в демонстрационной версии (http://erasq.acer.edu.au/index.php?cmd=cb aItemPreview&unitVersionId=178)

ИНТЕРАКТИВНЫЕ ЗАДАЧИ В PISA-2012 И PISA-2015

И в 2012, и в 2015 г. используется общий методический принцип: психологи конструируют мини-модель сложной системы и предлагают ее для самостоятельного овладения школьнику. Оценивается, в какой мере подростки использовали при исследовании определенные познавательные стратегии (например, те или иные стратегии многофакторного экспериментирования), что поняли в объекте, могут ли им управлять и т.д. В 2015 г. будет использован намного более сложный объект, чем в 2012 г., и деятельность по решению комплексной проблемы будет организована уже не как индивидуальная (тестируемый один на один с объектом), а как кооперативная, совместная с партнером. К настоящему моменту опубликованы только образцы этих заданий, а не сами задания, но и эти примеры позволяют провести содержательный анализ.

Пример интерактивной задачи в РКА-2012: «МР3-плеер»6

Эта задача была опробована в предварительных испытаниях - ее реально решали участники пилотных выборок, прежде чем она была опубликована в качестве образца. Как пишут разработчики, они моделировали одну из самых распространенных ныне ситуаций решения интерактивной задачи: попытку самостоятельно разобраться в новом техническом устройстве при отсутствии инструкции.

Вводная задачи такова: «Вам подарили МР3-плеер, с помощью которого можно сохранять и слушать музыку. Вы можете

6 Возможно, кто-то из читателей, прежде чем знакомиться с описанием и анализом, предпочтет вначале сам пройти задание - это можно сделать на сайте: httpy'/erasq.acer.edu.au/index.php?cmd=cbaItemPreview&unitVersionId =178

39

переключать тип музыки и увеличивать или уменьшать громкость и уровень низких частот с помощью трех кнопок управления (<|, ©, [>)». При этом на экране компьютера предъявляется изображение этого плеера (см. рис.), и участник может кликать мышкой по его кнопкам, наблюдая за тем, в какие режимы он при этом переходит. (Всего плеер может проигрывать три типа музыки - поп, рок, джаз на шести уровнях громкости и шести уровнях низких частот.)

Сразу заметим: сам факт того, что в данном устройстве имеются 4 кнопки управления и больше 20 окон, в которых отражаются значения управляемых переменных, говорит о том, что плеер является многосвязным объектом. Функция той или иной кнопки не константна, а зависит от состояния, в котором находится устройство, и от того, какие последовательности нажимов были задействованы до этого7. Итак, это многосвязный «непрозрачный» объект, исследование которого надо вести методом «черного ящика» - подавая различные комбинации воздействий на входы (нажимая кнопки) и наблюдая реакции объекта на его выходах (окнах дисплея).

Специфику экспериментирования с таким многосвязным объектом можно показать путем сравнения с другими типами экспериментирования. Так, на заре информатизации школьного обучения разрабатывалось довольно много задач следующего типа. Вводя те или иные числовые значения одной переменной в одном окне и наблюдая за происходящими при этом изменениями значений второй переменной в другом окне, школьник должен был догадаться, какой математической зависимостью эти две переменные связаны. Разумеется, это тоже интерактивная задача (требуется экспериментирование с «черным ящиком»), но не комплексная - в ней нет множественных взаимодействий и взаимовлияний. А вот когда на входе

имеются всего три переменные, а на выходе - около двух десятков, когда требуются именно комбинации воздействий, и эффект действия одной управляющей переменной принципиально зависит от комбинаций других управляющих переменных (как в задаче про плеер), тогда задача исследования и управления становится комплексной (точнее говоря, минимально комплексной).

В PISA-2012 школьнику даются четыре задания, относящиеся к плееру8.

Задание 1 (на исследование и понимание устройства - exploring and understanding) (PISA-2012..., 2013, p. 132).

«Определите, верны ли следующие утверждения об МР3-плеере. Выберите "Верно" или "Неверно" для каждого из утверждений». (Приводятся три утверждения о том, как можно перевести плеер из определенного наличного состояния в другое, целевое; верно только одно из утверждений.)

Задание 2 (на планирование и реализацию плана - planning and executing) (Там же).

«Установите следующие настройки на МР3-плеере: Рок, Громкость 4, Низкие частоты 2. Сделайте это, как можно меньше раз нажимая на кнопки. В этом задании нет кнопки СБРОС».

Если участник выполнил задание не более чем за 13 нажимов, он получает 1 полный кредит, если более чем за 13 нажимов, - часть кредита, если не выполнил - 0.

Задание 3 (на построение репрезентации и формулирование - representing and formulating) (Там же, p. 133).

«На рисунках изображены четыре состояния экрана МР3-плеера. Три из них невозможны, если МР3-плеер работает нормально. На оставшемся рисунке показано состояние экрана нормально работающего МР3-плеера. На каком рисунке показано состояние экрана МР3-плеера, работающего нормально?»

Задание 4 (на рефлексию - monitoring and reflecting (Там же).

40

7 Такая клавиатура называется полифункциональной. Ее массовое использование в бытовых устройствах стало возможно при соответствующем развитии технологий; еще несколько десятков лет назад люди имели дело с устройствами, работающими по принципу «одна кнопка (рукоятка) - один реагирующий элемент (лампочка, мотор и т.п.)». Обратите внимание (вспомнив какой-нибудь старый прибор) - для тех устройств были разумными вопросы типа: «Какая рукоятка регулирует громкость? А какая низкие частоты? Какая рукоятка регулирует длину волны (в радиоприемнике)?» и т.д. А для очень многих современых устройств эти вопросы не имеют смысла: с помощью трех-четырех кнопок идет управлением множеством функций; так люди в массовом масштабе, на повседневном бытовом уровне постоянно вступают во взаимодействия с техническими многосвязными объектами.

8 Здесь и далее мы приводим диагностическую функцию каждого задания из англоязычного оригинала (PISA-2012.., 2013) и текст самого задания на русском языке с сайта http://erаsq.аcer.edu.аu/index.php?cmd=toProblemSolving. Критерии оценивания см.: http://erasq.acer.edu.au/index.php?cmd=getCodingGuide&unitId=&unitId=21

«Опишите, как можно было бы изменить управление работой МР3-плеера, чтобы можно было обходиться без нижней кнопки (<|). При этом вы по-прежнему должны иметь возможность переключать тип музыки и увеличивать или уменьшать громкость и уровень низких частот». Тестируемому предоставляется возможность свободного ввода текста в чистом окне. Задание предполагает творческое мышление. Предусмотрено шесть вариантов ответов, оцениваемых в 1 кредит. Среди засчитываемых вариантов: сделать так, чтобы нажим кнопки > возвращал в начало строки при достижении ее конца; изменить устройство так, чтобы нажим средней кнопки © при переходе в следующую строку делал рабочим крайнее левое окно (а не третье, как в исходном варианте), и т.д.

Описав эти задачи, перейдем к их обсуждению и оценке.

Можно видеть, что сконструирована последовательность задач, охватывающих разные стороны деятельности по исследованию объекта, управлению им и его совершенствованию. По моему собственному ощущению, некоторые вопросы выглядят неожиданно (в процессе предварительного обследования они не возникают), и это хорошо: участник исследования в таком случае должен переосмысливать ранее собранную информацию и конструировать новые стратегии. Такие ситуации экологически валидны (отражают реальность) и важны в диагностическом отношении.

При этом обозначение диагностических функций заданий вызывает некоторые вопросы. Так, непонятно, почему задание 1 («Определите, верны ли следующие утверждения об МРЗ-плеере») обозначено как задание на исследование и понимание (exploring and understanding). Исследование и понимание - слишком широкие понятия, и все приведенные задания - на исследование и понимание. Разве остальные задания не требуют понимания или требуют в меньшей степени? Представляется, что точнее было бы назвать первое задание заданием на проверку гипотез, поскольку человек здесь должен экспериментально проверить сформулированное кем-то утверждение - верно оно или нет. Это задание именно на проверку,

Материал для изучения должен быть сконструирован так, чтобы по отношению к нему было возможно особое распределение ролей и исследовательских действий участников. Оно должно раскрывать сущностные характеристики изучаемой реальности и создавать возможности совместных содержательных обсуждений, углубляющих понимание.

а не на выдвижение, поскольку формулирования своей гипотезы разработчики от школьника не требуют.

Неясно также, почему задание 2 -на формулирование (formulating), хотя формулирования оно в явном виде не требует, надо просто выбрать нужное изображение из четырех.

Не совсем понятно, почему задание 4 -на мониторинг и рефлексию (monitoring and reflecting), а не на креативность (изобретательность), хотя оно выглядит модификацией одного из заданий Торренса на креативность (на создание усовершенствований игрушки: Torrance, 1967, p. 110-118), и даже в самом описании этого задания используется слово «креативный» («There is no single correct answer, and students may think creatively in devising a solution» [PISA-2012..., 2013, p. 133]).

Число возможных правильных ответов для этого задания разработчики ограничили только шестью. Каковы риски, что среди 200 тыс. тестируемых не найдется подросток, сумевший изобрести седьмой достаточно адекватный способ? А такие способы есть, причем даже не один: сделать так, чтобы возврат в начало рабочей строки происходил не после достижения крайнего правого положения (это ответ, учитываемый разработчиками), а сразу из любого положения в строке при двойном клике кнопки >, или же при двойном клике кнопки ©, или при одновременном нажиме > и ©. Итак, ни двойные (последовательные) клики, ни одновременные нажимы на две кнопки почему-то не предусмотрены вообще. Между тем это распространенное эргономическое решение в современных технических устройствах (International..., 2006; Poddiakov, 2011). Вероятное предположение: разработчики находились в плену слишком буквально понятого примера универсальных запретов, сформулированного около 15 лет назад: «ни при каких условиях нельзя нажимать

41

две кнопки одновременно» (Vollmeyer, Burns, 1999; цит. по: Greiff, 2012, p. 52), и поверили в этот запрет. Между тем в настоящее время, в связи с массовым появлением в быту устройств-мультитачей (multi-touch) - смартфонов и пр., множественные одновременные нажимы на клавиатуру (сенсорный экран и пр.) -это нечто естественное для огромного числа людей.

Наконец, необходимо отметить, что среди тестовых вопросов нет одного из ключевых для исследовательской деятельности - «Что будет, если...?» (т.е. нет задания на прогноз). Понятно, что разработчики должны были ограничить число вопросов. Но правильный прогноз поведения системы при тех или иных воздействиях - это совершенно неотъемлемый компонент ее понимания. Во многих других методиках данного научного направления даются задания и на прогноз, но здесь они почему-то были опущены.

Ответы на все эти вопросы, возможно, будут получены, когда появятся аналитические материалы от организаторов PISA-2012 (публикация результатов ожидается в конце 2013 г.).

Кооперативно-интерактивная задача в PISA-2015:«Аквариум» как пример

В 2015 г. предлагаемые школьникам задачи будут уже кооперативно-интерактивными: участникдолженбудет исследовать предложенную ему новую систему совместно с другим участником. Например, они вдвоем должны будут подобрать оптимальные параметры температуры воды, освещенности и другие характеристики среды в новом аквариуме, чтобы в нем лучше всего жилось виртуальным рыбкам экзотического вида. Дело осложняется тем, что участники общаются друг с другом не непосредственно, а через систему обмена сообщениями, и каждый видит и может управлять только своей частью пульта управления и изначально не знает о параметрах управления, доступных другому участнику. Их можно узнать в процессе совместного обсуждения в чате, и в нем же спланировать и реализовать стратегию совместного обследования этой новой для участников биотехнологической системы. Тем самым в данном задачном материале реализуется методический прием объединения в команду, называе-

мый «мозаика», «пазл» (jigsaw puzzle): ни у одного из участников нет полной информации о задаче и достаточного набора средств ее решения; информационные и материальные ресурсы всех участников различны, и решить задачу можно, только договариваясь, обмениваясь информацией, объединяя возможности действия (т.е. дружно соединяя части пазла из элементов, имеющихся у каждого).

Можно видеть, что в этой проблемной ситуации операционализированы представления современных концепций совместного исследовательского учения (collaborative exploratory learning). В соответствии с ними материал для изучения должен быть сконструирован так, чтобы по отношению к нему было возможно особое распределение ролей и исследовательских действий участников. Оно должно раскрывать сущностные характеристики изучаемой реальности и создавать возможности совместных содержательных обсуждений, углубляющих понимание (distributed learning, distributed experimentation, distributed cognition). В нашей стране начиная с 1970-1980-х гг. исследования возможностей таких учебных объектов и сред велись под руководством В.В. Рубцова (Коммуникативно-ориентированные..., 1996). Из современных зарубежных подходов можно выделить концепцию разработки сред, основанных на сотрудничестве учащихся, для изучения ими сложных (комплексных) областей М. Спектора -поскольку именно он опирается на работы школы Дёрнера (Spector, 2001). Более подробную информацию о современных концепциях можно почерпнуть, например, на сайте COllaborative Learning and Distributed Experimentation (COLDEX, www.coldex.info), сайтах Computer-Supported Collaborative Learning (CSCL) и др. И конечно, информация, наиболее релевантная PISA-2015, представлена в многостраничном официальном документе «PISA-2015: Draft CollaborativeProblemSolvingFramework» (http://www.oecd.org/pisa/pisaprod-ucts/Draft%20PISA%202015%20Col-laborative%20Problem%20Solving%20 Framework%20.pdf). Мы предлагаем заинтересованному читателю самому обратиться к знакомству с ней. Здесь же,

42

в силу ограниченного объема статьи, укажем лишь, что помимо диагностики ранее перечисленных компонентов решения интерактивной комплексной задачи (исследования и понимания, формулирования, планирования и реализации плана и т.д.) будут диагностироваться и компоненты совместной деятельности: установление и поддержание взаимопонимания с партнером, организация совместных действий по решению задачи, организация совместных действий по поддержанию работы в команде (распределение ролей, формулирование правил совместной работы и т.д.). Эта совместная деятельность достаточно сложна, поскольку школьники должны экспериментировать с многофакторной системой и затем управлять ею, а для этого надо как минимум договориться о порядке варьирования переменных, доступных каждому из участников. Например, необходимо договориться о том, что на этапе экспериментирования, пока один участник варьирует какой-то из доступных ему управляющих факторов, другой участник сохраняет «свои» управляющие факторы неизменными (т.е. только наблюдает, но бездействует как экспериментатор), иначе возникнет мешанина совместных эффектов, в которых невозможно разобраться. Потом участники меняются ролями - и т.д. Описание критериев оценивания этой деятельности содержится в указанном документе.

Напоследок интригующая информация: планируется, что в качестве партнера каждого из участников будет выступать не реальный подросток, а компьютерная программа (computer agent, робот, «бот»), имитирующая человеческую коммуникацию. Она будет задавать вопросы, имитировать непонимание, предлагать те или иные ходы по решению задачи, высказывать мнения и оценки и т.д. Использование именно программы, а не живого человека обосновывается разработчиками тем, что это позволит сделать данного «партнера» одинаковым для всех участников и использовать заранее продуманные вопросы и реплики, стимулирующие ход дискуссии, демонстрирующие непонимание, предлагающие то или иное решение и т.д., т.е. сделать процесс более

управляемым и единообразным с точки зрения контроля переменных. Ведь поведение живого партнера непредсказуемо, оно зависит от темперамента и характера человека, настроения, каких-то трудно учитываемых ситуативных факторов, и это создало бы серьезные проблемы для строгой процедуры тестирования (PISA-2015..., 2013).

При том что цель введения компьютерной программы в качестве партнера понятна, здесь, как нам представляется, возникает ряд вопросов. Например, как будет проверяться идентичность разных языковых версий программы для разных стран? Будут ли стилизоваться язык и речь подростка?

Возникает и проблема осведомленности: ведь информация об использовании компьютерных программ в качестве партнеров в задачах PISA-2015 является открытой - она опубликована. Может ли исходное знание этого («я общаюсь с ботом») повлиять на поведение и стратегии участников? Если участник про это изначально не знал, но стал постепенно догадываться в ходе решения (как это бывает и при Интернет-общении с ботом), может ли это повлиять на происходящее при решении? Например, участник займется решением своей собственной задачи - «бот или не бот». Не надо ли заранее предупредить участников, что они будут общаться с компьютерной программой, чтобы поставить их в равные условия? Возможно, эти вопросы не столь значимы, как представляется сейчас (общение с ботом в 2015 г. станет делом рутинным в любой из обследуемых стран), но могут оказаться и значимы; это мы узнаем в 2015 г.

ОТКРЫТОСТЬ ИНТЕРАКТИВНЫХ ЗАДАЧ И ПРОБЛЕМЫ ОЦЕНИВАНИЯ

Разработчикам интерактивных комплексных задач в PISA самим приходится решать ряд (если не сказать, множество) проблем, относящихся к разным областям. В силу ограниченного объема статьи остановимся здесь на одной из них, носящей принципиальный характер, -проблеме оценивания открытых задач.

Традиционно, начиная с работ Дж. Гилфорда, различают задания с закрытым и открытым концом. Он критиковал тесты интеллекта за закрытость их конца

43

(т.е. наличие единственного правильного ответа, заранее известного разработчику задачи) и ввел творческие задачи с открытым концом - при их решении можно давать неограниченное число творческих, оригинальных решений.

Оценим, в свою очередь, интерактивные задачи по параметру закрытости -открытости.

Введем понятие задач с открытым началом: в них исходные данные и условия не сформулированы четко и полностью, в полном и исчерпывающем объеме. Принципиально важно, что интерактивные задачи имеют как раз такое, открытое начало. Участник постоянно добирает новую информацию и пересматривает ранее полученные данные в ходе реального взаимодействия с объ-ектом9. Но как оценить этот самостоятельный и творческий поиск по добыванию информации от нового объекта и конструированию знаний о нем, не вытекающих из четко сформулированных условий? Если при обследовании виртуального компьютерного мира один испытуемый сел в виртуальный самолет, второй - в виртуальную подводную лодку, а третий вначале принялся за химический анализ окружения, то как сравнивать их стратегии и результаты?

Идеалом экспериментального объекта, предлагаемого испытуемому для самостоятельной познавательнойдеятель-ности, является объект с бесконечно большим количеством разноуровневых скрытых элементов, свойств и связей -от элементарно обнаружимых, почти очевидных до крайне сложных в обнаружении и понимании. Моделируемая

Неопределенность условий приводит к неопределенности того набора способностей и умений, который тот или иной испытуемый может попытаться актуализировать в своей деятельности. Высокая неопределенность и новизна создают испытуемым свободу и богатство выбора. Это достоинство, но это и недостаток, поскольку критерии оценки деятельности испытуемых тоже неизбежно становятся не вполне определенными и постоянно требуют новых интерпретаций.

в таком эксперименте деятельность -это познание субъектом сложного, разнообразного мира, постепенно познаваемого на все новых уровнях - и при этом никогда не познаваемого полностью (возможность сюрпризов от сложной динамической системы сохраняется всегда).

Интерактивные объекты, используемые при диагностике решения комплексных проблем, должны создавать испытуемому условия, неопределенные и новые настолько, чтобы инициировать, «запустить» это творческое поисковое поведение и дать ему развернуться. Однако неопределенность условий приводит к неопределенности того набора способностей и умений, который тот или иной испытуемый может попытаться актуализировать в своей деятельности. Высокая неопределенность и новизна создают испытуемым свободу и богатство выбора. Это достоинство, но это и недостаток, поскольку критерии оценки деятельности испытуемых тоже неизбежно становятся не вполне определенными и постоянно требуют новых интерпретаций.

Пока тестовые ситуации ограничиваются обследованием виртуального плеера с тремя кнопками, указанная проблема стоит не так остро. Однако уже сейчас разработчики интерактивных задач в PISA пишут, что учет индивидуальных различий стратегий разных участников, понимание индивидуальности стратегии не как ошибки уклонения от известного, наперед заданного способа решения - проблема настолько серьезная, что авторы ожидают от ее будущего решения, найденного в рамках PISA, и существенного вклада в новейшие методологии поиска и обработки данных, в дата-майнинг (Greiff et al., 2013; Müller et al., 2013). С точки зрения поиска и обработки данных дело выглядит так: не менее 200 тыс. участников (затем и миллионы) решают задачу, позволяющую использовать различные стратегии. Эти участники используют разные последовательности действий, при этом какие-то действия проделывают быстро, какие-то - более медленно, перед какими-то делают временную задержку (раздумывают), и разработчикам

9 Испытуемый, получивший задание теста на интеллект, выглядел бы весьма неадекватно, если бы спросил экспериментатора о том, как получены исходные данные задачи, или засомневался бы в их истинности. В реальной же познавательной деятельности вопросы такого типа абсолютно правомерны.

44

это надо фиксировать, регистрировать (а поскольку записывать всё невозможно, то надо заранее решить, что именно). Затем, при обработке полученного массива данных, возникает вопрос: как дифференцировать классы различных стратегий? Должна ли эта дифференциация строиться на заранее заданных жестких критериях или же на гибких, перестраиваемых в процессе обучения системы, ведущей обработку, чтобы, например, учитывать сюрпризы, которые могут преподнести несколько талантливых ребят, нашедших стратегии, не учтенные заранее разработчиками при системе жесткой? Нужно ли искать эти возможные находки участников, и если да, то как это делать в огромном массиве данных? И как оценивать найденное?

Здесь мы вплотную подходим к проблеме, так и не решенной до конца в тестах креативности и, похоже, полностью унаследованной в массовом тестировании решения комплексных задач. Дело в том, что суть творчества - выход за рамки заданного и известного, прорыв за пределы стандартов, а тест - это стандартная процедура обследования по наперед заданному набору параметров. Таким образом, тест творчества должен быть стандартом измерения способности действовать нестандартно и по-новому (быть «стандартом измерения нестандартности», многолетним эталоном новизны), а демонстрируемые человеком акты творчества (т.е. новизны и нестандартности его решений) должны выглядеть так, чтобы подпадать под этот стандарт (Поддьяков А.Н., 2004; Poddiakov, 2006).

Так, в Тесте креативного мышления Торренса изначально заложен фиксированный (!) диапазон оригинальности возможных ответов (от 40 до 160 баллов), выше которого, как, видимо, уверены разработчики, никто из тестируемых не прыгнет. И на самом деле не прыгнет - процедура получения и обработки данных не позволит. (Дело обстоит так, словно двум прыгунам, прыгнувшим в высоту на 5 и 8 м, объявили один и тот же результат: «Молодцы, 3 м», поскольку у судей нет рулетки длиннее.) Это такой недостаток теста оригинальности и его дифференцирующей силы, который не позволяет считать валид-ность данного теста удовлетворительной. Ведь эта валидность такова, что тест

как минимум не позволяет сравнивать оригинальность ответов, не попавших в стандартные, заранее известные списки, а ведь именно такие ответы в творчестве наиболее интересны.

При этом в тесте Торренса ситуация все-таки лучше, чем в PISA-2012. В первом любой ответ, который экспериментатор расценил как не входящий в заранее заготовленный им список, получает максимально возможный балл. Идея такова: «Испытуемый придумал то, что пока никому не приходило в голову, - он отлично справился, оценим это максимально высоко в рамках заданного нами потолка».

А разработчики PISA все отклонения от созданного ими списка оценивают не высшим баллом, а, наоборот, низшим - как отсутствие решения у участника. Это совершенно удивительным образом контрастирует с ранее провозглашенной ими же ценностью индивидуальных решений и декларированием того, что отклонение - не обязательно ошибка, с идеологией задач «с открытым концом». При этом, вполне естественно, помимо шести заложенных ими вариантов ответов для творческого задания обнаруживается как минимум еще три решения неучтенных типов (связанных с одновременными нажимами на две кнопки или двойными последовательными кликами), а какое множество решений еще возможно?

Проблема данной парадигмы оценивания состоит в следующем. Выбранный тестовый критерий оценки творческой деятельности - «стандартный список творческих ответов» - это нонсенс (или, скажем мягче, вынужденный паллиатив, но тогда он должен явно формулироваться - именно как паллиатив). Ведь при использовании заранее заготовленного, стандартного списка творческих ответов мы попадаем в парадоксальную ситуацию: чем более новым и оригинальным будет ответ участника, тем меньше вероятность, что тестирующий его заметит и оценит! Это происходит по той простой причине, что в списке ответов, с которым сверяется тестирующий, такого ответа нет - нет даже намека на него. Настоящие оригинальные решения имеют тенденцию не попадать в список уже известных, а расширять его.

45

Разумеется, добросовестный экспериментатор, столкнувшись с новым ответом, разумно выглядящим и при этом не входящим в стандартный список, может, подумав, отослать его в головной офис разработчикам теста. А те решат, как такую новацию оценивать и стандартизировать. Может быть даже, этот ответ войдет в обновленный перечень ответов, удлинив его на единицу (гордись, испытуемый!). Однако это абсолютно не гарантирует от того, что на следующее же утро не найдется человек, который изобретет новое решение, и его ответ либо вообще не заметят, либо не так интерпретируют.

В терминах В.А. Лефевра, психодиагностика - это исследование системы, сравнимой с исследователем по совершенству (Лефевр, 2003). В этих случаях исчерпывающее изучение невозможно, потому что для полного изучения чужого мыслительного аппарата нужно обладать своим более мощным мыслительным аппаратом, «стоящим над» первым и объемлющим его. В практике массовой психодиагностики это объективно не может быть всегда выполнимым правилом - участник исследования может оказаться умнее исследователя. И для того, чтобы оценить ответ будущего Тьюринга, Эшби, Эйнштейна, вообще говоря, нужен эксперт, сопоставимый по масштабу, - чтобы заметить и оценить предложенную новацию. Но где же набрать таких экспертов на 200 тыс. тестируемых? Возможный ответ типа «набирать и не надо, при массовой оценке образовательных достижений мы не таланты ищем, а оцениваем массовые данные по стране» выглядит понятным, но все-таки паллиативным. Помнить о будущих Тьюрингах и Эшби, получивших, возможно, 0 тестовых баллов за креативность при обследовании новой компьютерной системы, все-таки стоило бы. Разрешима ли эта проблема? Возможно, мы это узнаем, в том числе благодаря следующим раундам PISA. Но, как представляется, парадигма оценивания творческих ответов по заранее заготовленному списку должна быть изменена.

При хорошем же раскладе результаты, полученные с помощью интерактивных задач PISA, позволят пересмотреть или уточнить данные, а может быть, и поставить новые вопросы о соотношении

тестов разных типов - тестов интеллекта, креативности и исследовательского поведения. (Анализ их возможного соотношения на настоящий момент см.: Под-дьяков А.Н., 2012.)

КОНСТРУИРОВАНИЕ КОМПЛЕКСНЫХ ЗАДАЧ: ЧАСТЬ НОВОЙ ОБРАЗОВАТЕЛЬНОЙ СРЕДЫ И ПЕРЕМЕННАЯ РАЗВИТИЯ

Содержание наук о сложности - в содержание образования

Представления о сложной реальности, которые затем транслируются в образование, имеют своим источником, с одной стороны, теоретические положения математики, естественных и инженерных наук, а с другой - психологический анализ того, что Д. Дёрнер называет «логикой неудачи стратегического мышления в сложных ситуациях», в том числе психологический анализ произошедших и длящихся катастроф (техногенных, гуманитарных).

Приведем показательный пример формирования у подрастающего поколения представлений о сложности в математике. В фильме «Убийства в Оксфорде» (2008), снятом А. де ла Иглесиа по роману аргентинского писателя и математика Г. Мартинеса, представлен затягивающий сюжет. Студент-математик (его роль исполняет Э. Вуд, от которого стонет молодое поколение, - Фродо из культового «Властелина колец») вовлекается в расследование загадочных убийств и попутно - в любовно-эротическую историю. По ходу сюжета зритель слышит не такие уж короткие диалоги персонажей-математиков. Обсуждаются важные для расследования темы:

• еще в начале массового использования тестов интеллекта некоторые испытуемые решали стандартную задачу на продолжение числового ряда нестандартно - не предусмотренными в тесте, но точно подходящими числовыми последовательностями;

• вообще, для любого конечного ряда может быть построено бесконечное число различных закономерных продолжений (это имеет непосредственное отношение к сюжету: убийца каждый раз оставляет на месте очередного убийства последовательность символов - непонятную и постепенно удлиняющуюся, которую необходимо разгадать);

46

• Курт Гёдель доказал теорему о неполноте формальных систем (о том, что внутри любой абстрактной системы выводного знания сколь угодно высокого уровня, начиная с определенного уровня сложности, всегда имеются истинные утверждения, которые не могут быть доказаны средствами этой системы, и ложные утверждения, которые не могут быть опровергнуты средствами этой системы; эти истинные утверждения могут быть доказаны, а ложные опровергнуты в рамках более сложной и мощной системы, имеющей уже свои истинные недоказуемые и ложные неопровержимые утверждения, и т.д.; при этом у исходной системы может быть бесконечно много разных, более мощных продолжений).

• И так далее - речь идет также о Л. Витгенштейне, теореме Ферма и пр. Истинное наслаждение для молодого зрителя следить за увлекательными приключениями любимого актера. А психологу, педагогу, математику, озабоченным проблемами образования, бесконечно интересно смотреть, как могут быть представлены сложные математические идеи.

Если говорить о не столь ярких примерах, то всё больше обычных людей -не специалистов в области системной динамики узнаёт из научно-популярных журналов, что такое «эффект бабочки» и т.п.

О примерах множественной детерминации молодой человек может узнать из популярных статей по биологии, в которых написано: тот или иной внешний, фенотипический признак или паттерн поведения находится под контролем (влиянием) множества генов, а один и тот же ген участвует в формировании не одного, а целого ряда фенотипиче-ских признаков и паттернов поведения (Марков, 2008). Этот пример, заметим, - чистое попадание под понятие многосвязности, и может быть, какая-то из следующих интерактивных задач будет касаться не просто житья экзотических рыбок в аквариуме, а виртуального экспериментирования с их генами и наблюдением следствий.

Примеры можно продолжать. Всё это - части глобального цивилизацион-ного проекта, который можно назвать «познание сложности», «исследование сложности» (exploring complexity), если

Представления о сложной реальности, которые затем транслируются в образование, имеют своим источником, с одной стороны, теоретические положения математики, естественных и инженерных наук, а с другой -психологический анализ произошедших и длящихся катастроф (техногенных, гуманитарных).

использовать название одной из книг нобелевского лауреата по химии И. При-гожина. Одна из следующих его книг называлась «Конец определенности».

Обратимся теперь к психологии, а затем к PISA.

«Экспериментирование с экспериментированием» - автокаталитический эффект в цивилизационном проекте

В психологической науке представления о сложности и о том, как ее изучать, тоже активно развивались. В контексте данной статьи важно, что наряду с аналитическими задачами (и тестами интеллекта, построенными по типу аналитических задач) стала активно развиваться теория и методология открытых задач -они сложнее по разработке и интерпретации, чем закрытые, и погружают участника в более сложную среду. Иначе говоря, наряду с изучением решений в условиях «канемановской неопределенности» (с выбором между немногими, четко сформулированными альтернативами) началось изучение мыслительной деятельности в условиях «дёрнеровской неопределенности». Последняя предполагает генерацию, построение всех компонентов иерархии деятельности (целей, задач, гипотез, средств, стратегий и т.д.) в сложной, насыщенной скрытыми связями и откликающейся на воздействия среде. Такую среду участник потенциально может изучать бесконечно - в том числе потому, что она сама меняется и развивается. При использовании в образовательных целях среды такого типа, как нам представляется, могут составить важную часть «школы неопределенности», по А.Г. Асмолову, - школы жизни в неопределенных ситуациях как нестандартного, вариативного образования в изменяющемся мире (Асмолов, 1996).

Методология открытых задач реализо-вывалась по нескольким, лишь отчасти пересекающимся линиям, в том числе:

47

а) в экспериментальных методиках и тестах креативности (с закрытым началом и открытым концом), где от человека требуются творческие решения сформулированной кем-то (не им самим) задачи и ее условий;

б) в методиках и тестах исследовательского поведения (с открытым началом и с открытым концом), где изучается вышеописанное свободное поведение человека, развертывающееся в среде с новыми и сложными объектами без постановки «чужих» целей и задач извне: человек сам, по своему усмотрению ставит цели и задачи исследования и управления, генерирует гипотезы и т.д.

Возникло целое направление, которое можно назвать «экспериментирование с экспериментированием»: человеку (ребенку или взрослому) в эксперименте предлагаются для самостоятельного исследования и экспериментирования специально разработанные новые и сложные (для испытуемого) технические объекты и целые искусственные среды и изучаются закономерности и особенности этой познавательной деятельности (Поддьяков Н.Н., 1961, 1977; Banta, 1970; Forman, 1986; Hutt, 1970; Poddja-kow, 1981; Shragert, Klahr, 1986; и др.). Не все эти объекты конструировались именно как многосвязные, содержащие сети взаимодействующих факторов. Между тем еще в 1966 г. выдающийся психолог и педагог Дж. Брунер писал, что можно вообразить игры в детском саду, знакомящие детей с идеей множественной детерминации событий физического и социального мира. Игры должны быть сконструированы так, чтобы активно вовлекать дошкольников в понимание того, как вещи влияют друг на друга или связаны друг с другом (Bruner, 1966, p. 27). Под влиянием ли этого высказывания или независимо от него такие игры стали создаваться в разных странах, причем

Еще в 1966 г. выдающийся психолог и педагог Дж. Брунер писал, что можно вообразить игры в детском саду, знакомящие детей с идеей множественной детерминации событий физического и социального мира. Игры должны быть сконструированы так, чтобы активно вовлекать дошкольников в понимание того, как вещи влияют друг на друга или связаны друг с другом.

для разных возрастов. Это компьютерные сценарии сложной многофакторной реальности Д. Дёрнера, разрабатываемые с 1970-х гг.; компьютерные микромиры Л. Шаубл и Р. Глейзера, позволяющие учащимся разного возраста экспериментировать с конструкциями виртуальных гоночных машин, с экономическими объектами и наблюдать эффекты взаимодействия факторов (Schäuble, Glaser, 1990); и др. В настоящее время число таких компьютерных методик вряд ли можно указать точно: далеко не все они индексируются, поскольку часто создаются под конкретную практическую задачу (например, конкретную задачу профессионального обучения).

Один из важных вопросов - соотношение виртуальных и реальных объектов (и шире, моделируемого и реального) при изучении решения комплексных задач. В целом можно утверждать, что использование и виртуальных, и реальных объектов имеет свои преимущества и недостатки, поэтому целесообразно применять объекты обоих типов. В области разработки и использования реальных многосвязных объектов (а не смоделированных на дисплее компьютера) я могу сослаться на собственные исследования, ведущиеся с середины 1980-х гг. Я конструировал многосвязные игрушки-головоломки - «черные ящики» разной степени непрозрачности и сложности для изучения того, как их обследуют дети дошкольного и школьного возраста, как изобретают для себя стратегии многофакторного экспериментирования и понимают многофакторные взаимодействия (Поддьяков А.Н., 1991, 1998, 2001, 2004, 2007; Poddiakov, 1992, 2011). В контексте сопоставления с объектом, использовавшимся в PISA-2012, важно, что основным методическим приемом введения в объект многосвязности, понятной ребенку, было использование особого вида полифункциональной клавиатуры - аккордной (или мультитач-клавиатуры, в терминах современных бытовых устройств). А именно одновременные нажимы на несколько кнопок приводили к эффектам, резко отличающимся от эффектов нажимов на те же кнопки по одной, при этом функция каждой кнопки менялась в зависимости от того, в какую комбинацию других нажатых кнопок эта кнопка включена.

48

Собственно, именно работа с реальными многосвязными объектами позволила мне увидеть некоторые из возможных решений творческого задания на усовершенствование МР3-плеера, не учтенные разработчиками PISA, но принятые в современных реальных устройствах. Реальность богаче модели - ведь модель абстрагируется от множества реальных свойств, чтобы существовать как модель, но эти проигнорированные свойства могут на практике быть очень существенными.

Одним же из недостатков использования реальных объектов в диагностических целях является невозможность их массового изготовления для проведения массового (на сотни тысяч человек, как в PISA) тестирования, особенно если объект является действительно сложной системой. Компьютерные симуляции имеют здесь неоспоримые преимущества: «виртуальные объекты» любой сложности могут быть разосланы сразу всем по электронной почте или загружены на сервер с общим доступом, а в случае обнаружения недостатков - переделаны в единственном числе и снова разосланы (перезагружены), и к этому добавляются возможности массовой одновременной регистрации данных при тестировании и их последующей автоматизированной обработки.

Однако пока массовый потребитель в своей обычной жизни и профессионал - в профессиональной имеют дело со вполне материальными техническими объектами (от виртуальных стиральной машины или ракетного комплекса в ряде отношений мало толку), и эти системы характеризуются именно реальной, а не смоделированной непредсказуемостью и сложностью, использование реальных объектов в психологических исследованиях будет иметь смысл. Это лишь одно из наиболее очевидных соображений; на других мы не будем останавливаться из-за ограниченного объема статьи.

В целом, развертывание теорий, экспериментов, практической диагностики и обучения, связанных со свободным исследовательским поведением, с постановкой и решением комплексных задач, имеет не только образовательное, но и культурное и, не побоимся этого слова, цивилизационное значение. Ис-

Развертывание теорий, экспериментов, практической диагностики и обучения, связанных со свободным исследовательским поведением, с постановкой и решением комплексных задач, имеет не только образовательное, но и культурное и, не побоимся этого слова, циви-лизационное значение.

ходно, примерно в 50-60-х гг. ХХ в. психологи в разных странах стали осознавать и формулировать ценность данных видов познавательной деятельности, конструировать экспериментальные объекты для ее изучения и отрабатывать процедуры экспериментов - пока еще немногочисленных лабораторных. Участники (дети или взрослые) экспериментировали с этими объектами и строили «теории», объяснения их работы разной степени адекватности, а экспериментаторы осуществляли экспериментирование «второго порядка»: они экспериментировали с этой деятельностью экспериментирования, конструируя все новые и более сложные объекты и системы, новые условия и процедуры их использования, и на основе получаемых данных строили свои теории протекания познавательной деятельности, изобретали сложные математические модели (например, модели нелинейной динамики развития) и т.д. Благодаря этому экспериментированию с экспериментированием, продолжающемуся до сих пор, исследователи получают новые факты и изменяют свои представления о закономерностях познавательной деятельности и ее развития, а также способах управления этим развитием.

Итак, имеется не только взаимодействие на уровне «участник эксперимента ^ экспериментальный объект» (участник экспериментирует с объектом, который откликается на его воздействия, изменяя представления участника). Есть и не столь очевидное взаимодействие на уровне «исследователь ^ (участник ^ объект)». В ходе этого взаимодействия изменяются познавательные структуры исследователя. Он начинает разрабатывать такие новые методы и объекты, экспериментируя с которыми участники раскрывают уже новые, до этого не известные возможности познавательной деятельности, и т.д.

49

Познавательные способности дошкольников значительно выше, чем можно полагать, но лица, принимающие решения в образовательной политике, систематически недооценивают эти возможности.

Наконец, существует третий уровень взаимодействия (пока ограничимся тремя). Это взаимодействие «общество ^ {специалисты в области образования ^ (участники ^ объекты)}». А именно исследовательские достижения в области «экспериментов с экспериментированием» транслируются в общественное сознание через систему коммуникаций. Здесь можно сослаться на один из последних показательных примеров. Известная американская исследовательница Э. Гопник опубликовала статьи об экспериментировании дошкольников с разработанными ею объектами в ключевых журналax «Scienitific American» (Gopnik, 2010) и «Science» (Gopnik, 2012), и статья из «Scienitific American» переведена в российском журнале «В мире науки»10. Приведу один из ключевых тезисов этих публикаций (опять-таки известный отечественному читателю со стажем): познавательные способности дошкольников значительно выше, чем можно полагать, но лица, принимающие решения в образовательной политике, систематически недооценивают эти возможности. Между тем следует специально развивать такие детские деятельности, как исследование, экспериментирование, игра. Надо использовать естественную любознательность детей, являющихся природными учеными, и их недооцененные способности к проверке гипотез и причинному выводу для формирования их мышления. Пример статей Э. Гопник -один из последних и наиболее ярких, но есть и другие.

В результате такой трансляции исследовательских достижений изменяются представления общества:

а) о закономерностях и особенностях мыслительной деятельности и возможностях ее развития;

б) о возможностях сложных объектов, систем, моделей в отношении этого развития.

Общество реагирует на всё это изменением социального заказа, поддерживая теоретические исследования и практические разработки новых диагностических и дидактических объектов, сред, де-ятельностей, которые по-новому влияют на познавательное развитие (например, возникает совместный проект девяти европейских стран «Creative Little Scien-tists», «Маленькие творческие ученые», поддержанный 7-й Рамочной программой Евросоюза, см.: http://www.creative-little-scientists.eu), и т.д. - спираль развития раскручивается все дальше; в химии это называется автокаталитическим процессом. Лишь один из многочисленных результатов мы наблюдаем в настоящий момент, и пока только его подробному анализу и посвящена наша статья. Это переход на качественно новый уровень институционализации направления «решение комплексных проблем» - внедрение соответствующих интерактивных задач в практику массовой образовательной оценки школьников с одновременно идущей разработкой новейших методов использования роботов как партнеров по совместной деятельности, дата-майнинга (интеллектуального автоматизированного, без участия человека, поиска в больших базах данных, позволяющего обнаруживать в них скрытые, ранее неизвестные, нетривиальные закономерности) при обработке результатов и т.д. Для всего этого необходимо готовить специалистов11, формировать разнообразные ресурсы - интеллектуальные, технологические и пр. - и решать другие комплексные проблемы.

Ситуация выглядит отчасти похожей на то, что описывают исследователи, включенные в создание Большого адрон-

50

10 Смысловая ошибка переводчика - подзаголовок переведен на русский так: «Даже самые маленькие дети знают гораздо больше, исследуют мир гораздо глубже и обучаются гораздо полнее, чем представляют себе психологи» (http://sciam.ru/journal/catalog/10-2010)). Но в английском оригинале подзаголовка речь не о психологах, а об ученых вообще, причем об их представлениях в прошлом (http://www.alisongopnik.com/papers_alison/sciam-gopnik. pdf). Психологи как раз знают происходящее в этой области лучше других (они ведь сами и ведут эти исследования). Например, отечественный читатель мог подробно узнать о творческом экспериментировании дошкольников, важность которого подчеркивает Э. Гопник, из работ Н.Н. Поддьякова (1977, 1985) и сотрудников его школы -Н.Е. Вераксы (1981), О.Л. Князевой (1987) и других.

11 Для справки: в рамках подготовки российских специалистов читается курс «Психология исследовательского поведения и решения комплексных задач» на магистерской программе «Измерения в психологии и образовании» НИУ ВШЭ (Поддьяков А.Н, 2013).

ного коллайдера: на разных этапах этого мегапроекта разработчики не только не имели части необходимых средств (например, вычислительных кластеров), но и не могли гарантировать, что они будут (или даже могут быть) созданы, -речь ведь шла о совершенно новых областях и технологиях. При этом Большой адронный коллайдер создан и выдает уникальные научные результаты. Сходство и в том, что и проект PISA, и направление «решение комплексных проблем» - молодые, развивающиеся. Можно обоснованно полагать, что они будут успешно совместно решать такую важную комплексную метапроблему, как внедрение комплексных задач, отражающих сложную, разнообразную, полидетерминиро-ванную реальность, в образовательно-диагностическую среду.

ЛИТЕРАТУРА

1. Асмолов А.Г. Культурно-историческая психология и конструирование миров. М.: Ин-т практической психологии, 1996.

2. Васильев И.А. Мотивационно-эмо-циональная регуляция мыслительной деятельности: Дис. ... докт. психол. наук. М., 1998.

3. Васильев И.А. Специфика мыслительной деятельности человека в сложных ситуациях // Материалы Первой Российской Интернет-конференции по когнитивной науке / Под ред. А.Н. Гусева,

B.Д. Соловьёва. М.: УМК «Психология», 2004.С.136-141.

4. Веракса Н.Е. Особенности преобразования противоречивых проблемных ситуаций дошкольниками // Вопросы психологии. 1981. № 3. С. 123-127.

5. Глой К. Проблема последнего обоснования динамических систем // Вопросы философии. 1994. № 3. С. 94-105.

6. Дёрнер Д. Логика неудачи: стратегическое мышление в сложных ситуациях. М.: Смысл, 1997.

7. Канеман Д., Тверски А. Рациональный выбор, ценности и фреймы // Психологический журнал. 2003. Т. 24. № 4.

C.31-42.

8. Князева О.Л. Особенности поисковой деятельности дошкольников при решении наглядно-действенных задач // Вопросы психологии. 1987. № 4. С.86-93.

9. Коммуникативно-ориентированные образовательные среды. Психология

проектирования / Под ред. В.В. Рубцова. М.: ПИ РАО, 1996.

10. Лефевр В.А. Рефлексия. М.: Когито-Центр, 2003.

11. Лысенко Е.И. Игра с ЭВМ как вид творческой деятельности: Канд. дис. М., 1988.

12. Марков А. Гены управляют поведением, а поведение - генами // Элементы. ru. 12 ноября 2008. URL: http://elementy. ru/news/430913

13. Поддьяков А.Н. Исследовательское поведение: стратегии познания, помощь, противодействие, конфликт. М.: ПЕР СЭ, 2006.

14. Поддьяков А.Н. Комбинаторное экспериментирование дошкольников с многосвязным объектом - «черным ящиком» // Вопросы психологии. 1990. № 5. С. 65-71.

15. Поддьяков А.Н. Компликология: создание развивающих, диагностирующих и деструктивных трудностей для других субъектов // Содержание, формы и методы обучения в высшей школе: Аналитические обзоры по основным направлениям развития высшего образования. 2012. № 10. С. 1-80. URL: http://www. hse.ru/data/2012/12/02/1302310042/ complicology10-2012.pdf

16. Поддьяков А.Н. Методика преподавания учебной дисциплины «Психология исследовательского поведения и решения комплексных задач» // Психология в вузе. 2013. № 2. С. 87-111.

17. Поддьяков А.Н. О реализации принципов разработки многофакторных объектов для изучения мышления детей // Вестник Моск. ун-та. Сер. 14. Психология. 1998. № 2. С. 31-42.

18. Поддьяков А.Н. Овладение методологией многофакторных исследований как направление познавательного и личностного развития // Исследовательская деятельность учащихся / Под общ. ред. А.С. Обухова. Т. 1: Теория и методика. М.: Общероссийское общественное движение творческих педагогов «Исследователь», 2007. С. 166-177.

19. Поддьяков А.Н. Психодиагностика интеллекта: выявление и подавление способностей, выявление и подавление способных // Психология. Журнал Высшей школы экономики. 2004. № 4. С. 75-80.

20. Поддьяков А.Н. Развитие исследовательской инициативности в детском

51

возрасте. Дис. ... докт. психол. наук. М., 2001. URL: http://www.phido.ru/ Disser/16295/View.aspx

21. Поддьяков А.Н. Решение комплексных задач // Когнитивная психология / Под ред. В.Н. Дружинина, Д.В. Ушакова. М.: ПЕР СЭ, 2002. С. 225-233.

22. Поддьяков А.Н., Елисеенко А.С. Связи субъективной неопределенности и эффективности решения комплексной проблемы (на материале деятельности управления виртуальной фабрикой) // Психологические исследования. Электронный журнал. 2013. Т. 6. № 28. С. 4. URL: http://psystudy. ru/index.php/num/2013v6n28/791-poddiakov28.html

23. Поддьяков Н.Н. Новые подходы к исследованию мышления дошкольников // Вопросы психологии. 1985. № 2. С.105-117.

24. Поддьяков Н.Н. Мышление дошкольника. М.: Педагогика, 1977.

25. Поддьяков Н.Н. Особенности ориентировочной деятельности у дошкольников при формировании и автоматизации практических действий: Дис. . канд. психол. наук. М., 1961.

26. Пригожин И., Стенгерс И. Порядок из хаоса: новый диалог человека с природой. М.: Прогресс, 1986.

27. Теплов Б.М. Ум полководца (опыт психологического исследования мышления полководца по военно-историческим материалам) // Теплов Б.М. Избр. труды: В 2 т. М.: Педагогика, 1985. Т. 1. С. 223-305.

28. Banta T. Tests for the evaluation of early childhood education: The Cincinnaty Autonomy Test Battery (CATB) // Helmuth J. (ed.). Cognitive studies. N.Y.: Brunner / Mazel Publishers, 1970. P. 424-490.

29. Berry D., Broadbent D. Implicit learning in the control of complex systems // Frensch P.A., Funke J. (eds). Complex problem solving: The European perspective. Hillsdale, NJ: Lawrence Erlbaum Associates, 1995.P.131-150.

30. Bruner J.S. The process of education. Cambridge: Harvard University Press, 1966.

31. Dorner D. The logic of failure // Broad-bent D.E., Baddeley A., Reason J.T. (eds). Human factors in hazardous situations. Proceedings of a Royal Society Discussion Meeting, Philosophical Transaction of the Royal Society. Series B, Biological Sciences. V. 327 (1241). L.; Oxford: Clarendon Press, 1990. P. 327, 463-473.

32. Forman G. Observations of young children solving problems with computers and robots // Journal of Research in Childhood Education. 1986. V. 1. N 2. P. 60-74.

33. Frensch P.A., Funke J. (eds). Complex problem solving: the European perspective. Hillsdale, NJ: Lawrence Erlbaum Associates, Publishers, 1995.

34. Funke J. Complex problem solving // Seel N.M. (ed). Encyclopedia of the sciences of learning. N.Y.; Dordrecht; Heidelberg; L.: Springer, 2012. P. 682-685.

35. Funke J. Complex problem solving: a case for complex cognition? // Cognitive Processesing. 2010. V. 11 (2). P. 133-142.

36. Goode N., Beckmann J.F. You need to know: There is a causal relationship between structural knowledge and control performance in complex problem solving tasks // Intelligence. 2009. V. 38. P. 345-352.

37. Gopnik A. How babies think // Scientific American. 2010, July. P. 76-81.

38. Gopnik A. Scientific thinking in young children: theoretical advances, empirical research, and policy implications // Science. 2012. V. 337. P. 1623-1627.

39. Greiff S. Assessment and theory in complex problem solving. A continuing contradiction? // Journal of Educational and Developmental Psychology. 2012. V. 2 (1). P. 49-56.

40. Greiff S., Holt, D., Funke J. Perspectives on problem solving in cognitive research and educational assessment: analytical, interactive, and collaborative problem solving // The Journal of Problem Solving. 2013. V. 5 (2). P. 71-91.

41. Guss C.D., Tuason M.T., Gerhard C. Cross-national comparisons of complex problem-solving strategies in two micro-worlds // Cognitive Science. 2010. V. 34 (3). P. 489-520.

42. Hutt C. Specific and diversive exploration // Lipsitt L.P., Reese H.W. (eds). Advances in child development and behavior. N.Y.: Academic Press, 1970. V. 5. P. 119-180.

43. International encyclopedia of ergonomics and human factors. 2nd ed. / Karwows-ki W. (ed.). L.: CRC Press, Taylor & Francis, 2006.

44. Klein G. Naturalistic decision making // Human Factors: The Journal of the Human Factors and Ergonomics Society. 2008. V. 50. N 3. P. 456-460.

45. Knauff M., Wolf A.G. Complex cognition: the science of human reasoning, problem-solving, and decision-making

52

// Cognitive Processing. 2010. V. 11 (2). P.99-102.

46. Lipshitz R. et al. Focus article: Taking stock of naturalistic decision making / Lipshitz R., Klein G., Orasanu J., Salas E. // Journal of Behavioral Decision Making. 2001. V. 14. P. 331-352.

47. Müller J., Kretzschmar A., Greiff S. Exploring exploration: Inquiries into exploration behavior in Complex Problem Solving assessment // Proceedings of the 6th International Conference on Educational Data Mining. July 6-9, 2013; Memphis, TN, USA / D'Mello S.K., Calvo R.A., Olney A. (eds). International Educational Data Mining Society, 2013. P. 336-337. URL: http://www. educationaldatamining.org/EDM2013/pa-pers/rn_paper_69.pdf

48. Osman M. Controlling uncertainty: A review of human behavior in complex dynamic environments // Psychological Bulletin. 2010. V. 136 (1). P. 65-86.

49. PISA-2012 Assessment and analytical framework: mathematics, reading, science, problem solving and financial literacy. OECD: OECD Publishing, 2013. URL: http:// dx.doi.org/10.1787/9789264190511-en

50. PISA-2015: Draft collaborative problem solving framework. OECD, 2013. [Электронный ресурс]. URL: http://www. oecd.org/pisa/pisaproducts/Draft%20 PISA%202015%20Collaborative%20Prob-lem%20Solving%20Framework%20.pdf

51. Poddiakov A. Ambivalence and cognitive heuristics for dealing with ambiguity in complex social worlds // Estudios de Psicología. 2006. V. 27. № 1. P. 101-116.

52. Poddiakov A. Didactic objects for development of young children's combinatorial experimentation and causal-experimental thought // International Journal of Early Years Education. 2011. V. 19 (1). P. 65-78.

53. Podd'iakov A.N. Teaching preschoolers combinatory experimentation // Journal

of Russian and East European Psychology. 1992. V. 30 (5). P. 87-96.

54. Poddiakov A. Preschoolers' acquirement of competences in factor combining and factor interaction // Developmental tasks: towards a cultural analysis of human development / J. ter Laak, P.G. Heymans, A.I. Podol'skij (eds). Dordrecht: Kluwer Academic Publishers, 1994. P. 173-186.

55. Poddjakow N. Die denkentwicklung beim Vorschulkind. Berlin: Volk und Wissen Volkseigener Verlag, 1981.

56. Quesada J., Kintsch W., Gomez E. Complex problem-solving: A field in search of a definition // Theoretical Issues in Ergonomics Science. 2005. V. 6 (1). P. 5-33.

57. Riegler A. «The end of science»: Can we overcome cognitive limitations? // Evolution and Cognition. 1998. V. 4 (1). P. 37-50.

58. Schauble L., Glaser R. Scientific thinking in children and adults // Kuhn D. (ed.). Developmental perspectives in teaching and learning thinking skills. Contrib. Hun. Dev. Basel: Karger, 1990. V. 21. P. 9-27.

59. Shragert J., Klahr D. Instructionless learning about a complex device: The paradigm and observations // International Journal of Man-Machine Studies. 1986. V. 25. P. 153-189.

60. Spector J.M. Tools and principles for the design of collaborative learning environments for complex domains // Journal of Structural Learning and Intelligent Systems. 2001. V. 14 (4). P. 483-510.

61. Torrance E.P. Education and the creative potential. Minneapolis: The University of Minnesota Press, 1967.

62. Vollmeyer R., Burns B.D. Problemlösen und Hypothesentesten // Gruber H., Mack W., Ziegler A. (eds). Wissen und Denken. Beiträge aus Problemlösepsychologie und Wissenspsychologie. Wiesbaden: Deutscher Universitäts Verlag, 1999. S. 101-118.

53