CC BY-NC-ND
87
Психология. Журнал Высшей школы экономики. 2009. Т. 6, №3. С. 117-125.
Короткие сообщения
ПРОЕКТ АВРОРА: КОМПЛЕКСНАЯ ДИАГНОСТИКА ДЕТСКОЙ ОДАРЕННОСТИ
С.А. КОРНИЛОВ, М. ТАН, Д.Д. ХИМЕНКО, Е.С. ФРОЛОВА, М.Г. МОКРИНСКИЙ, Р.ДЖ. СТЕРНБЕРГ, Е.Л. ГРИГОРЕНКО
Резюме
В статье кратко описана новая многопрофильная диагностическая батарея
Аврора, предназначенная для оценки уровня развития аналитических, творческих и практических способностей детей в возрасте от 9 до 12 лет и разработанная на основе теории интеллекта Р. Стернберга. Представлены предварительные результаты оценки психометрических свойств тестовой батареи Аврора-а на выборке российских школьников.
Ключевые слова: одаренность, интеллект, креативность, диагностика, ас-сессмент, современная теория тестов
Наблюдаемое возрождение интереса российских психологов к современному состоянию и перспективам психодиагностики в России касается преимущественно ассессмен-та в областях управления персоналом, частью которого является и оценка интеллектуального потенциала. (Эти вопросы обсуждались на страницах журнала «Психология. Журнал Высшей школы экономики». 2004. Т.1. № 2; 2008. Т. 5. № 4.) Само понятие «интеллектуальный
потенциал» в последнее время употребляется в контексте обсуждения потенциала и одаренности нации как на научном, так и на общественном и государственном уровне. Это обсуждение представляется невозможным как без учета средств его оценки, так и без учета временных срезов, из которых периоды школьного и университетского обучения являются наиболее важными как характеризующиеся выраженными количественными и качественными изменениями
в познавательной сфере, в том числе и связанными с педагогическими воздействиями. Отечественная психология образования, безусловно, имея уникальные теоретические наработки, сильно уступает как психологии управления персоналом, так и зарубежной психологии образования в плане разработки диагностического инструментария. Объективные предпосылки такого состояния неоднократно обсуждались различными авторами.
В отечественных исследованиях «одаренность» на эмпирическом уровне чаще всего операционализи-руется либо как высокий уровень общего интеллекта, либо как высокий уровень академических достижений (см.: Психология одаренности..., 2000). В первом случае диагностика осуществляется с помощью заданий, предполагающих оценку общей способности к вынесению суждений при опоре на вербальный и невербальный материал (Гуревич и др., 1993; Равен и др., 1997). Во втором случае используются предметно-специфичные задания в рамках педагогического контроля, олимпиад и т. д. (Звонников, Челышкова, 2007). Широко применяются тесты дивергентного мышления и отдаленных ассоциаций (Дружинин, 2007; Щебланова, Аверина, 1995). Во всех трех случаях применение диагностических инструментов ограничивается 1) отсутствием их недавних ревизий и/или рестандартизаций на репрезентативных популяционных выборках; 2) их опорой на относительно устаревшие теории способностей и 3) классическую теорию тестов; 4) относительно низким уровнем информированности населения
и специалистов в области образования о психологических методиках; 5) игнорированием множества критических для диагностики детской одаренности аспектов (гендерных различий, эффектов «потолка» и т. д).
Одним из путей преодоления указанных выше ограничений может быть кросс-культурная адаптация современных зарубежных методик (Komilova, Kornilov, 2009). Примером является проект «Аврора», начатый в 2004 г. Р. Стернбергом и Е.Л. Григоренко (Chart et al., 2008; Tan et al., 2009) и представляющий собой многопрофильный модуль диагностики одаренности, основанный на теории успешного интелекта Р. Стернберга (Sternberg, 1999). «Успешный» интеллект способствует достижению успеха в жизни в соответствии с личными стандартами индивида в рамках его социокультурной среды, что зависит от наличия и осознания слабых и сильных сторон в профиле способностей, а также достижения баланса между ними при решении различного вида проблем. Аналитические способности предполагают анализ, сравнение, вынесение суждений и т. д. и используются при решении типичных для школьного обучения задач. Творческие способности проявляются в создании новых идей и продуктов и выявляются в таких видах деятельности, как кон-структорство, написание эссе и т. д., предполагающих столкновение с новизной. Практические способности используются в решении «каждодневных» задач учащимся дома, в общении со сверстниками и т. д., проявляясь в адаптации и применении знаний к реальным жизненным ситуациям.
«Аврора» состоит из пяти модулей: групповых тестов (Аврора-а и Аврора-g), структурированного интервью для родителей (Аврора-г), оценочной шкалы для учителей (Аврора-r), модуля индивидуального тестирования и наблюдения (Авро-ра-о), а также опросника для детей (Аврора-s). Все они включают диагностику трех типов способностей.
В настоящей статье мы сосредоточим внимание на групповом тестовом модуле Аврора-а (от англ. augmented — расширенный), который включает 17 субтестов, разработанных на основе схемы, представленной в таблице 1: максимальный охват способностей ребенка в различных сферах достигается за счет привязки структуры теста к теории, позволяющей получить оценки способностей согласно виду стимульного материала (вербальный, визуальный и числовой) и типу способностей (аналитические, творческие и практические), что обеспечивает максимально гибкий подход к диагностике одаренности. Отличительной особенностью модуля Аврора-а является стремление к элиминации эффектов потолка за счет включения заданий и субтестов различной сложности и различного типа: от традиционных «закрытых» заданий со множественным выбором до «открытых заданий», предполагающих генерацию развернутых ответов.
Проект «Аврора» привлек внимание международного психологического и педагогического сообществ, обратившихся к нему как к отражающему инновационный подход к пониманию способностей. Список стран, осуществляющих международное сотрудничество по проекту
«Аврора» с Йельским университетом (США), включает Россию, Великобританию, Испанию, Саудовскую Аравию, Израиль, Грецию, Словакию, Португалию и Голландию; проводится адаптация субтестов Авро-ра-а для использования на материале локальных выборок с целью идентификации одаренных учащихся, для исследований в области способностей и разработки образовательных программ.
В 2007 г. факультет психологии Московского государственного университета имени М.В. Ломоносова в сотрудничестве с Йельским университетом начал адаптацию субтестов Аврора-а. Было проведено пилотажное исследование на выборке из 22 учащихся. По результатам пилотажного исследования к 2008 г. в субтесты были внесены изменения, связанные с унифицированием и упрощением инструкций, заменой редко используемых и незнакомых детям слов (см.: Tan et al., 2009).
Целью настоящего исследования стала проверка психометрических свойств второй версии тестовой батареи Аврора-а) на выборке учащихся СОШ г. Москвы и оценка ее критериальной валидности в отношении показателей успешности обучения.
Методика
Испытуемые. В исследовании приняло участие 76 учащихся 4-х и 6-х классов лицея 1535 и школы 292 г. Москвы, из них 33 девочки и 43 мальчика в возрасте от 9 до 14 лет (М = = 12.03, SD = 1.49).
Методики. Тестовая батарея Авро-ра-а состоит из 17 субтестов, направленных на измерение аналитических,
Таблица 1
Субтесты Аврора-а, сгруппированные по типу стимульного материала и типу способностей
Аналитические Творческие Практические
Визуальный Фигуры: необходимо найти недостающую часть фигуры (10 заданий) (МВ) Плавающие лодки: необходимо найти схожую с образцом структуру связей (10 заданий)(MC) Книжные обложки: необходимо проинтерпретировать абстрактное изображение и придумать историю (5 заданий) (ОЗ) Способы использование предметов: надо придумать три возможных способа использования различных предметов (5 заданий) (ОЗ) Разрезание бумаги: необходимо найти соответствующий сложенному образцу «развернутый» ответ (10 заданий) (МВ) Игрушечные тени: необходимо найти тень, которую отбрасывает игрушка в определенном положении (8 заданий) (МВ)
Вербальный Слова, которые звучат одинаково (Омофоны): необходимо закончить предложение, используя омофоны (20 заданий) (КО) Метафоры: необходимо описать сходство между несвязанными объектами (ОЗ) Разговоры: необходимо придумать диалог между неживыми объектами (10 заданий) (ОЗ) Интересные выражения: необходимо опознать предложение, могущее идти следующим за содержащим фразеологизмы (12 заданий) (МВ) Заголовки: необходимо найти забавное альтернативное значение реального газетного заголовка (11 заданий) (КО) Решения: надо составить список «за» и «против» принятия решения из имеющихся альтернатив (3 задач, 13 заданий) (КО)
Числовой Числовые карточки: надо найти цифру, которая соответствует букве в уравнении (5 задач, 11 заданий) (КО) Текстовые задачки: необходимо предложить решение задачи с двумя и более неизвестными (5 задач, 8 заданий) (КО) Говорящие числа: необходимо разъяснить ситуацию общения между числами (7 заданий) (ОЗ) Карты: необходио найти наилучший маршрут между домами друзей и пунктом назначения (10 заданий) (КО) Деньги: необходимо разделить сложные счета между друзьями (5 задач, 17 заданий) (КО)
Примечание. МВ — задания со множественным выбором, КО — задания с коротким ответом, ОЗ — открытые задания.
творческих и практических способностей в вербальной, визуальной и числовой сферах. 6 аналитических субтестов включают задания, требующие нахождения сходства, анализа структур, актуализации словарного запаса. Пять творческих суб-
тестов оценивают способности к со-владанию с новизной и генерации оригинальных идей. 6 субтестов на практические способности включают задания с элементами неявного знания для оценки навыков решения житейских проблем.
Было проведено четыре групповых тестовых сессии для каждого класса. Тестовые буклеты содержали задания из различных клеток таблицы 1. Предъявление буклетов группам учащихся варьировало, половине испытуемых субтесты предъявлялись в обратном порядке внутри буклетов.
Анализ проводился в пакете SPSS for Windows 15, а также в программе FACETS for Windows 3.65.0 (Linacre, 2009) в рамках IRT-подхода, описывающего вероятность правильного ответа учащегося на тестовое задание как функцию его способности и сложности задания.
Ответы на открытые задания оценивались двумя экспертами по параметрам точности (соответствие инструкции — от 0 до 2 баллов) и аналитичности/креативности ответа (от 0 до 4 баллов). Примерно половина заданий оценивалась двумя экспертами, другая половина — одним экспертом.
Показатели способностей были получены путем перевода баллов по субтестам в Z-шкалу и последующим усреднением баллов внутри каждого типа способностей.
Дополнительно для каждого учащегося были учтены его текущие оценки по русскому языку, литературе и математике.
Результаты
В таблице 2 представлены результаты анализа психометрических свойств субтестов Аврора-а. Внутренняя согласованность субтестов оценивалась с помощью коэффициента альфа Кронбаха: была выявлена высокая или удовлетворительная
внутренняя согласованность для всех субтестов (а от 0.41 до 0.94, Med а = 0.78), за исключением субтеста Фигуры (а = 0.41).
Анализ в рамках IRT-подхода позволил получить индексы надежности оценок способностей (IRT-p) и параметров заданий (IRT-i), которые интерпретируются сходным образом с а, свидетельствуя о вероятности идентичного распределения учащихся по шкале способности и заданий по шкале трудности в том случае, если этим же учащимся будет предъявлен аналогичный тест или эти же задания будут предъявлены аналогичной популяции (Bond, Fox, 2007). Получены высокие индексы надежности оценок способностей (Med IRT-p = 0.78) и трудности заданий (Med IRT-i = 0.91).
Анализ экспертных оценок показал, что процент наблюдаемого абсолютного согласия для всех 5 субтестов с ОЗ превышал ожидаемое согласие в рамках IRT-модели (57.34%), что свидетельствует об относительно согласованном применении экспертами правил оценки открытых заданий. В совокупности с высоким средним индексом сепарации (Med S = 1.88) полученные результаты позволяют говорить о высокой надежности субтестов и их высокой разрешающей способностью при диагностике уровня развития аналитических, творческих и практических способностей.
Однофакторный дисперсионный анализ не выявил значимых гендер-ных различий в уровне развития аналитических (F(1,73) = 4.10, p = 0.05), творческих (F(1,70) = 0.97, p = 0.33) и практических (F(1,73) = 1.77, p = = 0.19) способностей. Таким образом,
Таблица 2
Психометрические свойства субтестов Авроры-а
Субтест а IRT-p IRT-i S
Аналитические способности
Фигуры 0.41 0.45 0.94 10.54
Плавающие лодки 0.85 0.72 0.75 10.60
Слова, которые звучат одинаково 0.94 0.89 0.89 20.84
Метафоры 0.88 0.85 20.73
Числовые карточки 0.87 0.85 0.97 20.37
Текстовые задачки 0.72 0.80 0.96 20.00
Med 0.85 0.83 0.92 20.18
Творческие способности
Книжные обложки 0.92 0.95 30.40
Способы использования предметов 0.93 0.86 30.57
Разговоры 0.88 0.94 20.67
Интересные выражения 0.83 0.64 0.69 10.33
Говорящие числа 0.80 0.93 20.02
Med 0.83 0.88 0.93 20.67
Практические способности
Разрезание бумаги 0.70 0.66 0.92 10.41
Игрушечные тени 0.66 0.55 0.75 10.10
Заголовки 0.91 0.78 0.77 10.88
Решения 0.71 0.64 0.91 10.32
Карты 0.74 0.50 0.80 10.00
Деньги 0.77 0.76 0.95 10.79
Med 0.73 0.65 0.85 10.37
Общая Med 0.76 0.78 0.91 10.88
получаемые с помощью субтестов Аврора-а оценки уровня развития способностей учащихся не зависят от их пола.
Субтесты внутри типа способностей коррелировали между собой на
уровне г1 = 0.37 для аналитических, 0.34 для творческих и 0.35 для практических заданий т. е. субтесты, предназначенные для измерения одного типа способностей, умеренно коррелировали между собой.
1 В данном случае средний г был получен путем усреднения коэффициентов интеркорреляций между субтестами внутри каждого типа способностей.
Анализ критериальной валиднос-ти показателей способностей, представленный в таблице 3, при статистическом контроле эффектов пола и возраста выявил значимые положительные корреляционные связи между показателями развития аналитических способностей и успеваемостью по литературе (г = 0.29, р < 0.05) и русскому языку (г = 0.25, р < 0.05), творческих способностей и успеваемостью по литературе (г = = 0.26, р < 0.05) и русскому языку (г = = 0.24, р < 0.05), а также практических способнотей и успеваемостью по математике (г = 0.26, р < 0.05) и литературе (г = 0.25, р < 0.05). Все три вида способностей, диагностируемые с помощью диагностического комплекса Аврора-а, положительно и значимо связаны с успешностью обучения учащихся.
Заключение
Полученные в настоящем исследовании результаты свидетельствуют об удовлетворительных психометрических свойствах тестовой батареи Аврора-а. Закрытые и откры-
тые задания позволяют получить надежные оценки аналитических, творческих и практических способностей учащихся, значимо связанных с успешностью их обучения.
Мы также получили крайне положительную неформальную обратную связь от учащихся и учителей. Многие учащиеся неоднократно изъявляли желание пройти повторное тестирование, писали на обратной стороне тестовых буклетов, что им «очень понравились интересные задания». Отсутствие явной тестовой тревожности и интерес к заданиям, на наш взгляд, были вызваны как благоприятной атмосферой во время тестирования, так и характером заданий и тестового материала: помимо того, что в батерею входят яркие цветные материалы, сам характер заданий продуцирует интерес со стороны учащихся. Это особенно касается творческих и практических заданий, новизна формата которых особенно привлекает учащихся.
Результаты исследования согласуются с результатами аналогичных исследований, проведенных на выборках российских студентов (Григоренко,
Таблица 3
Матрица частных интеркорреляций для показателей способностей по тесту Аврора-а и успеваемости
1. 2. 3. 4. 5.
1.Аналитические
2. Творческие 0.61**
3. Практические 0.64** 0.66**
4. Математика 0.19 0.17 0.26*
5. Литература 0.29* 0.26* 0.25* 0.51**
6. Русский язык 0.25* 0.24* 0.22 0.47** 0.67**
Примечание. * — р < 0.05, ** — р < 0.01.
Корнилов, 2007; Корнилов, Григо-ренко, Смирнов, 2009) и показавших продуктивность использования теории Р. Стернберга для разработки инструментария диагностики уровня развития трех относительно независимых видов способностей, каждый из которых значимо предсказывает успешность обучения.
В целом тестовая батарея Аврора-а позволяет дифференцированно и комплексно диагностировать уровень развития аналитических, творческих и практических способностей в визуальной, вербальной и числовой сферах, обеспечивая широкий охват индивидуальных различий учащихся в когнитивной сфере. Ин-
новационная тестовая батарея основана на одной из наиболее эмпирически подкрепленных современных теорий способностей — теории успешного интеллекта Р. Стернберга. Авторы планируют продолжить сбор данных для установления более надежных показателей психометрических свойств субтестов Аврора-а на выборке в ~500 детей при использовании многомерного ШТ-моделиро-вания, а также провести стандартизацию инструмента на репрезентативной популяционной выборке российских школьников, сделав его доступным для широкого спектра специалистов в области психологии и образования.
Литература
Григоренко Е.Л., Корнилов С.А. Академический и практический интеллект как факторы успешности обучения в вузе // Когнитивные и личностные факторы учебной деятельности: Сборник научных статей / Под ред. С.Д. Смирнова. М.: Изд-во СГУ, 2007. С. 34-48.
Гуревич КМ., Акимова М.К., Козлова В.Т., Логинова Г.П. Руководство по применению теста структуры интеллекта Рудольфа Амтхауэра. Обнинск: Принт, 1993.
Звонников В.И., Челышкова М.Б. Современные средства оценивания результатов обучения. М.: Академия, 2007.
Дружинин В.Н. Психология общих способностей. СПб.: Питер, 2007.
Корнилов С.А., Смирнов С.Д., Григоренко Е.Л. Лонгитюдное исследование академических, творческих и практических способностей как предпосылок успешности обучения // Вопросы психологии, 2009. № 5. С. 138-149.
Психология одаренности: от теории к практике / Под ред. Д.В. Ушакова. М.: Пер Сэ, 2000.
Равен Д.К., Курт Д.Х., Равен Д.. Руководство к прогрессивным матрицам Ра-вена и словарным шкалам. Разд. 1. Общая часть руководства. Пер. с англ. М.: Когито-Центр, 1997.
Щебланова Е.И., Аверина И.С. Краткий тест творческого мышления. Фигурная форма: пособие для школьных психологов. М., 1995.
Bond T.G., Fox C. Applying the Rasch model: Fundamental Measurement in the Human Sciences. Mahwah, NJ: Erlbaum, 2007.
Chart H, Grigorenko E.L., Sternberg R.J. Identification: The Aurora Battery // Critical issues and practices in gifted education / J.A. Plucker, C.M. Callahan (eds.). Waco, TX: Prufrock, 2008. P. 281-301.
^m^va T.V., Kornilov S.A. The Use of Foreign Psychodiagnostic Inventories in
Differing Methodological Contexts // Multicultural Psychoeducational Assessment / E.L. Grigorenko (ed.). NY: Springer Publishers, 2009. P. 351-374.
Linacre J.M. Facets Rasch measurement computer program (version 3.65.0). Chicago: Winsteps.com, 2009.
Sternberg RJ. The Theory of Successful Intelligence // Review of General Psychology. 1999. 3. 4. 292-316.
Tan M, Aljughaiman A., Elliott J.G., Kor-nilov S.A., Ferrando Prieto M, Bolden D.S., Adams-Shearer K, Chart H.E., Newman T, Jarvin L, Sternberg RJ, Grigorenko E.L. Considering Language, Culture and Cognitive Abilities: The International Translation and Adaptation of the Aurora Assessment Battery // Multicultural Psychoeducational Assessment / E.L. Grigorenko (ed.). NY: Springer Publishers, 2009. P. 443-468.
Корнилов Сергей Александрович, Московский государственный университет им. М.В. Ломоносова, аспирант
Контакты: [email protected]
Тан Мэй (США), Центр исследования ребенка Йельского университета, лаборант
Контакты: [email protected]
Хименко Дарья Дмитриевна Московский государственный университет им. М.В. Ломоносова, студент
Контакты: [email protected]
Фролова Елизавета Сергеевна, Московский государственный университет им. М.В. Ломоносова, аспирант
Контакты: [email protected]
Мокринский Михаил Геннадьевич, Лицей №я1535 г. Москвы, директор
Контакты: [email protected]
Стернберг Роберт Дж. (США), Школа искусств и наук университета Тафтс, декан, профессор
Григоренко Елена Леонидовна, Московский государственный университет им. М.В. Ломоносова, доцент, кандидат психологических наук
Контакты: [email protected]
