CC BY
13Методология
СУПЕРТЕСТ
Вадим Аванесов,
Излагается проект новой системы автоматизированного тестирования под названием супертест. В отличие от педагогического теста, где число заданий редко бывает больше сорока, супертест может содержать пятьсот и более системных заданий изучаемого курса, располагаемых в логике раскрытия содержания изучаемого курса. Поэтому супертест выполняется учащимися (студентами) не в один день и не за тридцать-сорок минут, как это принято в традиционном тестировании, а в течение всего периода изучения курса. Задания супертеста предъявляются испытуемым последовательно.
Результаты и оценки испытуемого за выполнение каждого задания супертеста кумулируются компьютером. Оценки могут меняться в случаях повторной самопроверки, что позволяет рассматривать супертест одновременно и как учебный тренажёр — метод самоконтроля и самообучения, включённый в текущий образовательный процесс. Супертест можно отнести к новой образовательной технологии. Супертест решает главную образовательную задачу XXI века — соединения обучения и контроля1.
-1-
Аванесов В.С. Проблема соединения тестирования с обучением. http://viperson.ru/ wind.php?ID= 665998&soch=1
нп
измерения
Аванесов В.С. Теория квантования учебных текстов. http://viperson.ru/ wind.php?ID= 669530&soch=1
-3-
Публикации в журнале «Педагогические измерения» 2012 и 2014 гг., а также сборники: «Новые образовательные и аттестационные технологии в медицинском вузе: квантованные учебные тексты с заданиями в тестовой форме». Казахский Национальный медицинский университет им. С.Д. Асфендиярова. Центр педагогических измерений В.С. Аванесо-ва. Кн. 1 и 2. Алматы, 2012.
Аванесов В.С. Проблема соединения тестирования с обучением. http://viperson.ru/ wind.php?ID= 665998&soch=1
В образовании всё должно развиваться не из принуждения, а из внутренних источников ума и чувств самого человека. Так, садовник не может заставить растение расти. Оно может расти только с помощью собственных сил и сил земли. Садовник может только создать самые благоприятные для этого внешние условия и устраняет препятствующие обстоятельства. Тогда оно будет расти.
Таким образом, всякое познание есть в сущности самопознание, созидание самого себя, самоформирование человека.
Пауль Наторп
Два метода учения и самоконтроля
Автор этой статьи разработал два новых взаимосвязанных метода учения и самоконтроля.
Первый метод называется квантованием учебных текстов, дополняемый проверкой усвоения знаний посредством заданий в тестовой форме. Он был создан и опубликован в России2, активно внедрялся в Казахстане, замечен в Германии и изучается сейчас в других странах. К настоящему времени в Казахстане уже опубликованы сотни образцов квантованных текстов3. Однако этот метод не удостоился пока никакого внимания со стороны Министерства образования и науки РФ. В системе существу-
ющих отношений на это трудно было и рассчитывать. Если министерские чиновники не хотят нас слышать, то мы не хотим их видеть. Но такие отношения формируют кризис.
Второй метод предназначен для самостоятельного учения и самоконтроля — супертест. Материал о нём тоже был опубликован4 и тоже не был замечен. И это неудивительно. Это реальный признак ситуации, в которой чиновные верхи новое и полезное принимать не хотят и, похоже, уже не могут.
Проблемная ситуация
В течение многих веков складывались два отличающихся процесса — обучения и контроля знаний. И по сей день эти два процесса не удавалось объединить должным образом. Причины такого состояния — преобладание лекционных форм в вузовском образовании, традиции многословного изложения содержания учебников в школьном преподавании, устарелость содержания учебных курсов и традиционных задач. Надо также отметить быстрое устаревание форм и методов учебной работы, форм учёта, планирования и оплаты педагогического труда в школах и вузах, бюрократические методы проведения контроля знаний и управления
сферой образования, а также широко распространённое в семьях, обществе и государстве принуждение к образованию.
Однако настоящее образование в стране возникает только в условиях учебной свободы, равного представительства в образовательном процессе детей, их родителей, учителей, местных органов управления. И только затем государства. У нас всё наоборот5.
Различия между обучением и учением
Различия между обучением и учением стали заметными в зарубежной педагогической литературе XX века. Там заметно различались обучение, как совместная деятельность педагогов и учащихся (education) и учение (learning) — собственная учебная деятельность учащихся и студентов.
Появление в последнее время огромного числа персональных компьютеров и прочих учебных электронных средств, в школах и вузах, существенно изменили образовательный процесс в сторону учения. Этот факт был замечен многими учёными, но не был учтён в полной мере в образовательной политике российского государства.
Надо было быстрее переходить от обучения всех к инди-
видуальным формам образования каждого. И сделать это можно было путём решительного отхода от классно-урочной формы обучения, создания новых адаптивных образовательных технологий, с автоматизированным учётом реальных учебных достижений. Но без применения качественных тестовых форм это сделать было либо невозможно, либо проблематично. Нужны также и новые методы, соединяющие тестирование с учением. Эти методы рассматриваются в данной статье.
Концепция супертеста
Под концепцией обычно понимается определяющий замысел, идея метода, система взглядов.
В кратком варианте концепция супертеста впервые была изложена в предыдущей статье автора6. Хотя само слово «супертест» встречается иногда в технике, медицине и в психологии, оно используется не как научный термин, а лишь как слово, обозначающее что-то большее, чем обычный тест или проверка. Например, в названии сборника психологических тестов Г. Айзенка слово «супертест» используется для объединения множества тестов, собранных в книге, для
Аванесов В.С. ЕГЭ нарушает принцип равного представительства основных сторон образовательного процесса. Презентация доклада В.С.Аванесова на совещании у Председателя Совета Федерации Федерального Собрания РФ С.М. Миронова по проблеме единого государственного экзамена (ЕГЭ), Москва, 20 ноября 2008 г. http://maperson.ru/ wind.php?ID=5 23856&soch=1
Аванесов В.С. Проблема соединения тестирования с обучением.
http://viperson.ru/
wind.php?ID=
665998&soch=1
нп
измерения
Айзенк Г. Супертесты 2011.208 с.
многосторонней оценки уровня развития интеллекта7. Но это — совсем другое истолкование смысла слова «супертест».
Если тест, состоящий из небольшого числа, примерно тридцать-сорок, заданий в процессе обучения неприменим, тогда нужно пробовать применять другую, новую, расширенную систему, содержащую все основные задания изучаемого курса. Такие задания, решение которых свидетельствует об усвоении содержания учебной дисциплины. Число таких, назовём их, системных заданий курса может быть большим и очень большим. Например, от пятисот до тысячи, и даже больше.
Но тогда это уже будет не тест, а супертест, свойства которого ещё предстоит детально изучить. Но уже сейчас понятно, что все задания супертеста должны отражать содержание курса, быть технологичными. Они могут выполняться не сразу, как в тесте, а постепенно, день ото дня, по мере изучения курса. Решение каждого задания супертеста приближает учащегося к успеху в деле изучения всего курса.
Определение понятия
В истории и теории педагогических измерений используются научные понятия, которые
подлежат обязательному определению. Как научное понятие супертест в российской и мировой литературе неизвестен. Это признак новизны предлагаемого понятия и исследования самого феномена в целом.
В настоящей работе супертест определяется как система репрезентативных, по содержанию, тестовых заданий по всем ключевым элементам и темам изучаемого курса, заданий специфической формы, позволяющих оценить структуру и измерить уровень знаний испытуемого по изучаемому курсу.
Цель разработки и применения супертеста
В большинстве стран мира тестирование проводится в начале и в конце обучения, существуя, таким образом, отдельно от обучения. Между тем, контроль уровня подготовленности важен не только в начале и в конце, но в ещё большей мере он важен в процессе обучения.
Цель супертеста легче понять из сопоставления с традиционным тестированием. Посредством традиционных тестов устанавливается отношение порядка между испытуемыми по уровню проявляемых при тестировании знаний. И на этой основе определяется место или, по-научному, рейтинг
каждого на множестве испытуемых.
Для достижения этой цели можно создать бесчисленное количество тестов, и многие из них могут соответствовать достижению данной цели. Но с прагматической точки зрения выгодней делать это с тестом, имеющим сравнительно меньшее число заданий, но с приемлемым уровнем качества измерения.
Главная цель супертеста остаётся той же, но для её достижения не нужны теперь выборки заданий, поскольку мы имеем дело с генеральной совокупностью. Очень полезны в массовом тестировании параллельные варианты всех заданий.
В отличие от статистических оценок испытуемых по результатам применения обычных тестов, супертест позволяет получить значения генеральных параметров измеряемого свойства испытуемых. Что является кардинальным метрическим преимуществом супертеста по сравнению с тестом.
Супертест может использоваться и как метод автоматизированного проведения текущего мониторинга учебных достижений каждого учащегося в процессе изучения каждого предмета. Что возможно при условии адекватного отображения содержания учебной дисциплины в содержании учебно-
го курса и в системе заданий супертеста. Обычный педагогический тест такими свойствами не обладает.
Функция супертеста
С функциональной точки зрения супертест может быть отчасти ассоциирован с электронным задачником, но с заданиями в тестовой форме вместо задач. В супертест могут включаться ответы, разъяснения, подводящие упражнения и т.п. средства самообразования.
С технологической точки зрения супертест похож на компьютерную систему заданий в тестовой форме, содержащей все ключевые задания курса. По сути, вместо традиционных задач, супертест содержит систему заданий по всему курсу. Это позволяет преодолеть нетехнологичность задачной формы предъявления контрольного материала и решить многие проблемы современного образования.
Супертест может стать также методом автоматизированного проведения текущего мониторинга учебных достижений каждого учащегося при изучении курса. Что возможно лишь при условии адекватного отображения содержания учебной дисциплины в содержании учебного курса и заданий супертеста. Обычный педагоги-
нп
измерения
ческий тест такими свойствами не обладает, а потому он в перспективе, скорее всего, потеряет свою значимость.
Решение каждого задания супертеста приближает учащегося к успеху в деле изучения всего курса. Супертест решает главную образовательную задачу XXI века — творческое соединение, в едином технологическом процессе, обучения, собственного учения, самоконтроля и педагогического контроля. В таком процессе важная роль отводится также новым квантованным учебным текстам с заданиями к ним в тестовой форме.
Форма тестовых заданий
В супертесте используются задания трёх основных форм — с выбором одного или нескольких правильных ответов, открытой формы и заданий на установление правильной последовательности. Содержание заданий на установление соответствия лучше выражать заданиями с выбором нескольких правильных ответов, с фасетами.
Наибольшая часть заданий — примерно 90 процентов, оказываются фасетными заданиями с выбором нескольких правильных ответов. Потому что они позволяют проверить большее число видов знаний.
Отличие супертеста от теста
Можно выделить несколько отличий супертеста от теста.
Число заданий
В супертесте намного больше заданий, чем в традиционном педагогическом тесте. Их может быть примерно тысяча, особенно для сравнительно больших учебных курсов. Для коротких учебных курсов число заданий существенно снижается.
В некоторых вузах, сотрудничающих с автором этой статьи, используется простая формула: общее число итоговых заданий определяется произведением числа выделенных учебным планом часов на 4 или 5 — в зависимости от степени развития тестовой культуры. Например, если объём курса составляет двести часов, то число проверочных заданий по нему может достигнуть примерно тысячи. Полезно добавить, что сами задания требуют постоянного улучшения и замены. Для повышения качества такой работы автор этой статьи уже много лет готовит кафедральных тестологов.
Содержание заданий супертеста
Небольшое число заданий традиционных тестов при изуче-
нии сравнительно больших курсов постоянно ставят вопросы валидности тестовых результатов: чем больше курс, тем труднее подобрать систему небольшого числа заданий (примерно до тридцати), способных качественно оценить уровень подготовленности испытуемых по всему курсу. Педагоги справедливо при этом указывают на неприемлемость редуцированной системы заданий для оценки знаний всех элементов изучаемого курса.
Валидность
Супертест даёт валидные результаты, поскольку он содержит все задания, включащие главное содержание изучаемого курса. Поэтому вопрос содержательной валидности результатов тестирования супертестом не встаёт. Вопрос прогностической валидности результатов проверяется известными методами профессионального отбора.
Надёжность
Надёжность результатов супертеста сверхвысокая из-за большого числа заданий; настолько высокая, что и этот вопрос при обсуждении результатов супертеста тоже не возникает. Потому что сама концепция надёжности
результатов во многом связана с числом заданий и с их средним значением интеркорреляций.
Объективность
При правильном применении супертест представляет результаты, полученные на генеральной совокупности заданий, имеющих, к тому же, параллельные варианты. Результаты исследования, полученные на генеральной совокупности заданий, всегда объективнее, чем результаты, получаемые на выборках заданий.
Традиционный же тест — это всегда выборка из генеральной совокупности заданий.
Тест и супертест как содержательные и формальные системы
В супертесте содержательная система представляет собой генеральную совокупность с вариантами замены. В процессе тестирования формальная система заданий супертеста может быть необязательно возрастающей трудности. Однако после апробации использованную систему заданий супертеста лучше упорядочить по возрастающей трудности и применять далее как систему заданий возрастающей трудности. Это требо-
нп
измерения
Российская газета, 23 марта 2001 г.
Педагогическая диагностика. 2004. №2. С. 88.
вание позволяет сэкономить время тестирования, мотивировать учащихся на достижение максимально возможных результатов.
Традиционный же тест представляет собой единство, по меньшей мере, двух систем: содержательной выборочной системы знаний, описываемой языком проверяемой учебной дисциплины, и формальной системы заданий возрастающей трудности.
Формальная система заданий выражается совокупностью статистических характеристик, среди которых в первую очередь выделяются меры трудности заданий, вариации результатов по каждому заданию, корреляции ответов испытуемых по заданиям с уровнем подготовленности по всему тесту и многие другие.
Супертест вместо ЕГЭ
Супертест может вполне заменить ЕГЭ с его ошибочными формами и оценками. Чтобы убедиться в этом, достаточно взглянуть на три примера.
Примеры «КИМов ЕГЭ»
Тестовая форма заданий используется при проведении ча-
сти А т.н. Единого государственного экзамена (ЕГЭ). Делается это крайне примитивно, алогично и некачественно, что видно из таких, например, заданий ЕГЭ с выбором одного правильного ответа:
1. ВОССТАНИЕ СПАРТАКА БЫЛО
•а) в 73 г. до н. э.
•б) в 73 г. н. э.
•в) в 1973 г.
•г) пока ещё не было8.
Здесь мы имеем дело с алогизмом. Восстание то было, то его пока ещё не было.
2. ПРИЕХАВ В СТОЛИЦУ
1) всех поражает шум и суета;
2) у вас не будет времени сходить в музей;
3) идите сразу на Красную площадь;
4) у меня было прекрасное настроение9.
Это задание напоминает запись, воспроизведённую А.П. Чеховым: «подъезжая к сией станции, у меня слетела шляпа».
3. ЛЮБИЛ ЛИ ОНЕГИН ТАТЬЯНУ?
1) да, любил
2) нет, не любил
3) когда как
Здесь внимание привлекает третий ответ, где кратко и
своеобразно выражаются две мысли: иногда он любил, иногда нет; иногда любил сильно, иногда вообще не любил.
Открытое письмо
3 апреля 2014 г. автор этой статьи обратился к главе администрации Президента РФ С.Б. Иванову с таким письмом.
«Уже четырнадцатый год в стране применяется ошибочный Единый государственный экзамен. Критика этого экзамена со стороны учёных и педагогов все эти годы игнорировалась. Неоднократные обещания первых лиц улучшить этот экзамен оказались невыполненными. Сейчас ЕГЭ вступил в наиболее разрушительную для страны фазу.
Остановить или изменить ЕГЭ трудно, да и невозможно, учитывая высокий уровень коррупции и неподготовленность кадров. Но именно сейчас можно заложить первые механизмы, которые позволят в течение года-двух решительно выправить ситуацию: 1. Надо обязать Минобрнауки подготовить настоящие, метрические отчёты по результатам ЕГЭ. Сейчас вместо метрических отчётов пишутся предметно-методические. В результате погрешности оценок ЕГЭ год от года нарастают, возникла инфляция баллов.
2. Нужны публикация метрических отчётов и регулярная независимая экспертиза. Экспертиза заданий, проводимая руководящим органом, была, и возможно, является сейчас главным источником утечки информации и коррупции. О результатах регулярных экспертиз метрических свойств КИМов ЕГЭ нет опубликованной информации.
3. Надо провести конференцию, где все полученные материалы могли бы быть открыто обсуждены, вместе с оппонентами ЕГЭ. Последних никогда не допускали ни к обсуждению ЕГЭ, ни результатов. Итог известен.
4. По итогам обсуждения предстоит создать новый Национальный проект научной системы аттестации выпускников школ и приёма в вузы»10.
Ответ
Можно думать, что ответ на данное письмо прозвучал в форме публичного заявления министра Д. Ливанова, который предложил вообще ликвидировать задания в тестовой форме из части А единого государственного экзамена11. Вот цитата:
«Мы планируем поэтапно исключить часть А из заданий Единого государственного экзамена из всех вариантов, по
http://viperson.ru/
"шп(1р]1р?ГО=
670776&soch=1
-и-
http://polit.ru/
агйс1е/2014/04/09/
ik090414/
нп
измерения
Днепров Э.Д. Модернизация российского образования: документы и материалы. Ред.-сост. Э.Д. Днепров. М.: ГУ ВШЭ, 2002. 332 с.
Аванесов ВС. Стратегии развития образования в Российской Федерации. ЫХр://чарег-son.ru/wind.php7ID-581984&soch=1
всем предметам». «Также мы планируем ввести устную часть в ЕГЭ. Вначале это будет иностранный язык, а затем такая технология будет опробована на всех гуманитарных предметах — истории, литературе и так далее».
Из чего можно сделать два, по меньшей мере, вывода.
Первый. Что признаётся ущербность подготовленных в ЕГЭ заданий в тестовой форме. А настоящих тестов там не было никогда, хотя слов и обещаний по этому поводу было немало.
Второй вывод свидетельствует о крахе надежд руководства на овладение подчинёнными мастерством формулирования заданий в тестовой форме. Теперь неумение писать задания в тестовой форме обернулось намерением полного устранения таких заданий.
Но причём здесь форма тестовых заданий? Она виновата, что ли? Закрытие части А — дело скорее вредное, чем полезное. Оно немного похоже на стремление градоначальника из произведения Салтыкова-Щедрина закрыть Америку. Хотя тот понимал, что сделать это невозможно. Попытки исключения тестовой формы из ЕГЭ и других методов контроля означает прыжок из технологичного XXI века в нетехнологичный XIX век.
Требуется изменение образовательной политики
Если раньше выделялось два главных направления модернизации — кардинальное обновление содержания и экономики образования12, то теперь пришло время к этому добавить необходимость такого же кардинального обновления форм и методов обучения и учения.
Нужна и настоящая модернизация образования. В результате сейчас образованием в стране реально управляют не народ, не общество, не верховная власть, не нынешний парламент, а чиновники министерства образования и науки13. И делается это неудовлетворительно.
В Минобрнауке делят финансирование, объединяют вузы и школы, сокращают число школ и филиалов вузов, создают недостаточно обоснованные методы для проведения ЕГЭ и ИГА, считают и делят имущество институтов РАН, а также делают много чего ещё, что вызывает деградацию самой науки и процесса образования. Не случайно это министерство признано худшим в Правительстве РФ.
И дело, скажем прямо, не в конкретных министрах, каждый из которых был не лучше
предыдущих. Все они оказались недостаточно ориентированы в главном предмете и в методах образовательной деятельности. И если всё останется так же, как сейчас, то и следующий министр вряд ли станет лучшим. Это вопрос сложившейся системы подбора кадров и сложившейся системы отношений в образовательной сфере.
Похоже, что все министры новейшего времени, кроме Э.Д. Днепрова, были призваны решать не образовательные, а иные, преимущественно политические, вопросы. Это перевод образования в сферу услуг,
изменение экономических механизмов функционирования образовательных организаций, вертикализация власти в образовательной сфере, подчинение вузов министерству посредством некачественной аттестации и аккредитации, борьба с коррупцией, сокращение числа вузов и т.д. А потому образование в России стало несвободным, неправильно устроенным и неэффективно функционирующим14. При проведении ЕГЭ оказалось много полицейщины. А коррупция выросла в разы. В этих условиях теряется главное — духовность образовательной сферы.
Аванесов В.С. Проблема модернизации образования. http://viperson.ru/ wind.php?ID-635807&soch=1
