CC BY
80..........................................................................ЖРТ113А,-1ИМ1Я(4ИШШ-
ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ В КОНТЕКСТЕ МОДЕРНИЗАЦИИ ОБРАЗОВАНИЯ
Вадим Сергеевич Аванесов, доктор педагогических наук, профессор, testolog@mail.ru
• модернизация российского образования • педагогические измерения • формы и методы педагогических измерений • новые образовательные технологии, основанные на использовании тестовых форм и методов
ВВЕДЕНИЕ
Мир меняется, а вместе с ним меняется и сфера образования, хотя и не так быстро, как хотелось бы. К началу XXI века в ней начала проявлять себя новая парадигма: от массового обучения традиционными классно-урочными формами к технологически обеспеченному процессу преимущественно собственного учения, посредством новых образовательных технологий. Если к этой парадигме добавить формы и методы педагогических измерений, то это будет означать, по сути, создание научно-методического фундамента для перехода от обучения всех к образованию каждого, а также творческое соединение обучения с контро-лем1.
Ранее такое было невозможно. Но это стало возможным с появлением новых образовательных технологий, педагогических измерений и компьютеров. Для достижения подлинного успеха в сфере образования число компьютеров должно быть не менее одного на каждого учащегося или студента, число квантованных учебных текстов — не менее ста по каждой учебной дисциплине, а число технологичных заданий в тестовой форме — от, примерно, пятисот до, также примерно, тысячи, на каждый учебный курс.
В настоящий момент вопрос применения форм и методов педагогических измерений для модернизации российского образования считается не существенным, и даже не существующим. А потому текущая российская практика управления образованием эти формы обходит стороной, или не замечает. Но так было и сто лет назад.
Обозначившийся застой объясняет, почему предлагаемые здесь нормы обеспеченно-
сти школьного и вузовского образования учебными средствами и материалами не воспринимаются в России должным образом. Как не воспринимались и многие другие сделанными ранее предложениями2. Между тем именно качественные учебные материалы и примерные нормы становятся сейчас главным фактором развития образования в любой стране.
При таком понимании необходимости масштабного материально-технического и программно-методического обеспечения современного образовательного процесса ведущую роль станут играть не изрядно обветшавшая классно-урочная форма организации учебного процесса и не традиционные словесные формы и методы преподавания. А новые учебные тексты с заданиями в тестовой форме — разделённые на короткие части (квантованные), интересно написанные, понятные, а значит и доступные для изучения повсеместно, индивидуально. Они представляются в электронной форме, их легко ставить на компьютеры, закачивать в телефон, изучать в дороге (мобильное образование) и т.д.
Классно-урочной формы при таком образовании уже нет. И это обстоятельство лучше толковать не как попытку осуждения этой вечно нужной формы, а как понимание необходимости поиска её нового места в системе неизбежной модернизации образова-
1 Аванесов В.С. Проблема соединения тестирования с обучением // Педагогические Измерения №3, 2013. См.также http://viperson.ru/wind. php?ID=665998&soch=1
2 Аванесов В.С. Модернизация российского образования http://viperson.ru/wind.php?ID=425098
3 Вадим Аванесов Модернизация российского образования. http:// viperson.ru/wind.php?ID=645198&soch=1
ния3. Отставание в качестве образования равносильно попаданию страны на мусорную свалку истории.
ПРОБЛЕМНАЯ СИТУАЦИЯ
Главная причина отставания массового российского образования от современных требований — ошибочная образовательная политика и нерациональные расходы. Средства, выделенные в бюджете на развитие образования, тратятся на «разработку» некачественных т.н. «механизмов» управления сферой образования4, на проведение некачественного единого государственного экзамена (ЕГЭ). Много денег потрачено и на другую бюрократическую систему оценки качества образования под названием ОСОКО. Качество этой системы и потраченные на неё суммы остаются недоказанными и неизвестными. В какой стране мира такое ещё возможно?
Итоговая государственная аттестация — в формах ЕГЭ и теперь ещё и т.н. экзамена за основную девятилетнюю школу (ОГЭ) — превратились, похоже, в большой бизнес, а потому стала непотопляемой, несмотря на всенародную критику. Критика научная чиновниками вообще не замечается. Но всё равно эти бюрократические формы контроля не имеют перспективы, потому что они ошибочны с научной точки зрения, негуманные по отношению к детям и их родителям, тупиковые и вредные для страны в целом.
Бизнес и наука могут быть совместимыми только при высокой культуре и в стране с высоким уровнем развития общества. В остальных случаях мы получаем обман и деградацию образования.
Недопустимо малым остаётся количество школ полного учебного дня, низок уровень
4 Аванесов В.С. Проблема модернизации образования. http://viperson.ru/ wind.php?ID=635807&soch=1
5 Лаврентьев Г.В., Лаврентьева Н.Б., Неудахина Н.А. Технология полного усвоения, её характеристика. http://www2.asu.ru/cppkp/index.files/ucheb. files/innov/Part2/ch3/glava_3_1.html
Аванесов В.С. http://viperson.ru/wind.php?ID=523856&soch=1
7 Днепров Э.Д. Поражение Фурсенко. Госсовет РФ изменил стратегию развития образования в России. Московские новости. 31 марта 2006 г
технического, программно-методического и технологического обеспечения учебного процесса. Культура разработки цифровых образовательных ресурсов нуждается в существенном повышении.
Почти повсеместно уделяется недостаточное внимание научной организации самостоятельной работы учащихся и студентов, развитию у них рефлексивного мышления. Для продвижения в этом направлении нужны новые образовательные технологии. Не получает требуемого продвижения компьютеризованный вариант методической системы полного усвоения знаний (Mastery Learning)5.
В своём нынешнем виде ЕГЭ нарушает политический принцип паритетности сторон образовательного процесса: это учащиеся (студенты), родители, образовательные учреждения, общественные организации и государство. У нас государство пытается стать первой и главной стороной, не выполняя при этом в полной мере своих обязательств. Но надо понимать, что в сфере образования нарушение отмеченного паритета неизбежно влечёт некачественность об-разования6.
ОПРЕДЕЛЕНИЕ ГЛАВНЫХ ПОНЯТИЙ
Образование — это процесс развития и саморазвития личности, связанный с овладением социально значимым опытом человечества, воплощённым в знаниях, умениях, творческой деятельности, и эмоционально-ценностное отношение к миру; необходимое условие деятельности личности и общества по сохранению и развитию материальной и духовной культуры.
Модернизацию можно определить как процесс перехода образования из одного, менее развитого состояния, в другое, более развитое состояние, с чётко артикулированными, общественно одобряемыми целями. Но такой модернизации в постсоветской России ещё не было. Все попытки модернизации образования инициировались и свёртывались образовательным ведомством. Как говорил Э.Д. Днепров, чиновники превратили модернизацию образования в сломанный проект7. И нет никакой гарантии, что процесс слома не будет продолжен.
6
Однако постепенно зреет понимание, что модернизация образования необходима, но другая. Административными методами подлинная модернизация невозможна. Это дело родителей, учёных, педагогов, общественности и руководства страны, в общем, дело всенародное.
НОВЫЙ ОБРАЗОВАТЕЛЬНЫЙ ИДЕАЛ
В.А. Иванова и Т.В. Левина определяют основное противоречие современной системы образования. Это противоречие между быстрым темпом приращения знаний в современном мире и ограниченными возможностями их усвоения индивидом. Отмеченное противоречие заставляет педагогическую теорию отказаться от абсолютного образовательного идеала — всесторонне развитой личности, и перейти к новому идеалу — максимальному развитию способностей человека к саморегуляции и самообразованию8.
Если раньше самым правильным направлением в образовании считалось всестороннее развитие личности учащихся и студентов, то теперь ему на смену приходит идеал специалиста, компетентного в своей сфере.
ЦЕЛЬ МОДЕРНИЗАЦИИ
Целью модернизации образования обычно называют повышение качества образования. В концепции модернизации российского образования прежних лет цели сформулированы как повышение доступности, эффективности и качества образования9. Эти цели оказались, в основном, недостигнутыми.
Именно по этим трём направлениям мы отстали от стран с развитыми системами образования. Особенно по качеству массового (ранее народного) образования. При этом разрыв между ними и Россией не сокращается, а увеличивается.
КАЧЕСТВО ОБРАЗОВАНИЯ
Как отмечает И. Вальдман, не существует единого и простого ответа на вопрос — что такое качество образования? Качество — это динамическая и постоянно меняющаяся
концепция. Конкретный ответ зависит от того, кто задаёт этот вопрос и каковы его взгляды на цели образования10. Этот же автор отмечает:
для учащихся качество может быть определено в терминах оценок, привлекательности содержания учебных предметов и обучения или полезности школьного образования для получения работы;
для родителей качество может быть установлено в терминах сохранения определённых ценностей, вклада в семейные традиции, гарантий трудовой занятности;
для школы качество связано с успехом её выпускников, с тем, может ли учащийся перейти на следующую ступень обучения, или с результатами, показанными учениками при проведении национальных экзаменов и тестов11.
Для повышения качества образования в России следует признать необходимость разработки новых образовательных технологий, создания современного педагогического содержания (контента) учебных курсов, школьных и вузовских, формирования технологичной учебной среды и разработки качественных цифровых образовательных ресурсов, перехода на уровневое обучение. Решение этих задач должно было стать самым главным направлением модернизации образования в Российской Федерации12.
ПЯТЬ ГРУПП КОМПЕТЕНЦИЙ
Ранее Советом Европы были выделено пять групп ключевых компетенций:
8 Иванова В.А, Левина Т.В. Педагогика. Электронный учебно-методический комплекс. http://www.kgau.ru/distance/mf_01/ped-asp/00a_autor.html
9 Распоряжение Правительства РФ. О концепции модернизации российского образования на период до 2010 г. От 29 дек. 2001 г. №1756-р. // Бюллетень Мин-ва обр. РФ. - 2002.-№2.-С.3.
10 Вальдман И.А. Ключевые аспекты качества образования: уроки международного опыта / Отв. редактор Курнешова Л.Е. Науч. ред. Держицкая О.Н. - М.: Московский центр качества образования, 2009. - 64 с.
11 Там же
12 Аванесов ВС. Главное направление модернизации образования^^:// viperson.ru/wind.php?ID=638368&soch=1
1. Политические и социальные компетенции, связанные со способностью брать на себя ответственность, участвовать в совместном принятии решений, регулировать конфликты ненасильственным путём, участвовать в развитии демократических институтов.
2. Компетенции, касающиеся жизни в многокультурном обществе.
3. Компетенции, определяющие владение устным и письменным общением (к этой группе также относится владение несколькими языками).
4. Компетенции, связанные с возникновением общества информации. Владение новыми технологиями, понимание их применения, их силы и слабости, способность критического отношения к распространяемой по каналам СМИ информации.
5. Компетенции, реализующие способность и желание учиться всю жизнь как основа непрерывной подготовки в профессиональном плане, а также в личной и общественной жизни.
Очевидно, что формирование каждой из перечисленных здесь компетенций требует применения соответствующих новых форм и методов образовательной деятельности, среди которых немало тестовых.
ПРИМЕНЕНИЕ ЗАДАНИЙ В ТЕСТОВОЙ ФОРМЕ
По вопросам применения заданий в тестовой форме для целей модернизации образования не так давно были написаны две статьи. Первая статья была нацелена на анализ пригодности различных методов в деле модернизации13. Вторая статья оказалась самой читаемой, на странице автора
13 Аванесов В.С. Методическое оснащение модернизации образования. Ьтр://у|регзоп.ги/\мп(±рИр?Ю=638429&80сИ=1
в Интернет, и называлась «Основные направления модернизации российского образования
,14
14
Аванесов В.С. ЬШр://у|регз0п.ги/\мп(±рИр?Ю=645693&80сИ=1
15 Аванесов В.С. Применение заданий в тестовой форме и квантованных учебных текстов в новых образовательных технологиях // Школьные технологии. - 2012. - №5.- С.144-154.
16 По книге: Аванесов В.С. Форма тестовых заданий. М.Центр тестирования 2005.
Как это ни покажется парадоксальным, но самым узким местом в вопросах педагогической модернизации оказалось незнание возможностей тестовых форм, и неумение их применять. Без таких форм сейчас нельзя ни проверить объективно знания, ни создать современную технологию, ни наладить такую важную форму организации учебного процесса, как самостоятельная работа. В идеальном случае учебная программа, каждый её часть, сопровождается заданиями в тестовой форме.
Надо подчеркнуть, что для проверки знания содержания учебных текстов используются не тесты, как это принято говорить, а лишь задания в тестовой форме. Этот далеко не лексический, а сущностный нюанс многие не понимают, а потому и не замечают перемены, происходящие в мире образова-
15
ния
В последние годы наметилась тенденция роста применения заданий с выбором нескольких правильных ответов и заданий на установление правильной последовательности. Задание на установление соответствия сейчас почти не применяются из-за их громоздкости, а задания открытой формы — из-за их нетехнологичности.
СИСТЕМЫ ЗАДАНИЙ В ТЕСТОВОЙ ФОРМЕ16
Системы заданий в тестовой форме образуют такие задания, которые имеют все признаки, присущие заданиям в тестовой форме, но не обладают свойствами тестовых заданий. Задания в тестовой форме разрабатывают и применяют для педагогического оценивания, не претендующего на соответствие строгим требованиям научно-педагогического измерения. Эта самая большая группа заданий, и именно их очень часто в практике ошибочно называют тестами. Ошибочное словоупотребление в равной мере распространено как в России, так и на Западе, что вызвано неизбежным упрощенчеством в восприятии социумом наукоёмких объектов.
Задание в тестовой форме определяется как педагогическое средство, отвечающее требованиям соответствия заданий цели их применения, краткости, технологичности, логическим принципам, адекватности формы содержанию заданий, а также другим требованиям. Эти требования-признаки дают возможность безошибочно отличить задания в тестовой форме от всех прочих педагогических заданий.
Ранее все педагогические задания делились на три группы: задания в тестовой форме, тестовые и не тестовые задания. Основанием для такой классификации стали различия в их свойствах и определениях. Задания в тестовой форме только внешне похожи на тестовые задания, что недостаточно для включения их в тест; нужна ещё проверка таких статистических свойств заданий, как мера трудности, коррелируе-мости и другие.
При применении заданий в тестовой форме получаемые баллы учащихся (студентов) нередко сводятся к обычным педагогическим оценкам в пятибалльной или другой похожей шкале, что надо признать ошибочным. Такие оценки не могут интерпретироваться как результат педагогического измерения. Это называется оцениванием (эуа!и-а1юп).
Нетестовые задания в этой статье хотя и не рассматриваются, но несколько слов о них сказать всё-таки надо. К таковым следует отнести задачи, вопросы, примеры, упражнения, кроссворды и прочее, в любой форме, кроме тестовой. В тест они не включаются по причинам нетехнологичности, громоздкости, затруднений в восприятии формы и содержания, повышенной трудоёмкости и повышенным временным затратам. Что приводит к снижению эффективности и качества измерений, а часто и к невозможности измерения вообще.
Важно отметить, что при правильной работе шансы попасть в тест имеют только те тестовые задания, у которых правильная форма, точно сформулированное и корректно отобранное содержание, а также у которых есть математико-статистические характеристики, необходимые для создания теста как педагогической системы желаемыми параметрами. В этой связи уместно
заметить, что тест представляет собой единство содержательной и формальных систем.
Из трёх перечисленных требований к тестовым заданиям вытекает обязательность эмпирической проверки свойств заданий на выборочной совокупности испытуемых, а также необходимость применения статистических методов обработки данных. Обязательность вытекает из свойства тестовых заданий быть частью метода педагогических измерений.
В научной литературе по педагогическим измерениям известна так называемая аксиома локальной независимости17, которая утверждает: если для испытуемых одного, фиксированного уровня знаний, вероятность правильного ответа на одно какое-либо задание теста зависит от вероятности правильного ответа на другое задание, то ответы на оба задания надо рассматривать как зависимые. Что нарушает принцип статистической независимости заданий теста, положенный в основу создания теста как формальной системы.
Названную аксиому можно выразить проще. Если для испытуемых одинакового уровня подготовленности правильный ответ на одно задание зависит от правильного ответа на другое, то такие задания в научном понимании тест не образуют18. Между тем такие задания представляют особую ценность для усвоения системы взаимосвязанных знаний и для организации самостоятельной учебной работы. При правильной организации автоматизированного контроля такие системы заданий могут включаться в учебный процесс, мотивируя ежедневную самостоятельную работу учащихся и студентов.
Система заданий в тестовой форме — это содержательная система, охватывающая взаимосвязанные элементы знаний. В отличие от тестов, в системах заданий вероятность правильного ответа на последующее задание может зависеть от вероятно-
17 Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale, N-J, Lawrence Erlbaum Ass. Publ. 1980.- 266 pp.
18 Lord F. M. & Novick M. Statistical Theories of Mental Test Scores. Addison -Wesley Publ. Co., Reading, Mass., 1968. - 560 pp.
сти правильного ответа на предыдущие задания.
КОНЦЕПЦИЯ СУПЕРТЕСТА
В авторской концепции тестового процесса выделяются четыре основные системы заданий в тестовой форме: цепные, тематические, текстовые и ситуационные задания. Подробнее о них можно прочитать в ранее опубликованных работах автора19.
СУПЕРТЕСТ
Важным критерием современности является возможность объективного учёта результатов обучения. Такую возможность предоставляет педагогический супер-тест20.Это новая, перспективная образовательная технология. Ранее отмеча-лось21, что в отличие от педагогического теста, где число заданий гомогенного теста редко когда бывает больше сорока, супертест может содержать пятьсот и более системных заданий изучаемого курса, располагаемых в логике раскрытия содержания изучаемого курса. Поэтому супертест выполняется учащимися (студентами) не в один день и не за тридцать-сорок минут, как это принято в традиционном тестировании, а в течение всего периода изучения курса.
Задания супертеста предъявляются испытуемым последовательно. Результаты и оценки испытуемого за выполнение каждого задания супертеста кумулируют-ся компьютером. Оценки могут меняться в случаях повторной самопроверки, что позволяет рассматривать супертест одновременно и как учебный тренажёр — метод самоконтроля и самообучения, включённый в текущий образовательный процесс.
Супертест решает главную образовательную задачу XXI века — соединения обучения и контроля.
19 Аванесов В.С. Композиция тестовых заданий. М.: Центр тестирования. М. Центр тестирования, 2005 и 2006 гг.
20 Аванесов В.С. Супертест. http://viperson.ru/wind.php?ID=671462&soch=1
21 Там же.
22 Там же.
Под концепцией обычно понимается определяющий замысел, идея метода, система взглядов. В кратком варианте концепция супертеста впервые была изложена в статье автора22. Если тест, состоящий из небольшого числа, примерно тридцать-сорок заданий, в процессе обучения неприменим, тогда нужно пробовать применять другую, новую, расширенную систему, содержащую все основные задания изучаемого курса. Такие задания, решение которых свидетельствует об усвоении содержания учебной дисциплины. Число таких, назовём их, системных заданий курса может быть большим и очень большим. Например, от пятисот до тысячи и даже больше. Но тогда это уже будет не тест, а супертест, свойства которого ещё предстоит детально изучить. Но уже сейчас понятно, что все задания супертеста должны отражать содержание курса, быть технологичными. Решение каждого задания супертеста приближает учащегося к успеху в деле изучения всего курса.
ОПРЕДЕЛЕНИЕ СУПЕРТЕСТА
Как научное понятие, супертест в российской и мировой литературе неизвестен. Это признак новизны исследования самого феномена в целом. В настоящей работе супертест определяется как система репрезентативных, по содержанию, тестовых заданий, по всем ключевым элементами и темам, система заданий специфической формы, позволяющих качественно оценить структуру и измерить уровень знаний испытуемого по изучаемому курсу.
ЦЕЛЬ РАЗРАБОТКИ И ПРИМЕНЕНИЯ СУПЕРТЕСТА
В большинстве стран мира тестирование проводится в начале и в конце обучения, существуя, таким образом, отдельно от обучения. Между тем, контроль уровня подготовленности важен не только в начале и в конце, но в ещё большей мере — в процессе обучения.
В супертесте используются задания трёх основных форм — с выбором одного или нескольких правильных ответов, открытой формы и заданий на установление правильной последовательности. Содержание заданий на установление соответствия лучше выражать заданиями с выбором нескольких правильных ответов, с фасетами. Наибольшая часть заданий — примерно 90 процентов — это фасетные задания с выбором нескольких правильных ответов, потому что они позволяют проверить большее число видов знаний.
СУПЕРТЕСТ ВМЕСТО ЕГЭ И ОГЭ
Супертест может вполне заменить ЕГЭ и ОГЭ с их нетехнологическими и невероятно дорогостоящими заданиями. С возникновением в стране кризисных явлений Министерству образования и науки было бы полезно заметить данное предложение и обсудить его в научных организациях.
ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ
Теория разработки заданий в тестовой форме разрабатывается в рамках теории педагогических измерений — науки, сформировавшейся в XX веке, на стыке педагогики, психологии, теории измерений, статистики, математики, логики и философии.
Одновременно педагогические измерения являются процессом практической образовательной деятельности, нацеленным на получение объективных, а точнее, объективированных оценок уровня текущей и итоговой подготовленности обучаемых. Это часть общего мирового образовательного процесса, называемого на Западе «Educational Measurement». Основной предмет этой науки — разработка качественных тестов для измерения уровня подготовленности обучаемых.
В отличие от элементарных оценок и некоторых простых физических измерений, разработка методов педагогических измерений требует теоретизации, в которую входят: определение ведущего понятия, уточнение названия измеряемого качества, определе-
ние предмета измерения. Важно построить систему индикаторов, понятийных и эмпирических, указывающих на наличие или отсутствие интересующего качества23.
Далее требуются аксиоматика и математические формализмы, выбор подходящей модели и стандартизация условий измерения. И, наконец, полученные результаты подлежат аргументированной интерпретации. Основной метод педагогических измерений — это педагогический тест.
В 30-х годах педагогические измерения называли тестологией. Сейчас стали лучше понимать, что предмет измерений шире, чем разработка тестов. Поэтому от названия «тестология» везде отказались. Хотя название профессии «тестолог» остаётся. Например, авторский курс «Основы теории и методики педагогических измерений» имеет целью подготовки кафедральных те-стологов в вузах.
АДАПТИВНОЕ ОБУЧЕНИЕ
На научных достижениях теории и методики педагогических измерений основаны адаптивный тестовый контроль и адаптивное обучение.
Началом адаптивного обучения можно считать время возникновения педагогических трудов Коменского, Песталоцци и Дистервега. Этих авторов объединяют идеи природосообразности и гуманности обучения. Например, в малоизвестной у нас работе А. Дистервега можно прочитать такие слова: «Преподавай сообразно природе... Учи без пробелов. Начинай преподавание с того, на чём остановился ученик. Прежде чем приступить к преподаванию, нужно исследовать точку исхода. Без знания того, на чём остановился ученик, невозможно его обучить хорошо»24.
Недостаточная информированность о реальном уровне знаний учащихся и есте-
23 Об этом процессе подробнее см., например, на стр. 87-105 книги: Аванесов В.С. Тесты в социологическом исследовании. М.: Наука, 1982.199 с. Digitized, Jul 28, 2011, the University of California. Habent sua fata libelli .Каждая книга имеет свою судьбу.
24 Дистервег А«Дидактические правила». Киев, 1870 г.
ственные различия в способностях усвоить предлагаемые знания стали главной причиной появления адаптивных систем, основанных на принципе индивидуализации обучения. Этот принцип трудно реализуем в традиционной, классно-урочной форме. До появления первых компьютеров наиболее известной системой, близкой к адаптивному обучению, была модульная технология обучения.
Компьютеризация образования позволяет уменьшить непроизводительные затраты живого труда преподавателей, сохранить методический потенциал профессоров старшего поколения, многократно использовать результаты их овеществлённого труда в форме компьютерных обучающих и контролирующих программ25.
ПРИНЦИПЫ АДАПТИВНОГО ОБУЧЕНИЯ
Как отмечают А.Е. Марон и Л.Ю. Монахова, адаптивное обучение с позиции технологического обеспечения в конечном итоге направлено на конструирование индивидуальных образовательных программ. В качестве ведущих принципов построения таких программ эти авторы выдели-
26
ли
1) открытость образовательного процесса, позволяющая самостоятельно формировать образовательный маршрут в соответствии с личностными пожеланиями и особенностями, включающими уровень и качество исходной подготовки;
2) высокая интеллектуальная технологичность обучения на основе новых педагогических интеллектуальных технологий, адаптированных под личностные особенности учащихся;
25 Аванесов В.С. Математические модели педагогического измерения. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. - 26с.
Аванесов В.С. Научные проблемы тестового контроля знаний. Моногр. М.: Исследовательский центр проблем качества подготовки специалистов, 1994. - 135 с.
26 Марон А.Е, Монахова Л.Ю. Методологические основания проектирования адаптивных систем обучения. В сб. Современные адаптивные системы образования взрослых. ИОВ РАО, С-Пб. 2002. -152с.
3) доступность технологий обучения за счёт применения разнообразных средств, включающих персональные ЭВМ, компьютерные сети, виртуальные тьюториалы и др.;
4) возможность предоставлять различные формы обучения: очную (дневную, вечернюю, выходного дня, сменную), очно-заочную, заочную, виртуальную;
5) гибкость — возможность свободно варьировать длительность и порядок освоения программы;
6) модульность — целостное представление о каждом разделе предметной области, локализованное в каждом отдельном курсе, из которых можно формировать любое разнообразие образовательных программ, что позволяет организовать учебный процесс по всем ступеням обучения;
7) новая роль преподавателя — обучаемый получает персонального преподавателя-консультанта (тьютора), оказывающего учебно-методическую помощь на всех этапах освоения образовательной программы;
8) организация обучения на коммерческой основе, что повышает требования к качеству образовательного процесса в целом;
9) конструируемые программы, которые носят ярко выраженный индивидуальный характер и в то же время обладают свойством инвариантности, касающейся её структуры и реализующейся в технологических моделях.
АДАПТИВНОЕ ТЕСТИРОВАНИЕ
Адаптивное тестирование — это такой контроль, который позволяет регулировать трудность и число предъявляемых заданий каждому учащемуся в зависимости от его ответа на текущее задание: в случае правильного ответа следующее задание он получит труднее, в случае неправильного — легче текущего. Естественно, это требует предварительной эмпирической апробации всех заданий, определения их меры трудности, а также создания банка заданий.
Целесообразность адаптивного контроля вытекает из соображений модернизации тради-
ционного тестирования. Хорошо подготовленному учащемуся нет необходимости давать лёгкие задания. Высока вероятность их правильного решения. Симметрично, из-за высокой вероятности неправильного решения нет смысла давать трудные задания слабому учащемуся. Использование заданий, соответствующих уровню подготовленности, существенно повышает точность измерений и минимизирует время индивидуального тестирования до, примерно, 1015 минут. Адаптивное обучение позволяет обеспечить выдачу учебных заданий на оптимальном, примерно 50% уровне трудности.
Таким образом, адаптивный тест представляет собой вариант автоматизированной системы тестирования (в которой вычисляются меры трудности), дифференцирующей способности каждого задания. Эта система создана в виде компьютерного банка заданий, упорядоченных в соответствии с интересующими характеристиками заданий.
Самая главная характеристика заданий адаптивного теста — это уровень их трудности, полученный опытным путём, что означает: прежде чем попасть в банк, каждое задание проходит эмпирическую апробацию на достаточно большом числе типичных учащихся интересующей генеральной совокупности.
ВАРИАНТЫ АДАПТИВНОГО ТЕСТИРОВАНИЯ
В литературе27 выделяется три варианта адаптивного тестирования.
В первом варианте, при отсутствии предварительных оценок, всем испытуемым даётся задание средней трудности и уже затем, в зависимости от ответа, каждому испытуемому даётся задание легче или труднее; на каждом шаге полезно использовать правило деления шкалы трудности пополам.
Во втором варианте контроль может начинаться с любого подходящего уровня, с постепенным приближением к реальному уровню трудности заданий.
И третий вариант — когда тестирование проводится посредством банка заданий, разделённых по уровням трудности. При правильном ответе следующее зада-
ние берётся из верхнего уровня, при неправильном ответе — из нижнего уровня.
Целесообразность адаптивного контроля вытекает из соображений модернизации традиционного процесса тестирования, в котором из стремления к объективности всем учащимся даётся одинаковый набор заданий. Таким образом, адаптивное обучение и адаптивный тестовый контроль являются весьма перспективными формами модернизации учебного процесса.
В ПОИСКАХ УНИВЕРСАЛЬНОЙ ПЕДАГОГИЧЕСКОЙ МЕРЫ
Известно, что лёгкие материалы не обладают заметным развивающим потенциалом развития личности, в то время как трудные задания у большинства учащихся снижают учебную мотивацию. Для организации адаптивного обучения нужно было найти сопоставимую меру трудности заданий и меру уровня знаний.
Эта мера была найдена в теории педагогических измерений. Датский математик Г. Раш назвал такую меру термином «ло-гит»28. После появления компьютеров эта мера легла в основу теории адаптивного контроля знаний, где изучаются способы регулирования трудности и числа предъявляемых заданий в зависимости от ответа учеников. При успешном ответе следующее задание ЭВМ подбирает сравнительно трудным. При неуспешном ответе — сравнительно лёгким. Естественно, этот алгоритм требует предварительного опробования всех заданий, определения их меры трудности, а также создания банка заданий и специальной программы.
27 We/'ss D.J.(Ed.) New Horizons in Testing: Latent Trait Test Theory and Computerized Adaptive Testing. N - Y..., Academic Press, 1983.-345pp.; Lord F.M. Application of Item Response Theory to Practical Testing Problems. Hillsdale N-J. Lawrence Erlbaum Ass., Publ. 1980, - 266 pp.
28 Rasch, G. Probabilistic Models for Some Intelligence and Attainment Tests. With a Foreword and Afteword by B.D. Wright. The Univ. of Chicago Press. Chicago & London, 1980. 199 рр. Г. Раш ввел две меры: «логит уровня знаний» и «логит уровня трудности задания». Первую он определил как натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста к доле неправильных ответов, а вторую - как натуральный логарифм другого отношения - доли неправильный ответов на задание теста к доле правильных ответов на то же задание, по множеству испытуемых.
СТРУКТУРА ПОДГОТОВЛЕННОСТИ УЧАЩИХСЯ
Преимущество тестового метода проверки знаний перед другими состоит в том, что он позволяет выявить и количественно оценить знание и незнание, а иногда и невежество. Формой представления индивидуальной структуры знания и незнания является профиль, представляемый последовательностью единиц и нулей, получаемых каждым учащимся.
В качестве одного из лучших показателей структуры знаний может использоваться профиль знаний испытуемого, представляющий собой упорядоченный набор оценок (вектор-строку) в матрице тестовых результатов.
Профиль и, соответственно, структура знаний называются правильными, если все нули следуют за всеми единицами; в других случаях получаются профили знаний, инвертированные в той или иной степени. Мера инвертированности определяется различными индексами, здесь не рассматриваемыми. Роль структуры знаний многократно подчёркивалась выдающимся педагогом А. Дистервегом. Психолог Д. Брунер считает, что «изложение структуры знаний, овладение этой структурой, а не просто усвоение фактов и технических приёмов, является центральным моментом
29
Формой представления групповой структуры знаний является матрица. Основной метод выявления структуры знания и незнания — многомерный статистический анализ данных.
СИСТЕМА КОРРЕКЦИИ ЗНАНИЙ
Измерение уровня и структуры подготовленности должно быть объективным, хотя бы потому, что испытуемые имеют право
29 Брунер Дж. Процесс обучения. М.: 1962, с. 15.
30 Артищева Е.К. Система коррекции знаний студентов в вузе на основе педагогической диагностики», представленной на соискание учёной степени доктора педагогических наук по специальности 13.00.01 - общая педагогика, история педагогики и образования. Калининград, 2014 г.
на объективное измерение уровня их подготовленности. Объективность возникает как следствие интеграции методов обоснования надёжности и валидности (пригодности) тестовых результатов для достижения открыто сформулированных целей. Испытуемые имеют право на своевременное получение объективной информации о собственных результатах и о качестве проведённых измерений.
Педагогические, математические и психологические вопросы создания системы коррекции знаний, были исследованы с достаточной глубиной в работе Е.К. Артищевой30.
Метрические проблемы создания системы коррекции знаний вполне решаемы на основе методов, разработанных авторами ряда стран. Объективность обеспечивается такими моделями измерения, которые позволяют оценить уровень подготовленности испытуемого независимо от выборки заданий, доставшихся ему в виде теста. Для достижения объективности результатов всем испытуемым требуются одинаковые инструкции, условия, правила интерпретации и оценивания результатов, параллельные задания. Предполагается недопустимость списывания и других форм нарушений учебной этики. Такие случаи за рубежом относят к проявлениям так называемого «учебного мошенничества».
МОНИТОРИНГ ОБРАЗОВАТЕЛЬНОГО ПРОЦЕССА
Под этим понимается система периодического отслеживания хода образования, с использованием информативных показателей и современных технологий.
Качественный педагогический мониторинг связан с:
• необходимостью иметь большое число качественных заданий в тестовой форме;
• системой полного усвоения знаний;
• информатизацией учебного процесса;
• теорией и методикой управления образованием;
• тестированием и общей теорией построения показателей. Такая теория является научным предметом педагогических измерений;
• качеством и направленностью образовательной политики;
• наличием супертеста. Это необходимое условие для педагогически доказательного и качественно проведённого мониторинга.
Цель мониторинга — получение информации о ходе образовательного процесса, повышение эффективности и качества этого процесса на основе периодически получаемой информации.
Главное преимущество мониторинга — это получение не единственной, как в ЕГЭ, оценки результата изучения учебной дисциплины, а нескольких оценок, получаемых в ходе образовательного процесса. На научном языке это означает переход от неустойчивых, подверженных случайным погрешностям, скалярных оценок личности к векторным оценкам. И всё это по каждому интересующему учебному предмету. Надёжность при этом выражает идею устойчивости, стабильности результатов испытуемых, а валидность — меру пригодности этих результатов для достижения одобряемых обществом образовательных целей.
Среди ведущих задач мониторинга следует выделить организацию процесса качественной педагогической диагностики (чего сейчас в стране нет, как и качественной образовательной статистики). А также задачу организации автоматизированного учёта учебных результатов учащихся.
Решающими условиями качественного мониторинга являются: некоторая открытость его результатов для учащихся (студентов) и их родителей, периодичность оценивания, своевременная коррекция учебной деятельности каждого учащегося, организация образовательного процесса как совместной и целенаправленной деятельности учащихся и педагогов по развитию личности, приобретению подготовки, необходимой для становления собственной траектории социального и профессионального развития каждого гражданина.
Как видно из перечисленного, интересы граждан, общества и государства при мониторинге совместимы, чего нельзя сказать о ЕГЭ.
СВЯЗЬ МОНИТОРИНГА С КАЧЕСТВЕННЫМ УРОВНЕВЫМ ОБРАЗОВАНИЕМ
Результаты мониторинга можно использовать для добровольного введения в практику образовательной деятельности идеи уровневого образования. Эта идея реализуется рациональным комплектованием учебных классов, в зависимости от достигнутых реальных результатов в процессе мониторинга, что можно делать только в школах, имеющих много учащихся. А много учащихся в наше время школа имеет тогда, когда она становится привлекательной для детей и их родителей.
Обычно используются два принципа комплектования классов учащихся. Первый принцип — это равномерное распределение лучших и худших учащихся по всем классам. В массовом среднем и высшем образовании директора школ и деканы факультетов не рискуют обычно делить обучаемых на лучшие и худшие классы (учебные группы). Потому что следствием такого деления нередко являются скандалы и притязания родителей на обучение их детей в группе продвинутых. Гораздо спокойнее для них распределить лучших по всем учебным классам и группам, чтобы остальные, менее одарённые, как говорят опытные управленцы, могли бы брать с них пример правильного учёного поведения.
Второй принцип — уровневого комплектования. Он применяется там, где ставятся задачи отобрать лучших для обучения на высоком уровне. Тогда каждый класс включает учащихся сходного уровня подготовленности. Следствием такого комплектования являются классы учащихся с примерно одинаковым уровнем подготовленности, что имеет методические преимущества. Ведь не бывает ни методов, ни заданий, одинаково эффективных для сильных и слабых.
Разумеется, надо добавить, что такое разделение обязательно дополняется рейтингом учащихся, по итогам которого состав учебных классов может меняться в зависимости от реальных результатов мониторинга о рейтинге (подробнее см. на сайте автора).
Мировой опыт становления качественного образования показывает, что уровневое комплектование учебных классов становится явлением больше положительным, чем отрицательным. В элитном образовании, в котором крайне нуждаются все страны мира, хорошо подготовленные учащиеся выделяются для более качественной подготовки. Вот почему для улучшения качества преподавания и усвоения материалов рекомендуется дифференцировать всех учащихся по уровням подготовленности и создать уровневые классы, там, где это возможно.
ректора (ректора) образовательного учреждения, родителей и самих учащихся.
Советская школа держалась на хорошей работе большинства учителей, их сравнительно высокой зарплате и на преимущественно эгалитарной модели организации учебного процесса. Идеи всеобщего политического равенства нередко дополнялись идеей якобы одинаковых способностей к учёбе. Достаточно вспомнить расхожее утверждение руководителей органов образования того времени: нет плохих учеников, есть плохие учителя.
Правда, против уровневого подхода к комплектации учебных классов могут выступать некоторые родители и педагоги. Среди аргументов против уровневого комплектования классов — возможность нарушения принципа равных прав на доступ к качественному образованию, возникновения зазнайства и высокомерия, сомнения в качестве критериев деления учащихся на уровни подготовленности, общая ориентация на эгалитарную идею организации обучения (идея равенства способностей) и др.
Преодолению такого рода возражений помогает рейтинг учащихся по итогам года, или лучше, каждой учебной четверти. На основе рейтинга более успевающие учащиеся могут переходить в классы более высокого уровня обучения, а менее успевающие — в классы сравнительно низкого уровня подготовленности. Это предложение может оказаться справедливым только при условии объективности и качества рейтинга, а также готовности руководства школ и вузов к гибкому комплектованию учебных классов и групп на научной основе.
Надо сказать, что затронутые вопросы комплектования учебных классов или групп воспринимаются как очень спорные. Они так везде и толкуются, в зависимости от целей образовательной деятельности, идеологических и образовательных моделей — меритократической или эгалитарной. Именно одна из этих двух основных идеологических моделей оказывается неявно заложенной в функционировании каждого образовательного учреждения, в позиции ди-
31 Аванесов В.С. Композиция тестовых заданий». 3 изд. М.: Центр тестирования, 2002г. 237с.
Академик М.А. Лаврентьев убедил руководителей СССР в необходимости организации в стране качественного элитного образования. Организация элитного образования — дело государственной важности. Конечно, было бы идеально иметь повсюду в стране образование высокого качества. Но это труднодостижимая цель. Тем более в условиях проведения губительного для образования ЕГЭ, перманентного образовательного кризиса, да и других не слабых кризисов. А время не ждёт. Мы уже сильно отстали с развитием образования, науки и новых технологий. А потому представляется полезным иметь в больших школах хотя бы по одному классу учащихся высокого уровня подготовленности в каждой параллели классов.
Важно при этом не путать элитное качественное образование, на которое способны не многие, а только наиболее подготовленные учащиеся, с элитарным образованием, связанным преимущественно с кошельками родителей.
РЕИТИНГ
Слово «рейтинг» имеет английское происхождение. Как существительное, оно переводится на русский язык словами «оценка», «разряд», «класс», «положение» (одного объекта относительно других). Глагол «to rate» означает «оценивать», «определять положение». В педагогических и психологических измерениях это слово рассматривается как термин, имеющий точно определённый смысл места испытуемого, по измеряемому признаку (тесту, показателю), среди других
................ЖИЗ»Г11»ШЯ>-ШШ11М
Определение процентного рейтинга
Балл Х Част^ Cum. F Уср. f Доли PR (процентное место) Место
21 1 196 195,5 .9974 99,7 1
20 3 195 193,5 .9872 98,7 2
19 5 192 189,5 .9668 96.7 3
18 7 187 183,5 .9362 93.6 6
17 8 180 176 .8979 89.8 10
16 10 172 167 .8520 85.2 15
15 12 162 156 .7959 79.6 20
14 13 150 143,5 .7296 73.0 27
13 15 137 129,5 .6607 66.1 34
12 17 122 113,5 .5791 57,9 42
11 18 105 96 .4897 49.0 51
10 16 87 79 .4030 40.3 60
9 15 71 63,5 .3239 32.3 68
8 13 56 49,5 .2525 25.2 75
7 12 43 37 .1887 18.9 81
6 10 31 26 .1326 13.3 87
5 8 21 12 .0612 6.1 94
4 6 13 10 .0510 5.1 95
3 4 7 5 .0255 2.5 98
2 2 3 2 .0102 1.0 99
1 1 1 0,5 0,002 0,4 100
членов группы или выборочной совокупности. Если место испытуемого определяется по одному тесту, то место испытуемого определяется на основе тестового балла; чем выше балл, тем выше и место испытуемого.
Теория и методика проведения рейтинга изложена в книге автора31. Здесь приводится лишь очень сжатое изложение методики проведения рейтинга.
Если число испытуемых больше ста человек, а ещё лучше, когда больше двухсот, то для проведения итогового рейтинга можно использовать известный в статистике метод определения процентного ранга.
Алгоритм решения и результаты приведены в таблице.
Пояснения к алгоритму расчёта процентного рейтинга испытуемых:
1-й столбец — исходные баллы испытуемых по тесту (Х)
2-й столбец — частоты
3-й столбец — кумулированные частоты (сит.
4-й столбец — усреднённые частоты, получают сложением значения cum. f в строке со значением cum.f ниже этой строки и делением на 2. Например:
для первой строки (балл 21): (196 + 195) / 2 = 391/2 = 195,5;
для второй строки (балл 20): (195 + 192) / 2 = 387/2 = 193,5;
для третьей строки (балл 19): (192 +187) / 2 = 379/2 = 189,5; и т.д.
В последней строке, где один испытуемый получил балл 1, частоту = 1 складывают с предполагаемым нулём, лежащим ниже этой строки.
Получается 1 + 0 = % = 0,5. Именно это значение и поставлено в четвёртом столбце последней строки таблицы. В этом столбце использован метод расчёта скользящей средней арифметической числа частот.
5-й столбец — значения получают делением соответствующих усреднённых частот (уср. F) на N — общее число испытуемых. (В данном примере N = 196). Результат деления записывается в 6-м столбце;
6-й столбец — процентный рейтинг успешности PR¡ (процентный рейтинг испытуемых), получаемый умножением долей 5-го столбца на сто;
7-й столбец — место испытуемого. Из-за особенностей нормального распределения определение первых и последних мест делается по правилу приоритета более высокого тестового балла, а для данных основного массива место определяется вычитанием 100 — PR¡, с последующим округлением до целого ранга. Именно эти два решающих правила и были использованы для упорядочения мест испытуемых в примере данных таблицы. Как и во всякой процентной шкале, число испытуемых должно быть более ста. Чем больше испытуемых, тем точнее рейтинг.
Предложенная методика проведения рейтинга на основе тестовых результатов легко реализуется в форме компьютерной программы и уже применяется в практике технологичной образовательной деятельности некоторых вузов.
СВЯЗЬ МОНИТОРИНГА И РЕЙТИНГА С УРОВНЕВЫМ ОБРАЗОВАНИЕМ
Мониторинг и рейтинг позволяют выделить сильных и слабых учащихся, для развития которых нужно создавать соответствующие методические и психологические условия, адекватные реальному уровню их подготовленности. Класс для слабо подготовленных детей позволяет уделить больше внимания устранению пробелов в их знаниях.
Тогда в школах появятся относительно гомогенные классы, где можно наладить учебный процесс, соответствующий уровню подготовленности большинства учащихся каждого класса. Позитивный эффект от такого рода уровневого обучения проявляется потому, что каждый уровень требует своих, отличающихся методов и, особенно, других заданий, соответствующего уровня трудности.
Проблеме соотношения уровня подготовленности учащихся и подбору методов, соот-
32 Аванесов В.С. Мониторинг образовательной деятельности http://viperson.ru/wind.php?ID=567751&soch=1
ветствующих каждому уровню обучения посвящена обширная западная литература, имеющая общее название Aptitude-Treatment Interaction (ATI), что можно перевести как проблема взаимосвязи уровня способности учащихся с методами обучения.
Уровневое комплектование классов может оказаться хорошим средством для повышения учебной мотивации и для повышения качества образования. Но такое образование имеет психологические и социологические издержки, которые нужно будет выявлять и минимизировать. А это значит, что в школах с уровневым образованием надо будет налаживать хорошую психологическую службу. Без такой службы уровневое образование может нанести детям вред31.
УСЛОВИЯ УСПЕШНОЙ МОДЕРНИЗАЦИИ ОБРАЗОВАНИЯ
В числе основных условий модернизации образования можно назвать следующие:
• изменение форм контроля — от госконтроля к общественно-профессиональным формам;
• активное внедрение электронных и мобильных форм образования, что позволит исключить вмешательство посторонних или заинтересованных лиц, технологизировать весь процесс обучения и контроля успеваемости;
• выпуск в больших количествах отечественной компьютерной техники, ноутбуков — дешёвых и качественных;
• стимулирование разработок новых учебных квантованных текстов, с заданиями в тестовой форме;
• отмена некачественного ЕГЭ, внедрение добровольных форм текущего и итогового контроля знаний, расширение в текущем учебном процессе масштабов применения устных форм контроля, особенно коллоквиумов;
• создание новой учебно-технологической среды и условий для усиления общей подготовки школьников и профессионального саморазвития студентов;
• организация разработки научно-обоснованных показателей качества учебного процесса;
• внедрение новых образовательных технологий в практику работы школ и вузов.
Дополнительно к сформулированным условиям можно сделать и ряд предложений:
1. Ввести чёткое разделение школьного учебного дня в старшей школе на две части. Первая часть — преподавание учебных дисциплин, вторая часть учебного дня — самостоятельное изучение школьниками учебных материалов, преимущественно в компьютерных классах, с поддержкой преподавателя и (или), возможно, его помощников. Помощники широко использовались в дореволюционной российской школе.
В истории педагогики такой опыт разделения учебного дня назывался Батавским методом обучения, хорошо оправдавшим себя на практике. Современные компьютеризованные формы образования хорошо укладываются в этот опыт.
2. В старшей школе, при большом количестве учащихся, целесообразно вернуться к попыткам введения в школу системы уровневого образования. Эта система в своё время позволила подготовить большое число одарённых выпускников школ, а затем и вузов.
3. Ввести в практику обучения использование компьютерных видеоуроков и видеопрезентаций по тем школьным учебным дисциплинам, по которым такие средства уже существуют. Если сами средства отвечают качественным, экспертно подтверждённым требованиям.
4. Переход от обучения преимущественно словесными формами к обучению посредством новых квантованных учебных текстов, с технологичными заданиями в тестовой форме и с автоматизированным учётом учебных достижений учащихся.
5. Увеличение в планах работы школы количества занятий в форме коллоквиумов, необходимых для становления правильной
речи и формирования коммуникативных навыков каждого учащегося. На коллоквиумах необходимо ставить и решать задачи формирования культурной речи, имеющей такие признаки: грамматическая правильность, точность, логичность, ясность, чистота, богатство, выразительность, уместность, действенность, акцентированность.
6. Сделать, по возможности, технологичными большинство школьных задач и заданий, для последующего использования их для разработки супертеста33, необходимого для организации и проведения научно обоснованного мониторинга уровня подготовленности учащихся.
Большинство заданий по школьному курсу целесообразно создавать в форме заданий с выбором нескольких правильных ответов, что открывает дорогу к формированию у школьников способности так называемого дивергентного мышления, наряду с привычным конвергентным мышлением, а также к созданию эффективных систем компьютерного обучения и контроля знаний.
7. Организовать процесс разработки квантованных учебных текстов с заданиями в тестовой форме. Это позволит создать новые учебные тексты, понятные, доступные и интересные, помогающие учащимся самостоятельно усвоить основы наук по каждой учебной дисциплине.
8. Возникла необходимость целенаправленного внедрения системы технологического управления учебным процессом и самостоятельной работы школьников, способных организовать эффективный процесс самообразования на русском языке. Это означает переход от использования электронной техники к применению образовательной технологии. □
33 См. Аванесов В.С. Супертест. http://avanesov.viperson.ru/wind. рЬф?Ю=671462
