CC BY-NC-ND
263
Интерпретация и представление результатов ЕГЭ: проблемы и возможные решения
С. А. Боченков, И. А. Вальдман
Боченков Сергей Анатольевич
эксперт независимого агентства оценки качества образования «Лидер». Адрес: Чувашская Республика, 428003, г. Чебоксары, Школьный проезд, 10. E-mail: s_bochenkov@mail.ru Вальдман Игорь Александрович кандидат педагогических наук, заведующий лабораторией контроля и мониторинга в образовании Института управления образованием Российской академии образования. Адрес: 119121, Москва, ул. Погодинская, 8. E-mail: iavaldman@gmail.com
Аннотация. Обсуждаются возможности, ограничения и риски использования результатов ЕГЭ. Рассматриваются группы пользователей данных экзамена и специфика потребностей в информации каждой из этих групп. Предлагаются варианты интерпретации результатов, ориентированные на учителя, школу и образовательную систему. Ключевые слова: качество образования, оценка учебных достижений, Единый государственный экзамен, интерпретация результатов ЕГЭ, пользователи результатов ЕГЭ.
Статья поступила в редакцию в июне 2013 г.
Единый государственный экзамен, который с 2009 г. используется в России на постоянной основе для оценки результатов обучения выпускников средней школы1, является важнейшим элементом общероссийской системы оценки качества образования.
ЕГЭ стал действенным механизмом обеспечения равных шансов на получение высшего профессионального образования. У выпускников школ независимо от их социального происхождения и места проживания появилась реальная возможность выбрать вуз. Единый экзамен послужил основой для формирования независимой от производителей образовательных услуг системы оценки качества образования, стимулировал развитие культуры педагогических измерений, обеспечил создание региональных систем оценки качества образования, дал важную для совершенствова-
1 Исключение составляют учащиеся с ограниченными возможностями здоровья, которые могут проходить итоговую аттестацию в форме традиционного выпускного экзамена.
http://vo.hse.ru
5
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
ния процесса обучения информацию учителям, методистам, авторам учебников и разработчикам образовательных стандартов [Болотов, Вальдман, Ковалева, 2012].
При этом в практике проведения ЕГЭ остаются нерешенные и весьма острые вопросы, которые активно обсуждаются в обществе и профессиональной среде. Это прежде всего взаимосвязанные вопросы доверия к результатам экзамена и их использования для управления качеством образования. Оставаясь практически единственным источником достоверной информации о результатах обучения школьников, ЕГЭ выполняет несвойственные ему функции и используется не только для подведения итогов обучения в школе и отбора в вузы, но и для оценивания работы учителей, эффективности школ и образовательных систем в целом, а также результатов деятельности губернаторов и регионов, для выделения денежных поощрений учителям и школам.
Международный опыт свидетельствует о том, что каждая оценочная процедура имеет свою зону действия и не может использоваться для решения не свойственных ей задач. Во многих зарубежных странах основными инструментами оценки учебных достижений школьников являются внутриклассное (формирующее) оценивание, национальные и международные мониторинги и национальные экзамены [Кларк, 2012]. Внутриклассное оценивание — это оперативная проверка результатов обучения школьников с целью оказать им своевременную педагогическую поддержку в ежедневном учебном процессе. Мониторинги позволяют определить качество работы национальной и региональных образовательных систем, получить информацию об эффективности реализуемых управленческих решений. Задача экзаменов — оценить освоение образовательной программы по завершении обучения в школе (выпускные экзамены) и отобрать кандидатов для продолжения обучения в вузе (вступительные экзамены).
В отсутствие национальных мониторинговых исследований качества образования результаты ЕГЭ неизбежно будут использоваться представителями профессионального сообщества и широкой общественности для вынесения суждений о качестве работы школ и образовательных систем. Поэтому встает вопрос о выделении областей возможного использования результатов Единого экзамена и о разработке методик их корректной интерпретации.
В данной статье мы предлагаем свои версии ответов на следующие вопросы. Для каких целей возможно использовать результаты ЕГЭ, а для каких это делать неправомерно? Каковы особенности анализа и интерпретации результатов ЕГЭ для разных целей и для разных групп пользователей? В каком виде результаты могут быть представлены тем или иным группам пользователей?
6
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Наша позиция относительно использования результатов Единого экзамена кратко может быть сформулирована так.
1. Собственно результаты ЕГЭ без привлечения других данных могут использоваться лишь для двух целей: для подтверждения освоения или не освоения образовательной программы среднего общего образования и для отбора кандидатов на продолжение обучения в вузе.
2. При оценке деятельности учителя, школы и образовательных систем результаты ЕГЭ могут использоваться лишь в сочетании с другими данными, характеризующими различные результаты деятельности. Результаты ЕГЭ должны выступать лишь одной из характеристик сложного портрета результатов.
3. При условии корректной интерпретации результатов ЕГЭ они могут быть использованы для управления качеством образования, в частности для объективного сравнения результатов обучения в разных территориальных системах и в разных учебных заведениях, а также для отслеживания динамики изменений.
Возможности работы с результатами ЕГЭ в значительной степе- 1 Возможности ни определяются особенностями системы образования страны использования и практикой проведения Единого экзамена. резульгатов ЕГЭ
Наиболее сильное влияние на характер использования результатов ЕГЭ оказывает несбалансированность общероссийской системы оценки качества образования. Единый экзамен пока остается безальтернативным мерилом качества школьного образования. Его результаты пытаются привлекать для получения ответов на самые разные вопросы — от «кто самый лучший?» до «кто виноват?». Давление на ЕГЭ и его перегрузка неоправданными ожиданиями приводят к неадекватным и зачастую ошибочным управленческим решениям. Такая ситуация может быть преодолена только за счет введения других оценочных процедур — мониторингов учебных достижений. Именно поэтому одним из ближайших приоритетов государственной политики в сфере оценки качества образования является «формирование современной и сбалансированной общероссийской системы оценки качества образования, включающей в себя не только национальные экзамены, но и прежде всего мониторинговые обследования обучения и социализации, процедуры оценки результатов обучения на уровне школы» [Государственная программа Российской Федерации «Развитие образования» на 2013-2020 гг.].
Другая важная особенность организации системы образования страны состоит в том, что ЕГЭ является процедурой измерения с высокими ставками. От результатов экзамена очень сильно зависит будущее учащегося: сможет ли он продолжить образование в вузе. Кроме того, эти результаты часто используются для
http://vo.hse.ru
7
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
оценки работы педагогов и школ (раздача поощрений или наложение санкций). Оставим без комментариев сюжет о нарушениях и фальсификациях при проведении экзамена, хотя он напрямую связан с корректной интерпретацией результатов. В конце концов, это вопрос надежности процедуры экзамена и жесткого контроля за ее исполнением. Но нельзя не отметить, что измерения с высокими ставками заставляют учащихся и их семьи обращаться к внешкольным образовательным институтам и ресурсам—образовательным возможностям семьи, частному репетиторству, различным курсам по подготовке к экзаменам. В результате однозначно связывать высокие баллы, полученные учащимися на ЕГЭ, с высоким качеством работы школы невозможно: ее вклад оказывается далеко не единственным и даже не главным.
В ЕГЭ есть обязательные для сдачи предметы — русский язык и математика, а есть предметы по выбору, которые требуются для поступления в вузы на профильные специальности. Это обстоятельство необходимо принимать во внимание при интерпретации результатов. Если в регионе (муниципалитете, школе) невелика доля учащихся, сдающих конкретный предмет по выбору, то невозможно на основе полученных результатов делать выводы о качестве работы территориальной образовательной системы или образовательного учреждения: во-первых, мы не получаем репрезентативной выборки учащихся, а во-вторых, такие экзамены сдают, как правило, наиболее мотивированные и подготовленные школьники, их успехи в обучении заведомо выше результатов обычного «среднего» школьника.
И наконец, важнейшее влияние на использование и интерпретацию результатов оказывает уже сформировавшаяся в регионах традиция анализа данных ЕГЭ. Как правило, форматы анализа результатов закреплены нормативно через разные руководства и положения. Кроме того, управленцы заинтересованы в отслеживании тенденций изменений, поэтому однажды проведенный анализ будет воспроизводиться, чтобы не потерять возможность сопоставления данных. Требуется серьезная работа заинтересованных экспертов и аналитиков, чтобы преодолеть сложившиеся неадекватные практики работы с результатами ЕГЭ и разъяснить руководителям системы образования, педагогам и обществу, какие интерпретации данных являются корректными, а от каких следует отказаться.
2. Что собой представляют результаты ЕГЭ
Для корректной интерпретации данных ЕГЭ необходимо понимать, что и каким образом он оценивает, каковы последствия получения тех или иных баллов для выпускника школы, что из себя представляют результаты ЕГЭ.
Результаты экзаменов по обязательным предметам (русский язык и математика) и по предметам по выбору имеют разные последствия для выпускника, при этом значимым является не толь-
8
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
ко балл по 100-балльной шкале, но и величина минимального порога по каждому учебному предмету, достижение которого свидетельствует об освоении выпускником основных общеобразовательных программ среднего (полного) общего образования по предмету. Этот порог по каждому предмету ежегодно устанавливается распоряжением Рособрнадзора.
Выполняя задания контрольно-измерительных материалов ЕГЭ (КИМов), выпускник набирает определенное количество первичных баллов, которые после процедуры шкалирования2 переводятся в балл по 100-балльной шкале и выставляются в свидетельство о результатах ЕГЭ. Этот показатель чаще всего и берется за основу при расчетах в существующих сегодня моделях анализа и интерпретации результатов ЕГЭ. Таким образом, средний балл ЕГЭ — это самый распространенный и принятый в системе образования РФ показатель образовательных результатов.
Наиболее распространенный пример использования среднего балла — это представление в виде диаграммы или таблицы результатов школы в сравнении с результатами по муниципалитету, региону и по России в целом. Другой распространенный пример — фиксация динамики среднего балла по учебным предметам по годам. При этом не только обсуждаются тренды (лучше или хуже становятся результаты за три-пять лет), но и выносятся оценочные суждения о том, по каким предметам результаты оказываются лучше, а по каким хуже. Оставим пока эти примеры без комментариев, ограничившись ссылкой на один из законов Мерфи: «Если что-то делается неправильно достаточно часто, оно становится правильным».
Вообще средние величины очень удобны, потому что позволяют одной цифрой выразить все многообразие единичных данных. Но только не в случае с результатами ЕГЭ! Ограничение на использование среднего балла ЕГЭ накладывают, во-первых, неоднородность сравниваемых групп выпускников и очень большие различия в числе индивидуальных результатов. Абсолютно недопустимо средний балл трех выпускников школы, сдавших экзамен по физике по выбору, сравнивать с результатами по физике по региону или с результатами обязательного экзамена по математике. Во-вторых, что более важно, 100-балльные шкалы по разным предметам и по одному и тому же предмету в разные годы не совпадают, например 70 баллов по математике не равны 70 баллам по русскому языку.
Методика шкалирования результатов ЕГЭ определяет два пороговых значения в каждом предмете. Первый порогЗ—это наи- 2 3
2 Подробнее о методике шкалирования см. на официальном портале ЕГЭ http://ege.edu.ru
3 Далее первый, или минимальный, порог в первичных баллах теста обозначается как ПБ1, в тестовых баллах 100-балльной шкалы — как ТБ1.
http://vo.hse.ru
9
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Таблица 1. Пороговые значения уровней освоения образовательного стандарта
Предмет ПБ1 (ТБ1) ПБ2 (ТБ2)
Русский язык 17 из 64 (36 из 100) 54 из 64 (73 из 100)
Математика 5 из 32 (24 из 100) 15 из 32 (63 из 100)
Обществознание 15 из 59 (39 из 100) 48 из 59 (72 из 100)
История 13 из 58 (32 из 100) 47 из 58 (72 из 100)
Физика 11 из 51 (36 из 100) 33 из 51 (62 из 100)
Химия 14 из 65 (36 из 100) 58 из 65 (80 из 100)
Биология 17 из 69 (36 из 100) 60 из 69 (79 из 100)
География 14 из 53 (37 из 100) 43 из 53 (69 из 100)
Информатика 8 из 40 (40 из 100) 35 из 40 (84 из 100)
Иностранные языки 16 из 80 (20 из 100) 65 из 80 (82 из 100)
Литература 8 из 42 (32 из 100) 36 из 42 (73 из 100)
меньший балл, получение которого свидетельствует об усвоении участником экзамена основных понятий и методов по соответствующему предмету. В обязательных предметах преодоление этого порога позволяет получить аттестат, в предметах по выбору — использовать результаты для участия в конкурсе в учреждения профессионального образования. Второй порог4 — наименьший балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена, а именно о наличии системных знаний, овладении комплексными умениями, способности выполнять творческие задания. В табл. 1 приведены пороговые значения баллов по всем предметам для результатов ЕГЭ-2013 (по данным официального информационного портала ЕГЭ).
Величины ПБ1 в разных предметах не совпадают—и это нормально, так как в каждом учебном предмете можно набрать разное максимальное число первичных баллов. Но не совпадают и значения ТБ1 по 100-балльной шкале! А это значит, что для преодоления минимального порога по математике достаточно 24 баллов, а по информатике необходимо набрать 40 баллов из 100 возможных. То же с величинами ТБ2. Различия в величинах ТБ1 и ТБ2 по разным предметам свидетельствуют о том, что шкалы в каждом предмете свои. На рис. 1 видно, что 70 баллов в раз-
4 Далее второй порог в первичных баллах теста обозначается как ПБ2, в тестовых баллах 100-балльной шкалы — ТБ2.
10
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Рис. 1. Соотношение 100-балльной шкалы и уровней освоения образовательного стандарта (РФ, ЕГЭ-2013)
Выше
минимального
порога 70 баллов ТБ2 и выше
Русский язык Математика Физика Химия Биология Информатика Обществознание Английский язык
Рис. 2. Сравнение 100-балльных шкал по среднепроцентильным рангам
100
—
36
о
о
17
46
о
о
28
75
88
о
51 55 о 59 о 63 о 66 о 70 о о о о 62 о 71
О о 57
о о 38 о 42 о 47 51
33
о Русский язык, ЕГЭ-2012 о Математика, ЕГЭ-2012
0
ных предметах соответствуют разным уровням освоения образовательного стандарта. А это значит, например, что 70 баллов по математике «больше» 70 баллов по русскому языку. Поэтому, сравнивая результаты ЕГЭ-2012 по Российской Федерации на основании среднего балла участников (средний балл ЕГЭ по математике равен 44,6, а по русскому языку — 61,1), делать вывод о том, что «математику сдали хуже, чем русский язык», некорректно.
http://vo.hse.ru
11
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
На рис. 2 приведено сравнение средних значений процентильных рангов: все результаты всех участников ЕГЭ-2012 по РФ по предмету были разделены на десять равных по численности групп, и для каждой группы указан средний балл. Так, у нижнего процентиля (10% худших результатов) средний балл по математике оказался равным 17, а по русскому — 36 по 100-балльной шкале. Такое выравнивание шкал (подробнее см. [Крокер, Алги-на, 2012]) позволяет выявить эквивалентные значения5.
Если же не учитывать различия шкал, то можно прийти к ошибочным заключениям. Приведем пример такого сравнения результатов ЕГЭ двух школ по качеству профильной подготовки. Допустим, первая школа дает инженерный профиль с углубленной подготовкой по физике и математике и достаточно хорошим русским языком, результаты которого также востребованы при поступлении в вуз. Вторая школа ведет обучение по медицинскому профилю с углубленной подготовкой по биологии и химии и также дает хороший уровень подготовки по русскому. В школах одинаковое число выпускников.
Представим себе ситуацию, что подготовка в этих школах организована эффективно и каждый выпускник по каждому предмету сдает ЕГЭ с результатом не ниже ТБ2 (наименьший тестовый балл, получение которого свидетельствует о высоком уровне подготовки участника экзамена). Эти баллы следующие: русский язык—73, математика — 63, биология — 79, химия — 80, физика — 62. Для наших расчетов упростим ситуацию: допустим, все выпускники сдали профильные предметы с одинаковым результатом, равным по каждому предмету значению ТБ2.
Подсчитаем средний балл профильных предметов школы с инженерной подготовкой: в нашем случае все 30 выпускников сдали ЕГЭ с одинаковым результатом по всем предметам, поэтому средний балл оказался равен 66. Аналогично средний балл медицинского класса окажется равным 77,3.
Таким образом, сравнивая средние баллы напрямую, мы получаем, что при одинаковом качестве подготовки, равном ТБ2, средний балл инженерного класса оказывается ниже показателя медицинского класса на 11,3 балла, или на 17%!
А теперь представим себе, что эти выпускники поступили в профильные вузы на инженерное и медицинское направления соответственно. Тогда медицинский вуз оказывается на 17% лучше инженерного по показателю среднего балла, при этом качество подготовки абитуриентов не различается, а разницу определяет «кривая»100-балльная шкала.
Таким образом, когда мы пытаемся сравнивать результаты ЕГЭ по двум учебным предметам, мы должны быть уверены,
5 Аналогичное сопоставление шкал ЕГЭ-2011 и ЕГЭ-2012 по математике выявило различие в баллах в рамках одного предмета по годам.
12
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Таблица 2. Примеры показателей по результатам ЕГЭ
Группы показателей Характеристика показателей
Освоение минимальных требований образовательного стандарта Уровень освоения образовательного стандарта для получения документа о полном среднем образовании — доля выпускников, успешно сдавших два обязательных экзамена (преодолевших минимальный порог и по русскому языку, и по математике), в общем числе выпускников Уровень освоения образовательного стандарта для получения профессионального образования — доля выпускников, успешно сдавших все экзамены, которые они выбрали для сдачи в форме ЕГЭ, в общем числе выпускников
Уровень и качество образовательных достижений Качество профильной подготовки — доля выпускников, сдавших все предметы, которые они изучали на профильном уровне, не ниже порога профильной подготовки (ТБ2) Качество подготовки по обязательным предметам — средний балл по 100-балльной шкале с учетом результатов по русскому языку и по математике
Равенство доступа к образованию соответствующего качества Равенство доступа — разница между средним баллом ЕГЭ по обязательным предметам по территории и средним баллом школы, показавшей наименьший результат Сравнение диапазона изменений внутришкольных результатов с разницей результатов между разными школами, расположенными на одной территории
Уровень освоения содержания изучаемых предметов Успешность усвоения отдельных дидактических единиц — сравнение решаемости каждого задания работы по учебному предмету с коридором ожидаемой решаемости (вариант — со средней решаемостью по региону, по РФ) Успешность освоения содержательных блоков и основных умений
что они измеряют сопоставимые характеристики и результаты их представлены в сопоставимых величинах. При интерпретации и представлении результатов ЕГЭ важно понимать, что 100-балльные шкалы по разным учебным предметам по сути своей не совпадают и баллы (максимальные, минимальные, средние и т. д.) нельзя сравнивать напрямую ни между предметами, ни по одному и тому же предмету в динамике по годам.
В этой ситуации при интерпретации результатов ЕГЭ имеет смысл использовать либо относительные показатели 100-балльной шкалы (или пересчитанные приведенные значения), либо показатели доли выпускников, успешно справившихся с минимальными требованиями стандарта по предмету (преодолевших минимальный порог), и доли выпускников, успешно преодолевших порог ТБ2. Примеры некоторых показателей представлены в табл. 2 (более подробно см. [Боченков, 2012 (а)]).
Крайне важно правильно подобрать показатели, но не менее важно учесть общую рамку анализа и интерпретации результатов и ориентацию представляемого материала на целевую группу.
http://vo.hse.ru
13
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
3. Интерпретация и представление результатов ЕГЭ
На основании анализа и интерпретации результатов ЕГЭ создаются информационные продукты, которые адресованы разным группам пользователей. Формат этих продуктов зависит от особенностей запросов каждой группы. Здесь важно понять, на какие вопросы через призму результатов ЕГЭ желают получить ответы сам выпускник, учитель, администрация школы, руководитель территориальной системы образования (регион, муниципалитет), методическая служба и другие заинтересованные пользователи.
Таким образом, анализ и интерпретация результатов оценочной процедуры определяются, с одной стороны, запросами группы потенциальных пользователей, с другой — доступными источниками данных. Запросы на аналитические материалы по результатам оценочной процедуры различаются в зависимости от уровня принятия управленческих решений, т. е. результат оценочной процедуры на каждом уровне управления и под каждый запрос понимается по-разному. Для адресной подготовки аналитики необходимо максимально точное понимание того, на какие именно вопросы хотели бы получить ответы представители данной группы пользователей и каковы критерии (характеристики) качества объекта оценки.
Для каждой группы пользователей необходимо применять особую модель анализа и интерпретации результатов оценочной процедуры и свою систему ключевых показателей. Показатели должны отражать состояние того участка работы и в таком ракурсе, в котором работает управленец, так как, ориентируясь на эти показатели, он не только выстраивает свою деятельность, но и использует все имеющиеся в его распоряжении ресурсы для воздействия на эти показатели. Правильно поданная информация позволяет делать правильные заключения и принимать адекватные управленческие решения на каждом уровне.
Рассмотрим далее некоторые примеры интерпретации результатов ЕГЭ для разных групп пользователей6.
3.1. Оценка результатов работы учителя
Чтобы результаты ЕГЭ, поступающие в школу в виде протоколов, удовлетворили информационные запросы учителя и чтобы ему стало понятно, насколько его учащиеся были готовы к ЕГЭ, эти результаты должны быть подвергнуты специальной процедуре анализа и интерпретации. На какие же вопросы может и должен получить ответ учитель, проанализировав результаты ЕГЭ своих учащихся, и как наиболее наглядно представить ему эти ответы?
6 Предлагаемые подходы к интерпретации результатов ЕГЭ апробировались и используются в практике управления качеством образования в Чувашской Республике с 2004 г. [Анализ результатов ЕГЭ-2011 по Чувашской Республике...], в Ханты-Мансийском АО — Югра с 2008 г., в Чеченской Республике с 2010 г. и в ряде других регионов.
14
Вопросы образования. 2013. № 3
А1
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Рис. 3. Решаемость заданий КИМов ЕГЭ-2012 по физике выпускниками школы А в сравнении с коридором ожидаемой решаемости и со средней решаемостью для сходных по условиям школ региона
100 %
80
60
40
20
0
ООСО'^-ЮСОЬ-СОООт-ООСО'^-ЮСОГ^-СОООт-ООСО'^-Ют-ООСО'^-т-ООСО'^-ЮСО
<<<<<<<<<<<<<<<<
Во-первых, учитель должен получить представление об уровне требований КИМ ЕГЭ по предмету. Источниками информации здесь кроме собственно результатов ЕГЭ являются кодификатор, спецификация и демоверсия ЕГЭ, открытый сегмент банка заданий по предмету и др. Контрольно-измерительные материалы ЕГЭ имеют единую структуру, которая определена спецификацией. Задания, занимающие в работе одинаковую позицию (например, А1 или В5), проверяют одни и те же элементы содержания и виды деятельности во всех вариантах в рамках предмета. Это позволяет сформировать представление об уровне требований по предмету.
Чем точнее учитель будет через фрейм теста представлять себе уровень требований ЕГЭ, тем успешнее он сможет организовать подготовку своих учащихся. Чем жестче учителя-предметники ориентированы на требования ЕГЭ, тем легче транслировать новые требования образовательного стандарта по предмету, изменяя содержание КИМов.
Во-вторых, для учителя важны данные об успешности освоения как отдельных дидактических единиц (позадачная решаемость), так и содержательных блоков, о сформированности умений и видов деятельности у их учащихся. Графическим выражением успешности выполнения теста группой учеников является профиль решаемости, где видна успешность выполнения каждо-
http://vo.hse.ru
15
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Рис. 4. Результаты освоения содержательных блоков курса физики группой учащихся по результатам ЕГЭ-2012
Методы научного познания
71,9%
Квантовая физика
43,8% 43,8%
ЭлектродИнамика
69,3% 71,9%
Молекулярная физика
65,2% 89,6%
Механика
72,3% 19,8%
Задания базового Задания высокого и повышенного уровня сложности уровня сложности
го задания. При сравнении с коридором ожидаемой решаемости видно, какие темы отработаны лучше, какие хуже, а какие вообще оказались провальными (рис. 3).
Если сравнить успешность освоения этой же группой учащихся содержательных блоков (рис. 4), то становится понятно, что на базовом и повышенном уровнях учащиеся успешно решают задачи по механике, а в решении задач по квантовой физике отмечаются проблемы. Эти и другие данные позволяют учителю выявить узкие места в подготовке группы учащихся, понять собственные сильные и слабые стороны, скорректировать свою деятельность в перспективе.
В-третьих, результаты ЕГЭ позволяют учителю оценить востребованность его учебного предмета среди учеников. Это касается предметов по выбору, и ясно, что востребованность того или иного предмета как экзамена в форме ЕГЭ определяется как внешними факторами (престижность будущей специальности и т. д.), так и внутренними (связанными со школой и учителем). Но если учащиеся на старшей ступени выбрали определенный предмет для изучения на профильном уровне, то большая их часть должна сдавать экзамен по этому предмету. Тогда можно говорить об эффективности затраченных ресурсов, об эффективности работы учителя-предметника.
В-четвертых, учитель получает данные об усвоении его учениками образовательного стандарта на минимальном уровне — это доля учащихся, преодолевших минимальный установленный порог, из числа сдававших предмет. Учитель должен быть ориентирован на достижение максимальных величин этого показателя.
16
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Рис. 5. Группы учащихся по уровню готовности к ЕГЭ-2012 по физике
О
О
О
О О О
Граница высокого ° уровня (ТБ2)
.........с..о..о..°..°..........................
Граница повышенного уровня
о °
О
Граница базового уровня (Тб1)
Высокий уровень подготовки к ЕГЭ: знаний и умений достаточно для полноценного продолжения образования в профильном вузе с достаточно высоким конкурсом
Повышенный уровень подготовки к ЕГЭ: знаний и умений достаточно для продолжения образования по профильным специальностям в вузах со средним уровнем требований
Базовый уровень подготовки к ЕГЭ: знания, умения и способы деятельности соответствуют требованиям стандарта на минимально возможном уровне. В группу с базовым уровнем подготовки входят учащиеся, которые могут продолжать образование по профильным специальностям в НПО и СПО или выбрать направление обучения в вузе, где данный предмет не является профильным
Низкий уровень подготовки к ЕГЭ: группа риска, так как бессистемность и отрывочность их знаний не позволяет преодолеть минимальный порог для получения свидетельства о результатах ЕГЭ
Таблица 3. Критерии качества работы учителя по результатам ЕГЭ
Общие критерии
• Учитель обеспечивает освоение образовательного стандарта на минимальном уровне: доля учащихся, успешно преодолевших минимальный порог требований образовательного стандарта, из числа сдававших предмет стремится к 100%
• Система текущего оценивания адекватна результатам внешней оценки
• Наблюдается положительная динамика или стабильность в высоких результатах по каждой из значимых позиций
Если предмет изучается на базовом уровне
• Все учащиеся из числа слабоуспевающих (но допущенных к итоговой аттестации) успешно выполняют определенный набор заданий, что позволяет им преодолеть минимальный порог
Если предмет изучается на профильном уровне
• Доля учащихся, сдававших экзамен по предмету в форме ЕГЭ, из числа изучавших предмет на профильном уровне выше, чем среднее значение для данной территории и в аналогичных образовательных учреждениях
• Учитель обеспечивает освоение образовательного стандарта на профильном уровне: доля учащихся, успешно преодолевших порог требований профильного уровня, из числа выпускников, изучавших предмет на профильном уровне и сдававших его, выше, чем среднее значение для данной территории и в аналогичных образовательных учреждениях
http://vo.hse.ru
17
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
3.2. Оценка результатов работы школы
Это его прямая ответственность — чтобы все допущенные к ЕГЭ сдали экзамен выше минимального порога. И основной показатель качества его работы.
В-пятых, учитель может получить данные об освоении учениками образовательного стандарта на профильном уровне. Пороговым баллом освоения предмета на профильном уровне следует считать значение ТБ2. И задача учителя — обеспечить преодоление этого порога как можно большим числом учащихся из тех, кто изучал его предмет на профильном уровне.
На рис. 5 каждая точка — это индивидуальный результат участника ЕГЭ. Положение точки на графике определяет балл по 100-балльной шкале. На графике выделены группы учащихся в соответствии с уровнем готовности к ЕГЭ. В приведенном примере видно, что все учащиеся группы успешно преодолели минимальный порог требований образовательного стандарта и 7 из 16 учеников (более 40%) — порог высоких результатов ТБ2.
И наконец, процедура ЕГЭ позволяет учителю корректировать применяемую им систему текущего оценивания с учетом требований внешней оценки. Выставляемые учителем четвертные, полугодовые, годовые оценки по предмету должны коррелировать с баллами ЕГЭ.
На основании показателей готовности к Единому экзамену, значимых для учителя, можно определить рамку требований к качеству его работы через призму ЕГЭ (табл. 3).
Применяя данную систему показателей качества в интерпретации результатов ЕГЭ, мы даем учителю адекватную обратную связь, чтобы он мог организовать адресную работу над собственными ошибками и спланировать свою деятельность по достижению более высоких результатов при подготовке следующей группы выпускников. Ресурсы, которые имеются у учителя, и область его деятельности соответствуют предъявляемой рамке требований.
ЕГЭ является основной формой итоговой аттестации выпускников 11-х (12-х) классов, поэтому его результаты широко используются в оценке деятельности школ. При этом следует учитывать, что, во-первых, ЕГЭ позволяет судить лишь об отдельных характеристиках качества образования и не является единственным и всеобъемлющим показателем качества работы школы. Во-вторых, надо точно понимать, какие именно результаты ЕГЭ могут отражать работу школы и какие контекстные данные необходимы при интерпретации этих результатов. Так, использование линейных рейтингов школ и сравнение результатов разных школ между собой напрямую не отражают реальной ситуации и часто приводят к ложным выводам и неверным управленческим решениям. Поэтому показатели по школе надо интерпретировать в соотношении с показателями группы аналогичных школ, располо-
18
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Таблица 4. Критерии качества работы школы по результатам ЕГЭ
Характеристики школы в результатах ЕГЭ
• Соответствует ли заявленный профиль школы спектру предметов, выбираемых выпускниками для сдачи в форме ЕГЭ?
• Каков показатель освоения образовательного стандарта на минимальном уровне (доля выпускников, успешно сдавших два обязательных экзамена, доля выпускников, успешно сдавших все экзамены в форме ЕГЭ)?
• Каков показатель освоения образовательного стандарта на профильном уровне (доля выпускников, успешно сдавших профильные предметы
на уровне ТБ2 и выше)?
• Соответствует ли применяемая учителями система текущего оценивания внешней оценке?
• Каковы позиции школы в рейтинге
по вышеназванным показателям среди школ города (района) и среди аналогичных школ (в одном кластере) региона?
• Какова динамика ключевых показателей?
Что значит «хорошая школа» по результатам ЕГЭ
• Это школа, выпускники которой активно выбирают экзамены в форме ЕГЭ из числа предметов профиля школы, необходимые им для продолжения образования
• Это школа, все выпускники которой успешно справляются с двумя обязательными экзаменами в форме ЕГЭ (русский язык и математика)
• Это школа, все выпускники которой успешно сдают все экзамены в форме ЕГЭ по профильным предметам (обязательным и по выбору), получая баллы выше минимального порога
• Это школа, обеспечивающая общий высокий уровень подготовки по всем предметам, особенно по предметам профиля
• Это школа, показывающая положительную динамику или стабильность в высоких результатах по каждой из указанных позиций
женных на территории со сходными социально-экономическими условиями (кластеры школ)7. Не менее важными условиями, которые влияют на результаты ЕГЭ, являются наличие или отсутствие фильтров на этапе отбора учащихся в школу, а также многие семейные характеристики, например уровень образования родителей, социальный и экономический статус семей, образовательные ресурсы семей.
Кроме учета этих контекстных и фоновых условий важно сформировать понимание того, что, собственно, представляет собой результат ЕГЭ для школы: за что в результатах ЕГЭ школа отвечает, на какие показатели может и должна оказывать влияние. В табл. 4 представлены наиболее важные, на наш взгляд, характеристики школы в результатах ЕГЭ.
7 Модель кластеризации школ, используемая в Чувашской Республике, представлена в [Боченков, 2012 (б)]. В ней учтены такие характеристики, как тип и вид образовательного учреждения, тип местности, размер населенного пункта, размер образовательного учреждения по числу выпускников (наличие условий для профильной подготовки).
http://vo.hse.ru
19
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Рис.6. Востребованность учебных предметов.
Доля выпускников, сдававших ЕГЭ по предметам
Рис. 7. Качество подготовки.
Доля выпускников, показавших высокий уровень подготовки к ЕГЭ (ТБ2 и выше)
Школа А
Английский язык
Английский язык
.О.. Школа Б
—□— Школа В
53,70% а.
50,0%
Физика Ч ^
Р"
Химия
Общество-
знание
-''З'-’Ч 54,35%
I
__-О
Биология
Задавая такую рамку требований в результатах ЕГЭ к школе, мы, с одной стороны, акцентируем внимание на тех позициях качества образования, за которые может и должна нести ответственность школа, а с другой — транслируем необходимость оказания качественной образовательной услуги каждому ученику на минимальном уровне требований образовательного стандарта и на профильном уровне в зависимости от потребностей учащегося и профиля школы. Выполнение этих требований в большей степени зависит от ресурсов школы, чем пресловутый средний балл, и соответствует приоритетным задачам развития образования.
В качестве примера интерпретации результатов ЕГЭ для оценки работы школы приведем сравнение трех школ разного профиля по показателям востребованности учебных предметов (рис. 6) и качества подготовки по ним (рис. 7).
По данным представленных диаграмм можно сделать следующие выводы о качестве профильной подготовки в каждой из трех школ: школа А не обеспечивает качества подготовки по востребованным предметам (биология, химия); школа Б обеспечивает высокий уровень подготовки как по предметам профиля (английский язык, обществознание), так и по другим предметам; школа В кроме востребованной физики обеспечивает высокий уровень практически по всем предметам.
Предлагаемые критерии оценки качества работы школы в результатах ЕГЭ пока еще не получили должного распространения в процедурах самообследования (самооценки) общеобразовательных учреждений, а между тем именно на уровне школы ре-
20
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Таблица 5. Критерии качества работы системы образования по результатам ЕГЭ
Характеристики системы образования в результатах ЕГЭ Что значит «хорошая система образования» по результатам ЕГЭ
• Надежность процедуры проведения ЕГЭ • Процедура проведения ЕГЭ защищена,
на территории (нарушения, фальсификации) аномальных результатов ЕГЭ не наблю-
• Охват учреждениями системы средним дается
(полным) образованием учащихся • Все выпускники, допущенные
соответствующего возраста — освоение к итоговой аттестации, успешно сдают
образовательного стандарта экзамены и получают документы
• Равенство доступа к образованию об образовании
соответствующего качества. Выявление • Различия в результатах между школами
групп риска среди учащихся, определение меньше, чем между результатами
степени депрессивности территорий, внутри школы*
выявление школ, работающих в трудных • Профиль школ подтверждается
условиях результатами ЕГЭ — как спектром
• Удовлетворение потребностей населения выбираемых предметов, так и качеством
в общеобразовательной и профильной полученных результатов
подготовке, предоставляемой сетью школ • Общеобразовательная и профильная
• Контроль качества и оценка эффективности подготовка, предоставляемая сетью
деятельности школ школ, обеспечивает потребности
• Эффективность использования ресурсов се- населения
ти школ
* Данный критерий отражает равенство доступа к образованию учащихся из разных социальных групп. Он используется в международной практике при анализе результатов оценки качества образования (например, в рамках международного исследования PISA). Критерий показывает, что в регионе/ муниципалитете практически все школы предоставляют образование примерно одинакового качества и в школах учатся разные ученики — как сильные, так и слабые (отсутствует селекция при поступлении в школу).
зультаты итоговой аттестации выпускников (ЕГЭ), правильно проанализированные и интерпретированные с учетом детализации условий организации образовательного процесса и характеристик семей учащихся, могут стать основой мониторинга уже ведущихся школой преобразований и проектирования направлений ее дальнейшего развития.
На основе результатов ЕГЭ можно осуществить оценку деятель- 3.3. управление ности региональных и муниципальных образовательных систем образователь-по ключевым позициям, указанным в табл. 5. ными системами
Как видно из приведенных критериев, при оценке, например, муниципальной системы образования важно, чтобы она предоставляла населению адекватные его потребностям образовательные услуги. При этом планка качества, которая должна быть преодолена, — это показатели охвата и достижения каждым вы-
http://vo.hse.ru
21
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
пускником минимальных требований образовательного стандарта по обязательным предметам и предметам по выбору.
Приведенная рамка качества охватывает результаты ЕГЭ и целый ряд контекстных характеристик. Часто муниципальные образования региона достаточно сильно различаются по таким важным контекстным параметрам, как доля выпускников вечерних школ, доля выпускников сельских школ, доля выпускников инновационных школ и т. д. Поэтому усилия и ресурсы, которые требуются для достижения одинаковых результатов ЕГЭ, у разных муниципальных образований региона могут сильно различаться. Тем не менее все население, проживающее на территории муниципального образования, должно быть охвачено качественной услугой общего образования, поэтому для получения объективной картины может быть полезен линейный рейтинг муниципалитетов.
Для построения рейтинга муниципальных образований региона целесообразно использовать пять линий сравнения. Во-первых, по уровню освоения образовательного стандарта для получения документа о среднем (полном) образовании. Во-вторых, по уровню готовности к продолжению образования. Выбирая экзамены в форме ЕГЭ, выпускник нацелен на поступление в учреждение высшего профессионального образования. И только если учащийся по всем сданным предметам преодолеет минимальный порог, он получит полноценное свидетельство о результатах ЕГЭ и сможет участвовать в конкурсе на выбранную специальность. Поэтому место в этом рейтинге определяет доля выпускников, сдавших все экзамены в форме ЕГЭ с результатом выше минимального порога. В-третьих, по качеству подготовки по обязательным предметам. Выпускники сдают два обязательных экзамена, и, чтобы выявить различия в качестве их подготовки, используется средний балл по 100-балльной шкале по двум предметам. В-четвертых, по качеству профильной подготовки: положение в рейтинге определяет доля выпускников, сдавших все экзамены по выбору с результатом выше профильного уровня. В-пятых, по показателю различия в качестве предоставляемой услуги по обязательным предметам между школами муниципального образования. При этом значимым показателем является разница между средним баллом по региону и по школе муниципального образования, показавшей самый низкий результат.
Пять указанных позиций рейтинга могут иметь разные веса и значимость. Так, для оценки муниципальных образовательных систем важно распределение высоких и низких результатов между школами — оно позволяет не только оценить равенство доступа к образованию соответствующего качества, но и выявить среди школ муниципалитета группу школ риска и организовать целенаправленную работу с ними.
22
Вопросы образования. 2013. № 3
Средний балл по 100-балльной шкале, русский язык и математика
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
Рис. 8. Равенство доступа к образованию соответствующего качества. Муниципалитеты
■■ «Лучшая» школа
I Средний балл Т по району
«Худшая» школа
На рис. 8 показана форма интерпретации и представления результатов ЕГЭ в сравнении по 15 муниципалитетам одного региона. В качестве показателя используется средний балл обязательных экзаменов, что позволяет оценить качество общеобразовательной подготовки. Положение каждого муниципалитета определяют три точки: средний балл «лучшей» школы муниципалитета, средний балл «худшей» школы и средний балл по муниципалитету; фоном для сравнения является средний балл по региону (пунктирная линия). На рисунке наглядно видна разница между «худшей» и «лучшей» школами — это индикатор различия и обеспечения равного доступа к образованию соответствующего качества: чем больше амплитуда8, тем сильнее результат в муниципальной системе образования зависит от того, в какой из школ обучался выпускник. Например, в муниципалитете М1 амплитуда между результатами школ составляет почти 32 балла, а в М3 — всего 15 баллов (число школ в М1 и в М3 одинаковое). Второй вариант сравнения позволяет судить о том, насколько средние результаты по муниципалитету хуже или лучше средних по региону. Третий вариант сравнения показывает степень от- 8
8 Следует учитывать наличие так называемых выбросов, которые могут быть связаны с существованием в муниципалитетах отдельных школ с небольшим числом выпускников с сильно отклоняющимися от средних результатами.
http://vo.hse.ru
23
ТЕОРЕТИЧЕСКИЕ И ПРИКЛАДНЫЕ ИССЛЕДОВАНИЯ
Литература
ставания «худших» школ муниципалитетов от среднего результата по региону.
Таким образом, для оценки муниципальных образовательных систем важно распределение высоких и низких результатов между школами. На основании этих данных можно не только оценить равенство доступа к образованию соответствующего качества, но и выявить среди школ муниципалитета группу риска и организовать целенаправленную работу.
Итак, результаты ЕГЭ — это ценный материал для анализа, который может и должен быть использован для управления образовательными системами и образовательными учреждениями. Но для управления качеством образования результаты ЕГЭ должны дополняться данными из других источников. ЕГЭ дает важную, но крайне ограниченную информацию о результатах деятельности педагога, школы и образовательных систем.
Существующие на практике ошибки в интерпретации и использовании результатов ЕГЭ связаны прежде всего с отсутствием необходимых рекомендаций, в том числе ограничений на использование отдельных показателей, определения границ возможного их применения, которые являются неотъемлемой частью инструментария оценки и должны быть подготовлены еще в период апробации инструментария. Авторы надеются, что данная статья хотя бы частично поможет восполнить данный пробел.
1. Анализ результатов ЕГЭ-2011 по Чувашской Республике. Сводные таблицы и диаграммы по республике, муниципалитетам, образовательным учреждениям. Чебоксары: ГУ «Чувашский республиканский центр новых образовательных технологий», 2011.
2. Болотов В. А., Вальдман И. А. Информирование о результатах оценки качества образования // Журнал руководителя управления образованием. 2013. № 2. С. 36-40.
3. Болотов В. А., Вальдман И. А. Условия эффективного использования результатов оценки образовательных достижений школьников // Педагогика. 2012. № 6. С. 39-45.
4. Болотов В. А., Вальдман И. А., Ковалева Г. С. Российская система оценки качества образования: чему мы научились за 10 лет? // Тенденции развития образования: проблемы управления и оценки качества образования. Материалы VIII Международной науч.-практич. конф. М.: Изд. дом «Дело» РАНХИГС, 2012. С. 22-31.
5. Боченков С. А. Анализ и интерпретация результатов ЕГЭ-2012 // Управление образованием: теория и практика. 2012 (а). № 3. С. 9-34 http:// www.iuorao.ru/20120930
6. Боченков С. А. Модель анализа и интерпретации результатов ЕГЭ и ГИА на региональном уровне: опыт Чувашской Республики // Тенденции развития образования: проблемы управления и оценки качества образования. Материалы VIII Международной науч.-практич. конф. М.: Изд. дом «Дело» РАНХИГС, 2012 (б). С. 401-410.
24
Вопросы образования. 2013. № 3
С. А. Боченков, И. А. Вальдман Г ■ Интерпретация и представление результатов ЕГЭ... L.B
7. Государственная программа Российской Федерации «Развитие образования» на 2013-2020 гг. http://depobr.gov35.ru/index.php/documents/ viewdownload/1-dokumenty/3343-gosudarstvennaya-programma-rossijskoj-federatsii-razvitie-obrazovaniya-na-2013-2020-gody
8. Кларк М. Что является наиболее важным в системах оценки достижений учащихся: основные ориентиры. Всемирный банк, 2012.
9. Крокер Л., Алгина Дж. Введение в классическую и современную теорию тестов. М.: Логос, 2012.
http://vo.hse.ru
25
En
THEORETICAL AND APPLIED RESEARCH
Interpretation and Presentation of Unified State Exam Results: Problems and Possible Solutions
Authors Sergey Bochenkov
Expert, Independent Education Quality Assessment Agency “Leader”. Address: 10A, Shkolny proezd, Cheboksary, 428003, Chuvash Republic, Russian Federation. E-mail: s_bochenkov@mail.ru
Igor Valdman
Candidat of Sciences, Head, Laboratory of Control and Monitoring in Education, Education Management Institute, Russian Academy of Education. Address: 8, Pogodinskaya str., Moscow, 119121, Russian Federation. E-mail: iavaldman@ gmail.com
Abstract The authors discuss opportunities, restrictions and risks of using Unified State Exam (USE) results. The paper describes groups of USE users and the need for information in each of the groups. The authors offer test result interpretations oriented towards teachers, schools, and education system. They believe that USE results may be used independently for two purposes only: either to determine whether the secondary general education program has been delivered successfully or not, or to select candidates for admission to universities. However, other diverse performance data should also be used when assessing teacher activities, schools and education systems. Having analyzed the USE scaling method, the authors demonstrate that 100-point scales for different subjects are inherently inconsistent. Thus, points (maximum, minimum, average, etc.) can be compared directly neither across subjects nor within one subject across different years. The paper gives examples of USE result indicators that can serve appropriate instruments of comparing how different schools perform or how one school performs at different time periods. Teacher performance criteria and USE-based educational system performance criteria are determined. Using USE records, teachers can obtain information about the level of subject-specific requirements to USE measuring tools, about efficiency of smaller or larger teaching units, about demand for their subject among students, about how well the educational standard has been digested at minimum and field-specific levels. Distribution of high and low results among schools plays an important role in assessing municipal educational systems. Not only the distribution data allows to measure equality of access to education of relevant quality, but it also helps identify the risk group among municipal schools and act directly on it.
Keywords education quality, academic performance assessment, Unified State Exam, interpretation of USE results, users of USE results.
References Bochenkov S. (2012а) Analiz i interpretatsiya rezultatov YEGE-2012 [Analysis and Interpretation of USE-2012 Results]. Upravleniye obrazovaniyem: teoriya i praktika, no 3, pp. 9-34. Available at: http://www.iuorao.ru/20120930 (accessed 30 May 2013).
Bochenkov S. (20126) Model analiza i interpretatsii rezultatov YEGE i GIA na re-gionalnom urovne: opyt Chuvashskoy Respubliki [A Model to Analyze and Interpret USE and SFE Results at Regional Level: The Chuvash Republic Experience]. Tendentsii razvitiya obrazovaniya: problemy upravleniya i otsenki kachestva obrazovaniya [Trends in Education Development: Problems in Management and Assessment of Education Quality]. Moscow: Delo, pp. 401-410. Bolotov V., Valdman I. (2013) Informirovaniye o rezultatakh otsenki kachestva obrazovaniya [Informing about Results of Education Quality Assessment]. Zhurnal rukovoditelya upravleniya obrazovaniyem, no 2, pp. 36-40.
26
Educational Studies. 2013. No. 3
THEORETICAL AND APPLIED RESEARCH
En
Bolotov V., Valdman I. (2012) Usloviya effektivnogo ispolzovaniya rezultatov otsenki obrazovatelnykh dostizheniy shkolnikov [Prerequisites for Efficient Use of the Results of Student Performance Assessment]. Pedagogika, no 6, pp. 39-45.
Bolotov V., Valdman I., Kovalyova G. (2012) Rossiyskaya sistema otsenki kachestva obrazovaniya: chemu my nauchilis za 10 let? [Education Quality Assessment System in Russia: How Much Have We Progressed over the Last Ten Years?]. Tendentsii razvitiya obrazovaniya: problemy upravleniya i otsenki kachestva obrazovaniya [Trends in Education Development: Problems in Management and Assessment of Education Quality]. Moscow: Delo, pp. 22-31.
Chuvashsky respublikansky tsentr novykh obrazovatelnykh tekhnologiy (2011) Ana-liz rezultatov YeGE-2011 po Chuvashskoy Respublike. Svodnye tablitsy i di-agrammy po respublike, munitsipalitetam, obrazovatelnym uchrezhdeniyam [Analysis of USE-2011 Results in the Chuvash Republic. Summary Charts and Diagrams for the Republic, Municipalities, and Educational Institutions]. Cheboksary: Chuvashsky respublikansky tsentr novykh obrazovatelnykh tekhno-loguiy.
Clarke M. (2012) Chto yavlyaetsya naibolee vazhnym v sistemakh otsenki dostizheniy uchashchikhsya: osnovnye orientiry [What Matters Most for Student Assessment Systems: A Framework Paper]. Moscow: World Bank.
Crocker L., Algina J. (2012) Vvedenie v klassicheskuyu i sovremennuyu teoriyu testov [Introduction to Classical and Modern Test Theory]. Moscow: Logos.
Ministerstvo obrazovaniya i nauki RF (2012) Gosudarstvennaya programma Rossi-yskoy Federatsii «Razvitiye obrazovaniya na 2013-2020 gody» [National Program of the Russian Federation “Education Development for 2013-2020“]. Available at: http://depobr.gov35.ru/index.php/documents/viewdownload/1-dokumenty/3343-gosudarstvennaya-programma-rossijskoj-federatsii-razvi-tie-obrazovaniya-na-2013-2020-gody (accessed 30 May 2013).
http://vo.hse.ru
27
