CC BY
142
АПРОБАЦИЯ ПРОЕКТОВ ЭКЗАМЕНАЦИОННЫХ МОДЕЛЕЙ ДЛЯ ПРОВЕДЕНИЯ ГИА ПО ОБРАЗОВАТЕЛЬНЫМ ПРОГРАММАМ ОСНОВНОГО ОБЩЕГО И СРЕДНЕГО ОБЩЕГО ОБРАЗОВАНИЯ
Тугой Иван Анатольевич
Руководитель проектов, Общество с ограниченной ответственностью «Простой.Ру»,
город Москва E-mail: mail@prostoy. ru
THE APPROBATION OF TESTING MODELS PROJECTS FOR SFC ACCORDING TO EDUCATIONAL PROGRAMS OF GENERAL BASIC AND GENERAL SECONDARY EDUCATION
Tugoy Ivan Anatolyevich
Project manager, limited liability company "Prostoy.ru", Moscow
Аннотация
Проведена разработка и апробация технологии и программного обеспечения формирования контрольно-измерительных материалов, сделаны выводы о качестве подготовленных экзаменационных моделей.
Summary
The development and approbation of technology and software for the formation of controlling and measuring materials are carried out; the conclusions on the quality of prepared testing models are drawn.
Ключевые слова: государственная итоговая аттестация, контрольно-измерительные материалы, апробация, единый государственный экзамен, образование.
Key words: state final certification, controlling and measuring materials, the approbation, the unified state exam, education.
Результаты государственной итоговой аттестации (далее - ГИА) являются показателем уровня освоения программы среднего общего образования и практически единственным источником данных для анализа и оценки многих характеристик системы образования Российской Федерации, связанных с качеством образования. В современных условиях невозможно достичь максимальной эффективности процедуры ГИА без использования информационных технологий, которые, в свою очередь, бурно и интенсивно развиваются именно под воздействием стоящих перед системой образования Российской Федерации стратегических и тактических задач. Эти перемены несут системе образования существенную выгоду, однако при этом они требуют и гораздо более серьезного внимания к сфере безопасности.
Решение задач обеспечения информационной безопасности процедуры ГИА на всех этапах ее проведения (формирование, организация хранения и доставки контрольно-измерительных материалов (далее - КИМ)), гарантирования конфиденциальности вариантов КИМ, используемых участниками единого государственного экзамена (далее - ЕГЭ) при выполнении экзаменационной работы является, несомненно, важным в условиях постоянно возрастающего количества информационных угроз и рисков, а также недостаточного уровня обеспечения информационной безопасности в существующих информационных системах (далее - ИС).
Ключевым элементом управления информационными рисками, является эффективная методология их снижения за счет реализации определенных
контрмер, направленных на ликвидацию уязвимо-стей и ликвидацию угроз в ИС. В связи с этим особый интерес представляют вопросы, связанные с разработкой организационно-технологических и методических подходов к обеспечению конфиденциальности вариантов КИМ, используемых участниками ЕГЭ при выполнении экзаменационной работы. Схема проведения ЕГЭ, при которой варианты КИМ генерируются за небольшой промежуток времени до начала экзамена, позволяет сократить время существования вариантов КИМ, и, соответственно, риск утечек информации о составе заданий в конкретных вариантах существенно снижается. Сложность, однако, представляет задача обеспечения одинаковой трудности вариантов в процессе их генерации, что требует разработки соответствующих научных и технологических решений, а также проведения работ по специализированной разметке банка заданий, из которых планируется генерировать варианты КИМ [1-4].
В качестве инструментария, позволяющего генерировать варианты КИМ, предлагается использовать технологию и программное обеспечение формирования КИМ, включенную в функциональные возможности платформы online-gia.ru.
Апробация технологии и программного обеспечения формирования КИМ, включая подготовку банков заданий для проведения автоматической генерации вариантов КИМ, прошла в 12 регионах Российской Федерации. По каждой экзаменационной модели в процедуре выполнения обучающимися разработанных вариантов КИМ участвовали более 10 000 экзаменуемых.
Апробация проводилась на информационной
платформе http://www.online-gia.ru (рисунок 1).
Рисунок 1. Информационная платформа проведения апробации моделей проведения ГИА
Апробация представляла собой процедуру выполнения обучающимися разработанных вариантов
КИМ, причем каждый обучающийся выполнял задания выданного ему варианта КИМ. Алгоритм проведения апробации представлен на рисунке 2.
Рисунок 2. Алгоритм проведения апробации
Для проведения апробации были разработаны учителей, обучающихся. Пример алгоритма работы инструктивно-методические материалы для всех учителя в автоматизированной системе online-категорий участников апробации: организаторов, gia.ru представлен на рисунке 3.
Рисунок 3. Алгоритм работы учителя в автоматизированной системе
Апробационный экзамен предусматривал выполнение экзаменационной работы как в бумажном формате, так и с использованием информационно -коммуникационных технологий. По результатам апробации каждой образовательной организации были предоставлены сводные результаты по всем участникам апробации из данной организации (в рамках личного кабинета).
Основными параметрами КИМ являются статистические характеристики тестовых заданий и вариантов в целом. Основными параметрами тестовых заданий являются:
1) Трудность задания. В классической тестовой теории этот показатель определяется долей экзаменующихся, которые ответили правильно на данное задание. Оценивается через средний процент выполнения и средний первичный балл.
2) Надежность, как характеристика внутренней согласованности, определяется связью элементов теста с общим результатом, тем, насколько элементы теста входят в противоречие друг с другом, насколько каждый отдельный вопрос измеряет признак, на который направлен весь тест. Надежность рассчитывается через коэффициент надежности Кронбаха и считается высокой если он больше 0,9. Такая надежность говорит и о правильно подобранной длине теста. При его значении менее 0,7 можно сделать вывод о низкой надежности и необходимости совершенствования КИМ.
3) Дифференцирующая способность задания - это показатель для определения различия среди экзаменующихся по уровню подготовки по оцениваемой дисциплине. Определяется с помощью подсчета значений точечного бисериального коэффициента корреляции (ТБКК). Дифференцирующая способность задания позволяет судить о том,
насколько оно соответствует общей цели создания теста. Правильно подобранные задания позволяют четко отделять хорошо подготовленных от слабо подготовленных экзаменуемых.
4) Стандартное отклонение, которое позволяет оценить форму кривой диаграммы распределения верных ответов. Стандартное отклонение численно равно корню квадратному из дисперсии. Низкое стандартное отклонение указывает на низкое качество теста, поскольку он не обеспечивает высокий дифференцирующий эффект. Излишне высокое стандартное отклонение, характерно для случая, когда все обучающиеся отличаются по числу выполненных заданий, также требует корректировки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой.
5) Асимметрия распределения, которая показывает сбалансированность теста. Если ее значение близко к 0, то тест сбалансирован по трудности заданий, если ее значение отрицательно, то это говорит о преобладании легких заданий. Чем больше значение асимметрии, тем более сложные задания включены в тест, то есть основная часть набранных баллов лежит слева от среднего значения. Данный показатель позволяет оценить необходимость корректировки содержания теста по трудности.
6) Эксцесс. Значения эксцесса позволяют получить представление о том, являются ли полигон частот распределения или гистограмма, островершинной или плоской. Для нормального распределения эксцесс должен быть нулевым. Если значения эксцесса больше 2, то это говорит об островершинной кривой, а это еще раз позволяет подтвердить, что есть проблемы с трудностью тестовых заданий.
Для проведения апробации были разработаны в информационной системе 20 экзаменационных моделей, которые включали 9 предметов по программе среднего общего образования, из них 1 предмет (иностранные языки) - отдельно базовый и углубленный уровень, 11 предметов по программам основной школы. КИМ содержали:
задания с выбором ответа (к каждому заданию приводится несколько вариантов ответа, из которых верен только один);
задания, к которым требуется дать краткий ответ;
задания, в которых ответы необходимо привести в виде последовательности цифр; задания с развернутым ответом. Разработанная технология формирования КИМ позволила компоновать варианты КИМ по учебным предметам. По каждому предмету в ИС генерировались варианты КИМ. Компоновка происходила с учетом следующих условий:
использование заданий из банка заданий, в котором хранятся задания с уникальными идентификаторами и свойствами;
варианты КИМ соответствуют установленной спецификации КИМ для проведения экзамена по учебному предмету;
Таблица 1
Данные о контрольных измерительных материалах_
Предмет Класс Врем я (мин) Общее кол-во заданий Кол-во заданий с выбором ответа Кол-во заданий с кратким ответом Кол-во заданий с развернутым ответом Макс первичны й балл
Английский язык 9 120 42 20 22 - 55
Биология 9 180 32 26 1 5 49
География 9 120 24 16 4 4 29
Информатика 9 150 21 - 18 3 24
История 9 180 28 22 2 4 41
Литература 9 235 5 - - 5 26
Математика 9 235 24 6 13 6 37
Обществознан ие 9 150 20 14 0 6 30
Русский язык 9 235 15 6 7 2 39
Физика 9 180 26 17 3 6 45
Химия 9 120 20 15 - 5 38
Английский язык (базовый уровень) 11 180 66 42 23 1 75
Английский язык (углубленный уровень) 11 180 66 36 29 1 75
Биология 11 180 25 19 - 6 45
География 11 180 24 11 4 9 35
Информатика 11 235 27 2 21 4 35
История 11 210 33 21 5 7 41
Обществознан ие 11 180 25 15 1 9 50
Физика 11 235 30 16 6 8 54
Химия 11 180 40 32 3 5 64
варианты КИМ имеют одинаковую трудность;
задания в вариантах КИМ не имеют тематических пересечений: одно задание не служит подсказкой к другой.
В роли экспертов, оценивающих характеристики и качество предложенных заданий, выступили учителя. Оценка каждого задания производилась по следующим пунктам:
1. Значимость умения (комплекса умений), которое проверяет задание, для достижения предметных или метапредметных результатов обучения.
2. Значимость элемента содержания, которое проверяется данным заданием для государственной итоговой аттестации.
3. Уровень сложности задания.
4. Соответствие задания учебной программе.
Анализ анкет учителей позволил выработать
направления доработки апробируемых проектов экзаменационных моделей.
Данные о структуре апробируемых КИМ представлены в таблице 1. Данные о количестве участников, средних баллах и основным параметрам КИМ по предметам представлены в таблице 2.
Таблица 2
Информация о количестве участников,
№ Предмет Вариант Кол-во участников Средний % выполнения Средний первичный балл Стандартное отклонение Средняя надежность экзаменационной работы Асимметрия распределения Эксцесс
Класс 9
1 Английский язык КИМ1 5 716 53 28,70 13,77 0,88 -0,20 -1,05
КИМ2 4 530 49 25,72 13,18 0,87 0,02 -0,90
2 Биология КИМ1 5 347 55 24,53 8,36 0,81 0,18 -0,60
КИМ2 5 015 54 25,88 8,75 0,82 0,04 -0,71
3 География КИМ1 5 077 56 16,14 5,33 0,76 -0,19 -0,46
КИМ2 4 928 53 15,41 4,84 0,74 -0,21 -0,13
4 Информатика КИМ1 5 648 41 9,73 5,01 0,85 0,14 -0,79
КИМ2 5 276 40 9,62 5,03 0,84 0,21 -0,64
5 История КИМ1 5 556 51 19,94 7,74 0,81 0,001 -0,56
КИМ2 5 096 48 18,83 7,56 0,82 0,051 -0,58
6 Литература КИМ1 5 748 52 13,43 6,65 0,62 -0,09 -0,83
КИМ2 4 269 51 13,26 6,63 0,64 -0,09 -0,82
7 Математика КИМ1 10 218 44 16,27 5,78 0,81 0,15 0,38
КИМ2 9 906 40 14,57 5,55 0,80 0,31 0,46
8 Обществознание КИМ1 6 510 60 17,40 5,64 0,77 -0,35 -0,37
КИМ2 6 159 54 16,16 5,26 0,74 -0,09 -0,40
9 Русский язык КИМ1 13 986 70 26,43 7,40 0,68 -0,76 0,24
КИМ2 13 788 71 27,84 7,30 0,69 -0,91 0,59
10 Физика КИМ1 5 733 43 18,15 7,43 0,82 0,43 -0,30
КИМ2 5 538 47 20,20 7,85 0,82 0,26 -0,29
11 Химия КИМ1 5 180 39 16,28 8,84 0,80 0,50 -0,46
КИМ2 4 988 36 15,81 8,67 0,81 0,56 -0,27
Класс 11
12 Английский язык (базовый уровень) КИМ1 4 745 48 33,25 16,08 0,91 0,06 -0,89
КИМ2 5 319 46 33,00 15,81 0,91 0,23 -0,71
13 Английский язык (углубленный уровень) КИМ1 5 243 42 30,76 13,90 0,88 0,19 -0,23
КИМ2 5 169 38 28,09 23,57 0,88 -1,03 -1,65
14 Биология КИМ1 5 110 36 13,76 7,42 0,79 0,67 -0,14
КИМ2 5 067 37 14,63 7,42 0,79 0,60 -0,29
15 География КИМ1 5 178 37 12,91 6,38 0,84 0,45 -0,37
КИМ2 5 053 35 12,34 5,90 0,82 0,52 -0,12
16 Информатика КИМ1 4 989 29 9,24 5,93 0,86 1,04 1,33
КИМ2 5 167 31 10,52 5,65 0,84 0,90 1,46
17 История КИМ1 5 452 42 24,77 9,62 0,79 0,37 0,50
КИМ2 5 757 42 24,66 11,72 0,85 0,24 -0,54
18 Обществознание КИМ1 5 157 47 23,64 9,68 0,84 -0,06 -0,51
КИМ2 5 445 46 21,91 8,60 0,79 0,13 -0,32
19 Физика КИМ1 5 254 35 18,69 8,62 0,87 0,49 0,26
КИМ2 4 775 39 18,56 8,50 0,87 0,47 0,18
20 Химия КИМ1 5 339 42 27,18 14,17 0,92 0,31 -0,65
КИМ2 4 940 43 27,27 14,30 0,92 0,28 -0,69
24
Обработанные данные об итогах экзаменов позволили выделить следующие особенности апробированных экзаменационных моделей КИМ для проведения ГИА:
1) Оценка трудности тестов показала, что средний процент выполнения КИМ по программам основной школы составил 49,5%, а по программе среднего общего образования - 38,3%. При этом наибольшую трудность по программам основной школы вызвали информатика, математика, физика, химия, а по программе среднего общего образования - информатика, биология, физика, география. Наиболее успешно аттестуемые справились по программам основной школы с КИМ по русскому языку и обществознанию, а по программе среднего общего образования - с обществознанием и английским языком (базовый уровень).
2) Имеют место проблемы с трудностью конкретных заданий в представленных моделях КИМ. Так в КИМ по английскому языку, по географии, по обществознанию, по физике (9 класс), по английскому языку (базовый уровень), по информатике, по истории (11 класс) присутствует от 4 до 10 заданий базового уровня с процентом выполнения до 20% или заданий повышенного уровня с процентом выполнения более 60%. В моделях КИМ по информатике (9 класс), по английскому языку (базовый уровень), по биологии, по географии присутствуют отдельные задания, с которыми справились или менее 10 %, или более 90 % аттестуемых.
3) Средняя надежность исследованных КИМ по большинству предметов составила более 0,8. Однако для некоторых предметов (9 класс - география, литература, обществознание, русский язык, 11 класс - биология) полученные значения надежность недостаточны.
4) Дифференцирующая способность предложенных КИМ, рассчитанная через среднее значение дискриминативности и точечно-бисериального коэффициента корреляции для заданий 9 класса по английскому языку, биологии, информатике, истории, литературе, математике, обществознанию, русскому языку, физике, химии и 11 класса по английскому языку (базовый уровень), физике, - выше 0,3, что свидетельствует об их высоком качестве.
5) По результатам анализа коэффициентов дискриминативности отдельных заданий выделены проблемные места в отдельных моделях КИМ: 9 класс - по английскому языку, биологии, географии, информатике, истории, математике, обще-ствознанию, русскому языку; 11 класс - английскому языку (базовый и углубленный уровень), биологии, информатике, физике присутствуют от 2 до 5 заданий с коэффициентом дискриминативно-сти меньше 0,2. Соответственно данные задания необходимо либо изъять из теста, либо провести тщательный анализ и переработку.
6) Имеет место существенный разброс значений стандартного отклонения. Низкое стандартное отклонение КИМ 9 класс - по информатике, географии, математики, обществознанию, 11 класс - по
информатике, географии указывает на то, что данные модели не обеспечивают высокий дифференцирующий эффект. С другой стороны, высокое стандартное отклонение КИМ по английскому языку (9 и 11 классы), химии, истории (11 класс) требует доработки теста из-за существенного отличия вида распределения баллов от планируемой нормальной кривой.
7) Анализ сбалансированности моделей КИМ по трудности заданий в значительной степени коррелирует со средним процентом выполнения заданий. Так большинство моделей КИМ с высоким значением асимметрии - 9 класс: математика КИМ2, физика, химия, 11 класс: биология, география, информатика, история КИМ1, физика, химия не позволили аттестуемым набрать высокий средний процент выполнения, т.к. в тестах преобладали сложные задания. В то же время в моделях с отрицательными значениями асимметрии - 9 класс: английский язык КИМ1, география, обществознание КИМ1, русский язык, 11 класс: английский язык (углубленный уровень) КИМ2 преобладали легкие задания, что позволило аттестуемым набрать высокий средний процент выполнения.
8) Незначительное островершинное отклонение, определяемое положительным отклонением значения эксцесса от нулевого значения, наблюдается только для апробированных моделей КИМ по русскому языку (9 класс), информатике и физике (11 класс), для остальных моделей КИМ значения эксцесса является отрицательным, что говорит о том, что гистограмма результатов апробирования этих моделей КИМ является плоской и распределение трудности заданий в этих моделях является удовлетворительным.
Таким образом, анализ показателей тестовых заданий в целом показывают высокое качество разработанных моделей КИМ. Исследованные статистические характеристики вариантов и отдельных тестовых заданий показывают направления и механизмы коррекции теста для достижения оптимальных показателей трудности и ее сбалансированности, надежности, дифференцирующей способности, формы кривой диаграммы распределения верных ответов, за счет коррекции конкретных выявленных проблемных тестовых заданий.
Выводы. Проведенная апробация технологии и программного обеспечения формирования КИМ, включая подготовку банков заданий для проведения автоматической генерации вариантов КИМ, позволила сделать следующие выводы:
качество подготовленных экзаменационных моделей соответствует требованиям, предъявляемым к стандартизированным измерителям при проведении ГИА по образовательным программам основного общего образования;
проведенная апробация позволяет судить как о качестве экзаменационных моделей, так и об уровне подготовленности испытуемых по проверяемым предметам;
статистические характеристики тестовых заданий и вариантов в целом показывают направления
и механизмы коррекции теста для повышения точности тестовых баллов предложенных КИМ.
Проведенная работа показала, что экзаменационные модели, составленные с использованием технологии программного формирования КИМ в образовательных организациях, могут использоваться в процедурах ГИА и других процедурах оценки качества образования для повышения эффективности управления системой образования Российской Федерации.
Список литературы:
1. Открытый банк заданий ОГЭ. [Электронный ресурс]. — Режим доступа: http://www.fipi.ru/content/otkrytyy-bank-zadaniy-oge
2. Открытый банк заданий ЕГЭ. [Электронный ресурс]. — Режим доступа: http://www.fipi.m/content/otk:rytyy-bank-zadamy-ege
3. Демоверсии, спецификации, кодификаторы ЕГЭ. [Электронный ресурс]. — Режим доступа: http://www.fipi.ru/ege-i-gve-11/demoversii-specifikacii-kodifikatory
4. Демоверсии, спецификации, кодификаторы ОГЭ. [Электронный ресурс]. — Режим доступа: http://www.fipi.ru/oge-i-gve-9/demoversii-specifikacii-kodifikatory
УПРАВЛЕНИЕ ПРОЦЕССОМ СТАНОВЛЕНИЯ ИНКЛЮЗИВНОЙ ПРАКТИКИ В ОБРАЗОВАТЕЛЬНОЙ ОРГАНИЗАЦИИ
Тушева Елена Сергеевна
Канд. пед. наук, доцент кафедры олигофренопедагогики и специальной психологии, Московский педагогический государственный университет
г. Москва
Овчинникова Татьяна Сергеевна
Док. пед. наук, профессор кафедры коррекционной педагогики и коррекционной психологии, Ленинградский государственный университет им. А.С.Пушкина,
г. Санкт-Петербург Горскин Борис Борисович
Канд. пед. наук, профессор кафедры олигофренопедагогики и специальной психологии, Московский
педагогический государственный университет
г. Москва
Аннотация
В данной статье рассматриваются вопросы становления инклюзивной практики в образовательной организации. Проанализированы социально-доминирующие факторы инклюзивного образования в новых социально-образовательных условиях. Показано, что действующим механизмом, регулирующим становление и развитие инклюзивной образовательной практики, является параметрическое управление.
Abstract
In this article is considered the questions of formation of the inclusive practice in educational organization. Analyzed the socio-dominant factors of inclusive education in new social and educational conditions. It is shown that an operating mechanism regulating the formation and development of inclusive educational practice is para-metrical management.
Ключевые слова: инклюзивная образовательная практика, доминирующие факторы становления инклюзии, параметрическое управление, образовательный мониторинг.
Keywords : inclusive education practice, dominant factors of formation of inclusion, parametric management, educational monitoring.
В нашей стране становление инклюзивной образовательной практики проходит в новых социально-образовательных условиях. Вопросы проектирования инклюзивного образовательного пространства, включающего предметную учебно-развивающую, коммуникативную и процессуальную среды распространяются на все сферы деятельности образовательных организаций. Решение этих вопросов позволит создать дорожную карту становления инклюзивной образовательной практики и повысить качество управления процессом психолого-педагогического сопровождения детей с ОВЗ.
Рассмотрим позиции становления инклюзивной практики сквозь призму формирования инклюзивной образовательной среды. Прежде всего, отметим, что формирование инклюзивной образовательной среды опосредовано:
- изменениями образовательной парадигмы общего и специального образования;
- выстраиванием новой государственной образовательной политики по отношению к лицам с ОВЗ;
- изменением контингента детей по социальному положению и степени сохранности психиче-
