CC BY
36
КВАЛИМЕТРИЧЕСКИЙ ПОДХОД В ОБРАЗОВАНИИ
УДК [375.5:005.6]:37.012
Н. Е. Эрганова, Л. В.Колясникова, Е. В. Игонина
ТЕОРЕТИЧЕСКИЕ И ПРАКТИЧЕСКИЕ АСПЕКТЫ ВЫЯВЛЕНИЯ И ОЦЕНИВАНИЯ КАЧЕСТВА ОБРАЗОВАНИЯ
В ШКОЛЕ1
Аннотация. В статье описаны проведение и результаты исследования, предпринятого авторским коллективом уральских ученых совместно с отделом мониторинга качества образования екатеринбургского Дома учителя в 2010-2012 гг. Актуальность исследования обусловлена существующей у органов управления образованием потребностью в формировании целостной системы показателей, объективно характеризующих качество образования в школе. Исследование проводилось с применением опросных методов, а также методов сбора и анализа статистических данных на базе 26 муниципальных бюджетных образовательных учреждений Екатеринбурга. В качестве программного средства математической и статистической обработки полученных сведений применялась диалоговая система RUMM 2030. Результатом проведенной работы явилась совокупность показателей, предлагаемых к использованию для выявления и оценивания качества образования в школах, а также комплекс рекомендаций по ее дальнейшему совершенствованию.
Ключевые слова: качество, качество образования в школе, интегральный показатель качества образования в школе, метрическая система Г. Раша, латентная величина, индикаторная переменная (индикатор), диалоговая система RUMM 2030.
Abstract. The paper considers one of the main theoretical and practical pedagogical problems of education quality assessment. The quality measurement depends on successful identification of genuine (scientific) and false diagnostic methods; the process becomes even more complicated in case of latent variables. As a solution, the authors recommend the Rasch measure-
1 Начало статьи см. в предыдущем номере журнала.
ment model for identifying an integral indicator of education quality. The method in question involves development, approbation and analysis of diagnostic materials, as well as mathematical and statistical data processing based on specialized computer software. The paper describes the advantages and theoretical potential of the Rasch method, and emphasizes its capacity for solving the key problem of quality modeling - i.e. suitability and utility of indicator variables for the given research.
Keywords: quality measurement, quality of school education, integral indicator of education quality, the Rasch model, latent variable, indicator variable.
Как национальные, так и региональные и муниципальные системы оценивания качества образования призваны измерять и гарантировать эффективность функционирования учебных учреждений, служить информационной платформой для повышения качественного уровня образования и прогнозирования тенденций его развития [15]. Более пяти лет назад в соответствии с Положением о системе оценки качества образования Свердловской области, утвержденным приказом № 672-и от 06.12.2007 г., в Екатеринбурге была создана муниципальная система оценки качества образования (далее - МСОКО). Согласно задачам данной структуры отделом мониторинга качества образования екатеринбургского Дома учителя была проведена следующая работа:
• определены принципы оценки состояния и эффективности деятельности образовательных учреждений и учреждений управления образованием муниципальной системы;
• выявлены факторы, влияющие на качество образования;
• разработана система аналитических показателей, позволяющая эффективно производить измерение качества образования;
• составлены учебно-методические материалы для подготовки всех субъектов МСОКО к процедурам оценки различных аспектов качества образования.
Целью нашей работы стало формирование интегрального показателя качества обучения в общеобразовательных школах. Этот показатель выявлялся и измерялся в 26 муниципальных бюджетных учебных организациях Екатеринбурга, участвовавших в исследовании.
В качестве основных задач были выделены:
• коррекция набора индикаторных переменных, характеризующих качество образования в школах;
• мониторинг уровня качества образования в образовательных учреждениях с использованием откорректированного набора индикаторов;
• сравнение муниципальные образовательные учреждений с установлением их рейтинга для решения управленческих вопросов.
Исследование осуществлялось с 2010 г. по 2012 г. и делилось на два этапа. На первом из них (2010-2011 гг.) модель качества образования включала 29 индикаторов. Однако одним из результатов работы на данном этапе стал вывод о необходимости расширения перечня индикаторные переменных, поэтому в 20112012 гг. изучаемое латентное качество операционально определялось уже на основе 86 показателей.
Модель качества школьного образования составили индикаторы трех видов:
• муниципальные статистические показатели, отражающие состояние ресурсов образовательные организаций Екатеринбурга. Мониторинг позволил отследить и оценить в абсолютные количественные данные динамику их развития в течение нескольких лет. Балльная шкала для оценки состояния и развития этого типа индикаторов не использовалась;
• муниципальные оценочные показатели, измерявшие в баллах степень соответствия ресурсов и результатов деятельности образовательных организаций лицензионным и аккредитационным требованиям, требованиям федеральных государственные образовательные стандартов, а также требованиям соответствующей нормативной документации Городского управления образованием;
• областные оценочные показатели, позволившие с помощью мониторинга и балльной шкалы оценить степень соответствия результатов деятельности муниципальные образовательные учреждений требованиям существующей нормативной документации Министерства общего и профессионального образования Свердловской области.
Для изучения возможностей измерения качества образования быьла избрана диалоговая система RUMM 2030, разработанная под руководством профессора Д. Эндрича [17] на основе рассмотренной нами ранее однопараметрической модели Г. Раша. Данные по индикаторным переменным быьли предоставлены отделом мониторинга качества образования екатеринбургского Дома учителя.
В табл. 1 перечислены вычлененные в ходе исследования показатели качества школьного образования. Прибавленные к первоначальному варианту на втором этапе исследования 57 индикаторов помечены «звездочкой». Каждая из переменных характеризует один из аспектов качества образования в школе и имеет определенное направление влияния:
• положительное (11-5, i7-з5, 1з9-8б), если большее значение индикатора соответствует большему значению латентной переменной;
• отрицательное (1б, 1зб-з8), если большее значение индикатора соответствует меньшему значению индикаторной переменной.
Таблица 1
Индикаторные переменные, характеризующие качество образования в школе
№ п/п Индикаторная переменная Направление влияния
и Доля педагогов и руководящих работников (ПиРР), имеющих высшее образование +
12 Доля штатных ПиРР, имеющих высшую и первую квалификационную категорию +
1з Доля педагогов, подготовивших победителей и призеров конкурсов, олимпиад городского и областного уровней +
14 Доля педагогов, подготовивших победителей и призеров конкурсов, олимпиад всероссийского и международного уровней +
15 Доля ПиРР, прошедших за последние 5 лет курсы повышения квалификации (72 час. и более) с выдачей удостоверений или свидетельств +
1б Процент детей, получивших травмы (от общего числа обучающихся в образовательном учреждении) -
17 Доля учащихся, охваченных горячим питанием (от общего числа обучающихся за последний учебный год) +
1 * 18 Процент учащихся, отдохнувших в летний период в городских лагерях на базе образовательного учреждения +
19 Количество новых методических разработок, рабочих программ элективных курсов +
110 Количество опубликованных статей, материалов чтений и конференций районного и более высоких уровней +
111 Количество книг, монографий, обобщающих опыт учебно-и научно-методической работы педагогов +
№ п/п Индикаторная переменная Направление влияния
1 * 112 Количество новых методических разработок, рабочих программ элективных курсов в расчете на одного педагога +
1 * 113 Количество опубликованных статей, материалов чтений и конференций районного и более высоких уровней в расчете на одного педагога +
1 * 114 Количество книг, монографий, обобщающих опыт учебно-и научно-методической работы в расчете на одного педагога +
115 Количество персональных компьютеров (ПК) на 100 обучающихся +
116 Количество мультимедиапроекторов, интерактивных досок, используемых в образовательном процессе на 100 обучающихся +
117 Процент выпускников 4-х классов, успешно выполнивших ГКР по русскому языку (получивших отметку не ниже «3») +
118 Процент выпускников, успешно выполнивших ГКР по русскому языку (получивших отметку не ниже «3») в 9-х классах основной школы +
119* Процент выпускников, успешно выполнивших ГКР по русскому языку (получивших отметку не ниже «3») в 11-х классах средней школы +
120 Доля выпускников, успешно выполнивших ГКР по математике (получивших отметку не ниже «3») в 4-х классах +
121 Доля выпускников, успешно выполнивших ГКР по математике (получивших отметку не ниже «3») в 9-х классах +
122* Доля выпускников, успешно выполнивших ГКР по математике (получивших отметку не ниже «3») в 11(12)-х классах +
123* Доля выпускников, получивших балл по итогам ГКР, соответствующий базовому минимальному уровню по русскому языку в 4-х классах +
124* Процент выпускников, получивших балл по итогам ГКР, соответствующий базовому минимальному уровню по русскому языку в 9-х классах основной школы +
125* Процент выпускников, получивших балл по итогам ГКР, соответствующий базовому минимальному уровню по русскому языку в 11(12)-х классах +
126* Доля выпускников, получивших по итогам ГКР балл, соответствующий базовому минимальному уровню по математике в 4-х классах начальной школы +
127* Доля выпускников, получивших балл по итогам ГКР, соответствующий базовому минимальному уровню по математике в 9-х классах основной школы +
128* Доля выпускников, получивших балл по итогам ГКР, соответствующий базовому минимальному уровню по математике в 11(12)-х классах основной школы +
№ п/п Индикаторная переменная Направление влияния
129* Доля выпускников 11(12)-х классов, успешно сдавших ЕГЭ +
130* Средний балл выпускников 11(12)-х классов МОУ, полученный по итогам ЕГЭ по русскому языку +
1 * 131 Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по математике +
132* Процент выпускников 11(12)-х классов, получивших по итогам ЕГЭ 70 баллов и выше по русскому языку +
133* Процент выпускников 11(12)-х классов, получивших по итогам ЕГЭ 70 баллов и выше по математике +
134 Процент выпускников 9-х классов, успешно сдавших ГИА по русскому языку +
135 Процент выпускников 9-х классов, успешно сдавших ГИА по математике +
136 Процент неуспевающих от общего количества обучающихся в 1-4-х классах -
137 Процент неуспевающих от общего количества обучающихся в 5-9-х классах -
138 Процент неуспевающих от общего количества обучающихся в 10-11(12)-х классах -
139 Степень удовлетворенности учащихся 5-11(12)-х классов качеством обучения +
140 Степень удовлетворенности ПиРР качеством собственной профессиональной деятельности +
141 Степень удовлетворенности родителей учащихся 1-11(12)-х классов качеством предоставляемых образовательных услуг +
142 Количество побед в конкурсах муниципального уровня среди образовательных учреждений +
143 Количество побед в конкурсах областного уровня среди образовательных учреждений +
144 Количество побед в конкурсах регионального уровня среди образовательных учреждений +
145 Количество побед в конкурсах федерального уровня среди образовательных учреждений +
146 Количество побед в конкурсах международного уровня среди образовательных учреждений +
Показатели степени удовлетворенности процессом, результатом и условиями образования (оценка родителей)
147* Уровень преподавания +
148* Отношения учащихся с учителями +
149* Возможность и результативность оперативного контакта с педагогами и руководством ОУ +
150* Наличие индивидуального подхода к учащимся +
151* Раскрытие индивидуальных способностей ребенка +
№ п/п Индикаторная переменная Направление влияния
¡52* Психологическая атмосфера в образовательном учреждении +
i53* Наличие системы психолого-педагогического сопровождения развития учащихся +
¡54* Уровень требований школы к учащемуся +
¡55* Обеспечение качественным питанием +
¡56* Наличие системы охраны и укрепления здоровья +
¡57* Обеспечение безопасности детей в ОУ +
¡58* Материально-техническое обеспечение учебной и внеучеб-ной деятельности +
¡59* Информационное обеспечение (библиотека, выход в Интернет и др.) +
¡60* Учебно-методическое обеспечение учебной и внеучебной деятельности +
Показатели степени удовлетворенности процессом, результатом и условиями образования (оценка учащихся)
¡61* Уровень преподавания +
¡62* Отношения учащихся с учителями +
¡63* Наличие индивидуального подхода к учащимся +
¡64* Раскрытие индивидуальных способностей ребенка +
¡65* Психологическая атмосфера в образовательном учреждении +
¡66* Уровень требований школы к учащемуся +
¡67* Обеспечение качественным питанием +
¡68* Обеспечение безопасности детей в ОУ +
¡69* Наличие системы охраны +
¡70* Материально-техническое обеспечение учебной и внеучебной деятельности +
¡71* Информационное обеспечение (библиотека, выход в Интернет и др.) +
¡72* Организация внеучебной жизни +
Показатели степени удовлетворенности процессом, результатом и условиями образования (оценка педагогов)
¡73* Уровень преподавания +
¡74* Отношения учащихся с учителями +
¡75* Возможность и результативность оперативного контакта с педагогами и руководством ОУ +
¡76* Наличие индивидуального подхода к учащимся +
¡77* Раскрытие индивидуальных способностей ребенка +
¡78* Психологическая атмосфера в образовательном учреждении +
¡79* Наличие системы психолого-педагогического сопровождения развития учащихся +
¡80* Уровень требований школы к учащемуся +
¡81* Обеспечение качественным питанием +
№ п/п Индикаторная переменная Направление влияния
182* Наличие системы охраны и укрепления здоровья +
183* Обеспечение безопасности детей в ОУ +
184* Материально-техническое обеспечение учебной и внеучеб-ной деятельности +
185* Информационное обеспечение (библиотека, выход в Интернет и др.) +
186* Учебно-методическое обеспечение учебной и внеучебной деятельности +
На втором этапе показатели степени удовлетворенности процессом, результатами и условиями образования были дифференцированы согласно мнениям различных категорий субъектов образовательного процесса: учащихся, педагогов и родителей как лиц, заинтересованных в качественном обучении своих детей. Как уже упоминалось выше, модель системы показателей МСОКО апробировалась в 26 муниципальных общеобразовательных организациях различного статуса, которые в ходе исследования на основании оценивания качества образовательной деятельности были ранжированы на три примерно равные группы: школы с низким, средним и высоким качеством обучения.
Для использования диалоговой системы RUMM 2030 полученные количественные значения индикаторных переменных были представлены в порядковой шкале, т. е. дискретизированы. Так как на первом этапе работы было доказано, что увеличение числа квантований (градаций) не влияет положительно на результаты измерений, это число было приравнено к двум (0 и 1).
В табл. 2 представлены основные характеристики индикаторных переменных, в том числе степень совместимости каждого индикатора со всем набором инструментария. Индикаторы расположены по мере уменьшения значений их совместимости - от наибольшего показателя (0,984245 логит) к наименьшему (0,001934 ло-гит). Программа измерения автоматически исключила три индикаторные переменные - 134, 135, 146, так как во всех школах эти показатели оказались равными 1.
Таблица 2
Характеристики индикаторных переменных модели качества образования
№ п/п Значение индикатора Стандартная ошибка Хи-квадрат Оценка совместимости
182 -0,750 0,462 0,032 0,984245
176 0,698 0,419 0,078 0,961795
1б3 -0,607 0,451 0,321 0,851725
14 3,006 0,755 0,426 0,808059
171 -0,989 0,485 0,429 0,806880
179 -1,554 0,562 0,476 0,788380
167 -0,600 0,450 0,498 0,779771
17 -3,072 0,989 0,517 0,772174
165 0,917 0,426 0,528 0,767997
150 0,316 0,415 0,549 0,760080
129 -3,029 0,982 0,583 0,747111
144 2,545 0,632 0,717 0,698843
166 -0,168 0,426 0,779 0,677506
154 -1,570 0,564 0,786 0,675021
1з6 -3,482 1,186 0,827 0,661494
158 0,351 0,415 0,900 0,637773
177 1,075 0,434 0,907 0,635338
173 -3,567 1,232 0,942 0,624522
183 -3,567 1,232 0,942 0,624522
110 3,718 1,025 1,012 0,602815
113 3,718 1,025 1,012 0,602815
12 -1,195 0,510 1,020 0,600467
120 -1,147 0,504 1,042 0,593881
161 0,015 0,420 1,062 0,588007
148 -0,395 0,437 1,122 0,570571
162 -0,779 0,465 1,185 0,553057
149 -1,312 0,525 1,276 0,528463
142 2,391 0,599 1,435 0,488086
139 -1,357 0,531 1,536 0,463855
180 -0,358 0,435 1,607 0,447840
116 3,591 0,968 1,708 0,425803
143 3,591 0,968 1,708 0,425803
117 -1,500 0,553 1,724 0,422387
114 3,615 0,979 1,740 0,419037
128 -1,521 0,556 1,742 0,418446
151 -0,014 0,421 1,807 0,405187
155 0,556 0,416 1,851 0,396352
169 0,815 0,422 1,881 0,390482
115 3,733 1,032 1,922 0,382432
170 -0,759 0,463 2,019 0,364363
18 1,503 0,467 2,064 0,356328
147 -1,994 0,647 2,209 0,331338
140 0,371 0,415 2,238 0,326605
168 -0,531 0,446 2,246 0,325236
№ п/п Значение индикатора Стандартная ошибка Хи-квадрат Оценка совместимости
¡64 -0,568 0,448 2,252 0,324311
¡27 0,589 0,417 2,321 0,313255
¡6 -2,079 0,666 2,390 0,302688
¡72 0,339 0,415 2,436 0,295785
¡3 1,817 0,503 2,572 0,276355
¡25 -1,020 0,489 2,602 0,272207
¡74 0,314 0,415 2,784 0,248626
¡78 1,134 0,438 2,941 0,229795
¡84 -0,151 0,425 3,144 0,207582
¡85 -0,547 0,447 3,400 0,182661
¡11 2,819 0,701 3,525 0,171652
¡24 0,378 0,415 3,832 0,147184
¡75 -0,833 0,470 3,936 0,139707
¡86 0,054 0,419 3,979 0,136789
¡60 -0,880 0,474 4,030 0,133297
¡9 1,153 0,439 4,095 0,129029
¡26 0,794 0,422 4,383 0,111751
¡57 -0,388 0,437 4,394 0,111147
¡33 2,987 0,766 4,499 0,105447
¡56 0,025 0,419 4,513 0,104700
¡53 0,026 0,419 4,514 0,104661
¡21 -1,404 0,538 4,677 0,096452
¡31 0,504 0,425 4,789 0,091222
¡81 0,468 0,415 4,831 0,089344
¡38 -2,763 0,867 5,237 0,072903
¡45 1,824 0,504 5,500 0,063917
¡12 1,851 0,507 5,515 0,063459
¡22 -1,416 0,540 5,671 0,058675
¡52 -0,644 0,454 5,834 0,054091
¡19 -2,198 0,696 5,987 0,050106
¡41 -0,191 0,427 6,534 0,038128
¡5 -0,963 0,483 7,077 0,029053
¡37 -1,353 0,531 7,610 0,022258
¡30 0,505 0,425 7,623 0,022118
¡1 -0,873 0,474 7,874 0,019505
¡18 -0,498 0,443 8,746 0,012614
¡59 0,029 0,419 9,163 0,010242
¡23 -0,025 0,421 10,043 0,006595
¡32 0,475 0,424 12,497 0,001934
Наиболее важной характеристикой набора индикаторных переменных как измерительного инструмента является совместимость его элементов (индикаторов), или (что то же самое) их соответствие модели качества школьного образования, степень которого рассчитывается на основе критерия х2. Критической точкой соответствия индикатора измеряемой латентной величины является значение 0,05. При меньшем уровне соответствия индикаторную переменную рекомендуется
исключить из набора. Табл. 2 содержит девять показателей (132, 123 15э, 118, 11, 13о, 137, 15, 141), имеющих уровень статистической значимости х2 ниже 0,05. В процессе анализа они и некоторые другие переменные, слабо совместимые с моделью качества образования в школе, были изъяты из перечня индикаторов. То, что осталось, можно рассматривать как целостный измерительный инструмент.
Наиболее наглядно поведение индикаторов в зависимости от значения измеряемой латентной величины описывается при помощи характеристических кривых [12]. Проиллюстрируем отдельные результаты исследования, рассмотрев выборочно выявленные свойства переменных и несколько характеристических кривых, показывающих динамику
• показателя, наиболее адекватного модели измерения;
• индикаторов, наименее соответствующих модели измерения;
• показателей, относящихся к наиболее «трудным» и характеризующих самый высокий уровень качества образования в школе;
• одну из так называемых «легких» переменных, соответствующих низкому уровню качества образования в школе.
Индикатор 1ы «Уровень преподавания» является одним из самых адекватных модели измерения: степень его соответствия составляет 0,588007. Данное статистическое значение х2 свидетельствует о том, что экспериментальные точки, демонстрирующие средние показатели трех групп школ, оказались близкими модельной кривой. Это видно и на построенном на рис. 1 графике.
Наименее адекватными модели измерений оказались несколько индикаторных переменных, среди них 11 - «Доля преподавателей и руководящих работников, имеющих высшее образование» (рис. 2). Уровень статистической значимости х2 (совместимости индикаторной переменной с другими индикаторами) для этой переменной оказался очень низким - 0,019505. На рис. 2 видно, в чем проявляется неадекватность индикаторной переменной. Выяснилось, что школы с низким качеством образования обладают характеристикой, зафиксированной в индикаторе, в существенно большей степени, чем можно было предположить на основе модели измерения (левая экспериментальная точка находится над кривой). То же самое можно сказать об учреждениях со средним качеством образования (средняя экспериментальная точка находится над кривой). А организации с самым высоким качеством образования, наоборот, продемонстри-
ровали более низкий уровень соответствия модели (правая экспериментальная точка находится под кривой). Поэтому пришлось отказаться от этого показателя измерения.
Значение показателя ( в лотах)
Рис. 1. Характеристическая кривая индикатора 161 «Уровень преподавания»
Рис. 2. Характеристическая кривая индикатора 11 «Доля преподавателей и руководящих работников, имеющих высшее образование»
Переменная ¿зо «Средний балл по ОУ выпускников 11(12)-х классов МОУ, полученный по итогам ЕГЭ по русскому языку», представленная на рис. 3, также обладает низкой степенью совместимости с моделью качества школьного образования: результаты мониторинга данного показателя обобщенно можно обозначить как «неупорядоченный ответ» - единой тенденции поведения индикатора не прослеживается.
10030 Показатель 30 хг = 0,022 Ы(Вы5орка) = 26
Значение показателя ( в логигахЭ
Рис. 3. Характеристическая кривая индикатора ¿зо «Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по русскому языку»
Наибольший уровень качества образования характеризуют индикаторные переменные ¿4 «Доля педагогов, подготовивших победителей и призеров конкурсов, олимпиад всероссийского и международного уровней», ¿9 «Количество новых методических разработок, рабочих программ элективных курсов», ¿31 «Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по математике», ¿10 «Количество опубликованных статей, материалов чтений и конференций районного и более высоких уровней» и ¿14 «Количество книг, монографий, обобщающих опыт учебно- и научно-методической работы в расчете на одного педагога». Характеристическая кривая для одного из таких индикаторов показана на рис. 4.
Рис. 4. Характеристическая кривая индикатора 14
«Доля педагогов, подготовивших победителей и призеров конкурсов, олимпиад всероссийского и международного уровней»
Казалось бы, указанные индикаторы должны лучше других дифференцировать школы относительно качества предоставляемого ими образования. Однако даже при невыполнении таких статусных нормативов, как учебно-методическое обеспечение, опубликование статей, книг, монографий, учебных материалов и т. д., проектирование элективных курсов и дополнительных образовательных программ и др., педагоги могут настаивать на мнении о высоком уровне преподавания в учреждении, где они работают (что, кстати, может быть вполне справедливо). Это означает, что исследование качества школьного образования остается проблематичным, а модель измерения этого качества нуждается в дальнейшем совершенствовании.
Так, развернутый анализ одного из «трудных» параметров «Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по математике» обнаружил его слабое влияние на дифференциацию учреждений по качеству образования. Не только в школах с низким уровнем качества обучения, но и вообще в большинстве учебных заведений значение данного показателя оказалось очень низким. Это обстоятельство требует дополнительного изучения векторов, форм и способов диагностики.
К индикаторным переменным, характеризующим наименьший уровень качества образования в школе, относится ¿36 «Процент неуспевающих от общего количества обучающихся в 1-4-х классах» (рис. 5).
Рис. 5. Характеристическая кривая индикатора ¿36 «Процент неуспевающих от общего количества обучающихся
в 1-4-х классах»
Динамика другого аналогичного показателя ¿29 «Процент выпускников 11(12)-х классов, успешно сдавших ЕГЭ» изображена на рис. 6.
Рис. 6. Характеристическая кривая индикатора ¿29 «Процент выпускников 11(12)-х классов, успешно сдавших ЕГЭ»
Все школы, независимо от качественного статуса, имеют высокие значения последних двух индикаторных переменных, что помогает более точно дифференцировать учреждения с недостаточным уровнем обучения, однако в целом не дает возможности объективно судить о качестве образования во всех школах. К «легким» индикаторам, менее всего позволяющим выяснить действительный уровень качества образования в школе, относятся также показатели сдачи ЕГЭ в 11(12)-х классах (129-33), 17 «Доля учащихся, охваченных горячим питанием, от общего числа обучающихся за последний учебный год», 161 «Оценка уровня преподавания с позиций учащихся» и 168 «Обеспечение безопасности детей в ОУ (по мнению учащихся)».
Как уже не раз говорилось выше, важнейшей задачей при оценке латентной величины является достижение совместимости отобранных показателей с моделью измерения. Эмпирический уровень значимости в первом варианте набора индикаторов оказался равным 0,000032, что существенно ниже порогового значения (0,05) и свидетельствует о плохой совместимости индикаторных переменных. Далее состав набора корректировался шесть раз, и постепенно из модели качества образования исключались те переменные, у которых критерий х2 был ниже 0,05. Так, при повторном комплектовании индикаторного набора был удален 132 «Процент выпускников 11(12)-х классов, получивших по итогам ЕГЭ 70 баллов и выше по русскому языку»; при составлении третьего варианта мы отказались от 123 «Процент выпускников, получивших балл по итогам ГКР, соответствующий базовому минимальному уровню по русскому языку в 4-х классах»; из четвертого перечня был изъят 130 «Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по русскому языку»; далее были отвергнуты 11 «Доля педагогов и руководящих работников, имеющих высшее образование» и 131 «Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по математике». Наконец, в заключение был удален 137 «Процент неуспевающих от общего количества обучающихся в 5-9-х классах».
На каждом из шести вариантов оценивалась адекватность индикаторов модели измерения: статистическое значение х2, в результате, оказалось равным 182,354 при числе степеней свободы 150,000. Эмпирический уровень значимости индикаторных пере-
менных достиг 0,037, что ниже порогового значения, но тем не менее говорит о достаточной степени соответствия набора показателей модели измерения.
Кроме того, поскольку латентную величину «качество образования в школе» представляли функции множества индикаторных переменных (аргументов), мы сочли необходимым определить возможность разделения их влияния на общий результат. Для этого был вычислен индекс сепарабельности - 0,88, который превысил пороговое значение 0,7. Таким образом, была подтверждена пригодность полученных данных для диагностики.
Обобщенное представление о соответствии между качеством образования в школе и индикаторными переменными, описывающими эту латентную величину, дает рис. 7. В его верхней части находится гистограмма, показывающая распределение оценок качества образования в образовательных учреждениях, а в нижней его части иллюстрируется распределение оценок индикаторных переменных на той же самой шкале.
На основании информации, почерпнутой из рис. 8, можно заключить:
• диапазон варьирования оценок качества образования в школе достаточен - 3 логита (от - 1,5 до +1,5 логита). После проведенного анализа и корректировки индикаторных переменных данный диапазон расширился еще больше, составив 3,6 логита (от - 1,8 до +1,8 логита). Следовательно, окончательный (в нашем исследовании) набор индикаторов может успешно применяться для дифференциации образовательных учреждений по качеству предоставляемого ими образования;
• индикаторные переменные также варьируются в большом диапазоне - 7,9 логита (от -3,9 до +4 логита), что обеспечивает высокую точность измерения на всем диапазоне измерения латентной величины;
• между совокупностью школ, задействованных в исследовании, и набором индикаторных переменных существует небольшое смещение - различие между соответствующими средними значениями равняется 0,301 логита. То есть отобранные индикаторы являются информативными для измерения уровня качества образования в школе.
Школы
та
5 -■
Переменные
5 _Д
та —-
38,5%
4 лошты
0Ж
¿3
ш
8
о.о%
6,11% -■- 12,0%
Рис. 7. Диаграмма распределения образовательных учреждений и индикаторных переменных
на единой шкале логитов
Таким образом, в завершение проведенного исследования можно сделать ряд выводов.
1. Сформированный в результате исследования набор индикаторных переменных в целом пригоден для измерения латентной величины - «качества образования в школе».
2. Программа RUMM 2030 автоматически исключила из общего набора индикаторов качества образования в школе «Процент выпускников 9-х классов, успешно сдавших ГИА по русскому языку» и «Процент выпускников 9-х классов, успешно сдавших ГИА по математике», поскольку учащиеся всех 26 средних общеобразовательных учреждений, участвующих в эксперименте, успешно выдержали экзамен по этим предметам. Однако при расширении количества исследуемых объектов (образовательных организаций) данные индикаторы необходимо сохранить с целью их дополнительного изучения.
3. Из перечня индикаторных переменных следует временно удалить «Количество побед ОУ в конкурсах международного уровня среди образовательных учреждений», так как по этому показателю пока не было получено никакой информации. Очевидно, данный показатель стоит вводить в модель качества школьного образования лишь тогда, когда появятся учреждения - победители международных конкурсов. Пока его можно заменить, например, на «Количество участий ОУ в конкурсах международного уровня среди образовательных учреждений».
4. Очевидно, нужно отказаться от всех показателей результатов ЕГЭ: «Средний балл выпускников 11(12)-х классов, полученный по итогам ЕГЭ по русскому языку», «Процент выпускников 11(12)-х классов, получивших по итогам ЕГЭ 70 баллов и выше по русскому языку», «Средний балл выпускников 11(12) классов, полученный по итогам ЕГЭ по математике» и др. Комплекс этих переменных рационально использовать как самостоятельный интегральный индикатор, измеряющий, например, качество подготовки и проведения ЕГЭ, но не баллы, присвоенные учащимся, которые, как показала практика, не отражают в полной мере качество самого образования.
5. Набор из 86 индикаторных переменных, сформированный нами в ходе исследования, возможно расширить за счет показателей процесса и результатов воспитательной работы.
6. С целью более полного изучения латентной величины «качество образования в школе» рекомендуется увеличить число образовательных учреждений, подверженных обследованию. Вовлечение в эксперимент как можно более широкого круга учреждений позволит точнее скорректировать место каждой индикаторной переменной в модели качества школьного образования, а значит, повысит эффективность его диагностики.
Статья рекомендована к публикации д-ром физ.-мпт. наук, проф. А. А. Маслак
Литература
1. Аванесов В. С. Основные направления развития педагогических измерений / / Школьные технологии. 2012. № 1. С. 157-174.
2. Аванесов В. С. Проблема качества педагогических измерений / / Педагогические измерения. 2004. № 2. С. 3-27.
3. Аванесов В. С. Проблема педагогического измерения латентных качеств / / Педагогические измерения. № 3. 2010. С. 41-63.
4. Давлетов А. И., Серая А. А. Оценка эффективности изотерапии или метода психологической коррекции / / Историческая и социально-образовательная мысль. 2010. № 1 (3). С. 86-94.
5. Звонников В. И. Современные средства оценивания результатов обучения: учеб. пособие для студ. высш. учеб. заведений. Москва: Академия, 2007. 224 с.
6. Кальней В. А., Шишов С. Е. Технология мониторинга качества обучения в системе «учитель - ученик». Методическое пособие для учителя. Москва: Педагогическое общество России, 1999. 86 с.
7. Лепикова Н. В. Регулирование качества обучения студентов вуза с использованием информационных и коммуникационных технологий: дис. ... канд. пед. наук. Челябинск, 2007. 198 с.
8. Маслак А. А. Измерение латентных переменных в социально-экономических системах: теория и практика: монография. Славянск-на-Ку-бани: СГПИ, 2007. 424 с.
9. Осипов С. А. Разработка системы измерения латентных переменных на основе модели Раша для контроля уровня знаний обучаемых: дис. ... канд. тех. наук. Курск, 2003. 128 с.
10. Панасюк В. П. Школа и качество: выбор будущего. С-Петербург: КАРО, 2003. 384 с.
11. Поздняков С. А. Метод и алгоритмы измерения латентных переменных при управлении в образовательных системах: дис. ... канд. техн. наук. Курск, 2009. 168 с.
12. Разработка методики измерения качества образования в школе: методические рекомендации / А. А. Маслак, О. В. Леус, А. А. Данилов. Славянск-на-Кубани: СГПИ, 2009. 67 с.
13. Севрук А. И. Качество в образовании. Проблемы, модели, технологии. Пермь, 2000. 158 с.
14. Севрук А. И., Юнина Е. А. Мониторинг качества преподавания в школе: учебное пособие. Москва: Педагогическое общество России, 2003. 144 с.
15. Третьякова Т. В. Система оценки качества образования и ее построение в регионах с территориальными и национальными особенностями: автореферат диссертации на соискание ученой степени доктора педагогических наук. Якутск, 2010. 45 с.
16. Шишов С. Е., Кальней В. А. Мониторинг качества образования в школе. Москва: Педагогическое общество России, 1999. 354 с.
17. Andrich D. Rash models for development. London: Sage Publications, 1988. 94 p.
18. Smith E. V., Smith M. S. Introduction to Rush Measurement. Theory, models and applications. Maple Grove, Minnesota: JAM Press, 2004. 689 p.
References
1. Avanesov V. S. Main directions of development of pedagogical measurements. Shkol'nye tehnologii. [School technologies]. 2012. № 1. Р. 157-174. (In Russian)
2. Avanesov V. S. The problem of quality of pedagogical measurements. Pedagogicheskie izmerenija. [Pedagogical measurements]. 2004. № 2. Р. 3-27. (In Russian)
3. Avanesov V. S. The problem of pedagogical measurement of latent qualities. Pedagogicheskie izmerenija. [Pedagogical measurements]. 2010. № 3. Р. 41-63. (In Russian)
4. Davletov A. I., Seraya A. A. Assessment of efficiency of fine arts therapy or method of psychological correction. Istoricheskaja i social'no-obrazovatel'naja mysl'. [Historical, social and educational thought]. 2010. № 1 (3). Р. 86-94. (In Russian)
5. Zvonnikov V. I. Modern means of estimation of results of training: manual for students of higher educational institutions. Moscow: Akademija [Academy]. 2007. 224 p. (In Russian)
6. Kalney V. A., Shishov S. E. Technology of monitoring of quality of education in system «teacher - student». Moscow: Pedagogicheskoe ob-shhestvo Rossii [Pedagogical society of Russia], 1999. 86 p. (in Russian)
7. Lepikova N. V. Regulation of quality of training of students of higher education institution with use of information and communication technologies. Cand. Diss. Chelyabinsk. 2007. 198 p. (In Russian)
8. Maslak A. A. Measurement of latent variables in social and economic systems: theory and practice. Slavyansk-on-Kuban: SGPI [Publishing center of the SGPI]. 2007. 424 p. (In Russian)
9. Osipov S. A. Creation of system of measurement of latent variables on the basis of G. Rash's model for control of level of trainees' knowledge. Cand.Diss. Kursk. 2003. 128 p. (In Russian)
10. Panasyuk V. P. School and quality: the choice of the future. SPb: KAPO. [CARO]. 2003. 384 p. (In Russian)
11. Pozdnyakov S. A. Method and algorithms of measurement of latent variables at management in educational systems. Cand. Diss. Kursk. 2009. 168 p. (In Russian)
12. Creation of measurement technique of quality of education at school: methodical recommendations / A. A. Maslak, O. V. Leus, A. A. Danilov. Slavyansk-on-Kuban: SGPI [Publishing center of the SGPI] 2009. 67 p. (In Russian)
13. Sevruk A. I. Quality in education. Problems, models, technologies. Perm, 2000. 158 p. (In Russian)
14. Sevruk A. I., Yunina E. A. Monitoring the quality of teaching at schools: tutorial. Moscow: Pedagogicheskoe obshhestvo Rossii [Pedagogical society of Russia], 2003. 144 p. (In Russian)
15. Tretyakova T. V. System of assessment of quality of education and its construction in the regions with the territorial and national features. Doct. diss. Yakutsk. 2010. (In Russian)
16. Shishov S. E., Kalney V. A. Monitoring of quality of education at school. Moscow: Pedagogicheskoe obshhestvo Rossii. [Pedagogical society of Russia]. 1999. 354 p. (In Russian)
17. Andrich D. Rash models for development. London: Sage Publications, 1988. 94 p. (Translated from English)
18. Smith E. V., Smith M. S. Introduction to Rush Measurement. Theory, models and applications. Maple Grove, Minnesota: JAM Press, 2004. 689 p. (Translated from English)
