CC BY
34
Методы оценки эффективности научно-педагогических разработок
С.С. Неустроев, В.А. Зибров, Ю.В. Суева
(Москва)
ОБРАБОТКА РЕЗУЛЬТАТОВ КОМПЛЕКСНОЙ ОЦЕНКИ ПОКАЗАТЕЛЕЙ КАЧЕСТВА ОБРАЗОВАТЕЛЬНЫХ ОРГАНИЗАЦИЙ
PROCESSING RESULTS OF COMPLEX ASSESSMENT OF QUALITY INDICATORS OF EDUCATIONAL INSTITUTIONS
В статье рассмотрены этапы расчета показателей качества образования. Показано, что показатели, применяемые для комплексной оценки качества образования, должны удовлетворять научно обоснованным критериям. Анализ показателей качества проводится вместе с оценкой уровня качества образовательных организаций по данным, полученным в процессе обработки результатов мониторинга. Обеспечение соблюдения критериев качества зависит от значений основных показателей качества: надежности, валидности и разрешающей способности. Ключевые слова: система оценки качества, образовательные организации, мониторинг, показатели качества.
The article describes the stages of calculation of quality indicators. It is shown that the quality indicators used for complex quality assessment should meet scientifically based criteria. The analysis of quality indicators is carried out along with assessment of quality level of educational organizations according to the data obtained in the processing of monitoring results. Quality criteria compliance depends on the values of the key quality indicators: reliability, validity and resolution. Key words: quality assessment system, educational organizations, monitoring, quality indicators.
Применение математического аппарата для обработки результатов комплексной оценки качества образовательных организаций (далее - ОО) позволило разработать численные методы расчета и алгоритмы вычисления значений показателей качества, характеризующих систему оценки качества образования (далее - СОКО), основных подходов к организации и проведению процедуры комплексной оценки качества ОО, что обеспечило переход к созданию необходимого программного обеспечения.
Большинство программных продуктов, созданных отечественными разработчиками для комплексной оценки качества ОО, представляют собой программные оболочки, с помощью которых проводятся оценоч-
ные процедуры (стартовая диагностика, текущая оценка, портфолио, внутришколь-ный мониторинг, итоговая аттестация и др.), осуществляются проведение процедуры мониторинга ОО, проверка и обработка результатов мониторинга [5, 11].
Качество средств мониторинга в большинстве случаев не оценивается, а если оценивание и предусматривается, то проводится оно анкетированием.
Вследствие этого погрешность результатов комплексной оценки качества ОО может быть велика, а объективность оценивания низка. Особую остроту комплексная оценка качества ОО различными средствами мониторинга приобрела в последние годы в связи с созданием различных автоматизированных систем [4].
С помощью автоматизированных систем можно решать многие задачи, связанные с обработкой результатов мониторинга, комплексной оценкой качества ОО и показателей качества объекта мониторинга.
Например, уровень подготовки выпускников ОО является скрытым параметром и непосредственному измерению не поддается. Он может быть определен в процессе оценки знаний, например среднее количество баллов по единому государственному экзамену (ЕГЭ) с некоторой вероятностью.
Поэтому при оценивании уровня подготовки выпускников ОО следует применять вероятностный подход. Современные подходы к оцениванию уровня подготовки выпускников ОО и расчету значимости показателей качества базируются на использовании классической теории тестов [1] и теории скрытых переменных [2, 3].
В первом случае уровень подготовки выпускников оценивается с помощью их индивидуальных баллов ЕГЭ, а трудность каждого задания - долей правильных и неправильных ответов на это задание [12].
В теории скрытых переменных предполагается, что между наблюдаемыми результатами ЕГЭ и скрытыми качествами выпускника (например, уровнем подготовки по конкретному предмету) существует определённая связь. Каждому участнику ЕГЭ ставится в соответствии только одно значение скрытого параметра, который определяет наблюдаемые результаты. Результат выполнения каждого задания зависит от разности значений скрытых параметров задания и выпускника.
В отличие от классической теории тестов, где средний индивидуальный балл ЕГЭ выпускника ОО рассматривается как постоянное число, в теории скрытых переменных скрытый параметр интерпретируется как некоторая переменная, значение которой находится непосредственно по эмпирическим данным и уточняется путем последовательных приближений.
Несомненными достоинствами классической теории тестирования являются возможность получения информации о показателях качества и простая интерпретация
данных обработки. К недостаткам можно отнести: зависимость рассчитанной по результатам ЕГЭ оценки уровня подготовки выпускника от трудности заданий; нелинейность шкалы измерения уровня подготовки выпускников, выраженного в баллах ЕГЭ, и нелинейная зависимость балла ЕГЭ от трудности заданий.
Отмеченные недостатки могут явиться причиной, например, существенного искажения информации об уровне подготовки выпускников ОО.
Свободной от перечисленных недостатков является теория скрытых переменных, благодаря чему при ее применении можно получить более надежные значения показателей качества и средств мониторинга.
Однако применение теории скрытых переменных сопряжено с преодолением определенных трудностей, связанных с необходимостью:
- владения сложным аппаратом математической статистики и численных методов расчета скрытых переменных;
- выбора метода нахождения скрытых коэффициентов весомости показателей качества;
- разработки программного обеспечения для расчета показателей качества.
Поэтому расчет показателей качества можно условно разделить на два этапа:
- на первом этапе применять классическую теорию тестирования;
- на втором этапе - теорию скрытых переменных.
Авторы статьи предлагают применить рассмотренные подходы для расчета комплексной оценки ОО, учитывая, что показатели качества, применяемые для комплексной оценки качества ОО, должны удовлетворять научно обоснованным критериям [8, 14 ].
Проведенный авторами анализ литературных источников показал, что применительно к педагогическим средствам измерений, принято использовать следующие критерии:
- соответствие содержания средства измерений сформулированным целям. Выполнение этого критерия достигается за счёт оптимального отображения в системе
базовых и единичных показателей качества, которые входят в комплексную оценку качества ОО. Требование оптимальности предполагает выбор соответствующего метода нахождения коэффициентов весомости показателей качества;
- полнота отображения показателя качества, которая определяется уровнем качества. Необходимость оценки полноты отображения связана с тем, что обычно содержание показателя качества уже, чем это предусмотрено уровнем качества образования. Невозможно учесть все коэффициенты, характеризующие показатель качества. В то же время чем полнее содержание показателя, тем выше его содержательная ва-лидность и тем больше уверенность в объективной оценке качества ОО, полученной с его помощью;
- правильность отображения пропорций показателя качества в расчете комплексной оценки качества ОО. Показатели качества должны охватывать все важные аспекты деятельности ОО и в правильной пропорции;
- соответствие содержания показателя уровням качества ОО, планируемым в расчете комплексной оценки качества;
- оценка определенности показателя качества. Каждый коэффициент весомости параметра показателя качества должен оценивать определенный конкретный элемент показателя. Попытка оценки одним коэффициентом нескольких элементов параметра показателя качества может стать причиной неопределенности в определении показателя качества. Другой причиной такой неопределенности может явиться двусмысленность формулировок, порождающая несколько однозначных коэффициентов;
- оценка значимости каждого показателя качества. Этот критерий отражает необходимость включения в показатель только тех коэффициентов, которые являются наиболее важными, ключевыми. Такие коэффициенты, ввиду их важности, называются структурными коэффициентами показателя. Включение в показатель второстепенных коэффициентов мо-
жет привести к неоправданным выводам об уровне качества ОО.
Показатели качества анализируются вместе с оценкой уровня качества ОО по данным, полученным в процессе обработки результатов мониторинга [9]. О том, насколько полно обеспечено выполнение критериев качества, можно судить по значениям основных его показателей: надежности, валидности и разрешающей способности [7, 10].
В основу представления полученных после обработки результатов комплексной оценки уровня качества ОО с позиций классической теории тестирования положены следующие заключения:
- каждая ОО а имеет некоторое истинное значение комплексной оценки уровня качества Ра на шкале оценки качества деятельности ОО;
- первичная оценка качества деятельности ОО К вычисляется как сумма всех пока-
а и
зателей качества (индикаторов);
- первичная оценка качества деятельности ОО К имеет ошибку е :
аа
- ошибка е не коррелирует с истинным
значением
а;
- значения ошибок распределены по нормальному закону, и их среднее значение равно нулю.
На основе заключений связь между первичной оценкой качества деятельности Ка и истинным значением комплексной оценки уровня качества Ра ОО представим в виде:
Р = К +е .
а а а
Связь между дисперсиями первичной оценки качества деятельности ОО £к , истинным значением комплексного показателя качества £р и дисперсией ошибки £е можно записать следующей формулой:
£ = £, + £ .
р к е
Для вычисления истинного значения Р
а
необходимо знать дисперсию ошибки £е, которая не всегда известна.
Оценить значение величины этой ошибки можно с помощью выражения:
£(= £р^(К X
где 1к - коэффициент надежности ком-
плексной оценки уровня качества Ра , определяемый по формуле Кронбаха [13].
Таким образом, зная значение £е , получаем формулу для расчета истинного значения комплексной оценки уровня качества
Ра , используя регрессионный анализ [6]:
Ра=Ь0+^Ка.
Найдем значение коэффициента Ьд. Среднее значение комплексной оценки качества деятельности ОО Рср получим из вы ражения:
ср
.
¿к
Считаем, что еср = 0,Кср = = tk,
значение Р запишем в виде:
а
.
Тогда коэффициент
.
Подставляя найденное значение коэффициента Ь0, получаем формулу для расчета истинного значения комплексной оценки уровня качества Ра :
Ра = Кср + £к(Ка ~ Кср)
.
Далее рассмотрим теорию скрытых переменных для расчета комплексной оценки
уровня качества 00 и соответственно коэффициентов весомости показателей качества деятельности 00 Ор. В рассматриваемом случае величины Ба и ОрОр интерпретируются как некоторые скрытые переменные.
Предположим, что в результате мониторинга образовательная организация выполнила^ из У показателей качества, коэффициенты весомости Ор каждого из которых известны. Тогда комплексную оценку уровня качества 00 можно рассчитать по ее индивидуальному значению Ха. Суммируя
вероятности выполнения У показателей качества и приравнивая эту сумму к значению
Ха, получаем выражение для расчета комплексной оценки уровня качества 00 :
Ор)/( 1 + ехр С(^»р)/С 1 + ехр
Допускаем, что коэффициенты весомости показателей качества деятельности ОО
одинаковы, тогда имеем:
¥Цехр(5а-ОрЖ 1 + ехр
X,
,
где уа - погрешность расчета количества выполненных показателей.
Полученные выражения позволяют сказать, что точность комплексной оценки уровня качества 00 определяется точными и известными коэффициентами весомости показателей качества деятельности и погрешностью расчета количества выполненных показателей уа.
В практической плоскости коэффициенты весомости показателей качества деятельности 00 Пр подвергаются коррекции, поэтому их тоже необходимо рассчитывать. Полученные оценки скрытых переменных
и Ор позволяют определить значения
5а и Ор :
Ор = в; ± !1Вр,
где ¡1за - абсолютная погрешность вычисления величины
/1£д^ - абсолютная погрешность вычисления величины Ор.
Абсолютные погрешности определяем по формулам:
_ 1
ßsa = I
_ 1
,
^(ехр^а-О^+ехр«^).
Таким образом, на основании вышеизложенного материала можно сделать следующие выводы:
1. Основным инструментом независимой и объективной комплексной оценки уровня качества ОО является мониторинг, проведение которого предполагает исполь-
зование качественных средств измерений показателей (индикаторов), обеспечивающих получение первичных результатов оценки качества деятельности.
2. Для эффективного функционирования автоматизированной системы независимой оценки уровня качества ОО наряду с качественными средствами измерения показателей (индикаторов) необходимо также иметь программные средства обработки результатов расчёта показателей, методики анализа и интерпретации полученных данных.
3. Получение объективной информации о значениях скрытых параметров показателей уровня качества ОО обеспечивают методы теории скрытых переменных с использованием классической теории тестов.
Статья подготовлена в рамках выполнения государственного задания на 2018 г. по теме «Теоретико-методологические основы профессионального развития руководителей системы образования» (№27.9385.2017(БЧ).
Литература
1. Ейст Н.А. Мониторинг качества образования в школах города Новочеркасска (по результатам анкетирования) // Гуманитарные, социально-экономические и общественные науки. - 2015. - № 6-2. - С. 30-32.
2. Елисеев И.Н. Использование модели Раша для диагностики социально-личностных компетенций // Современное образование: содержание, технологии, качество: материалы международного форума. - СПб.: СПбГЭТУ «ЛЭТИ», 2010. - Т.2. - С. 239-241.
3. Елисеев И.Н. Экспериментальное подтверждение состоятельности оценок трудности заданий теста // Программные продукты и системы. - 2012. - №2. - С. 153-156.
4. Зибров В.А., Суева Ю.В. Применение информационных и коммуникационных технологий для комплексной оценки внутришкольного образования // Управление образованием: теория и практика. - 2017. - № 4 (28). - С. 67-72.
5. Ивина Ю.С. Развитие внутришкольных систем оценки качества образования // Управление образованием: теория и практика. - 2017. - № 2 (26). - С. 25-32.
6. Ильина А.В. Организация мониторинга образовательной системы учреждения как условие обеспечения качества образования // Научное обеспечение системы повышения квалификации кадров. - 2016. - № 1 (26). - С.55-60.
7. Кравец О.Я. Адаптивное управление индивидуализацией обучения информатике: модели, алгоритмы, педагогическая технология: моногр. - Воронеж: Научная книга, 2012. -С. 243.
8. Неустроев С.С. О создании внутривузовской системы мониторинга качества образования в Северо-Восточном федеральном университете им. М.К. Аммосова // Известия Южного федерального университета. - Ростов-на-Дону: Изд-во Южного федерального университета. - 2011. - № 6. - С.195-201.
9. Неустроев С.С. Управление качеством общего образования и проблемы оценки его результативности // Человек и образование. - 2017. - №2 (51). - С. 4-8.
10. Сазонов С.П., Сидорова Е.Е., Коваженков М.А., Коротеев М.В. Теория и методология математического моделирования деятельности образовательного учреждения и оценка его эффективности: моногр. - Волгоград: ВолгГТУ, 2013. - С.108.
11. Суева Ю.В. Критериальная база независимой оценки качества образования // Управление образованием: теория и практика. - 2017. - № 2 (26). - С. 18-24.
12. Федеральный Государственный Образовательный Стандарт основного общего образования от 17 декабря 2010 г. № 1897 // Министерство образования и науки РФ: [офиц. сайт] [Электронный ресурс]. - URL: http://www. edu.ru/ (дата обращения 24.05.2018).
13. Cronbach L.J. Coefficient alpha and the internai structure of tests //Psychometrika, 1951. - 16. - P. 297-334.
14. Неустроев С.С., Сердюков В.И., Сердюкова Н.А. Проблемы сравнительной оценки эффективности образовательных организаций высшего образования. // Педагогика. Научно-теоретический журнал Российской академии образования. - 2018. - № 5 - С. 45-51.
