CC BY
7
УДК 371.13:303.039
https://doi.org/10.24158/spp.2019.4.22
Леус Ольга Викторовна
Leus Olga Viktorovna
директор филиала Кубанского государственного университета в городе Славянске-на-Кубани
Петьков Валерий Анатольевич
Director of Slavyansk-on-Kuban branch of Kuban State University
Petkov Valeriy Anatolyevich
доктор педагогических наук,
профессор кафедры педагогики и психологии
Кубанского государственного университета
МЕТОД ИЗМЕРЕНИЯ ЛАТЕНТНЫХ ПЕРЕМЕННЫХ В КВАЛИМЕТРИЧЕСКОМ МОНИТОРИНГЕ ПОКАЗАТЕЛЕЙ ПРОФЕССИОНАЛЬНОГО РОСТА УЧИТЕЛЯ
D.Phil. in Education Science, Professor, Education Science and Psychology Department, Kuban State University
LATENT VARIABLES IN QUALIMETRIC MONITORING OF TEACHER PROFESSIONAL GROWTH RATES
Аннотация:
В статье обосновано использование метода измерения латентных переменных в квалиметрическом мониторинге показателей профессионального роста учителя. Выявлены основные противоречия между существующей системой оценивания конечного результата работы учителя в целях контроля и возможностями квалиметрического мониторинга, обеспечивающего профессиональный рост и развитие учителя. Определены основные направления исследований в области педагогического оценивания и измерения показателей профессионального роста учителя. Это классическое тестирование, метод оценочных шкал, корреляция успешности обучающихся с профессионализмом обучающих, использование бизнес-технологий. На основе анализа научных работ и собственных многолетних исследований авторы показывают возможности использования метода измерения латентных переменных для выявления на линейной шкале многомерного (многофакторного) показателя качества профессиональной деятельности учителя. Метод построен с применением модели Г. Раша. Реализация квалиметрического мониторинга с привлечением этого метода открывает новые возможности для объективных измерений в педагогике, а также для личностного самосовершенствования и профессионального роста учителей.
Ключевые слова:
метод измерения латентных переменных, квали-метрический мониторинг в образовании, педагогическое оценивание, модель Раша, профессиональный рост учителей.
Summary:
The research substantiates the use of latent variables in qualimetric monitoring of teacher professional growth rates. The paper reveals the basic contradictions between the current system for assessing the final outcomes of teachers' activities to control them and the capabilities of qualimetric monitoring providing professional growth and professional development of a teacher. The authors determine the main scope of research on educational assessment and measurement of teacher professional growth rates. This is a classic test, rating scales, the correlation of student success with the professionalism of trainers, the use of business technology. The analysis of different studies and authors' long-term research show the possibilities of using latent variables to measure a linear-scale multidimensional (multi-faceted) quality indicator of teachers' professional activity. This method is based on the Rasch model. The qualimetric monitoring along with latent variables provides new opportunities for objective measurements in education science as well as for personal self-improvement and professional growth of teachers.
Keywords:
latent variables, qualimetric monitoring in education, educational assessment, Rasch model, teacher professional growth.
Модернизация образования РФ, его инновационное развитие, программы повышения качества, стандартизации труда учителя, переход к рыночным механизмам регулирования вносят изменения в структуру педагогической деятельности. Учителя пытаются использовать эти институции для выстраивания новых педагогических отношений, в которых меняется их роль: помимо передачи знаний, теперь они осуществляют стимулирование, сопровождение, оказывают помощь ученику, создают условия для творчества и совместного поиска решений. Однако эта практическая направленность не обеспечена комплексным диагностическим объективным оцениванием. В связи с этим актуализируются направления поиска нового инструмента для оценивания качества профессионального роста учителя. Использование мониторинга рассматривается многими исследователями и практиками как одно из перспективных направлений в решении данной проблемы. Исследования педагогического мониторинга представлены в трудах В.И. Загвязин-ского, С.А. Репина, Т.И. Шамовой.
Теоретическое обоснование мониторинга качества профессионального роста учителя осуществлялось в условиях знаниевой парадигмы образования (В.И. Зверевой, Н.В. Кузьминой,
А.Н. Майоровым, Ю.С. Алферовым), где не учитывались необходимость предметной интеграции, технологичности, инновационного развития, наличие неопределенности. Однако, чтобы мониторинг был эффективен, формальных показателей недостаточно. Важно разработать новые подходы к формированию показателей и контрольных измерителей профессионального роста учителя, произвести анализ особенностей различных научных исследований и педагогических практик, реализовать переход мониторинга к объективным измеряемым показателям на линейной шкале.
В педагогической науке и современной образовательной системе формируется теоретическое направление педагогических измерений, которое представлено исследованиями Р. Берка, А. Бине, Н.Ф. Ефремовой, А.А. Маслака, В.Г. Наводного, Ю.М. Неймана, Р. Райта, Г. Раша. Ряд исследователей сосредоточились на тестовой технологии мониторинга качества профессионального роста учителя (В.С. Аванесов, А.Н. Гусев, Т.А. Ильина, А.В. Карпов, И.Я. Лернер, А.Н. Майоров, Н.Ф. Талызина, А.О. Татур).
Одним из направлений исследований мониторинга качества в образовании является корреляция успешности обучающихся с профессиональным ростом обучающих или управленцев. Государственная поддержка отрасли образования приводит к качественному результату только тогда, когда повышается уровень компетентности учителя, т. е. качество образования зависит от качества преподавания, которое нуждается в объективной оценке [1].
Осмысление взаимосвязи профессионального роста учителя с уровнем знаний обучаемых, условиями, формами и методами, обеспечивающими качественный результат образования, изложено в исследованиях Г. Альтрихтера и П. Поша [2].
В условиях конкуренции образовательные организации обратились к бизнес-технологиям, которые имеют выход на качество труда обучающих и способствуют эффективности деятельности. Одной из технологий, количественно измеряющей индикаторы результативности, эффективности деятельности преподавателя, многие исследователи считают систему КР1 (ключевые показатели эффективности). Основы внедрения КР1 разработаны в трудах А.К. Клочкова, Г.И. Мальцевой, Б. Марра, Д. Нортона. По утверждению А.К. Клочкова, методика КР1 направлена на оценку не только результата, но и того, каким способом он был достигнут, т. е. на оценку личностных качеств сотрудника [3].
В современном образовании важнейшим средством стимулирования качества становится квалиметрический мониторинг. Его суть заключается в непрерывном комплексном измерении качества профессионального роста учителя, определении динамизма, соответствия концепции мо-дернизационных изменений целям деятельности. Основы общей квалиметрии в образовании представлены в исследованиях Н.Ф. Ефремовой, А.И. Субетто и др. По мнению С.А. Сафонцева, «оценка качества образовательного продукта является чисто квалиметрической задачей. Только педагогические измерители, обладающие нормативными свойствами, способны установить уровни достижений учащихся на соответствующей интегральной шкале и сделать вывод об их потенциальных возможностях» [4]. Технологическая направленность развития мониторинга показателей профессионального роста учителя определяется использованием математических методов и детерминирует необходимость теоретических и прикладных исследований в этой области (Д.А. Романов, А.И. Субетто, В.А. Титов).
Разработка научно-практического направления в педагогике связана с развитием квалиметрической оценки деятельности педагога [5]. Интерес к исследованиям квалиметрического мониторинга показателей профессионального роста учителя связан с актуальностью изменений роли учителя в учебном процессе, необходимостью повышения доверия к нему со стороны учащихся и роста его профессионализма. Без объективного исследования этих показателей нельзя представить ландшафт качества образования. Прежде всего в объективных измерениях профессионального роста учителя нуждается образовательная практика, вошедшая в рыночную систему регулирования РФ и мировое сообщество мониторинга качества. Однако развитие квали-метрического мониторинга и решение проблемы измерений в педагогической науке связаны с большими трудностями. Противоречия между исследователями, решающими проблему объективных квалиметрических измерений в образовании и отстаивающими традиционные экспертные и уровневые оценивания, сдерживают практическую реализацию результатов исследований.
Создание и внедрение новых инструментов и методик оценки качества работы учителя могут привести к необъективному результату. Процедура измерения уровня профессионального роста учителя должна быть принята прежде всего самим учительским сообществом. Это произойдет, если результат будет способствовать повышению их профессионализма.
Очень точно высказывание М.М. Поташника о современных методах оценивания качества труда учителя: «...нереальны, объективно невозможны ни сейчас, ни в будущем измеряемые результаты. Личностные результаты невозможно измерять количественно. Степень их точности, четкости, объективности зависит исключительно от квалификации и честности педагогов». Авторы книги «Как помочь учителю в освоении ФГОС» считают, что количественные показатели, которыми оперируют
различные органы управления образованием, нужны только для статистики, они не выявляют действительного состояния качественного развития образовательных организаций [6]. Это мнение еще раз подтверждает необходимость нового подхода к проведению измерений в педагогике.
Принципиально важный шаг в обосновании нового подхода к организации мониторинга уровня знаний был сделан датским ученым Георгом Рашем, разработавшим теорию измерения латентных переменных. В 1960 г. им была опубликована монография, переизданная впоследствии в 1980 г. [7]. Данная теория стала использоваться в измерениях показателей различных социальных систем.
В области образования латентными переменными являются компетенции, уровень подготовленности, личностные качества и многие другие. Работы по этой тематике обсуждаются на крупных ежегодных международных конференциях, посвященных педагогическому измерению.
Ведущей организацией по исследованию этой тематики выступает IOM - Institute for Objective Measurement (Институт объективных измерений), Чикаго, США. В 2004 г. в Славянском-на-Кубани государственном педагогическом институте был образован филиал этого института - Russian (Slavian) Chapter, создана научная школа «Теория и практика измерения латентных переменных в образовании и других социальных системах» (руководитель - профессор А.А. Маслак).
В филиале Кубанского государственного университета в городе Славянске-на-Кубани накоплен значительный опыт как по исследованию теоретических аспектов измерения латентных переменных, так и по применению этой теории для решения практических задач. Разработано соответствующее программно-алгоритмическое обеспечение ИЛП (измерения латентных переменных). Применение этой теории связано с использованием многочисленных статистических процедур, что препятствует ее более широкому использованию в педагогике. Для большинства исследователей непривычна также единица измерения латентных переменных - «логит». Тем не менее обозначенная теория находит все более широкое применение. Самый масштабный пример использования ее на территории России - ЕГЭ. Здесь показатели уровня подготовленности испытуемых измеряются в логитах, которые затем переводятся в 100-балльную шкалу.
В рамках парадигмы квалиметрического мониторинга представляют интерес работы по анализу качества профессиональной деятельности учителей, выполненные с использованием теории измерения латентных переменных. Качество профессиональной деятельности учителей рассматривается как латентная переменная, которая определялась через набор индикаторов портфолио и разработана опытным путем совместно со всеми участниками образовательного процесса. Латентные переменные представляют собой показатели профессиональной деятельности учителя по исполнению законодательства в сфере образования, отражают степень влияния учителя на ученика, его взаимодействие с родителями и администрацией школы.
Представляют интерес результаты измерения качества работы учителей, преподающих математику [8]. Здесь решены следующие задачи. Сформировано операциональное определение латентной переменной (интегрального показателя) «качество профессиональной деятельности учителя» на линейной шкале. Результаты измерения представлены на рисунке 1.
Количество объеюов:97, среднее:1,584
1 2 Латентная переменная (логит)
0
з 1
ч:
X
S 4
— ..............1................... 1 1
18,6% 16,5% 14,4% 12,4% 10,3% 8,2% 6,2% 4,1% 2,1% 0,0%
0,0% 2,6% 5,1% 7,7% 10,3% 12,8%
Рисунок 1 - Оценки качества профессиональной деятельности учителей математики
На рисунке на одной и той же шкале представлены оценки качества работы учителей (верхняя часть диаграммы) и оценки индикаторов (нижняя часть диаграммы). Оценки измерены в логитах.
Прежде всего качество опросника характеризуется его дифференцирующей способностью, т. е. в какой степени учителя отличаются друг от друга по качеству своей работы. Из рисунка видно, что диапазон оценок работы учителей очень широк (6 логитов). Учителя математики сильно отличаются друг от друга по качеству своей работы.
Представляют интерес индикаторы, которые лучше других дифференцируют учителей с низким и высоким качеством работы. Результаты статистического анализа показали, что индикатор «Наличие ученой степени» лучше других характеризует учителей с высоким качеством работы (рис. 2).
Номер: 4 Индикатор: 4. Оценка: 5,526 Хи-кв: 4,180 Р(Хи-кв): 0,124 N=04
1 -|
0 о — У
-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0 5,0
Местоположение объекта (л о гит)
Рисунок 2 - Значение индикатора «Наличие ученой степени» в зависимости от качества работы учителя
Напротив, индикатор «Исключение действий, связанных с влиянием личных интересов, препятствующих добросовестному исполнению трудовых обязанностей» в наибольшей степени характеризует учителей с низким качеством работы (рис. 3).
Номер: 41 Индикатор: 41 Оценка:-2,884 Хи-кв : 1,470 Р(Хи-кв ): 0,479 N=97
га
-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0 5,0
Местоположение объекта (логит)
Рисунок 3 - Значение индикатора «Исключение действий, связанных с влиянием личных интересов, препятствующих добросовестному исполнению трудовых обязанностей» в зависимости от качества работы учителя
Для сравнительного анализа видов школ (лицеи, средние и основные общеобразовательные школы) по качеству работы учителей математики использовался дисперсионный анализ. Оказалось, что между видами школ существует статистически значимое различие. Средние оценки качества работы учителей в зависимости от вида школы представлены в таблице 1.
Как и следовало ожидать, лицеи получили наибольшую оценку (2,156 логита), основные общеобразовательные школы - наименьшую (1,282 логита). Средние общеобразовательные школы находятся на втором месте (1,563 логита).
Таблица 1 - Оценка качества работы учителей математики в зависимости от вида школы
Вид школы Среднее значение Число учителей Стандартная ошибка 95 % - доверительный интервал
Нижняя граница Верхняя граница
Лицеи 2,156 14 0,324 1,513 2,799
СОШ 1,563 61 0,155 1,255 1,870
ООШ 1,282 22 0,258 9,769 1,794
Аналогичные исследования проведены по измерению качества работы учителей истории, русского языка и литературы во всех школах Славянского района. Распределение результатов средних значений качества профессиональной деятельности учителей истории, русского языка и литературы такое же: самый высокий результат получен в лицеях, самый низкий - в основных общеобразовательных школах.
После получения результатов измерения качества профессиональной деятельности учителей различных предметов (математики, русского языка и литературы, истории) появилась возможность провести сравнительный анализ измеряемой величины не только по виду школ, но и по преподаваемому предмету. Наивысшие оценки качества работы у учителей математики, самые низкие - у учителей русского языка и литературы. Оценки учителей истории выше оценок учителей русского языка и литературы, но ниже оценок математиков.
Предлагаемый нами метод оценки профессиональной деятельности учителя должен стереть грань между необходимым и существующим в измерении, обеспечить профессиональный рост и развитие учителя. Действующие на сегодня методы оценки неадекватны многомерности, многофакторности педагогической деятельности, служат только контрольным функциям руководителей. Таким образом, квалиметрический мониторинг является эффективным инструментом для разрешения названного противоречия.
Разработанные индикаторные переменные можно корректировать, с их помощью возможно осуществлять квалиметрический мониторинг различных процессов в образовательной среде, определять степень зависимости успеваемости учащихся от уровня профессионализма учителя.
Таким образом, использование представленного метода измерения латентных переменных в квалиметрическом мониторинге показателей профессионального роста учителя открывает новые возможности для развития количественных объективных точных измерений в теории и практике педагогического оценивания. Полученные результаты обозначают перспективные направления в изменении структуры педагогической деятельности, определяют условия и пути для инновационного развития российской образовательной системы.
Ссылки:
1. Петьков В.А., Филоненко В.А. Самоорганизация как условие профессионального роста конкурентоспособного специалиста // Вестник Армавирского института социального образования (филиала) РГСУ. 2014. № 11. С. 104-107.
2. Altrichter H., Posch P. Lehrer erforschen ihren Unterricht: eine Einführung in Methoden der Aktionsforschung. 3. Aufl. Bad Heilbrunn, 1998. 366 S.
3. Клочков А.К. KPI и мотивация персонала. Полный сборник практических инструментов. М., 2010. 160 с.
4. Сафонцев С.А. Образовательная квалиметрия как фактор повышения эффективности контроля качества процесса обучения : дис. ... д-ра пед. наук. Ростов н/Д., 2004. 395 с.
5. Квалиметрическая оценка деятельности педагога / С.В. Кулибаба, Т.П. Хлопова, Д.А. Романов, М.Л. Романова // Ученые записки Университета им. П.Ф. Лесгафта. 2010. № 12 (70). C. 79-83.
6. Поташник М.М., Левит М.В. Как помочь учителю в освоении ФгОс : пособие для учителей, руководителей школ и органов образования. М., 2014. 320 с.
7. Rasch G. Probabilistic Models for Some Intelligence and Attainment Tests. Chicago, 1980. 224 p.
8. Леус О.В., Маслак А.А. Измерение качества профессиональной деятельности учителей математики на основе порт-фолио // Современные наукоемкие технологии. 2016. № 4-1. С. 30-35.
References:
Altrichter, H & Posch, P 1998, Lehrer erforschen ihren Unterricht: eine Einführung in Methoden der Aktionsforschung. 3. Aufl., Bad Heilbrunn, 366 S.
Klochkov, AK 2010, KPI and Staff Motivation. A Complete Collection of Practical Tools, Moscow, 160 p., (in Russian). Kulibaba, SV, Khlopova TP, Romanov, DA & Romanova, ML 2010, 'Qualimetric Assessment of a Teacher's Activity', Uchenyye zapiski Universiteta im. P.F. Lesgafta, no. 12 (70), pp. 79-83, (in Russian).
Leus, OV & Maslak, AA 2016, 'Measuring the Quality of Professional Activity of Mathematics Teachers on the Basis of the Portfolio', Sovremennyye naukoyemkiye tekhnologii, no. 4-1, pp. 30-35, (in Russian).
Petkov, VA & Filonenko, VA 2014, 'Self-Organization as a Condition for Professional Growth of a Competitive Specialist', Vestnik Armavirskogo instituta sotsial'nogo obrazovaniya (filiala) RGSU, no. 11, pp. 104-107, (in Russian).
Potashnik, MM & Levit, MV 2014, How to Help the Teacher in the Development of GEF: a Manual, Moscow, 320 p., (in Russian).
Rasch, G 1980, Probabilistic Models for Some Intelligence and Attainment Tests, Chicago, 224 p., (in Russian). Safontsev, SA 2004, Educational Qualimetry as a Factor in Improving the Quality Control of the Learning Process, D.Phil. thesis, Rostov-on-Don, 395 p., (in Russian).
