CC BY
87
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-
наушо-методический электронный журнал koncept;ru/2015/751121o5<htm. - ^ РеГ Эл № ФС 77
ART 75115 УДК 371.123 . " .
Маслак Анатолий Андреевич,
доктор технических наук, профессор, заведующий лабораторией объективных измерений филиала ФГБОУ ВПО «Кубанский государственный университет», г. Славянск-на-Кубани anatoliy [email protected]
Матвеева Светлана Сергеевна,
студентка III курса, направление подготовки: 05040062 «<Психолого-педагогическое образование», профиль: Психология и социальная педагогика, филиала ФГБОУ ВПО «(Кубанский государственный университет», г. Славянск-на-Кубани sveta. m atveeva@bk. ru
Измерение и анализ качества профессиональной деятельности учителей
на основе портфолио
Аннотация. В рамках теории латентных переменных измерено качество профессиональной деятельности учителей на основе портфолио. Проведен анализ портфолио как измерительного инструмента, и выделены отличительные индикаторы портфолио. Результаты измерения качества профессиональной деятельности учителей использованы для сравнения школ.
Ключевые слова: качество профессиональной деятельности учителя, измерение латентных переменных, портфолио.
Раздел: (01) педагогика; история педагогики и образования; теория и методика обучения и воспитания (по предметным областям).
Введение
Качество профессиональной деятельности учителя является латентной переменной, т. е. непосредственно неизмеряемой переменной, как например вес или рост. В данной работе качество профессиональной деятельности учителя определяется операционально - через набор индикаторов (показателей) портфолио учителя. Каждый индикатор портфолио характеризует один из аспектов качества профессиональной деятельности учителя. Поэтому качество профессиональной деятельности учителя является интегральным показателем, который формируется на основе показателей портфолио. Актуальность работы
Актуальность работы объясняется тем, что качество профессиональной деятельности учителей напрямую определяет качество образования в школе.
Объектом исследования является качества профессиональной деятельности учителей на основе портфолио.
Предметом исследования является измерение качества профессиональной деятельности учителей на основе портфолио.
Цель работы состоит в формировании и измерении интегрального показателя качества профессиональной деятельности учителя, измеряемого на линейной шкале. Этот показатель используется не только для сравнительного анализа учителей, но и для сравнения школ на основе качества профессиональной деятельности учителей. Для достижения поставленной цели необходимо решить следующие задачи.
1. Сформировать операциональное определение качества профессиональной деятельности учителей на основе портфолио.
2. Провести анализ функционирования индикаторов портфолио.
f\j ■Л f\j
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-koncept.ru/2015/75115.htm. - Гос. рег. Эл № ФС 77 49965. - ISSN 2304-120X.
научно-методический электронный журнал ART 75115 УДК 371.123
3. Измерить качество качества профессиональной деятельности учителей на основе портфолио.
4. Сравнить общеобразовательные школы на основе качества профессиональной деятельности учителей.
Исходные данные
На первом этапе в исследовании приняли все учителя 25 общеобразовательных школ Славянского района. Учителя остальных 10 школ присоединятся к исследованию на втором этапе. В формализации портфолио принимали участие сотрудники Лаборатории объективных измерений КубГУ, Управления образования Администрации Славянского района и Центра оценки качества образования Славянского района.
Индикаторы портфолио, характеризующие качество профессиональной деятельности учителя, представлены в табл. 1.
Таблица 1
Индикаторы портфолио учителя
№ п/п Индикаторы портфолио
1 Стаж работы в данном ОУ: менее 3 лет - 0; более 3 лет - 1
2 Наличие квалификационной категории: нет - 0; да - 1
3 Повышение квалификации: нет либо более, чем 3 года назад - 0; менее - 1
4 Наличие ученой степени: нет - 0; да - 1
5 Государственные награды: нет - 0; да - 1
6 Дипломы различных конкурсов: нет - 0; да - 1
7 Материалы с результатами освоения обучающимися образовательных программ, сформированное™ ключевых компетентностей по предмету: нет - 0; да - 1
8 Сравнительный анализ деятельности за три года на основе контрольных срезов знаний, участия обучающихся в районных олимпиадах, конкурсах: отрицательная динамика - 0; стабильность либо положительная динамика - 1
9 Результаты промежуточной и итоговой аттестации учащихся: несовпадение результатов - 0; совпадение результатов - 1
10 Поступление выпускников в ссузы и вузы по специальности учителя: нет - 0; да - 1
11 Материалы, обуславливающие выбор образовательных программ, УМК,методлитературы: нет - 0; да - 1
12 Материалы, обуславливающие выбор используемых технологий: нет - 0; да - 1
13 Материалы, обуславливающие выбор применяемых средств педагогической диагностики: нет - 0; да - 1
14 Использование ИКТ в образовательном процессе, технологий обучения детей с проблемами развития: нет - 0; да - 1
15 Работа в МО, сотрудничество с КМЦ, ссузами и вузами: нет - 0; да - 1
16 Участие в профессиональных и творческих конкурсах: нет - 0; да - 1
17 Участие в методических и предметных неделях: нет - 0; да - 1
18 Организация и участие в проведении семинаров, круглых столов,мастер-классов, межшкольных консультационных пунктов: нет - 0; да - 1
19 Проведение научных исследований, участие в научной работе, в инновационной деятельности: нет - 0; да - 1
20 Разработка авторских программ: нет - 0; да - 1
21 Написание рукописи кандидатской или докторской диссертации: нет - 0; да - 1
22 Подготовка творческого отчета, реферата, доклада, статьи, внесение передового педагогического опыта в муниципальный или региональный банк данных: нет - 0; да - 1
КОНЦЕПТ
научно-методический электронный журнал ART 75115_УДК 371.123
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-koncept.ru/2015/75115.htm. - Гос. рег. Эл № ФС 77 49965. - ISSN 2304-120X.
23 Наличие творческих работ учащихся по предмету: нет - 0; да - 1
24 Наличие учащихся-победителей олимпиад, конкурсов, соревнований и т п (на муниципальном уровне, региональном уровне): нет - 0; да - 1
25 Сценарии внеклассных мероприятий, фото- и видеоматериалы: нет либо частично - 0; да - 1
26 Наличие разработанных программ кружков и факультатов: нет - 0; да - 1
27 Наличие словарей и другой справочной литературы по предмету: нет - 0; да - 1
28 Наличие наглядных пособий по предмету: нет - 0; да - 1
29 Использование современных технических средств обучения (компьютер, интерактивная доска и т д ): нет - 0; да - 1
30 Наличие и использование электронных материалов: нет - 0; да - 1
31 Наличие дидактического и раздаточного материала: нет - 0; да - 1
32 Контрольно-измерительные материалы: нет - 0; да - 1
33 Профессиональный уровень: высокий уровень - 2; средний - 1; низкий - 0
34 Соблюдение правовых, нравственных и этических норм: высокий уровень - 2; средний - 1; низкий - 0
35 Уважение чести и достоинства обучающихся и других участников образовательного процесса: высокий уровень - 2; средний - 1; низкий - 0
36 Применение педагогически обоснованных и обеспечивающих высокое качество образования, форм, методов обучения и воспитания: высокий уровень - 2; средний - 1; низкий - 0
37 Учет особенностей психофизиологического развития обучающихся и состояния их здоровья: высокий уровень - 2; средний - 1; низкий - 0
38 Толерантность: высокий уровень - 2; средний - 1; низкий - 0
39 Культура речи: высокий уровень - 2; средний - 1; низкий - 0
40 Внешний вид, соответствующий общепринятому деловому стилю: высокий уровень - 2; средний - 1; низкий - 0
41 Исключение действий, связанных с влиянием личных, имущественных (финансовых) и иных интересов, препятствующих добросовестному исполнению трудовых обязанностей: высокий уровень - 2; средний - 1;низкий - 0
42 Воздержание от поведения, вызывающего сомнение в добросовестном исполнении трудовых обязанностей и умение не создавать конфликтные ситуации, наносящие ущерб репутации или авторитету ОО: высокий уровень - 2; средний - 1; низкий - 0
43 Любого вида высказываний и действий дискриминационного характера: нет - 0; да - 1: высокий уровень - 2;средний - 1;низкий - 0
44 Грубости, проявления пренебрежительного тона, заносчивости, предвзятых замечаний, предъявление неправомерных, незаслуженных обвинений: нет - 0; да - 1: высокий уровень -2; средний - 1; низкий - 0
45 Угроз, оскорбительных выражений или реплик, действий, препятствующих нормальному общению или провоцирующих противоправное поведение: нет - 0; да - 1: высокий уровень - 2; средний - 1;низкий - 0
Метод исследования
Существенными недостатками многих способов конструирования интегральных показателей (метод взвешивания, экспертные оценки, индексы) являются субъективность весов экспертов и нелинейность шкалы. Это затрудняет применение статистических методов анализа, предполагающих линейную шкалу измерения. Поэтому уровень качества профессиональной деятельности учителя формируется в рамках теории измерения латентных переменных. Наиболее полно на русском языке эта теория представлена в монографии [1]. Выбор этой теории обусловлен следующим.
rsj Q <Х»
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-
научно-ллетодический электронный журнал k°ncePt;ru/2015/751121o5<htm. - ^ РеГ Эл № ФС 77
ART 75115 УДК 371.123 . " .
1. Интегральный показатель, в данном случае качество профессиональной деятельности учителя измеряется на линейной шкале, что необходимо для дальнейшего сравнительного анализа и мониторинга [2].
2. Измерение этого интегрального показателя необходимо для более точного уяснения его смысла, в данном случае что такое «качество профессиональной деятельности учителя». Это позволяет откорректировать набор индикаторов портфолио.
Результаты анализа
Прежде всего, рассмотрим наиболее отличительные индикаторы, которые характеризуют качество профессиональной деятельности учителя:
- индикатор, который в наибольшей степени дифференцирует учителей по качеству их профессиональной деятельности;
- индикатор, который в наименьшей степени дифференцирует учителей по качеству их профессиональной деятельности;
- индикатор, который лучше других характеризует наивысшее качество профессиональной деятельности учителя;
- индикатор, который лучше других характеризует наименьшее качество профессиональной деятельности учителя.
Наиболее полно поведение индикаторов описывается так называемыми характеристическими кривыми, которые характеризуют выбор уровня индикаторы в зависимости от значения измеряемой латентной переменной.
Ниже представлены характеристические кривые этих наиболее отличительных индикаторов.
Характеристическая кривая индикатора, который в наибольшей степени дифференцирует учителей по качеству их профессиональной деятельности
Этим индикатором является индикатор /2 «Наличие квалификационной категории». Характеристическая кривая этого индикатора представлена на рис. 1.
Рис.. 1. Характеристическая кривая индикатора i2 «Наличие квалификационной категории»
Этот и другие рисунки с характеристическими кривыми имеют следующую структуру. Ось абсцисс - это качество профессиональной деятельности учителя (в логитах). По оси ординат откладывается вероятность ожидаемого значения индикатора. В данном случае значение индикаторной переменной варьируется от 0 до 1.
В верхней части рисунка расположена следующая информация:
ГУ r\J
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-
научно-методический электронный журнал k°ncePt;ru/2015/751121o5<htm. - ^ РеГ Эл № ФС 77
ART 75115 УДК 371.123 . " .
- порядковый номер индикатора (2);
- название индикаторной переменной (здесь названия заданий вы-браны по умолчанию, в данных случаях это Индикатор 2);
- значение индикатора (1,212 логит), которое определяет месторасположение индикатора на шкале измеряемой латентной переменной (качество профессиональной деятельности учителя);
- степень соответствия индикатора модели Раша (Р(Хи-кв ) < 0,001);
- объем выборки учителей, у которых был заполнен этот показатель (N = 695).
Как видно из рис. 1, экспериментальные точки характеризуются большей крутизной, чем модель измерения. Это означает, что наличие квалификационной категории в большей степени, чем другие индикаторы характеризует качество профессиональной деятельности учителя.
Характеристическая кривая индикатора, который в наименьшей степени дифференцирует учителей по качеству их профессиональной деятельности
Этим индикатором является индикатор /44 «Педагогический работник не допускает грубости, проявления пренебрежительного тона, заносчивости, предвзятых замечаний, предъявление неправомерных, незаслуженных обвинений». Характеристическая кривая этого индикатора представлена на рис. 2.
Рис. 2. Характеристическая кривая индикатора /44 «Педагогический работник не допускает грубости, проявления пренебрежительного тона, заносчивости, предвзятых замечаний, предъявление неправомерных, незаслуженных обвинений»
Из рис. 2 видно, что экспериментальные точки имеют значительно меньшую крутизну, чем предполагает модель измерения. Это означает, что по этому индикатору учителя не очень сильно отличаются друг от друга.
Характеристическая кривая индикатора, который лучше других характеризует наивысшее качество профессиональной деятельности учителя
Как и следовало ожидать, таким индикатором оказался индикатор /4 «Наличие ученой степени». Характеристическая кривая этого индикатора представлена на рис. 3.
PU г М
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-
научно-ллетодический электронный журнал k°ncePt;ru/2015/751121o5<htm. - ^ РеГ Эл № ФС 77
ART 75115 . " .
УДК 371.123
Номер: 4 Индикатор: 4 Оценка: 5,662 Хи-кв : 1,435 Р(Хи-кв ): 0,488 N=675
g 0.5-
-5.0 -4.0 -3.0 -2.0 -1.0 0.0 1.0 2.0 3.0 4.0 5.0 Местоположение объекта (логит)
Рис. 3. Характеристическая кривая индикатора ¡4 «Наличие ученой степени»
Как видно из рис. 3, экспериментальные точки находятся очень низко Фактически это означает, что в школах очень мало учителей имеющих ученую степень.
Характеристическая кривая индикатора, который лучше других характеризует наименьшее качество профессиональной деятельности учителя
Как и следовало ожидать, таким индикатором оказался индикатор /39 «Культура речи». Характеристическая кривая этого индикатора представлена на рис. 4.
Рис. 4. Характеристическая кривая индикатора /39 «Культура речи»
Как и следовало ожидать, в отличие от характеристической кривой на рис. 4, экспериментальные точки индикатора /39 находятся очень высоко. Это свидетельствует о том, что у большинства учителей культура речи находится на высоком уровне.
Результаты измерения качества профессиональной деятельности учителей представлены на рис. 5.
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-
научно-ллетодический электронный журнал k°ncePt;ru/2015/751121o5<htm. - ^ РеГ Эл № ФС 77
ART 75115 . " .
УДК 371.123
Количество объектов:702, среднее: 1,313
100 т—
90 80
70 JL.
60
50
40 JL.
30 20
10 --■■
CÜ
п
■Р—ч
0 12 3
Латентная переменная (логит)
— ■ и
-г 14,2%
12,8%
11,4%
^ 10,0%
8,5%
-г 7,1%
"ir 5,7%
4,3%
2,8%
1,4%
-f 0,0% 6
0,0% 2,2%
13,3%
Рис. 5. Результаты измерения качества профессиональной деятельности учителей
В верхней части рис. 5 находится гистограмма, показывающая распределение оценок качества профессиональной деятельности учителей, в нижней части рисунка показано распределение оценок индикаторов на той же самой шкале. Здесь объекты соответствуют учителям
Исходя из представленной на этом рисунке информации, можно сделать следующие выводы:
- диапазон варьирования оценок качества профессиональной деятельности учителей очень большой и равен 7 логит (от -2 до +5 логит). Это свидетельствует о том, что учителя очень сильно различаются по качеству своей профессиональной деятельности, т. е. портфолио хорошо дифференцирует качество профессиональной деятельности учителей;
- индикаторные переменные варьируются в еще большом диапазоне - 9 логит (от -3 до +6 логит), что обеспечивает высокую точность измерения на всем диапазоне варьирования латентной переменной;
- между двумя этими наборами оценок (учителями и индикаторными) существует смещение - различие между соответствующими средними равно 1,313 логит. Это означает, что для более точного измерения качества профессиональной деятельности учителей необходимо добавить в портфолио «трудные» индикаторы.
Представляет интерес сравнение видов общеобразовательных учреждений, -лицеев, средних и основных общеобразовательных учреждений, - по качеству профессиональной деятельности их учителей. Результаты этого сравнения представлены в табл. 2.
(Vi "7 «j
КОНЦЕПТ
научно-методический электронный журнал ART 75115 УДК 371.123
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-koncept.ru/2015/75115.htm. - Гос. рег. Эл № ФС 77 49965. - ISSN 2304-120X.
Дисперсионный анализ типов школ по качеству профессиональной деятельности их учителей
В!
Таблица 2
Источник дисперсии Сумма квадратов Степени свободы Средний квадрат Fэксп р
Тип школы 22,621 2 11,311 11,323 <0,001
Ошибка 698,208 699 0,999
Всего 720,829 701
Дисперсионный анализ показал, что виды школ статистически значимо отличаются друг от друга. Как и следовало ожидать среднее значение качества профессиональной деятельности учителей наибольшее в лицеях (1,633 логит), а наименьшее в основных общеобразовательных учреждениях (1,301 логит). Средние общеобразовательные учреждения занимают промежуточное положение (1,031 логит). Эти оценки представлены в табл. 3.
Таблица 3
Средние значения качества профессиональной деятельности учителей
в зависимости от типа школ
Вид школы Среднее значение Объем выборки Стандартная ошибка 95% доверительный интервал
Нижняя граница Верхняя граница
Лицей 1,633 125 0,089 1,457 1,808
СОШ 1,301 454 0,047 1,209 1,393
ООШ 1,031 123 0,090 0,854 1,208
Представляет интерес не только сравнение видов школ, но и самих школ (табл. 4).
Таблица 4
Дисперсионный анализ школ по качеству профессиональной деятельности
их учителей
Источник дисперсии Сумма квадратов Степени свободы Средний квадрат Fm^ р
Школы 152,190 24 6,341 7,550 <0,001
Ошибка 568,639 677 0,840
Всего 720,829 701
Результаты дисперсионного анализа показали, что школы статистически на очень высоком уровне значимости отличаются друг от друга. Соответствующие значения приведены в табл. 5.
«vi Q «X»
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-koncept.ru/2015/75115.htm. - Гос. рег. Эл № ФС 77 49965. - ISSN 2304-120X.
научно-методический электронный журнал ART 75115 УДК 371.123
Таблица 5
Средние значения качества профессиональной деятельности учителей
в зависимости от школы
Школа Тип школы Среднее значение Стандартное отклонение Объем выборки
1 Лицей 1,294 0,688 65
3 СОШ 1,448 0,804 43
4 Лицей 1,999 1,092 60
5 СОШ 1,238 1,185 48
6 СОШ 1,568 0,853 25
8 ООШ 1,408 0,724 15
9 ООШ 1,381 0,589 12
10 СОШ 1,205 0,367 16
11 ООШ 2,222 1,179 16
14 ООШ 0,428 0,500 15
17 СОШ 0,950 0,655 44
19 СОШ 1,240 0,867 27
20 СОШ 1,430 0,672 16
21 ООШ 0,932 0,966 16
22 ООШ 0,190 0,508 10
23 ООШ 0,736 1,159 17
25 ООШ 1,687 1,018 47
28 ООШ 1,373 1,040 32
29 СОШ 0,705 1,007 50
30 ООШ 0,500 0,929 20
31 ООШ 1,596 0,816 21
38 ООШ 1,597 0,785 14
43 СОШ 1,902 1,158 29
48 СОШ 0,772 0,859 32
51 СОШ 2,154 0,868 12
Всего 1,313 1,014 702
Интересно отметить, что наибольшее среднее качество профессиональной деятельности учителей наблюдается в ООШ № 11 (2,222 логит). Кроме того, как видно из табл. 5, во многих СОШ (№ 6, 9, 20, 25, 28, 43, 51) среднее значение качества профессиональной деятельности учителей выше, чем, например, в лицее № 1. Более того, в некоторых ООШ (№№ 8, 11, 31, 38) среднее значение качества профессиональной деятельности учителей также выше, чем в лицее № 1.
Выводы
1. Представлена методика измерения латентной переменной «качество профессиональной деятельности учителя».
2. Необходимо подчеркнуть, что качество профессиональной деятельности учителя определяется операционально, т. е. через набор индикаторов.
3. Полученные результаты измерения использованы для измерения качества профессиональной деятельности учителей в 25 общеобразовательных школах Славянского района в 2014 году.
(Vi Q «j
КОНЦЕПТ
Маслак А. А., Матвеева С. С. Измерение и анализ качества профессиональной деятельности учителей на основе портфолио // Концепт. - 2015. - Спецвыпуск № 07. - ART 75115. - 0,3 п. л. - URL: http://e-koncept.ru/2015/75115.htm. - Гос. рег. Эл № ФС 77 49965. - ISSN 2304-120X.
научно-методический электронный журнал ART 75115 УДК 371.123
4. Использованные индикаторы можно корректировать и таким образом уточнять смысл понятия «качество профессиональной деятельности учителя».
Ссылки на источники
1. Маслак А. А. Измерение латентных переменных в социальных системах: монография. - Сла-вянск-на-Кубани: Изд. центр СГПИ, 2012. - 432 с.
2. Маслак А. А., Леус О. В., Данилов А. А. Методика измерения качества профессиональной деятельности учителя: метод. рек. - Славянск-на-Кубани: Изд. центр СГПИ, 2009. - 41 с.
Anatoly Maslak,
Doctor of Engineering, Professor, the head of the laboratory of objective measurements, Kuban State University, branch in Slavyansk-on-Kuban, Slavyansk-on-Kuban anatoliy maslak@mail ru Svetlana Matveeva,
student 3 courses, direction of preparation: 05040062 - Psychology and pedagogical education, profile: Psychology and social pedagogics, Kuban State University, branch in Slavyansk-on-Kuban, Slavyansk-on-Kuban sveta matveeva@bk ru
Measurement and Analysis of Teachers' Professional Performance Based on Portfolio Abstract. Within the framework of the theory of latent variables teachers' professional performance based on portfolio is measured. The analysis of portfolio as a measuring tool is carried out and distinctive indicators of portfolio are considered. Results of measurement of teachers' professional performance are used for comparison of schools.
Key words: teachers' professional performance, measurement of latent variables, portfolio. Рекомендовано к публикации:
Анисимовой Т. С., доктором исторических наук, профессором кафедры общей и профессиональной педагогики ФГБОУ ВПО филиал «КубГУ» в г. Славянске-на-Кубани
9772304120159
