CC BY
3
Научно-педагогическое обозрение. 2023. Вып. 1 (47). С. 18-32 Pedagogical Review. 2023, vol. 1 (47), pp. 18-32
Научная статья УДК 317 . 12
https://doi . org/10. 23951/2307-6127-2023-1-18-32
Модернизация технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов обучающихся
Дарья Андреевна Мозгова1, Оксана Михайловна Замятина2'3, Наталия Альбертовна Семенова4, Светлана Ивановна Поздеева5
1,2,4,5 Томский государственный педагогический университет, Томск, Россия
3 Томский политехнический университет, Томск, Россия 1 [email protected]
22,3 [email protected]
4 natalsem@rambler. ru
Аннотация
Представлен анализ разработанных за последние три года подходов, технологий, моделей, связанных с оценкой профессионализма и уровня компетенций педагогов. Акцентировано внимание на исследованиях и разработках, в основу которых положена работа с большими данными, применение технических средств для автоматизации процесса оценки. Сформулирован подход к оценке профессиональных компетенций педагогов, основанный на анализе результатов их учеников. Описан третий этап технологии оценки профессионализма и уровня компетенций педагогов общего образования. Образовательные результаты обучающихся Томской области по национальному единому государственному экзамену были разделены на два массива (естественно-научное и гуманитарное направления), далее к ним применены три алгоритма кластеризации; валидность кластеров исследовалась коэффициентом силуэта и индексом Калински - Ха-рабаса. Оценены метрики результатов алгоритмов и целесообразность их использования в рамках поставленной задачи.
Ключевые слова: оценка профессионализма педагога, компетенции педагога, кластеризация, результаты обучающихся, профессиональные дефициты педагога, data mining
Источник финансирования: исследование выполнено при финансовой поддержке Министерства просвещения РФ в рамках государственного задания на 2022 год по теме № 25 «Технология оценки профессионализма и уровня компетенций педагогов общего и профессионального образования» (дополнительное соглашение № 073-03-2022-116/3 от 11.04.2022 г. к соглашению № 073-03-2022-116 от 14.01.2022 г.).
Для цитирования: Мозгова Д. А., Замятина О. М., Семенова Н. А., Поздеева С. И. Модернизация технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов обучающихся // Научно-педагогическое обозрение (Pedagogical Review). 2023. Вып. 1 (47). С. 18-32. https://doi.org/10.23951/2307-6127-2023-1-18-32
Original article
Modernization of the technology for assessing the professionalism and the level of competence of teachers based on the analysis of students' learning results
Daria A. Mozgova1, Oksana M. Zamyatina2'3, Natalia A. Semenova4, Svetlana I. Pozdeeva5
h 2,4,5 Tomsk State Pedagogical University, Tomsk, Russian Federation 3 Tomsk Polytechnic University, Tomsk, Russian Federation
© Д. А. Мозгова, О. М. Замятина, Н. А. Семенова, С. И. Поздеева, 2022
4 natalsem@rambler. ru
Abstract
An analysis of approaches, technologies, models developed over the past three years related to the assessment of professionalism and the level of competencies of teachers is presented. The attention is focused on research and development, which is based on working with big data, the use of technical means to automate the assessment process. An approach to assessing the professional competencies of teachers based on the analysis of the results of their students is formulated. Within the framework of this paper, the 3rd stage of the technology for assessing professionalism and competence level of general education teachers has been improved, tested and described. Using the data of the learning results of Tomsk region secondary students in the national Unified State Exam (USE), 3 (three) clustering algorithms were applied by technology: k-means, spectral clustering, agglomerative clustering. The learning results under study were on 4 (four) subjects: Russian, Mathematics (profile level), Physics, and Social Studies for the period from 2015 to 2019. The above data were divided into 2 (two) arrays: Science and Humanities, and clustering algorithms mentioned were applied to them. The validity of the clusters was assessed by the method of Silhouette coefficient and Kalinsky-Harabasz index. Some measured parameters of the algorithms and the expediency of their use within the framework of the task were evaluated.
Keywords: teacher competencies, clustering, teacher's professional deficits, data-mining
For citation: Mozgova D. A., Zamyatina O. M., Semenova N.A., Pozdeeva S. I. Modernization of the technology for assessing the professionalism and the level of competence of teachers based on the analysis of students' learning results [Modernizatsiya tekhnologii otsenki professionalizma i urovnya kompetentsiy pedagogov na osnove analiza rezul'tatov obuchayushchikhsya]. Nauchno-pedagogicheskoye obozreniye - Pedagogical Review, 2023, vol. 1 (47), pp. 18-32. https://doi.org/10.23951/2307-6127-2023-1-18-32
Согласно результатам экспертно-аналитического мероприятия «Анализ эффективности мер государственной политики в решении проблем детей, испытывающих трудности в освоении школьной программы (профилактика школьной неуспешности)», 17 % выпускников российских школ не набирают минимального балла хотя бы по одному предмету в рамках ЕГЭ. По результатам международных сопоставительных исследований около 20 % российских школьников в возрасте до 15 лет не достигают порогового уровня функциональной грамотности. Профилактика школьной неуспешности включает в себя множество факторов как внутри школы, так и за ее пределами. Квалификация учителя - фактор, напрямую влияющий на качество образовательных результатов учеников, а развитие компетенций педагогических работников - важная задача для управления системой образования [1].
Авторами был выполнен обзор разработанных за последние три года подходов, технологий, моделей, связанных с оценкой профессионализма и уровня компетенций педагогов. Акцентировано внимание на исследованиях и разработках, в основу которых положена работа с большими данными, применение технических средств для автоматизации процесса оценки.
Наибольший интерес представил опыт исследовательской группы Башкирского государственного педагогического университета им. М Акмуллы (БГПУ). Авторами показан механизм автоматизированной оценки профессиональных компетенций педагогов. Описание процесса управления качеством образования на основе структурно-функциональной модели образовательной среды предполагает диагностику профессиональных дефицитов педагога через применение фонда контрольно-оценочных материалов, размещенных в электронной базе. Методика, предложенная исследователями, позволяет провести оценку предметных и методических компетенций учителей, а основными инструментами являются оценочные материалы, выполнение которых происходит с применени-
ем компьютера и включает тестовую часть для оценки предметных компетенций и часть, содержащую методические задачи [1; 2].
Модель организации управления эффективностью профессиональной деятельности педагога на основе работы с большими данными разработана Нижегородским институтом развития образования. В основе предложенной модели лежит понятие «комплексные профессиональные компетенции педагога», подразумевающее интеграцию знаний и умений о качестве образования и умений цифровой грамотности. Подобная компетенция, по мнению авторов, способствует реализации управления качеством педагогической деятельности, что, в свою очередь, влияет на становление у педагога субъектной позиции в отношении оценки качества [3].
Уральский государственный экономический университет представил возможности ассессмент-центра компетенций онлайн, позволяющих оценить надпрофессиональные компетенции будущих специалистов, такие как социоэмоциональные, когнитивные, коммуникативные и др. Авторы описали возможности различных цифровых инструментов для получения результатов оценки компетенций. Достоинствами способа является автоматизация процессов оценки и сбора данных, точность получаемых результатов [4].
Представители Ярославского государственного педагогического университета и Южно-Уральского государственного гуманитарно-педагогического университета провели исследование, связанное с оценкой сформированности метапредметных компетенций педагога. Авторами представлены диагностические методики, включающие компьютерные комплексные компетентностно ориентированные тесты для оценки сформированности компетенций и выявления профессиональных дефицитов у педагогов. Тесты представляют собой задания в стандартизированной форме, содержащие кейсы со свободными конструируемыми ответами. Кейсы имеют междисциплинарный характер и ориентированы на применение знаний в профессиональных ситуациях [5].
В статье «Автоматизация процесса оценки профессиональных компетенций педагога по профессиональному стандарту» представлен опыт интеграции программного модуля с программой 1С: отдел кадров, где работодатель может увидеть результаты оценивания профессиональных компетенций педагога. Автор описывает применение методик, позволяющих определить необходимый уровень компетенций, что в итоге позволит работодателю судить о квалифицированной подготовке педагога. Описаны результаты разработки и апробации программно-методического конструкта оценивания профессиональных компетенций и специалистов образовательных учреждений [6].
Исследование, реализованное университетом Иннополис, было ориентировано на проведение автоматизированной оценки сформированности цифровых компетенций педагогических работников системы общего и среднего профессионального образования. Модель основана на применении программы оценки и формирования цифровых компетенций. Оценочный комплекс предполагал выполнение заданий, в результате которого происходила автоматизированная оценка сформирован-ности цифровых компетенций педагогов [7].
Опыт Белгорода представляет разработку и внедрение модели программного обеспечения, направленного на автоматизированное тестирование профессиональных компетенций педагогов. Рабочей группой была построена система автоматизированного контроля знаний для оценки качества образования. Данная система легла в основу разработки программного продукта «Инструменты ЦДОТ». Программное обеспечение нацелено на оптимизацию процесса формирования отчетной документации для получения информации о сформированных профессиональных компетенциях педагогов [8].
Общим во всех представленных практиках оценки компетенций педагогов является:
- комплексный подход, предопределяющий оценку целого ряда разных компетенций;
- идея о реализации связи «оценка компетенции педагога —> выявление профессиональных дефицитов -> управление качеством образования»;
- участниками процесса оценки являются педагоги, выполняющие ряд тестов, решающие кейсы, а обработка результатов автоматизирована.
Каждая разработка имеет достоинства, обоснована и применима на практике. Тем не менее есть аспект, проблематизирующий применение подобных подходов: обязательное вовлечение педагогов в процесс оценки.
В исследовании ВШЭ представлены результаты исследований, включающих, среди прочих данных, оценку участия учителей школ в диагностике профессиональных компетенций, проводимой центрами оценки профессионального мастерства и квалификаций педагогов (состояние на 2019-2020 гг.) (рис. 1) [9].
Около половины учителей в регионах РФ и более 70 % педагогов Москвы в 2019-2020 гг. проходили мониторинг профессиональных компетенций. На фоне общей неудовлетворенности распределением времени (меньше времени на уроки, чем на участие в мониторингах и отчетах) остро встает вопрос о том, возможна ли оценка профессионализма педагогов и оценка их компетенций без вовлечения учителей в оценочные процедуры? Опыт зарубежных стран говорит об имеющемся опыте: одним из популярных подходов в США является оценка качества работы педагога на основе оценки работ обучающихся [10]. Оценка уровня сформированности компетенций и уровня профессионализма педагогов, основанная на анализе больших данных (результатов ЕГЭ), может стать эффективным способом выявления профессиональных дефицитов и планирования дальнейшего профессионального роста.
С целью разработки нового подхода в области повышения компетенций педагогов в 2021 г. коллективом Томского государственного педагогического университета (ТГПУ) было начато фундаментальное исследование по разработке технологии оценки компетенций педагогов, основанное на применении алгоритмов обработки больших данных. Основой технологии стал кластерный анализ, позволяющий исследовать множество данных с большим набором признаков, открывая перспекти-
100 -0.Í
М 72 9.2 106 0.7
90 80
47.1 4¿.C 45В
7г,й
¿o
50 40 i0 20 10
0 - -
всего Москва Боле? 1 или чел. От ТОО тыс. Менее Село
[Sea Москвы) до 1 млн чел. 100тыс. чел.
■ Нет. не участвовала) ■ Да, участвовал^)
■ Нет, но скоро мне это предстоит ■ V нас в регионе такого центра нет или я о нем не анаю
Рис. 1. Участие учителей школ в диагностике профессиональных компетенций, проводимой центрами оценки профессионального мастерства и квалификаций педагогов, в разрезе типов населенных пунктов
8.6
-0.Í
7,2
9.2
10.6
0.7
47,1
45.0
46.0
45.9
44, Í
7i,e
всего
Москва Более 1 млн чел. От ТОО тыс. Менее
Гйеэ Москвы) до 1 млн чел. 100тыс. чел.
Село
ву оценки совокупных результатов за несколько лет и по нескольким предметам для всех школ. Первая версия алгоритма реализации технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов учеников представлена на рис. 2 (далее - Алгоритм) [11].
В качестве исследуемых данных (data set, DS) были взяты образовательные результаты ЕГЭ учеников Томской области по следующим учебным предметам: русский язык, профильная математика, физика и обществознание (в период с 2015 по 2019 г.). Общее количество исследуемых данных - 3 953. На рис. 3 представлено количество образовательных организаций (ОО) с разбиением по предметам.
Рис . 2 . Первая версия алгоритма реализации технологии оценки профессионализма и уровня компетенций педагогов на основе анализа результатов учеников
2019
2018
2017
2016
2015
0 50 100 150 200 250
■ Обществознание ■ Физика ■ Профильная математика ■ Русский язык
Рис . 3 . Количество ОО, взятых для исследований в разбивке по предметам
Работа Алгоритма подробно представлена в [12], и на данный момент первые два этапа работы Алгоритма остаются без изменения. Акцентируем внимание на третьем этапе, который включал в себя кластерный анализ исследуемых данных двумя алгоритмами: иерархическая кластеризация, кластеризация к-средних, далее проводилась валидация количества кластеров. После реализации третьего этапа (количество кластеров формировалось методом подбора) данные были разбиты на 15 кластеров, количество исследуемых признаков - 20, по четыре предмета в каждом году. Валидация количества кластеров проводилась экспертно, исходя из целей исследования. Иерархическая кластеризация выделила один большой кластер (168) и 14 кластеров с небольшим количеством ОО (от 1 до 13), поэтому на следующих этапах использовались только результаты алгоритма к-средних. Далее проводился анализ внутри каждого кластера и выявлялись темы проверяемых элементов содержания, вызвавших наибольшие затруднения у сдающих экзамены, исходя из спецификации контрольных измерительных материалов для проведения в 2015-2019 гг. ЕГЭ по русскому языку и математике (профильный' уровень). В кластерах № 1, 3, 16 по русскому языку выявлено совпадение «слабых» тем по русскому языку, а в кластерах № 1, 2, 8 выявлено совпадение «слабых» тем профильной математике.
Выдвигаемая гипотеза: результаты первичной кластеризации будут более точными при разделении данных о результатах ЕГЭ на близкие предметные области и уменьшении разницы количества данных по предметам.
Третий этап, согласно выдвинутой гипотезе, будет модернизирован:
- разделить data set на два направления: естественно-научный и гуманитарный (табл. 1, 2);
- провести работу с пропусками в исследуемых массивах;
- использовать метод понижения размерности Uniform Manifold Approximation and Projection (UMAP);
- увеличить количество используемых алгоритмов кластеризации - к-средних++ (k-means++), спектральная кластеризация (spectral clustering), алгомеративная кластеризация (agglomerative clustering);
- добавить методы внутренней валидации - коэффициент силуэта (Silhouette Method), индекс Калински - Харабаса (Calinski - Harabasz);
- провести анализ пригодности использования алгоритмов для поставленных задач.
Рассмотрим результаты проведенной работы.
Таблица 1
Количество ОО для DS «гуманитарное направление»
Год/предмет Русский язык Обществознание Итого
2015 223 197 420
2016 220 190 410
2017 220 197 417
2018 222 201 423
2019 226 197 423
Итого 1 111 982 2 093
Таблица 2
Количество ОО для DS «естественно-научное направление»
Год/предмет Профильная математика Физика Итого
2015 215 163 378
2016 212 170 382
2017 204 161 365
2018 214 173 387
2019 198 150 348
Итого 1 043 817 1 860
Работа с пропусками в исследуемых массивах
В DS «гуманитарное направление» признак «русский язык» содержит 1 111 значений, признак «обществознание» - 982 значения, следовательно, имеется 129 пустых значений (NaN). В DS «естественно-научное направление» признак «профильная математика» имеет 1 043 значений, признак «физика» - 817 значений, имеется 226 пустых значений (NaN).
В статье [13] выделяется три вида пропусков, с математической точки зрения они выглядят следующим образом:
1. Missing Completely at random (MCAR) - вероятность возникновения пропуска не зависит ни от наблюдаемых, ни от значений пропущенных данных.
P(Yimissed\Xmissed' Mother) = Const (1)
2. Missing at random (MAR) - вероятность пропуска зависит от значений наблюдаемых, но не от значений пропущенных данных.
Р (Уimissedl^missed, X other) f i^other) (2)
3. Missing not at random (MNAR) - вероятность пропуска зависит от значений наблюдаемых и от значений пропущенных данных.
P(yimissedl^missed, Xother) f(^missed'^other) (3)
В исследуемых DS пропуски MCAR полностью случайны и с точки зрения возникновения, и с точки зрения распределения в массиве данных, так как число учеников, сдающих те или иные предметы ЕГЭ, зависит от факторов, на которые нельзя повлиять: потребность ученика в сдаче предмета для поступления (не считая обязательных), количество учеников 11-го класса в школе. После анализа источников [14] была представлена классификация базовых методов восстановления пропусков в массивах данных. Изучив их возможности и недостатки, был выбран метод замены пропущенных значений на нулевые значения.
Кластерный анализ
Задача кластерного анализа заключается в том, чтобы на основании данных, содержащихся во множестве Х, разбить множество объектов G на m (m - целое) кластеров так, чтобы каждый объект Gj принадлежал одному и только одному подмножеству разбиения и чтобы объекты, принадлежащие одному и тому же кластеру, были сходны, в то время как объекты, принадлежащие к разным кластерам, были разнородны [15, 16]. Иными словами, необходимо разделить множество объектов на группы таким образом, чтобы в одной группе были максимально похожие друг на друга объекты, а объекты в разных группах значительно отличались.
Кластеризация относится к стратегии «обучение без учителя», то есть не требует значения целевых переменных, и метки изначально не заданы. Кластеризация, как и все методы, имеет свои недостатки: все алгоритмы кластеризации могут давать разные результаты.
Следовательно, для оценки качества кластеризации требуется эксперт, который сможет оценить осмысленность выделения кластеров. Число кластеров неизвестно заранее и устанавливается в соответствии с субъективными критериями, результат кластеризации существенно зависит от метрики, выбор которой тоже носит субъективный характер. Несмотря на указанные недостатки, кластеризация получила большое распространение за счет имеющейся возможности исследования массивов данных с наборами признаков и последующего сжатия для наглядности. Учитывая структуру DS с большим количеством признаков и цель данного исследования, кластеризация является подходящим методом и была использована в данной работе, а именно следующие алгоритмы: к-средних++ (k-means), спектральная кластеризация (spectral clustering), агломеративная кластеризация (agglomerative clustering).
Описание примененных алгоритмов кластеризации
Метод кластеризации к-средних++ (k-means++) является модернизацией метода к-средних (k-means). Суть метода заключается в том, что первые центры кластеров выбираются случайно, последующие центры выбираются из оставшихся объектов с вероятностью, пропорциональной квадрату расстояния до ближайшего центра [17]. Процедура останавливается при невозможности дальнейшей минимизации расстояния между объектами.
Метод спектральной кластеризации (Spectral clustering) основан на построении графа близости. Его вершинами являются объекты, а вес соединяющих их ребер соответствует схожести (или близости) этих объектов. При попадании в одну компоненту связности группы объектов объявляются кластерами. Используется для невыпуклых структур данных [18].
Агломеративная кластеризация (Agglomerative dustering) - метод иерархической кластеризации, основывающийся на идее агломерации, т. е. последовательного объединения индивидуальных объектов или их групп во все более крупные подмножества до тех пор, пока не получит единую группу наиболее похожих экземпляров [19].
Методы валидации кластеров
Под валидацией кластеров понимают проверку обоснованности количества и структуры кластеров, различают внутреннюю и внешнюю валидацию. Рассмотрим два метода внутренней вали-дации.
Коэффициент силуэта (Silhouette Method) - мера того, как сильно принадлежит объект своему кластеру и как сильно он отличается от объектов других кластеров. Другими словами, как среднее расстояние до объектов своего кластера соотносится со средним расстоянием до объектов других кластеров [8].
Индекс Калински - Харабаса (Calinski - Harabasz) выбирает количество кластеров как значение аргумента, максимизирующего функцию CH(K)
СН(ю = В(КУ(К~У
v J W(K)/(n-K)', (5)
где B(K) и W(K), соответственно, внешняя и внутренняя суммы квадратов элементов данных с K кластерами [20]. Если оценка высокая, то можно сделать вывод, что кластеры плотные и хорошо разделимы.
Понижение размерности
В данной работе к массивам исследуемых данных перед подачей на вход алгоритмов кластеризации применялся нелинейный метод понижения размерности (UMAP) [21], который основан на соединении ближайших объектов путем построения взвешенного графа, ребрами соединяются только ближайшие соседи. Множество из ребер графа - это нечеткое множество с функцией принадлежности, она определяется как вероятность существования ребра между двумя вершинами. Затем алгоритм создает граф в низкоразмерном пространстве и приближает его к исходному [21].
Таким образом, для проверки гипотезы к DS «гуманитарное направление» и «естественно-научное направление» с заполненными пропусками и пониженной размерностью применены алгоритмы кластеризации: к-средних++, спектральная кластеризация, агломеративная кластеризация. В дополнение к методам валидации кластеров, описанных выше, для алгоритма к-средних++ использовался график дисперсии ошибок (sum of squared errors, SSE) «метод локтя», для алгоритмов спектральной и агломеративной кластеризации - стандартное отклонение (standard deviation, STD). В таблицах 3, 4 представлены графики результатов реализации: 3D scatter plot, SSE, STD, коэффициент силуэта, индекс Калински - Харабаса.
Вгпуаппагщя результатов применения алгоритмов кластеризагщi к data set (гуманитарный профиль)
ю 0\
Название метода 3D scatter plot
Рекомендованное количество кластеров _(SSE, STD)_
Коэффициент силуэта (Silhouette Method)
Индекс Калински - Харабаса (Calinski - Harabasz)
K-means++ (5 clusters)
Spectral clustering (4 clusters)
155 «5-.-У.
.-•**. i .vi • 14.5 .1-
Agglomerative clustering (5 clusters)
J5
О
I
Is
то a о
П
I
О/ то
TO
I
►S
Визуализация результатов применения алгоритмов кластеризации к data set (естественно-научный профиль)
ю
--J
Название метода, 3D scatter plot Рекомендованное количество кластеров (SSE. STD) Коэффициент силуэта (Silhouette Method) Индекс Калински - Харабаса (Calinsk - Harabasz)
K-means++(4 clusters)
m
10 9 8 'if . 2 7 ^ :•'.;•- 0 1 % 6C к 4C a X X 1С T \ ! \ ! \ ! ! j 02 01 i S 00 -0.1 -0.2 70 60 SO !. !» 20 10
Ousters 2 4 6 8 10 Ousters 2 4 6 8 10 Ousters
Spectral clustering (8 clusters)
10 g 120 i ï 100 03 02 A TO 60 h/\
9 "..*••'• 8 V.. 1 80 \ v""\ 01 / \ 50 L / ^^^^
2 7 У •'•».",. \ > 6 '' * s v & f10 i - AO 1 I 10 \ V"~\ : -01 « ■a Iю 20 0 /
2 4 6 8 10 Кластер 2 4 6 8 10 Ousters °"""
Agglomerative clustering (4 clusters)
10 ¿ 'J * •/• W- 9 '„•. ■i- 8 V.» * •• 2 7 -. V ".•.: -* • ь .120 ! | 100 j. s 1 " • n i -m- std ! -■- mn • | 1 1 4 \ 'j---------, К i 03 02 01 Л 00 A 70 60 50 !« « КЧу-
6 '' w ^ •• it'. i • 40 1 i -0.1 \ 20 10 /
г 0 I
oJ- -i-1------- 2 4 6 8 10 2 4 6 8 10 Ousters 2 4 6 8 10 Ousters
о
о о s; о
Ï
§
о* Ï
О ?
г;
а
«>
а
t\j о t\j о
Чз ^
г?1
to Й О'
а
а ^
Ь
«>
S
Чз S а
а 3
Результаты к-средних++ для DS «гуманитарное направление». SSE преломляется на 4 кластерах (ось x), коэффициент силуэта принимает последнее положительное значение на 5 кластерах, при увеличении на 1 видно резкое падение до -0,1, индекс Калински - Харабаса имеет самый высокий показатель на 5 кластерах > 100, при x = 4 индекс опускается до 80. Оптимальное количество кластеров 4, 5. Количество объектов в кластерах относительно равномерное, не наблюдается сильно больших или сильно малых кластеров. 3D scatter plot представлен для 5 кластеров.
Результаты спектральной кластеризации для DS «гуманитарное направление». Согласно графику STD оптимальное количество кластеров 4, коэффициент силуэта на значении 4 > 0,2, при разбиении на 5 кластеров сохраняется положительное значение, индекс Калински - Харабаса на 4 кластерах превосходит 120. Оптимальное количество кластеров 4, 5. При разбиении один кластер значительно меньше остальных по количеству объектов. 3D scatter plot представлен для 4 кластеров. Алгоритм отектральной кластеризации демонстрирует низкие метрики и не рассматривается для дальнейшей работы.
Результаты агломеративной кластеризации для DS «гуманитарное направление». STD выделяет 4 кластера, коэффициент силуэта x = 4 положителен и имеет одно из самых высоких значений как и индекс Калински - Харабаса. Количество объектов в кластерах относительно равномерное, не наблюдается сильно больших или сильно малых кластеров. 3D scatter plot представлен для 5 кластеров.
Результаты к-средних++ для DS «естественно-научное направление». SSE преломляется на 4 кластерах (как и для DS «гуманитарный профиль»), коэффициент силуэта принимает последнее положительное значение на 4 кластерах, индекс Калински - Харабаса имеет самый высокий показатель на 5 кластерах > 700, при x = 4 индекс опускается до 50. Оптимальное количество кластеров 4, 5. При разбиении один кластер значительно превосходит остальные по количеству объектов. 3D scatter plot представлен для 4 кластеров. Алгоритм к-средних++ демонстрирует низкие метрики и не рассматривается для дальнейшей работы.
Результаты спектральной кластеризации для DS «естественно-научное направление». Согласно графику STD оптимальное количество 8 кластеров, коэффициент силуэта на 8 и 7 кластерах имеет отрицательное значение (-0,2), для 6 кластеров значение близко к нулевому, индекс Калински -Харабаса показывает плотность чуть больше 40 при 8 кластерах, при разбиении на 6 показатель значительно возрастает > 60. Количество объектов в кластерах относительно равномерное, не наблюдается сильно больших или сильно малых кластеров. 3D scatter plot представлен для 8 кластеров.
Результаты агломеративной кластеризации для DS «естественно-научное направление». STD оптимальное количество 4 кластеров, коэффициент силуэта почти нулевой при х = 4, индекс Калински - Харабаса > 140. При разбиении один кластер значительно превосходит остальные по количеству объектов. 3D scatter plot представлен для 4 кластеров. Алгоритм агломеративной кластеризации демонстрирует низкие метрики и не рассматривается для дальнейшей работы.
Ключевой задачей Алгоритма является выявление профессиональных дефицитов педагогов, проведенная работа показала нецелесообразность применения агломеративной кластеризации и к-средних++ для DS «естественно-научное направление» по причине низких метрик и укрупненно-сти «слабых тем» по исследуемым предметам в рамках одного кластера при разбиении на 4. Алгоритм спектральной кластеризации продемонстрировал нецелесообразность использования для DS гуманитарное направление по причине низких метрик.
Алгоритм стектральной кластеризации показал возможность разбиения на 6 кластеров при отсутствии сильно большого и сильно малого количества объектов в каждом кластере для DS «естественно-научное направление». Результаты реализации к-средних++, агломеративная кластеризация для DS «гуманитарное направление» демонстрируют схожие возможности разбиения (4-5 кластеров), оба алгоритма являются приемлемыми для использования в дальнейших исследованиях.
Выбранные алгоритмы являются предпочтительными для использования в дальнейших исследованиях составления индивидуальных треков повышения квалификации педагогов, что позволит повысить уровень сформированности предметных, методических компетенций по предметам «профильная математика» и «физика» для устранения дефицитов и повышения качества образования впоследствии.
Таким образом, третий этап алгоритма будет иметь вид:
- разделить data set на два направления: естественно-научный и гуманитарный;
- просвети работу с пропусками в исследуемых массивах (выбрать один из методов, исходя из происхождения пропусков);
- использовать метод понижения размерности Uniform Manifold Approximation and Projection (UMAP) (опционально);
- использовать алгоритмы кластеризации: к-средних++ (k-means++), спектральная кластеризация (spectral clustering), алгомеративная кластеризация (agglomerative clustering);
- провести внутреннюю валидацию: коэффициент силуэта (Silhouette Method), индекс Калин-ски - Харабаса (Calinski - Harabasz);
- исходя из анализов валидации (экспертной, внутренней и внешней) подобрать алгоритм для исследуемых данных.
Перспективами исследования является апробация технологии путем анализа результатов диагностики предметных и методических затруднений педагогических работников для разработки адресных курсов повышения квалификации для педагогических работников.
Список источников
1. Сагитов С. Т., Дорофеев А. В., Мустаев А. Ф., Калимуллина Г. И. Структурно-функциональная модель единого образовательного пространства развития профессиональных компетенций педагога // Педагогика и просвещение. 2022. № 1. С. 103-115.
2. Алтыникова Н. В., Дорофеев А. В., Музаев А. А., Сагитов С. Т. Управление качеством педагогического образования на основе диагностики профессиональных дефицитов учителя // Психологическая наука и образование. 2022. Т. 27, № 1.
3. Лескина И. Н. Модель организации управления эффективностью профессиональной деятельности педагога на основе работы с большими данными // Человек и образование. 2021. № 4 (69).
4. Пеша А. В., Шавровская М. Н., Николаева М. А. Ассессмент-центр компетенций онлайн: возможности и методология // Вестник ОмГУ Серия: Экономика. 2021. № 2.
5. Мухамедьярова Н. А., Богачев А. Н. Формирование и оценка уровня сформированности метапредметных компетенций педагога // Вестник ЮУрГГПУ 2021. № 3 (163).
6. Шарафутдинова Д. Р. Автоматизация процесса оценки профессиональных компетенций педагога по профессиональному стандарту // Вестник УГНТУ Наука, образование, экономика. Серия: Экономика. 2020. № 1 (31).
7. Арстангалеева Г. Ф., Тезина М. Н., Слободчикова С. М. Оценка сформированности цифровых компетенций педагогических работников // Отечественная и зарубежная педагогика. 2022. Т. 1, № 3 (84). С. 140-155.
8. Гаркавая Д. И., Жилякова М. Н. Автоматизированное тестирование компетенций педагогов в рамках внутренней системы оценки качества образования дополнительного профессионального образования // Вестник Белгородского ин-та развития образования. 2020. Т. 7, № 3 (17). С. 131-145.
9. Заир-Бек С. И., Анчиков К. М. Школьные учителя в изменяющихся условиях: адаптивность и готовность к инновациям: информационный бюллетень. М.: НИУ ВШЭ, 2022. 44 с.
10. Темняткина О. В., Токменинова Д. В. Модели оценки эффективности работы педагогов, используемые в зарубежных странах // Перспективы науки и образования. 2019. № 3 (39). С. 489-499.
11. Резильентность. Оценка по модели PISA-2020 // Федеральный институт оценки качества образования. URL: https://fioco.ru/Media/Default/Documents/Резильентность%202020.pdf (дата обращения: 30.08.2021).
12. Мозгова Д. А., Замятина О. М., Семенова Н. А., Куровская Л. В. Диагностика профессиональных дефицитов и компетенции педагогов общего образования: кластерный анализ // Вестник Томского гос. ун-та. 2021. № 472. С. 189-196.
13. Шамрик Д. Л. Базовые методы восстановления пропусков в массивах данных // Информационные технологии в науке и производстве: материалы V Всерос. молодежной научно-техн. конф. 2018. С. 73- 83.
14. Ким Дж.-О., Мьюллер Ч. У, Клекка У Р. Факторный, дискриминантный и кластерный анализ / пер. с англ.; под ред. И. С. Енюкова. М.: Финансы и статистика, 1989. 215 с.
15. Пестунов И. А., Рылов С. А., Бериков В. Б. Иерархические алгоритмы кластеризации для сегментации мультиспектральных изображений // Автометрия. 2015. Т. 51, № 4. С. 12-22.
16. Кокорева Я. В., Макаров А. А. Поэтапный процесс кластерного анализа данных на основе алгоритма кластеризации k-means // Молодой ученый. 2015. № 13 (93). С. 126-128. URL: https://moluch.ru/archive/93/20759/ (дата обращения: 06.09.2021).
17. Герасименко Е. М. Интеллектуальный анализ данных. Алгоритмы Data Mining: учеб. пособие. Ростов-на-Дону; Таганрог: Изд-во Южного федерального ун-та, 2017.
18. Ulrike von Luxburg A Tutorial on Spectral Clustering // Statistics and Computing. 2007. № 17 (4).
19. Шитиков В. К., Мастицкий С. Э. Классификация, регрессия, алгоритмы Data Mining с использованием R. 2017. URL: https://github.com/ranalytics/data-mining. (дата обращения: 30.08.2021).
20. Calinski R. В., Harabasz J. A dendrite method for cluster analysis // Communications in Statistics. 1974. № 3. Р. 1-27.
21. Etienne Becht, Charles-Antoine Dutertre, Immanuel W.H. Kwok, Lai Guan Ng, Florent Ginhoux, Evan W. Newell. Evaluation of UMAP as an alternative to t-SNE for single-cell data // bioRxiv. 2018.
Referenсes
1. Sagitov S. T., Dorofeyev A. V., Mustayev A. F., Kalimullina G. I. Strukturno-funktsional'naya model yedinogo obrazovatelnogo prostranstva razvitiya professional'nykh kompetentsiy pedagoga [Structural-functional model of a unified educational space for the development of professional competencies of a teacher]. Pedagogika i prosveshcheniye, 2022, no. 1, pp. 103-115 (in Russian).
2. Altynikova N. V., Dorofeyev A. V., Muzayev A. A., Sagitov S. T. Upravleniye kachestvom pedagogicheskogo obrazovaniya na osnove diagnostiki professional'nykh defitsitov uchitelya [Management of the quality of teacher education based on the diagnosis of teacher's professional deficits]. Psikhologicheskaya nauka i obrazovaniye, 2022, vol. 27, no. 1 (in Russian).
3. Leskina I. N. Model organizatsii upravleniya effektivnostyu professionalnoy deyatelnosti pedagoga na osnove raboty s bolshimi dannymi [Model for organizing the management of the effectiveness of a teacher's professional activity based on working with big data]. Chelovek i obrazovaniye, 2021, no. 4 (69) (in Russian).
4. Pesha A. V., Shavrovskaya M. N., Nikolayeva M. A. Assessment-tsentr kompetentsiy onlayn: vozmozhnosti i metodologiya [Online Assessment Competence Center: Opportunities and Methodology]. Vestnik OmGU. Seriya: Ekonomika, 2021, no. 2 (in Russian).
5. Mukhamedyarova N. A., Bogachev A. N. Formirovaniye i otsenka urovnya sformirovannosti metapredmetnykh kompetentsiy pedagoga [Formation and assessment of the level of formation of teacher's meta-subject competencies]. Vestnik YUUrGGPU, 2021, no. 3 (163) (in Russian).
6. Sharafutdinova D. R. Avtomatizatsiya protsessa otsenki professionalnykh kompetentsiy pedagoga po professionalnomu standartu [Automation of the process of assessing the professional competencies of a teacher according to the professional standard]. Vestnik UGNTU. Nauka, obrazovaniye, ekonomika. Seriya: Ekonomika, 2020, no. 1 (31), pp. 124-130 (in Russian).
7. Arstangaleyeva G. F., Tezina M. N., Slobodchikova S. M. Otsenka sformirovannosti tsifrovykh kompetentsiy pedagogicheskikh rabotnikov [Assessment of the formation of digital competencies of pedagogical workers]. Otechestvennaya i zarubezhnayapedagogika, 2022, vol. 1, no. 3(84), pp. 140-155 (in Russian).
8. Garkavaya D. I., Zhilyakova M. N. Avtomatizirovannoye testirovaniye kompetentsiy pedagogov v ramkakh vnutrenney sistemy otsenki kachestva obrazovaniya dopolnitel'nogo professional'nogo obrazovaniya [Automated testing of teachers' competencies within the framework of the internal system for assessing the quality of education of additional professional education]. Vestnik Belgorodskogo instituta razvitiya obrazovaniya, 2020, vol. 7, no. 3 (17), pp. 131-145 (in Russian).
9. Zair-Bek S. I., Anchikov K. M. Shkolnyye uchitelya v izmenyayushchikhsya usloviyakh: adaptivnost i gotovnost k innovatsiyam: informatsionnyy byulleten [School teachers in changing conditions: adaptability and readiness for innovation: information bulletin]. Moscow, NIU VSHE Publ., 2022. P. 44.
10. Temnyatkina O. V., Tokmeninova D. V. Modeli otsenki effektivnosti raboty pedagogov, ispol'zuyemyye v zarubezhnykh stranakh [Models for evaluating the effectiveness of the work of teachers used in foreign countries]. Perspektivy nauki i obrazovaniya, 2019, no. 3 (39), pp. 489-499 (in Russian).
11. Federal'nyy institut otsenki kachestva obrazovaniya: ofitsial'nyy sayt. Rezilentnost'. Otsenka po modeli PISA-2020, Moskva [Federal Institute for Education Quality Assessment: official website. Resilience. Assessment according to the PISA-2020 model. - Moscow] (in Russian). URL: https://fioco.ru/Media/Default/Documents/ Резильентность%>202020^ (accessed 30 August 2022).
12. Mozgova D. A., Zamyatina O. M., Semenova N. A., Kurovskaya L. A. Diagnostika professional'nykh defitsitov i kompetentsii pedagogov obshchego obrazovaniya: klasternyy analiz [The problem of assessing the professionalism and level of competence of a teacher of general and vocational education]. Vestnik Tomskogo gosudarstvennogo universiteta - Tomsk State University Journal, 2021, no. 472, pp. 189-196 (in Russian).
13. Shamrik D. L. Bazovyye metody vosstanovleniya propuskov v massivakh dannykh [Basic methods for restoring gaps in data arrays]. Informatsionnyye tekhnologii v nauke iproizvodstve: materialy V Vserossiyskoy molodezhnoy nauchno-tekhnicheskoy konferentsii [Information technologies in science and production: materials of the V All-Russian Youth Scientific and Technical Conference], 2018, pp. 73-83 (in Russian).
14. Kim Dzh.-O., Myuller Сн. U., Klekka U. R. Faktornyy, diskriminantnyy i klasternyy analiz [Factor, discriminant and cluster analysis]. Moscow, Finansy i statistika Publ., 1989. 215 p. (in Russian).
15. Pestunov I. A., Rylov C. A., Berikov B. B. Ierarkhicheskiye algoritmy klasterizatsii dlya segmentatsii mul'tispektral'nykh izobrazheniy [Hierarchical Clustering Algorithms for Segmentation of Multispectral Images]. Avtometriya - Journal of Institute of Automation and Electrometry, Siberian Branch of Russian Academy of Sciences, 2015, no. 4, pp. 12-22 ( in Russian).
16. Kokoreva Ya.V., Makarov A. A. Poetapnyy protsess klasternogo analiza dannykh na osnove algoritma klasterizatsii k-means [Step-by-step process of cluster data analysis based on k-means clustering algorithm]. Molodoy uchenyy, 2015, no. 13 (93), pp. 126-128 (in Russian). URL: https://moluch.ru/archive/93/20759/ (accessed 6 September 2021).
17. Gerasimenko Ye. M. Intellektual'nyy analiz dannykh. Algoritmy Data Mining: uchebnoye posobiye [Data mining. Data Mining Algorithms: Study Guide]. Rostov-na-Dony, Taganrog, Yuzhnyy federal'nyy universitet Publ., 2017, p. 84 (in Russian).
18. Ulrike von Luxburg A Tutorial on Spectral Clustering. Statistics and Computing, 2007, no. 17 (4).
19. Shitikov V K., Mastitskiy S.Ye. Klassifikatsiya, regressiya, algoritmy Data Mining s ispol'zovaniyem R [Classification, Regression and Other Data Mining Algorithms Using R], 2017 (in Russian). URL: https://github. com/ranalytics/data-mining (accessed 30 August 2022).
20. Calinski R. B., Harabasz J. A dendrite method for cluster analysis. Communications in Statistics, 1974, no. 3, pp. 1-27.
21. Etienne Becht, Charles-Antoine Dutertre, Immanuel W.H. Kwok, Lai Guan Ng, Florent Ginhoux, Evan W. Newell.
Evaluation of UMAP as an alternative to t-SNE for single-cell data, 2018.
Информация об авторах
Мозгова Д. А., младший научный сотрудник, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061). E-mail: [email protected]
Замятина О. М., кандидат технических наук, доцент, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061); Томский политехнический университет (пр. Ленина, 30, Томск, Россия, 634050). E-mail: [email protected]
Семенова Н. А., кандидат педагогических наук, доцент, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061). E-mail: [email protected]
Поздеева С. И., доктор педагогических наук, профессор, Томский государственный педагогический университет (ул. Киевская, 60, Томск, Россия, 634061). E-mail [email protected]
Information about the authors
Mozgova D. A., Junior Researcher, Research Laboratory of Pedagogical Measurements and Education Quality, Park of Innovative Educational Practices at the Institute of Pedagogical Education Development, Tomsk State Pedagogical University (ul. Kiyevskaya, 60, Tomsk, Russian Federation, 634061).
E-mail: [email protected]
Zamyatina O. M., Candidate of Engineering Sciences, Associate Professor, Senior Researcher, Research Laboratory of Pedagogical Measurements and Education Quality, Park of Innovative Educational Practices at the Institute of Pedagogical Education Development, Tomsk State Pedagogical University (ul. Kiyevskaya, 60, Tomsk, Russian Federation, 634061); National Research Tomsk Polytechnic University (pr. Lenina, 30, Tomsk, Russian Federation, 634050). E-mail: [email protected]
Semenova N. A., Candidate of Pedagogcal Sciences, Associate Professor, Tomsk State Pedagogical University (ul. Kiyevskaya, 60, Tomsk, Russian Federation, 634061). E-mail:[email protected]
Pozdeeva S. I., Doctor of Pedagogical Sciences, Professor, Head of the Department of Pedagogy and Methods of Primary Education, Tomsk State Pedagogical University (ul. Kiyevskaya, 60, Tomsk, Russian Federation, 634061). E-mail [email protected]
Статья поступила в редакцию 10.11.2022; принята к публикации 09.01.2023 The article was submitted 10.11.2022 accepted for publication 09.01.2023
