CC BY
0
ПОТЕНЦИАЛ ИНФОРМАЦИОННЫХ СИСТЕМ И ИНФОРМАЦИОННОЙ БЕЗОПАСНОСТИ В ОБРАЗОВАНИИ
УДК 37: 004
Автоматизация аналитических процессов в системе образования
Челябинской области
Е. В. Бенко
Статья описывает активно развивающийся подход Челябинской области к формированию аналитики по результатам мониторинговых исследований. В частности, представлены два механизма — автоматизация визуализации аналитики посредством дашбордов и автоматизация текста аналитики. Наиболее подробно в статье изложен механизм формирования текстовых аналитических материалов, создаваемых посредством программного обеспечения, написанного на языке Python. Описана разработка структурных элементов отдельных модулей программы и структура получаемого по результатам работы программы текстового шаблона. В заключение перечислены основные эффекты в системе образования Челябинской области, получаемые в ходе постепенной автоматизации аналитических процессов в рамках проводимых мониторинговых исследований и оценочных процедур.
Ключевые слова: анализ данных, управление на основе данных, автоматизированная аналитика, дашборд, Python, мониторинг системы образования, дебюрократизация системы образования.
Согласно Федеральному закону «Об образовании в Российской Федерации» от 29.12.2012 № 273-Ф3 (ред. от 25.12.2023) органы государственной власти субъектов Российской Федерации, органы местного самоуправления и организации, осуществляющие образовательную деятельность, должны осуществлять мониторинг и обеспечивать открытость информации о системе образования (статья 97). Это, с одной стороны, согласуется с концепцией управления на основе данных, согласно которой наиболее эффективные управленческие решение формируются на основе анализа данных [4], а с другой —
противоречит требованию о снижении бюрократической нагрузки на образовательные организации, которая негативно сказывается на качестве образования, способствует профессиональному выгоранию работников, их депрофессионализации [2, с. 90-91] и даже увольнению из образовательной организации [3, с. 211]. В итоге получается, что мониторинг системы образования проводиться обязан, управленческие решения, формируемые на его основе необходимы, но реализовывать-ся все должно без вовлечения сотрудников образовательных организаций.
В связи с этим в Челябинской области на сегодняшний день активно осуществляется перевод всех мониторинговых исследований в автоматизированный вид, когда данные агрегируются из различных федеральных и региональных систем, а не собираются запросами непосредственно с нижестоящих организаций. Это позволяет значительно снизить существующую бюрократическую нагрузку как на образовательные организации, так и на органы местного самоуправления, осуществляющих управление в сфере образования.
Однако при реализации такой политики встает вопрос об открытости и прозрачности результатов таких мониторингов для их участников. Если мониторинговое исследование проводится без привлечения специалистов образовательных организаций и органов управления образования, то как они могут ознакомиться со своими результатами, критериями оценки и, в принципе, с самим фактом проведения оценки их деятельности? И, как следствие, как это поможет улучшить качество условий и результатов системы образования региона?
Именно для решения данных вопросов, помимо автоматизации расчетов самих мони-
торингов, следующей приоритетной задачей региональной политики в сфере образования Челябинской области становится автоматизация аналитических процессов. Ключевая цель данной разработки — повышение открытости оценки качества системы образования на всех ее уровнях (институциональном, муниципальном и региональном) с соблюдением требований дебюрократизации. Автоматизация аналитических процессов на сегодняшний реализуется посредством двух основных механизмов — автоматизации визуализации аналитики и автоматизации текста аналитики.
В рамках визуализации аналитики выступает разработка дашбордов, которые представляют собой интерактивные отчеты, позволяющие посредством системы фильтров сформировать графики и диаграммы в любом требуемом разрезе. Например, ознакомиться с результатами мониторинга конкретного муниципального образования, отдельной организации или увидеть различия результатов у разных групп участников мониторинга (к примеру, дошкольных и общеобразовательных организаций). Более подробно об особенностях построения хранилищ данных и дашбордов, а также об особенностях их использования в системе образования мы писали ранее [1].
Специально для агрегации всех разрабатываемых дашбордов с января 2022 года функционирует ситуационно-информационный центр «Образование в Челябинской области» (далее — СИЦ). На сегодняшний день в СИЦ располагается 26 дашбордов с результатами всех ключевых мониторинговых исследований за прошедшие несколько лет. Актуальной ведущей тенденцией в развитии данного инструмента является разработка дашбордов, в том числе с результатами федеральных и региональных оценочных процедур, таких как всероссийские проверочные работы (далее — ВПР), и региональных исследований качества образования (далее — РИКО). Это позволит анализировать не только условия качества образования, оцениваемые в рамках различных мо-ниторингов, но также и его результаты.
Визуализация аналитики с последующим ее размещением в СИЦ значительно повысила прозрачность системы образования региона, собрав в едином месте огромный объем статистической информации. Кроме того, она также способствовала значительному повы-
шению качества и скорости подготовки аналитических справок на региональном и муниципальных уровнях. Это, в свою очередь, стало одним из основных механизмов реализации data driven-подхода в системе образования Челябинской области, повысив, кроме того, скорость и качество принимаемых управленческих решений.
Тем не менее повысить скорость подготовки аналитических справок не значит не делать их вообще, что вновь нас выводит к проблеме наличия отчетной нагрузки, причем преимущественно на муниципальном уровне. Это обусловлено тем, что выводы, формируемые на региональном уровне, имеют зачастую обобщенный характер и не могут в полной мере подробно описать ситуацию в каждом муниципальном образовании региона. Следовательно, они не могут быть в полной мере применены к принятию решений на муниципальном уровне, из чего следует, что каждый муниципальный орган должен также подготовить свой собственный аналитический материал. При этом структура и качество аналитики, а также объективность обработки данных зависят напрямую от профессионализма каждого отдельного специалиста, что может иметь негативные последствия для объективности результатов.
Все это становится предиктором для реализации другого механизма автоматизации аналитических процессов, а именно автоматизации текста. Если можно создать визуальный шаблон, который будет посредством фильтров подстраиваться для отдельных групп и конкретных участников, значит можно создать и текстовый шаблон, который будет наполняться соответствующей информацией.
Очевидно, что формирование подобных отчетов не является глобально чем-то инновационным — схожие продукты реализованы уже давно и часто встроены непосредственно в информационные системы. Однако, в случае процесса дебюрократизации системы образования Челябинской области, мы сталкиваемся с проблемой разрозненности данных и отсутствия единой агрегирующей системы. В связи с переводом многих мониторингов в автоматизированный вид без запроса данных с нижестоящих органов и образовательных организаций, все необходимые сведения выгружаются в разных форматах из различных источников, в том числе сторонних информаци-
онных систем, к разработке которых нет доступа. Все вышеперечисленное не позволяет реализовать механизм анализа данных непосредственно внутри какой-то информационной системы, поскольку такой универсальной централизованной системы попросту не существует. Именно это во многом и обусловило потребность в создании отдельного аналитического программного обеспечения на уровне региона.
Данная разработка получила название «автоматизированный аналитический материал», или сокращенно ААМ. ААМ — это результат автоматической обработки данных, вписанный в текстовый шаблон. Шаблоны бывают двух типов — муниципальный (региональный), который описывает результаты определенной совокупности участников мониторинга или оценки качества образования, и институциональный, предоставляющий результат непосредственно участнику.
Таким образом, по результатам большинства мониторингов, особенно по результатам тех, которые проводятся централизованно без запроса данных, каждому муниципальному органу управления образования предоставляется статистико-аналитический отчет, который готов по сути на 50%. Ответственный специалист получает подробную текстовую информацию о количестве участников мониторинга, проценте реализации того или иного требования, предъявляемого мониторингом, перечни образовательных организаций муниципалитета, достигших того или иного уровня соответствия требованиям, а также основные затруднения, с которыми сталкиваются участники. Для завершения отчета ответственному специалисту потребуется определить возможные причины тех или иных значений и на основании полученных данных сформулировать подходящие управленческие решения по улучшению условий качества образования. В случае необходимости в аналитическую справку могут быть также добавлены визуализации из соответствующего дашборда.
Второй тип шаблона, для каждого участника, предоставляет возможность руководителю каждой образовательной организации получить полную информацию о том, сколько баллов он набрал, какому уровню соответствует его результат, а также увидеть свои основные затруднения или полный перечень всех вопросов мониторинга с процентом реализации каждого из них. Как и в случае с му-
ниципальным ААМ, участнику предоставляется самостоятельно принимать управленческие решения на основе данных.
Остановимся подробнее на технической реализации подобного программного обеспечения. Языком программирования в данном случае был выбран Python за его удобство в использовании для анализа данных, в частности благодаря наличию разнообразных библиотек для работы с различными форматами данных.
В связи с тем, что структура и содержание каждого мониторинга и оценочной процедуры сильно различаются между собой, невозможно было создать единый универсальный подход к парсингу, анализу данных и текстовому описанию. Это обусловило необходимость в разработке модульной программы, каждый модуль которой направлен на формирование аналитики по одной конкретной процедуре или совокупности нескольких очень похожих процедур.
На сегодняшний день в программе реализовано шесть модулей:
— Мониторинг системы образования (постановление Правительства РФ от 05.08.2013 № 662 «Об осуществлении мониторинга системы образования») (2021 год, статистический модуль без текстового шаблона);
— Мониторинг оценки эффективности деятельности руководителя (2023 год);
— Мониторинг эффективности системы организации воспитания обучающихся (2023 год);
— Самодиагностика школ Минпросвеще-ния России (2023 год);
— Мониторинг ИК-инфраструктуры системы образования Челябинской области (2024 год);
— Мониторинг качества условий реализации основных и адаптированных общеобразовательных программ в соответствии с требованиями федеральных государственных стандартов (мониторинги ФГОС ОО и ФГОС ОВЗ) (2024 год).
Архитектура каждого модуля ААМ содержит пять основных структурных элементов:
1. Загрузка данных.
В связи с тем, что информация в рамках даже одного мониторинга может браться из различных информационных систем и иметь разную структуру и формат данных, механизм загрузки данных было невозможно реализовать единым способом. Кроме того, некоторые си-
стемы являются федеральными или разрабатываются сторонними разработчиками, что не позволяет подключиться к ним напрямую.
В связи с этим было принято решение реализовать механизм загрузки данных посредством чтения информация из отчетов, выгруженных предварительно из систем и расположенных локально на компьютере с аналитической программой. Для парсинга данных использовались библиотеки Python для работы с файлами в форматах csv, json, xlsx, xml.
В зависимости от количества и типов загружаемых исходных файлов и частоты их изменяемости в конкретном модуле либо прописывается абсолютный путь до конкретного файла, либо создается виджет для выбора папки с исходными файлами. Последний способ используется, к примеру, при анализе статистической отчетности, насчитывающей до двух тысяч файлов.
2. Формирование словарей.
По каждому респонденту мониторинга формируется подробный словарь с информацией о значениях каждого показателя, агрегирующего показателя и итогового результата мониторинга. Кроме того, подобный словарь всегда содержит информацию о типе образовательной организации, ее наименовании и территориальной принадлежности. Ключом в словаре всегда выступает ИНН организации, который является естественным уникальным идентификатором каждой образовательной организации, и позволяет, в случае необходимости, также объединить данные из разных систем в один словарь.
Например, в случае анализа результатов с учетом контекстных данных, может также добавляться блок с дополнительной информацией об участнике мониторинга, например отметка о том, что школа является коррекци-онной, или указание типа местности (городская или сельская), в котором расположена образовательная организация, и т. д.
Организация данных подобным образом в дальнейшем позволяет их группировать для создания аналитики отдельно по региону, муниципалитетам и/или типам организаций, а также отдельно по каждой организации.
3. Формирование сводных Excel таблиц.
Для удобства работы специалистов муниципальных органов управления образованием для каждого муниципалитета выгружается информация в формате сводных таблиц.
Для формирования табличных статистических отчетов использовались самая известная библиотека Python для работы с массивами — pandas.
Отдельное формирование Excel-выгрузок, помимо готовых текстовых шаблонов, обусловлено сразу несколькими факторами. Во-первых, некоторые модули невозможно реализовать в виде текстового шаблона или загрузить данные в дашборд в связи с большим количеством разрозненных показателей. Примером этого является ежегодный мониторинг системы образования (постановление Правительства РФ от 05.08.2013 № 662).
Во-вторых, в рамках других мониторингов табличная выгрузка — это возможность для заинтересованных специалистов провести собственный анализ данных и построить дополнительные графики.
В-третьих, в связи с особенностями восприятия разных людей, для некоторых табличная форма значительно удобнее текстового или графического представления данных.
4. Формирование аналитической справки для каждого муниципального органа управления образованием.
Для реализации данного элемента программы заранее формируются текстовые блоки, в том числе разные варианты одного смыслового элемента в случае ветвления условий. Блоки текста хранятся также в словаре, программа обращается к ним по ключу последовательно в соответствии с разработанной структурой аналитики для каждого конкретного мониторинга. Формируемый в итоге текст с подставленными в шаблоны значениями сразу же записывается в текстовый документ посредством библиотеки python-docx. Кроме того, здесь также используется maltplotlib для визуализации данных двумерной графикой.
Обычно структура такой справки включает в себя общий блок, в котором даны итоги мониторинга и списки организаций по уровням. А затем запускается цикл по каждой шкале мониторинга, в рамках которой выделяются основные затруднения, с которыми столкнулись участники. Для лучшего понимания на рисунке 1 в качестве примера представлена структура аналитической справки по результатам мониторинга «Самодиагностика школ Минпросвещения» в 2023 году.
Рис. 1. Структура автоматизированного аналитического материала по результатам мониторинга «Самодиагностика школ Минпросвещения» в 2023 году
5. Формирование аналитической справки по каждому участнику.
Данный элемент по своей сути и технической реализации схож с предыдущим. Здесь используется немного иная структура аналитики, которая в целом остается в такой же логике, но лишается своих отдельных элементов (например, списков и таблиц с распределением). Текстовые блоки теперь направлены персонально на участника мониторинга и описывают конкретно его результаты.
В зависимости от мониторинга или оценочной процедуры выборка участников насчитывает от нескольких сотен до 2,5 тысяч организаций. В связи с этим в программе реализован механизм распределения формируемых текстовых документов по папкам в соответствии с территориальной и типовой принадлежностью каждой организации, чтобы облегчить поиск необходимого отчета. Так, путь из папки с аналитикой до исходного файла выглядит следующим образом: наименование мониторинга / наименование муниципалитета / тип образовательной организации / файл с наименованием организации.
Завершая описание технической реализации программы, следует отметить, что в целом время работы одного такого модуля составляет от 3 минут до 15 минут в зависимости от объема загружаемой и выгружаемой информации. Единственным исключением является модуль мониторинга системы обра-
зования, чье время работы составляет около 40 минут, в связи с необходимостью загрузки около 3,5 тысяч файлов, большая часть которых хранится в тяжеловесных х^х форматах. Безусловно это несоизмеримо малое время по сравнению с подготовкой подобных отчетов каждым муниципальным органом управления образования в ручном режиме, которая явно исчисляется не одним часом.
Таким образом, процессы автоматизации аналитических процессов позволяют одновременно обеспечивать и требование к снижению бюрократической нагрузки, и требование к проведению регулярного мониторинга системы образования, и требование к соблюдению открытости и прозрачности результатов оценочных процедур.
На сегодняшний день мы имеем следующие эффекты в системе образования Челябинской области:
1. Значительно повысилась объективность аналитических материалов на региональном и муниципальном уровнях в силу автоматизации процесса и снижения человеческого фактора при обработке данных.
2. Подготовка полноценных аналитических справок на региональном и муниципальном уровнях ускорилась в разы за счет заранее заготовленного текстового аналитического шаблона, сформированных статистических таблиц и интерактивных диаграмм в дашбордах.
3. Автоматически сформированные ключевые затруднения по каждой организации и муниципалитету в целом ускорили процессы принятия управленческих решений на всех уровнях (региональном, муниципальном, институциональном).
Перспективами развития автоматизации аналитических процессов является разработка новых дашбордов и модулей автоматизированной аналитики, в частности, как указывалось выше, по результатам федеральных и региональных оценочных процедур (ВПР и РИКО). Кроме того, планируется постепенное внедрение графиков в каждый модуль ААМ, а также добавление блока с отслеживанием динамики результатов в случае анализа результатов постоянных процедур.
Список литературы
1. Бенко, Е. В. Дашборд как эффективный инструмент анализа данных в системе образования / Е. В. Бенко, Б. П. Томин // Научно-методическое обеспечение оценки качества образования. — 2023. — № 1 (17). — С.75-82.
2. Полутин, С. В. Процессы бюрократизации и дебюрократизации учительского труда и их влияние на качество профессиональной деятельности педагогов: результаты социологического проекта / С. В. Полутин, Ю. В. Ма-нанникова // Интеграция образования. — 2020. — Т. 24, № 1 (98). — С. 75-97.
3. Толстик, В. А. Дебюрократизация высшего юридического образования — важнейшее условие повышения его качества / В. А. Толстик // Юридическая наука и практика : Вестник Нижегородской академии МВД России. — 2023. — № 3 (63). — С. 210-216.
4. Трофимов, В. В. О концепции управления на основе данных в условиях цифровой трансформации / В. В. Трофимов, Л. А. Тро-
фимова // Петербургский экономический журнал. — 2021. — № 4. — С. 149-155.
References
1. Benko, E. V., Tomin, B. P. Dashbord kak effektivnyy instrument analiza dannykh v sisteme obrazovaniya / Nauchno-metodicheskoe obespe-chenie otsenki kachestva obrazovaniya, 2023, No. 1 (17), ss. 75-82.
2. Polutin, S. V., Manannikova, Yu. V. Protsessy byurokratizatsii i debyurokratizatsii uchitel'skogo truda i ikh vliyanie na kachestvo professional'noy deyatel'nosti pedagogov: rezu-l'taty sotsiologicheskogo proekta / Integratsiya obrazovaniya, 2020, T. 24, No. 1 (98), ss. 75-97.
3. Tolsti,k V. A. Debyurokratizatsiya vysshego yuridicheskogo obrazovaniya — va-zhneyshee uslovie povysheniya ego kachestva / Yuridicheskaya nauka i praktika: Vestnik Nizhe-gorodskoy akademii MVD Rossii, 2023, No. 3 (63), ss. 210-216.
4. Trofimov, V. V., Trofimova, L. A. O kon-tseptsii upravleniya na osnove dannykh v usloviyakh tsifrovoy transformatsii / Peter-burgskiy ekonomicheskiy zhurnal, 2021, No. 4, ss. 149-155.
Сведения об авторе
Бенко Елизавета Вячеславовна —
начальник отдела мониторинговых исследований и анализа больших данных ГБУ ДПО «Челябинский институт развития образования», кандидат психологических наук, г. Челябинск.
Information about the author
Benko E. V. —Head of the Department of Monitoring Research and Big Data Analysis, Chelyabinsk Institute of Education Development, Candidate of Psychological Sciences, Chelyabinsk.
