CC BY
64
RUDN Journal of Informatization in Education
Вестник РУДН. Серия: Информатизация образования
ISSN 2312-8631 (Print); ISSN 2312-864X (Online) I 2022 Vol. 19 No. 4 312-327
http://journals.rudn.ru/informatization-education
DOI 10.22363/2312-8631-2022-19-4-312-327 УДК 378.1
Научная статья / Research article
Вопросно-критериальный способ оценки качества цифровой образовательной среды организации
Н.И. Пак , A.A. Сыромятников
Красноярский государственный педагогический университет имени В.П. Астафьева,
Красноярск, Российская Федерация ^ [email protected]
Аннотация. Постановка проблемы. Вопросы оценивания качества цифровой образовательной среды (ЦОС) организации приобретают свою актуальность в связи с необходимостью цифровой трансформации образования. В основном мероприятия по мониторингу образовательных сред и ресурсов в учебных заведениях проводятся экспертными, ручными и трудозатратными способами. Представляет интерес создание технологичного, доступного и удобного метода оценивания многокомпонентных и многомерных образовательных систем, с максимальной долей автоматизации и интеллектуализации всех сопутствующих мероприятий. Цель исследования - обоснование вопросно-критериального способа оценки качества цифровой образовательной среды организации, опирающегося на математические методы теории кластеризации и распознавания образов (на примере мониторинга развития цифровой образовательной среды практик дополнительного образования детей). Методология. Качество образовательных систем или ресурсов можно оценивать с помощью присущих им критериальных показателей, представимых в виде информационного вектора. Текущие значения этих показателей определяют рейтинг заданной системы в совокупности подобных систем, а динамика их изменений во времени показывает степень развития каждого критериального признака. Листы мониторинга, описывающие каждую систему информационным вектором, представляют множество объектов, которые можно кластеризовать на определенные классы. С математической точки зрения подобные системы удобно разделять на классы с помощью горного алгоритма, а в качестве меры сходства объектов принять метрику городских кварталов. Результаты. Мониторинг цифровой образовательной среды организации проводится по функциональным характеристикам среды на основе оценки официального сайта организации. По методу пирамиды разработано вопросное дерево по функциональным компонентам цифровой образовательной среды практик дополнительного образования детей, по нему сформирован информационный вектор среды, значения которого определены экспертно. Оценка сайтов осуществляется по экспертным оценкам в автоматизированной системе конкурсных процедур «АСКО». Заключение. Предложенный метод позволяет проводить мониторинг цифровой образовательной среды организации с использованием математических методов теории кластеризации и распознавания образов.
Ключевые слова: цифровая образовательная среда, вопросно-критериальный способ, оценивание, кластеризация практик, дополнительное образование, дети, мониторинг цифровой среды
© Пак Н.И., Сыромятников А.А., 2022
lice) I work is licensed under a Creative Commons Attribution 4.0 International License
https://creativecommons.Org/licenses/by-nc/4.0/legalcode
Благодарности и финансирование. Исследование выполнено по проекту «Создание национальной системы мониторинга развития цифровой образовательной среды практик дополнительного образования детей», который реализуется при финансовой поддержке Министерства просвещения РФ, в рамках государственного задания № 073-00052-21-01.
История статьи: поступила в редакцию 25 июня 2022 г.; доработана после рецензирования 10 июля 2022 г.; принята к публикации 27 июля 2022 г.
Для цитирования: Пак Н.И., Сыромятников А.А. Вопросно-критериальный способ оценки качества цифровой образовательной среды организации // Вестник Российского университета дружбы народов. Серия: Информатизация образования. 2022. Т. 19. № 4. С. 312-327. http://doi.org/10.22363/2312-8631-2022-19-4-312-327
Question and criterion method for assessing the quality of the organization's digital educational environment
Nikolay I. Pak , Alexey A. Syromyatnikov
Krasnoyarsk State Pedagogical University named after V.P. Astafyev, Krasnoyarsk, Russian Federation ^ [email protected]
Abstract. Problem statement. Issues of assessing the quality of the digital educational environment of the organization acquire their relevance in connection with the need for digital transformation of education. Basically, measures to monitor educational environments and resources in educational institutions are carried out in expert, manual and labor-intensive ways. It is of interest to create a technological, accessible and convenient method for evaluating multi-component and multi-dimensional educational systems, with the maximum share of automation and intellectualization of all related events. The purpose of the study is to substantiate the question and criterion method for assessing the quality of the digital educational environment of an organization based on mathematical methods of the theory of clustering and pattern recognition (using the example of monitoring the development of the digital educational environment of additional education practices for children). Methodology. The quality of educational systems or resources can be assessed using their inherent criteria, presented in the form of an information vector. The current values of these indicators determine the rating of a given system in a set of similar systems, and the dynamics of their changes over time shows the degree of development of each criterion sign. Monitoring sheets describing each system with an information vector represent a plurality of objects that can be clustered into certain classes. From a mathematical point of view, it is convenient to divide such systems into classes using a mining algorithm, and to take the metric of city blocks as a measure of the similarity of objects. Results. Monitoring of the organization's digital educational environment is carried out according to the functional characteristics of the environment based on the assessment of the organization's official website. According to the pyramid method, a question tree was developed on the functional components of the digital educational environment of additional education practices for children, according to which an information vector of the environment was formed, the values of which were determined by experts. Assessment of sites is carried out according to expert estimates in the automated system of competitive procedures "ASCO" Conclusion. The proposed method allows monitoring the digital educational environment of an organization using mathematical methods of clustering theory and pattern recognition.
Keywords: digital educational environment, question-criterion assessment method, clustering of practices, additional education, children, monitoring, digital environment
Acknowledgements and Funding. The study was carried out under the project "Creation of a national system for monitoring the development of the digital educational environment of additional education practices for children," which is being implemented with financial support from the Ministry of Education of the Russian Federation, within the framework of state task No. 073-00052-21-01.
Article history: received 25 June 2022; revised 10 July 2022; accepted 27 July 2022.
For citation: Pak NI, Syromyatnikov AA. Question and criterion method for assessing the quality of the organization's digital educational environment. RUDN Journal of Informatization in Education. 2022;19(4):312-327. (In Russ.) http://doi.org/10.22363/2312-8631-2022-19-4-312-327
Постановка проблемы. Создание и развитие цифровой образовательной среды (ЦОС) сегодня рассматривается как условие и как начальный этап цифровой трансформации образования. Ее создание подразумевает различные уровни реализации, и, в каждой образовательной организации, включая организации дополнительного образования детей, должна быть создана своя ЦОС. И на этом этапе становятся актуальными вопросы оценки состояния и мониторинга развития ЦОС на разных уровнях. ЦОС организации дополнительного образования детей должна строиться на основе принятой обобщенной модели1 в рамках федерального проекта «Цифровая образовательная среда» с учетом организационной и содержательной специфики деятельности. Однако, в программных документах не описаны механизмы такого оценивания. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества, системы оценивания, подлежащей автоматизации и интеллектуализации для мониторинга многоуровневой, многокомпонентной цифровой образовательной среды.
Цель работы - обоснование вопросно-критериального способа оценки качества цифровой образовательной среды организации, опирающегося на математические методы теории кластеризации и распознавания образов (на примере мониторинга развития цифровой образовательной среды практик дополнительного образования детей).
Проектирование и оценка образовательной среды - это задача, которая решается на протяжении многих лет. Рассматриваются различные аспекты оценки образовательных сред школы, вуза в условиях цифровизации, данный опыт и диагностический инструментарий является важным условием для развития подходов к оценке ЦОС. Так сделаны попытки оценки информационно-образовательной среды вуза в условиях ее цифровизации на основе экопсихологического подхода [1], предложена методика оценки качества информационно-образовательной среды школы на основе адаптированной системы оценки Self-review Framework for ICT (Naace SRF) [2], Однако, современные процессы цифровой трансформации образования приводят к необ-
1 Приказ Министерства Просвещения РФ от 02.12.2019 г. № 649 «Об утверждении Целевой модели цифровой образовательной среды». URL:
https://www.garant.ru/products/ipo/prime/doc/73235976/?ysclid=l3o3v13lv4 (дата обращения: 27.06.2022).
ходимости делать определенные акценты при понимании и оценке информационно-образовательной среды. Так, определены критерии оценки ЦОС: согласованность, мобильность, открытость, неформальность, полнота, свобода, доступность, безопасность, а сама методика находится все еще в стадии разработки [3]. Авторами рассматриваются отдельные аспекты, однако комплексный, общепринятый подход оценки ЦОС до сих пор не разработан. В то же время, отмечается несостоятельность, ограниченность квалиметри-ческого подхода к оценке информационно-образовательной среды [4].
В последнее время наибольшую популярность приобретает технология критериального оценивания. В основе критериального оценивания лежит четкое представление о том, как в идеале должен выглядеть результат, а оценивание означает такую шкалу как определение степени приближения к данной цели. Этот принцип делает критериальное оценивание наиболее подходящим инструментом для оценки и мониторинга образовательных достижений и сред. Для эффективного применения этой технологии необходимо определение основных компонентов системы критериального оценивания. Ключевым является критерий, под ним понимается признак, на основании которого производится оценка. Показатель или дескриптор в процедуре оценивания рассматривается как измеряемая характеристика какой-то одной стороны признака (критерия) изучаемого объекта. Показатель служит для получения количественной или качественной информации о проявлении этой стороны признака2. Дескрипторы описывают уровни шкалы достижения результата по каждому критерию.
Важным этапом критериального оценивания образовательных сред, в том числе цифровой образовательной среды, является определение понятия и описание структуры объекта оценивания. Многообразие определений понятия «цифровая образовательная среда», существующее в педагогической литературе, обусловлено сделанными авторами смысловыми акцентами при определении структуры среды. Так, в [5], при определении ЦОС, делается акцент на технических решениях для поддержки учебно-методической и информационной деятельности. Авторами [6], ЦОС понимается как «опосредованный использованием цифровых технологий и цифровых образовательных ресурсов комплекс отношений в образовательной деятельности, способствующих реализации субъектами образовательного процесса возможностей по освоению культуры, способов самореализации, выстраивания социальных отношений, нацеленных на формирование ответственного цифрового поведения гражданина современного общества». Такой психолого-педагогический акцент обуславливает соответствующую структуру среды и позволяет определить критерии и шкалу всесторонней оценки, как утверждают авторы [7], ЦОС с позиции удовлетворенности электронной образовательной средой. Так же, некоторые исследователи, определяя ЦОС, отражают лишь общее назначение среды без какой-либо конкретики ее структуры: «открытая совокупность информационных систем, предназначенных для обеспечения раз-
2 Педагогический словарь: учебное пособие для студентов высших учебных заведений / под ред. В.И. Загвязинского, А.Ф. Закировой. М.: Академия, 2008. 343 с.
личных задач процесса образования3. С такими подходами, в рамках нашего исследования, трудно согласиться. Критериальный подход к оценке ЦОС, требует всестороннего и полного описания среды с использованием признаков и показателей оценки. Будем придерживаться определения ЦОС, данного авторами [8], как «совокупность аппаратного и программного обеспечения, а также образовательного и управленческого контента, обеспечивающая все информационные запросы субъектов образовательного процесса при любых организационных вариантах обучения (контактном, дистанционном, смешанном, гибридном)».
Таким образом, общая задача оценки ЦОС, в свете принятого выше определения понятия «цифровая образовательная среда», сводится к выявлению и оценке (качественной и количественной) каждой из групп ее характеристик. На этом этапе представляет интерес применение метода пирамиды Б. Минто. Суть метода заключается в выборе основного вопроса или ситуации, делящихся на ряд проблем и задач, которые далее также разделяются на части до тех пор, пока разбивка не приведет к конкретным решениям. Высокая эффективность для мониторинговых и оценочных процедур при оценке качества цифровых образовательных сред метода пирамиды отмечается в работе. Кроме того, применение элементов вопросного метода прослеживается в методологии оценки цифровой зрелости организации4, разработанной Центром перспективных управленческих решений, при определении дескрипторов в каждом блоке показателей цифровой трансформации организации. Таким образом, если использовать вопросный метод для определения не только показателей, но и для определения критериев и рубрик, то удачное построение дерева вопросов позволит экспертам объективно давать ответы на них. Суммирующие оценки экспертных ответов по всем веткам «пирамиды вопросов» позволят не только в целом дать характеристику оцениваемого объекта, но и диагностировать качества отдельных его частей и компонент.
Методология. Обобщенную модель критериального оценивания ЦОС организации можно представить в виде схемы (рис. 1) Критериями модели оценивания являются количественные и качественные характеристики ЦОС. А их показателями (дескрипторами) являются значения характеристик xi, для группы количественных характеристик, определяющие значение из интервала шкалы дескриптора в баллах с учетом ценности или веса данного критерия в общей системе оценивания. И значения характеристик у, для группы качественных характеристик, из интервала шкалы дескриптора в баллах, определяемые экспертным путем.
Таким образом, для каждой характеристики ЦОС получаем уровень его оценки, который определяется информационным вектором (л, X2, ... xn) для количественных характеристик и (у1, У2, ... Уп) для качественных характеристик, в некоторой шкале оценки качества ЦОС (например, низкий, средний, высокий уровень).
3 Кушнир М. Цифровая образовательная среда. URL: https://medium.com/direktoria-online/thedigital-learning-environment-f1255d06942a (дата обращения: 27.06.2022).
4 Оценка цифровой зрелости. URL: https://cpur.ru/projects_inside-project_grading (дата обращения: 27.06.2022).
Рис. 1. Обобщенная модель критериального оценивания ЦОС организации
Figure 1. Generalized model of criteria assessment of the organization's digital educational environment
Для определения элементов системы критериального оценивания и мониторинга ЦОС практик дополнительного образования детей воспользуемся методом пирамиды Б. Минто. В результате получим иерархическое дерево вопросов, приводящее нас к описанию критериев и шкал дескрипторов.
Первый уровень вопросов позволяет определить функции и структуру, результативность (затраты/продуктивность) ЦОС организации дополнительного образования детей (рис. 2).
Как можно оценить результативность (затраты/продуктивность) ЦОС системы ДОД?
Рис. 2. Фрагмент дерева вопросов. Первый уровень
How can you assess the effectiveness of the digital educational environment of the additional education system for children?
Figure 2. A fragment of the question tree. First level
Из принятого нами выше определения ЦОС вытекают ее функции:
• ресурсная - размещение и хранение структурированного контента учебного назначения и информации для управления обучением;
• коммуникационная - обеспечение доступа обучающихся и педагогов к контенту, коммуникация субъектов образовательного процесса, обеспечение cooperative learning;
• инструментальная - обеспечение обучающихся инструментальными программами и приложениями, необходимыми для выполнения учебных заданий;
• организационная - обеспечение возможности для преподавателя управления процессом обучения.
При определении структуры ЦОС организации дополнительного образования детей выделим четыре направления: материально-техническая база, информационные системы, управление образованием, информационно-образовательные ресурсы. Таким образом, получаем второй уровень вопросов в вопросной пирамиде (рис. 3).
На основе требований к ЦОС, предложенных в [8], и приказе Министерства просвещения РФ «Об утверждении Целевой модели цифровой образовательной среды»5, а также, с учетом критериев и показателей качества цифровой среды, определенных авторами [9], выделим показатели ЦОС по каждому направлению. По направлению «Материально-техническая база»
5 Приказ Министерства Просвещения РФ от 02.12.2019 г. № 649 «Об утверждении Целевой модели цифровой образовательной среды». URL:
https://www.garant.ru/products/ipo/prime/doc/73235976/?ysclid=l3o3v13lv4 (дата обращения: 27.06.2022).
показатели для ЦОС разделим на количественные: скорость подключения к сети Интернет, количество единиц вычислительной техники, используемой в образовательном процессе относительно количества обучающихся, количество единиц вычислительной техники, используемой работниками организации относительно количества работников, количество лицензий на использование специализированного программного обеспечения для функций управления организацией и образовательным процессом, количество комплексов презентационного оборудования относительно количества учебных помещений, количество учебных занятий, проходящих с использованием презентационного оборудования и вычислительной техники относительно всех занятий в образовательной организации. И качественные показатели по направлению «Материально-техническая база»: наличие программного обеспечения и технологических решений для управления финансово-хозяйственной деятельностью организации и организации электронного документооборота, наличие кабинета (возможно совмещенного с библиотекой или информационно-библиотечным комплексом), в котором вычислительная техника может быть использована для самостоятельной работы по установленному расписанию, соответствие телекоммуникационной инфраструктуры для обеспечения технологической связанности оборудования с региональной и федеральной информационно-сервисной платформой.
Рис. 3. Фрагмент дерева вопросов. Второй уровень
Figure 3. A fragment of the question tree. Second level
По направлению «Информационные системы» в качестве показателей примем: реализацию технологической совместимости с региональной информационной системой и ресурсами платформы цифровой образовательной среды по типу «одного окна», реализацию технологии идентификации и аутентификации пользователей, возможность получения в автоматизированном виде обработанной статистической информации о результатах учебной деятельности в форме, соответствующей документам отчетности, наличие средств коммуникации участников образовательного процесса для проведения занятий в группах, в том числе с использованием интерактивной связи участников образовательного процесса, реализацию безопасности доступного обучающимся контента, наличие инструментов оплаты за использование цифрового образовательного контента, наличие
возможности просмотра и использования выбранного цифрового образовательного контента встроенными средствами без установки дополнительного программного обеспечения для потребителей, наличие функциональной возможности по формированию единицы контента или контентной группы, а также интерфейса для их последующей загрузки, хранения, актуализации и предоставления потребителям предусмотренными средствами и программным обеспечением.
По направлению «Управление образованием» в показатели для ЦОС важно включить наличие избыточной информации об образовательных программах и условиях реализации. Наличие электронного расписания учебных занятий, электронных дневников, электронного журнала. Понятное описание условий обучения, с описанием прогнозируемых результатов обучения. Возможность контроля занятости и деятельности ребенка. Возможность включить результаты обучения в портфолио ребенка. Наличие инструментов для организации педагогической диагностики. Автоматизация процесса заполнения журнала и дневника за счет интеграции систем журнала, дневника с электронным курсом или веб-сопровождением обучения по программе дополнительного образования. Наличие инструмента для получения статистических данных по успеваемости, посещаемости и пр. показателям эффективности организации учебного процесса по программам обучения. Наличие профессионального цифрового портфолио педагога. Автоматизация процесса заполнения журнала и дневника за счет интеграции систем журнала, дневника с электронным курсом или веб-сопровождением обучения по программе дополнительного образования. Все это имеет особое значение для системы дополнительного образования.
По направлению «Информационно-образовательные ресурсы» в список показателей ЦОС важно включить наличие встроенных в используемые информационно-сервисной платформы инструментов для совместной работы с интересными сервисами, позволяющими решать различные педагогические задачи, например применение современных педагогических технологий, интерактивности, использование виртуальных моделей, дополненной реальности. Поскольку предполагается возможность педагогами наполнение ЦОС организации, региональной ЦОС и выше собственными цифровыми образовательными ресурсами, видится в качестве критерия оценки ЦОС и обеспеченности образовательными ресурсами программ количество лицензионных договоров с внешними для организации авторами цифровых образовательных ресурсов и авторами-разработчиками цифровых образовательных ресурсов из числа работников образовательной организации.
Определив критерии оценивания, продолжаем строить дерево вопросов, и следующий уровень определяет дескрипторы по выделенным критериям (рис. 4.).
Таким образом, формируется два информационных вектора критериев качества: ^1, X2, ... xn) - для количественных и (у1, у2, ... уп) - для качественных критериев (рис. 5).
Полученные значения после проведения опроса по количественным характеристикам и экспертизы качественных показателей качества ЦОС позволяют получить итоговую рейтинговую оценку конкретной организации:
R = I Xi + I ул
Также можно определить оценочный балл по каждому из выделенных четрых направлений: Zl, 22, 2з, Z4. Эти данные позволяют задать признаки для каждого исследуемого объекта в виде ж = (21, 22, 2з, 24). Следовательно, допустима формализованная математическая постановка задачи.
Какова должна быть структура ЦОС системы ДОД?
Рис. 4. Фрагмент дерева вопросов. Уровень определения дескрипторов
What should be the structure of the digital educational environment of the system of additional education for children?
Figure 4. A fragment of the question tree. Descriptor definition level
Рис. 5. Сводная структура оценочной формы ЦОС ЦИФРОВАЯ ОБРАЗОВАТЕЛЬНАЯ СРЕДА
Figure 5. Summary structure of the evaluation form of the digital educational environment
Дано множество К объектов с заданными качествами из четырех характеристик (гг,г2,г3,г4): {м'у}^ =(г( . Признаки объекта задаются численными значениями из заданного интервала х£ £ [а£,Ь£]. Определим три класса объектов: - класс с низким качеством; П2 - класс со средним качеством; П3 - класс с высоким качеством.
Следует распределить (провести кластеризацию) заданные объекты по указанным классам, используя расстояние (меру сходства) между двумя объектами по метрике городских кварталов: = — , здесь и - признаки двух объектов.
Результаты и обсуждение. Оценку и мониторинг цифровой образовательной среды организации предлагается проводить по функциональным характеристикам среды с использованием опросных листов, которые для количественных критериев заполняются представителями организации, а для качественных - экспертами после работы с сайтом организации. Опросные листы разработаны на основе вопросного дерева, созданного по методу пирамиды, в которых определено тридцать количественных и качественных критериев оценивания ЦОС со шкалами дескрипторов с соответствующими им баллами по сто балльной шкале и вес каждого критерия в системе оценивания, который определяется экспертно. Пример чек-листа для оценки материально-технической базы ЦОС системы дополнительного образования детей уровня организации приведен в таблице.
Проведение оценочной процедуры предлагается осуществлять с использованием автоматизированной системы «АСКО» [10]. Программа специально предназначена для организации конкурсных и оценочных мероприятий в режиме реального времени, где применим экспертно-статистический метод. Программа реализует регистрацию и упорядочивание участников конкурса,
составление списка экспертов, назначение на мероприятие, установление критериев оценки, сбор оценок, а также подсчет итогов конкурса6.
После получения и обработки чек-листов и экспертных оценок качественных характеристик ЦОС для каждой организации формируем ее оценочный след в виде признаков (_г1,г2,г3,г4).
Для распознавания принадлежности рассматриваемого объекта к одному из классов (с низким, средним или высоким уровнем) была разработана специальная программа. Она состоит из трех модулей: модуль исходных данных, модуль кластеризации, модуль распознавания и обучения.
Таблица 1
Пример чек-листа для оценки материально-технической базы ЦОС системы дополнительного образования детей уровня организации
Критерий (количественные) Дескриптор Вес Итоговый балл
Скорость подключения к сети Интернет Значение <1Мб/с <50Мб/с <100Мб/с >100Мб/с 1
Балл 25 50 75 100
Количество единиц вычислительной техники, используемой в образовательном процессе относительно количества обучающихся Значение <0,25 <0,5 <0,75 >0,75 0,5
Балл 25 50 75 100
Количество единиц вычислительной техники, используемой работниками организации относительно количества работников Значение <0,25 <0,5 <0,75 >0,75 0,5
Балл 25 50 75 100
Количество лицензий на использование специализированного программного обеспечения для функций управления организацией и образовательным процессом Значение 0,5
Количество комплексов презентационного оборудования относительно количества учебных помещений Балл <0,25 <0,5 <0,75 >0,75 0,5
Значение 25 50 75 100
Количество учебных занятий, проходящих с использованием презентационного оборудования и вычислительной техники относительно всех занятий в образовательной организации Балл <0,25 <0,5 <0,75 >0,75 1
Значение 25 50 75 100
Критерий (качественные) Дескриптор Вес Итоговый балл
Наличие программного обеспечения и технологических решений для управления финансово-хозяйственной деятельностью организации и организации электронного документооборота Значение Отсутствие Наличие 1
Балл 0 100
Наличие кабинета (возможно совмещенного с библиотекой или информационно-библиотечным комплексом), в котором вычислительная техника может быть использована для самостоятельной работы по установленному расписанию Значение Отсутствие Наличие 0,5
Балл 0 100
Соответствие телекоммуникационной инфраструктуры для обеспечения технологической связанности оборудования с региональной и федеральной информационно-сервисной платформой Значение Отсутствие Наличие 1
Балл 0 100
6 АСКО - автоматизированная система конкурсного оценивания. URL: http://acko.narchuganov.ru (дата обращения: 27.06.2022).
Table 1
An example of a checklist for assessing the material and technical base of the digital educational environment of the system of additional education of children of the organization level
Criterion (quantitative) Descriptor Weight Final score
Internet connection speed Value <1МЬ/З <50МЬ/З <100МЬ/З >100МЬ/З 1
Score 25 50 75 100
The number of units of computer technology used in the educational process relative to the number of students Value <0.25 <0.5 <0.75 >0.75 0.5
Score 25 50 75 100
Number of units of computer equipment used by employees of the organization relative to the number of employees Value <0.25 <0.5 <0.75 >0.75 0.5
Score 25 50 75 100
Number of licenses to use specialized software for organization and educational process management functions Value 0.5
Number of presentation equipment complexes relative to the number of training rooms Score <0.25 <0.5 <0.75 >0.75 0.5
Value 25 50 75 100
Number of training sessions taking place using presentation equipment and computer equipment in relation to all classes in the educational organization Score <0.25 <0.5 <0.75 >0.75 1
Value 25 50 75 100
Criterion (qualitative) Descriptor Weight Final score
Availability of software and technological solutions for management of financial and economic activities of the organization and organization of electronic document management Value Absence Availability 1
Score 0 100
The presence of a cabinet in which computing equipment can be used to independently work according to the established schedule Value Absence Availability 0.5
Score 0 100
Compliance of telecommunication infrastructure to ensure technological connectivity of equipment with the regional and federal information and service platform Value Absence Availability 1
Score 0 100
В модуле исходных данных задаем первоначальное количество объектов К и для каждого признака определяем интервалы их возможных значений [ а^Ь;] (/ = 1 ...п). Для реализации модифицированного горного алгоритма кластеризации примем ведущих представителей классов: для класса 1 -(а1,а2,...,ап), для класса 2 - \_(Ъ1 — а1)/2,(Ъ2 — а,2)/2, .,(Ъп — ап)/2у\ , для класса 3 - (Ь1,Ъ2,...,Ьп).
В модуле кластеризации имеется два способа задания объектов.
Для каждого объекта формируем его признаки в интервале [а^Ь;] случайным образом.
Признаки каждого объекта вводим «вручную» (или считываем из заполненных опросных форм по чек-листу и итоговых экспертных процедур из программы «АСКО»).
Алгоритм кластеризации используется классический - распределение заданных объектов происходит по принципу их сходства с представителями классов. Результатом кластеризации являются три множества (класса) объектов с низким, средним и высоким качеством, которые сохраняются в базе данных на внешнем устройстве памяти.
В модуле распознавания текущий исследуемый объект распознается и определяется его принадлежность одному из созданных в предыдущем модуле классу. Если распознанный объект не совпадает по своим признакам, ни с каким из существующих объектов класса, его вносим в этот класс.
Заключение. Описанный способ оценивания и мониторинга качества ЦОС организаций можно обобщено представить в следующем виде:
1. Заявленная для мониторинга организация заполняет количественные показатели чек-листа, созданного с помощью Яндекс-формы, и указывает ссылку на сайт и другие значимые ресурсы ЦОС.
2. Данные Яндекс-формы с помощью специального конвектора передаются в электронные таблицы и обрабатываются для получения рейтинговых количественных оценок и признаков ЦОС организации.
3. Назначенные эксперты оценивают по заданным качественным критериям заявленные организацией основные ресурсы ЦОС (оценка ресурсов сайта организации) в системе «АСКО».
4. Результирующие экспертные оценки с помощью специального конвектора передаются в электронные таблицы и обрабатываются для получения качественных оценок и признаков ЦОС организации.
5. Полученные сводные данные w = ^1, Z2, Zз, Z4) вносятся в программу распознавания, которая выдает итоговую оценку качества ЦОС организации.
6. Результатом работы предложенной системы является лист мониторинга ЦОС организации, содержащего все промежуточные данные по всем критериям и показателям согласно рис. 5.
Таким образом, предложенный способ позволяет осуществлять оценку качества цифровой образовательной среды организации с использованием математических методов теории кластеризации и распознавания образов с учетом важнейших методологических принципов: принципа объективности, который ориентирует на выбор и применение оценочных методик; критериев и показателей, которые максимально точно и адекватно позволяют судить об эффективности образовательной среды; и принципа технологичности, который требует реализации простых, экономичных, удобных, понятных, доступных технологий и методик оценки эффективности.
Список литературы
[1] Капцое А.В., Колесникова Е.И. Методика оценки образовательной среды вуза в условиях ее цифровизации // Вестник Самарской гуманитарной академии. Серия: Психология. 2019. № 2 (26). С. 147-154.
[2] Конопатоеа Н.К. Оценка эффективности проектов в области информатизации школьного образования // Информационные технологии для Новой школы: материалы V Международной конференции. СПб.: Региональный центр оценки качества образования и информационных технологий, 2014. Т. 2. С. 21-25.
[3] Добудько Т.В., Горбатое С.В., Добудько А.В., Пугач О.И Методика оценки электронной информационно-образовательной среды педагогического вуза // Самарский научный вестник. 2018. № 3 (24). С. 311-316.
[4] Велижанин М.В. Теоретические основы оценки качества информационно-образовательной среды общеобразовательной школы // Е^сю. 2020. № 11 (50). С. 334-342.
[5] Suhonen J.A. Formative development method for digital learning environments in sparse learning communities: academic dissertation. University of Joensuu. URL: http://epublications.uef.fi/pub/urn_isbn_952-458-663-0/urn_isbn_952-458-663-0.pdf (accessed: 27.06.2022).
[6] Шилова О.Н. Цифровая образовательная среда: педагогический взгляд // Человек и образование. 2020. № 2 (63). С. 36-40.
[7] Сорокова М.Г., Одинцова М.А., Радчикова Н.П. Шкала оценки цифровой образовательной среды (ЦОС) университета // Психологическая наука и образование. 2021. Т. 26. № 2. C. 52-65. http://doi.org/10.17759/pse.2021260205
[8] Мониторинг развития цифровой образовательной среды практик дополнительного образования детей: монография / под общ. ред. В.А. Адольфа. Красноярск, 2021. 140 с.
[9] Pak N.I., Asaulenko E.V., Grinberg G.M., Myagkova E.G., Khegay L. Digital environment of the department as a factor of future specialists' professional information culture formation // International Journal of Applied Exercise Physiology. 2020. Vol. 9. No. 2. Pp. 164-173.
[10] Pak N.I., Markovskaya I.A., Narchuganov K.N. Automated system of remote holding competitive and assessment procedures // Journal of Physics: Conference Series. 2020. Vol. 1691. No. 1. Article 012156. http://doi.org/10.1088/1742-6596/1691/1/012156
References
[1] Kaptsov A, Kolesnikova E. Methodology for evaluating the educational environment of a university under the conditions of its digitization. Bulletin of Samara Academy for the Humanities. Series: Psychology. 2019;(2):147-154. (In Russ.)
[2] Konopatova NK. Assessment of the effectiveness of projects in the field of informatization of school education. Information Technology for the New School. Proceedings of the VInternational Conference. St. Petersburg: Regional'nyj Centr Ocenki Kachest-va Obrazovaniya i Informacionnyh Tekhnologij Publ.; 2014. p. 21-25. (In Russ.)
[3] Dobudko TV, Gorbatov SV, Dobudko AV, Pugach OI. Methods of pedagogical institution electronic information and educational environment evaluation. Samara Journal of Science. 2018;(3):311-316. (In Russ.)
[4] Velizhanin MV. Theoretical foundations for assessing the quality of the information and educational environment of a comprehensive school. E-Scio. 2020;11(50):334-342. (In Russ.)
[5] Suhonen JA. Formative development method for digital learning environments in sparse learning communities (academic dissertation). University of Joensuu. Available from: http://epublications.uef.fi/pub/urn_isbn_952-458-663-0/urn_isbn_952-458-663-0.pdf (accessed: 27.06.2022).
[6] Shilova ON. Digital learning environment: pedagogical comprehension. Man and Education. 2020;(2):36-40. (In Russ.)
[7] Sorokova MG, Odintsova MA, Radchikova NP. Scale for assessing university digital educational environment (AUDEE scale). Psychological Science and Education. 2021;26(2):52-65. (In Russ.) http://doi.org/10.17759/pse.2021260205
[8] Adolf VA. (ed.) Monitoring the development of the digital educational environment of additional education practices for children. Krasnoyarsk: Krasnoyarsk State Pedagogical University named after V.P. Astafyev; 2021. (In Russ.)
[9] Pak NI, Asaulenko EV, Grinberg GM, Myagkova EG, Khegay L. Digital environment of the department as a factor of future specialists' professional information culture formation. International Journal of Applied Exercise Physiology. 2020;9(2):164-173
[10] Pak NI, Markovskaya IA, Narchuganov KN. Automated system of remote holding competitive and assessment procedures. Journal of Physics: Conference Series. 2020;1691(1):012156. http://doi.org/10.1088/1742-6596/1691/1Z012156
Сведения об авторах:
Пак Николай Инсебович, доктор педагогических наук, профессор, заведующий кафедрой информатики и информационных технологий в образовании, Красноярский государственный педагогический университет имени В.П. Астафьева, Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89. ORCID: 0000-0003-2105-8861. E-mail: [email protected]
Сыромятников Алексей Александрович, кандидат педагогических наук, доцент, доцент кафедры информатики и информационных технологий в образовании, Красноярский государственный педагогический университет имени В.П. Астафьева, Российская Федерация, 660049, Красноярск, ул. Ады Лебедевой, д. 89. ORCID: 0000-0002-6439-4577. E-mail: [email protected]
Bio notes:
Nikolay I. Pak, Doctor of Pedagogical Sciences, Full Professor, Head of the Department of Informatics and Information Technology in Education, Krasnoyarsk State Pedagogical University named after V.P. Astafyev, 89 Ady Lebedevoi St, Krasnoyarsk, 660049, Russian Federation. ORCID: 0000-0003-4163-9436. E-mail: [email protected]
Alexey A. Syromyatnikov, Candidate of Pedagogical Sciences, Associate Professor, Associate Professor of the Department of Informatics and Information Technologies in Education, Krasnoyarsk State Pedagogical University named after V.P. Astafyev, 89 Ady Lebedevoi St, Krasnoyarsk, 660049, Russian Federation. ORCID: 0000-0002-6439-4577. E-mail: syrom-yatnikov@kspu .ru
