ОПЫТ ПРИМЕНЕНИЯ ФАКТОРНОГО И КЛАСТЕРНОГО АНАЛИЗА В ЦИФРОВОЙ ТРАНСФОРМАЦИИ ОБРАЗОВАНИЯ

Каптерев Андрей Игоревич; Ромашкова Оксана Николаевна; Чискидов Сергей Васильевич

Дидактические аспекты информатизации образования

Didactic Aspects of Education Informatization

Научная статья

УДК 004.9

DOI: 10.25688/2072-9014.2022.62.4.03

ОПЫТ ПРИМЕНЕНИЯ ФАКТОРНОГО И КЛАСТЕРНОГО АНАЛИЗА В ЦИФРОВОЙ ТРАНСФОРМАЦИИ ОБРАЗОВАНИЯ

Андрей Игоревич Каптерев1 И, Оксана Николаевна Ромашкова2, Сергей Васильевич Чискидов3

1 Московский городской педагогический университет, Москва, Россия kapterevai@mgpu.ru И, https://orcid.org/0000-0002-2556-8028

2 Российская академия народного хозяйства и государственной службы при Президенте РФ, Москва, Россия

ox-rom@yandex.ru, https://orcid.org/0000-0002-1646-8527

3 Московский городской педагогический университет, Москва, Россия chiskidovsv@mgpu.ru, https://orcid.org/0000-0002-1760-042X

Аннотация. Одной из основных задач любой науки является разработка систем классификации, или таксономии, изучаемых явлений. Это является частью сохраняющегося интереса к развитию кластеров деятельности. Однако вполне вероятно, что система, которая подходила бы для всех пользователей, никогда не будет разработана. В отличие от биологических видов или химических соединений, кластеризация социальной деятельности остается многофакторной проблемой. Любая таксономия в педагогике основана на теориях и моделях, разделяемых исследователем, а также на гипотезах, которые он верифицирует. Концепция кластерного анализа деятельности была разработана в ответ на потребность выявить закономерности в огромном разнообразии доступных людям видов деятельности. Например, руководитель образовательной организации (ОО) или аналитик может сравнить виды деятельности,

применяемые на конкретном объекте, с выделением полного спектра видов деятельности, обобщенным перечнем кластеров видов деятельности, чтобы выявить структурную зависимость и любые пробелы. Таксономия педагогической деятельности, основанная на кластерном анализе, может быть использована руководителями ОО для представления и описания возможных социальных эффектов и рисков. В связи с этим цель исследования — выявление возможностей применения факторного и кластерного анализа в цифровой трансформации образования. Задачи исследования: 1) проанализировать зарубежный опыт применения факторного и кластерного анализа в социально-гуманитарных исследованиях; 2) проанализировать отечественный опыт применения факторного и кластерного анализа в педагогических исследованиях; 3) описать опыт авторского факторного анализа социальной эффективности и выявления социальных рисков реформирования системы общего образования; 4) показать перспективы и возможности применения подобных методов в цифровой трансформации образования.

Ключевые слова: цифровая трансформация образования; факторный анализ; кластерный анализ; социальные риски.

Original article

UDC 004.9

DOI: 10.25688/2072-9014.2022.62.4.03

EXPERIENCE IN THE APPLICATION OF FACTOR AND CLUSTER ANALYSIS IN THE DIGITAL TRANSFORMATION OF EDUCATION

Andrey I. Kapterev1 E, Oxana N. Romashkova , Sergey V. Chiskidov3

1 Moscow City University, Moscow, Russia, kapterevai@mgpu.ru E, https://orcid.org/0000-0002-2556-8028

2 The Russian Presidential Academy of National Economy and Public Administration, Moscow, Russia, ox-rom@yandex.ru, https://orcid.org/0000-0002-1646-8527

3 Moscow City University, Moscow, Russia, chiskidovsv@mgpu.ru, https://orcid.org/0000-0002-1760-042X

Abstract. The development of classification systems or taxonomy of the studied phenomena is one of the main tasks of any science. This is part of the continuing interest in the development of clusters of activities. However, it is likely but no system suitable for all users will ever be developed. Unlike biological species or chemical compounds, clustering of social activity remains a multifactorial problem. Any taxonomy in pedagogy is based on theories and models shared by the researcher, as well as hypotheses that he verifies. The concept of cluster activity analysis was developed in response to the need to identify patterns in the huge variety of activities available to people. For example, the head of an educational organization (schools, HEI) or an analyst can compare the types

of activities used at a particular facility with the allocation of a full range of activities, a generalized list of clusters of activities to identify structural dependence and any gaps. The taxonomy of pedagogical activity based on cluster analysis can be used by educational managers to represent and describe possible social effects and risks. In this regard, the purpose of the study is to identify the possibilities of applying factor and cluster analysis in the digital transformation of education. Research objectives: 1) to analyze the foreign experience of using factor and cluster analysis in socio-humanitarian research; 2) to analyze the domestic experience of using factor and cluster analysis in pedagogical research; 3) to describe the experience of the author's factor analysis of social risks of reforming the system of general education; 4) to show the prospects and possibilities of using such methods in the digital transformation of education.

Keywords: digital transformation of education; factor analysis; cluster analysis; social risks.

Для цитирования: Каптерев, А. И., Ромашкова, О. Н., Чискидов, С. В. (2022). Опыт применения факторного и кластерного анализа в цифровой трансформации образования. ВестникМГПУ. Серия «Информатика и информатизация образования», 4(62), 29-43. DOI: 10.25688/2072-9014.2022.62.4.03

For citation: Kapterev, A. I., Romashkova, O. N., & Chiskidov, S. V. (2022). Experience in the Application of Factor and Cluster Analysis in the Digital Transformation of Education. MCU Journal of Informatics and Informatization of Education, 4(62), 29-43. https://doi.org/10.25688/2072-9014.2022.62A03

Введение

Одну из первых попыток сформулировать классификационную схему социальной деятельности предпринял Себастьян де Грация [1], предложив классифицировать все виды деятельности исходя из шести полярных измерений: активная/пассивная, участник/посредник, одиночная/ групповая, в помещении / на открытом воздухе, дома/на улице, а также для сидячего образа жизни / на ногах.

Однако данная система классификации была основана не на объективном анализе моделей деятельности, а на интуиции автора. Несмотря на потенциальные недостатки в схемах классификации, разработанных субъективно, это раннее предложение способствовало последующему количественному анализу для разработки новых и объективных схем.

Примерно в то же время было проведено одно из первых количественных исследований кластеров деятельности — исследование Чарльза Проктора для Комиссии по обзору ресурсов для отдыха на свежем воздухе. Исследовательский проект Ч. Проктора стал архетипом для одного из двух основных методологических проектов, связанных с изучением кластеров деятельности, — «анализ участия» [2]. Его основной подход состоял в том, чтобы провести опрос выборки любителей активного отдыха, чтобы определить частоту участия в ряде заранее выбранных мероприятий. Затем данные об участии

были подвергнуты факторному анализу для определения ряда измерений, составленных по нескольким видам деятельности. Затем он изучил названия этих видов деятельности и предложил обозначение для каждого кластера видов деятельности, связанных с каждым измерением.

Ч. Проктор получил данные в ходе общенационального опроса более 3600 американцев, посвященного отдыху. Было указано пятнадцать мероприятий на свежем воздухе, и получены данные о частоте участия для каждого респондента. Факторный анализ данных позволил получить четыре кластера, которые Проктор определил как отдых на воде, пассивный отдых, отдых в лесу и активный отдых.

Методы исследования

Последующие авторы придерживались того же общего замысла с различными акцентами в каждом исследовании. Дойл Бишоп [3], например, проанализировал модели участия взрослых в четырех сообществах, чтобы изучить стабильность факторной структуры в различных социальных условиях. Питер Витт [4] провел соответствующий анализ в этих сообществах, сосредоточив внимание на подростковых моделях. Другие авторы экспериментировали с различными статистическими процедурами. Томас Бертон применял факторный анализ и кластерный анализ для моделирования типов досугового поведения [5]. Роберт Диттон, Томас Гудейл и Пер Джонсен [6] изучали влияние включения переменных окружающей среды на участие в деятельности. Лоуренс Аллен, Морин Доннелли и Дональд Уордер исследовали стабильность кластеров активности людей в зависимости от сезонов [7].

Еще одна критика использования данных о кластерах деятельности заключается в том, что показатели участия необязательно отражают только предпочтения отдельных лиц в различных видах деятельности; они также отражают возможности для участия. Низкое участие в какой-либо деятельности определенной группы может быть связано либо с отсутствием интереса, либо с отсутствием возможности (с барьерами). Другие исследователи предложили использовать данные об отношении или восприятии в качестве основы для определения кластеров. Этот подход можно назвать анализом высказываний.

Одними из первых исследователей, экспериментировавших с высказываниями, были Джон Нойлингер и Миранда Брейт. Они изучили отношение группы респондентов к выбранным видам деятельности, независимо от их собственной истории участия; затем оценки отношения были проанализированы и интерпретированы в сравнении с группой участников.

Вариации в этом подходе включали анализ воспринимаемого сходства видов деятельности, а не какие-либо поведенческие или психологические оценки деятельности [2]. Борис Беккер [8] исследовал использование многомерного

масштабирования в качестве альтернативы факторному анализу информации о досуговой активности. Говард Тинсли и Томас Джонсон [9] экспериментировали с использованием разнообразных видов досуга и занятий, чтобы разработать таксономию досуга.

Одним из наиболее основных возражений против использования психологических данных при определении кластеров деятельности является вопрос о том, можно ли достоверно установить прямую связь между показателями отношения и реальными моделями поведения [8]. В последнее время несколько исследователей начали систематически изучать сильные и слабые стороны разных исследовательских проектов. Они собрали данные как об участии, так и о восприятии одних и тех же видов деятельности от одних и тех же групп респондентов. Их результаты показывают, что аналогичные, но не идентичные кластеры активности определяются с помощью любого подхода [10; 11; 12].

Хотя большая часть работы, проведенной по определению кластеров деятельности, и связана либо с факторами «анализ участия», либо с факторами «анализ отношения», но другие авторы предложили кластеры деятельности, основанные на других схемах. Макс Каплан [13] представил субъективно определенный тип социальной деятельности, основанный на социально-психологических концепциях. Эта типология, приписываемая Яффе Маздье М. Капла-ном, основана на пяти основных видах деятельности: физическая активность, интеллектуальная деятельность, художественная деятельность, общественная деятельность и практическая деятельность. Затем каждый из видов делится на две подкатегории.

Полученные десять кластеров были использованы в качестве системы классификации для исследования досугового поведения жителей семи стран. Майкл и Холли Чабб [14] описывают систему классификации видов деятельности, основанную на типах ресурсов, используемых в связи с различными видами деятельности. Эта система начинается с разделения видов деятельности в зависимости от того, связаны ли они с сушей, водой и береговыми линиями или льдом и снегом. Затем каждая категория делится на виды деятельности по интенсивному использованию и виды деятельности по экстенсивному использованию.

Некоторые из этих видов дополнительно подразделяются в соответствии с более конкретными критериями. Например, обширная деятельность на суше делится на три подкатегории в зависимости от того, используется ли необходимая техника, используются ли природные ресурсы, или ни то, ни другое. Этот тип классификации может быть полезен для планирования распределения и использования ресурсов, но менее актуален, когда основное внимание уделяется планированию человеческих ресурсов. Кроме того, некоторые виды деятельности могут включать в себя комбинации ресурсов, которые нелегко учесть в этой системе.

Результаты исследования

В отечественной педагогической науке количественный и, в частности, кластерный анализ также широко используется как самостоятельно, так и в сочетании с другими методами. Например, О. В. Федоров и Н. И. Болгаров обосновали необходимость использования кластерного анализа в исследовании рисков инновационной деятельности [15]. А. В. Меликян применил данный метод в анализе российских вузов на основе динамики показателей их деятельности [16]. А. И. Каптерев применил кластерный и факторный анализ, обосновывая методологические и теоретические основания профессионализации библиотечных специалистов почти 30 лет назад [17]. С. В. Видов, М. И. Купцов и В. В. Теняев использовали кластерный анализ, изучая мотивацию к педагогической деятельности преподавателей вузов [18]. Но чаще кластерный анализ используется в составе других методов, в том числе в моделировании нейронных сетей, интеллектуальном анализе данных [19] и др.

Авторами данной статьи [20] построена модель прогнозирования рейтинговой оценки вуза на основе нейронной сети. Авторами описана методика моделирования, настройка параметров сети, приведены результаты моделирования. Обоснована возможность применения прогнозной модели или методики ее построения для самостоятельного исследования. Объектом исследования являются показатели деятельности российских университетов. Предметом исследования является процесс прогнозирования рейтинга вуза. Цель исследования — методологические аспекты построения нейросетевой модели прогнозирования рейтинговой оценки вуза с помощью инструментальных средств — пакета SPSS.

Задачей авторов работы [21] было ранжирование факторов, которые используются для оценки рейтинга структурных подразделений университета. Авторами определены и описаны этапы ранжирования. Проведен статистический анализ данных структурных подразделений МГПУ и РУДН. Значимые факторы отбирались на данных МГПУ и РУДН по отдельности, а затем сравнивались. Предложен результирующий числовой показатель оценки структурных подразделений.

С помощью корреляционного анализа данные сначала были систематизированы и выявлены внутренние связи. Далее по корреляционной матрице проведен анализ мультиколлинеарности векторов. В результате исследования выбраны значимые факторы, влияющие на рейтинг структурного подразделения. Интерпретация параметров модели показала, что увеличение на единицу такого параметра, как «Отношение количества защитившихся соискателей и аспирантов к количеству выпускников», приводит к увеличению «рейтинга соответствующего подразделения вуза» в среднем на 0,696 единицы измерения.

Такой анализ проведен по каждому показателю работы подразделений, которые участвуют в общей оценке деятельности университета. Наибольшее влияние на рейтинговую оценку подразделения оказывает среднее значение

индекса Хирша. Проверка модели проводилась с использованием показателей структурных подразделений РУДН. Наиболее весомый вклад в модель дает параметр «Количество публикаций НПР, в журналах, входящих в перечень ВАК». Этот фактор сравним со значимым фактором регрессионной модели по показателям МГПУ (среднее значение индекса Хирша). Сравнивая результаты анализа структурных подразделений различных вузов, можно сделать выводы о том, что факторы, оказывающие соответственно наибольшее и наименьшее влияние, совпадают. Построенный критерий был применен для разбиения кафедр РУДН на две группы: эффективные и неэффективные.

С использованием традиционных методик, применяемых в теории графов, авторами работы [22] разработана математическая модель модернизированной (усовершенствованной с учетом современного состояния образовательной сферы) управленческой структуры образовательной системы (ОС), цель создания которой заключается в сокращении затрат различных видов ресурсов при слиянии разнородных организаций и предприятий сферы образования в территориальный образовательный комплекс (ОК). Выполнен анализ методов создания и проведения реорганизации структур управления ОС. С учетом принципов процессного подхода к созданию организационных структур разработана матричная организационная структура созданного в результате проведения реформы системы образования ОК. Создана математическая графовая модель, с помощью которой с применением волнового алгоритма можно определить оптимальный план, позволяющий свести к минимуму финансовые затраты на управление при объединении разнородных образовательных организаций в единую ОС. Данная задача может решаться традиционными методами теории графов для каждого конкретного случая.

В работе [23] определены критерии и их показатели, используемые для оценки эффективности интеллектуальных систем поддержки принятия решений (ИСППР) в технологических процессах анализа больших массивов электронных данных (Big Data) образовательной сферы. При этом критерии и показатели критериев приведены в рамках трехуровневой иерархической структуры, включающей информационный процесс (верхний уровень), ИСППР (средний уровень) и хранилище данных ИСППР (нижний уровень). Представлены подходы к определению оперативности функционирования и загруженности ресурсов ИСППР, а также производительности таких ИСППР по задачам анализа данных, выполняемого с применением моделей машинного обучения.

В последнее время кластерный и факторный анализ активно применяются в рамках PEST-анализа педагогических явлений и процессов (Р — политика и право, Е — экономика, S — общество, Т — информационные технологии). Для анализа социальной эффективности и выявления социальных рисков реформирования системы общего образования А. И. Каптерев проследил соответствие метанорм НПА и показателей общественного мнения стейкхолдеров по отношению к реализации на практике выявленных им метанорм. Для этого были применены инструменты PEST-анализа.

PEST-анализ позволяет эффективно организовать стратегическое планирование и руководство процессом принятия стратегических решений, формируя понимание о том, как необходимо реагировать на определенные события в будущем и корректировать траекторию развития.

PEST-анализ фокусируется на внешних воздействиях и влиянии, которое они могут оказать на конкретную компанию, страну или сектор. В связи с этим возможность применения PEST-анализа для исследования образовательной политики объясняется тем, что она постоянно находится под влиянием ряда факторов, сгруппировав которые в политические, экономические, социокультурные и технологические, можно комплексно оценить такое влияние на систему образования в целом в ее самых разнообразных проявлениях.

Потенциальные преимущества применения данного метода — достижение положительного согласования с внешними силами, которые в нашем исследовании представлены метанормами НПА.

Главным основанием для анализа эффективности действия метанорм стали результаты анкетирования основных субъектов образовательного пространства, называемых нами стейкхолдерами. При этом в анализе собранной социологической информации учитывались в первую очередь те критерии, которые стали приоритетными для всех участников образовательного пространства.

Выявленные с учетом вышесказанного социальные эффекты действия метанорм в системе общего образования отражены в таблице 1.

Таблица 1

PEST-анализ эффективности действия метанорм в системе общего образования

Р: Политико-правовые эффекты

1. Высокий уровень региональной поддержки образования.

2. Создание и развитие в общеобразовательных учреждениях общественно-государственных форм управления.

3. Поддержка молодых педагогов со стороны Департамента образования и науки г. Москвы.

4. Создание оптимальных условий для обеспечения доступного, качественного среднего образования для всех слоев населения области вне зависимости от доходов.

5. Возможность учителям бесплатно повышать уровень своей квалификации, участие педагогических работников в научной деятельности._

Е: Экономические эффекты

1. Спад в экономике РФ вследствие пандемии.

2. Рост инфляции.

3. Падение платежеспособного спроса населения.

4. Аттестация руководителей ОО и лиц, претендующих на занятие данных должностей.

5. Завершение перехода к нормативно-подушевому механизму оплаты услуг в сфере общего образования.

6. Наличие пилотных школ нового типа с привлечением негосударственных средств.

7. Внедрение системы оценки качества общего образования на основе практики международных исследований качества подготовки обучающихся

6. Модернизация системы общего образования путем создания эффективных механизмов обновления качества общего образования, внедрения федеральных государственных образовательных стандартов нового поколения для всех его уровней. 7. Вариативность образовательных программ, обеспечивающих индивидуализацию образования, личностно ориентированное обучение и воспитание. 8. Вовлечение всех участников системы образования (обучающиеся, педагоги, родители (законные представители), работодатели и представители общественных объединений) в развитие системы общего образования. 9. Учет потребностей и возможностей детей различных категорий, в том числе детей с ограниченными возможностями здоровья. 10. Привлечение в качестве наставников преподавателей вузов, работников научных организаций, представителей предприятий реального сектора экономики, деятелей культуры, искусства, спортсменов

S: Социокультурные эффекты 1. Высокий уровень образования населения. 2. Расширение профильного образования в старшей школе. 3. Рост числа негосударственных образовательных организаций. 4. Поддержка опережающего развития областей потенциального лидерства (математическое образование, обучение чтению). 5. Внедрение результатов НИР в систему общего и дополнительного образования. 6. Воспитание бережного отношения к историческому и культурному наследию народов России. Т: Технологические эффекты 1. Переход на новые образовательные стандарты. 2. Создание профилей цифровых компетенций для обучающихся, педагогов и административно-управленческого персонала. 3. Формирование в школах высокотехнологической среды для преподавания (высокоскоростной интернет, цифровые ресурсы нового поколения, виртуальные учебные лаборатории и др.) и управления (электронный документооборот, порталы знаний и др.). 4. Влияние ИКТ и педтехнологий на психическое здоровье детей, на их интеллектуальные способности,

7. Формирование национальной и религиозной терпимости, уважительного отношения к языкам, традициям и культуре других народов.

8. Формирование у школьников трудовой мотивации, активной жизненной и ранней профессиональной ориентации обучающихся.

9. Воспитание здорового образа жизни, развитие детского и юношеского спорта.

10. Противодействие негативным социальным процессам.

11. Экологическое воспитание, формирующее бережное отношение населения к природе

эмоциональное развитие и формирование личности.

5. Рост числа ОО, реализующих общеобразовательные программы в сетевой форме.

6. Практика использования дистанционных технологий для реализации дополнительных общеобразовательных программ.

7. Модернизация инфраструктуры системы дополнительного образования детей и повышение ее доступности.

8. Интеграция актуальных региональных информационных ресурсов с федеральной информационно-сервисной платформой цифровой образовательной среды

Детальный анализ результатов исследования отражен в монографии А. И. Каптерева [24] и на сайте [25], где размещена тепловая карта визуализации социальных рисков в системе общего образования Москвы.

Заключение

В департаменте информатизации образования Института цифрового образования Московского городского педагогического университета постоянно ведется работа по использованию факторного, кластерного анализа и других цифровых технологий в информатизации образовательных процессов.

В другом проекте А. И. Каптерева — «ПРОФСИЛА: профориентационная система логических альтернатив» [26] — используется математическая модель, реализованная в виде гибридной продукционной нейро-нечеткой системы. Это искусственная нейронная сеть в виде многослойного персептрона, который эмулирует нечеткую продукционную систему. Для перехода от словесного описания к численным показателям использован аппарат нечеткой логики. Данный подход позволяет оценить результаты тестирования. Блок результатов тестирования включает в себя результаты тестов (с 1-го по 11-й этап), получаемые оптантом непосредственно в ходе тестирования, представленные в виде таблицы и лепестковых диаграмм, предоставляемых системой в электронном виде для конкретного оптанта.

Еще одним примером описания цифровой трансформации образования стала работа В. В. Гриншкуна и А. А. Заславского [27], в которой рассматривается отечественный и зарубежный опыт организации образовательного

процесса на базе применения технологий информатизации для построения индивидуальных образовательных траекторий и представлены результаты анализа организации образовательного процесса во Франции, Америке, Японии, Финляндии, разных регионах России.

Список источников

1. De Grazia, S. (1962). An introductory, near-encyclopedic text for recreation studies. Of Time, Work, and Leisure. New York: Doubleday Anchor.

2. Proctor, C. (1962). Appendix A. In National Recreation Survey, ORRRC Study, report 19. Washington, DC: U.S. Government Printing Office.

3. Bishop, D. (1970). Stability of the Factor Structure of Leisure Behavior. Analysis of Four Communities. Journal of Leisure Research, 2, 160-170.

4. Witt, P. (1971). Factor Structure of Leisure Behavior for High School Age Youth in Three Communities. Journal of Leisure Research, 3(4), 213-219.

5. Burton, T. (1971). Identification of Recreation Types through Cluster Analysis. Society and Leisure, 1, 47-65.

6. Ditton, R., Goodale, T., Johnsen, P. (1975). A Cluster Analysis of Activity, Frequency, and Environmental Variables to Identify Water-Based Recreation Types. Journal of Leisure Research, 7, 282-295.

7. Allen, L., Donnelly, M., Warder, D. (1984). The Stability of Leisure Factor Structures Across Time. Leisure Sciences, 6, 221-238.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

8. Becker, B. (1976). Perceived Similarities among Recreational Activities. Journal of Leisure Research, 8, 112-122.

9. Tinsley, H., Johnson, T. (1984). A Preliminary Taxonomy of Leisure Activities. Journal of Leisure Research, 16, 234-244.

10. Chase, D., Cheek, N. (1979). Activity Preferences and Participation: Conclusions from a Factor Analytic Study. Journal of Leisure Research, 11, 92-101.

11. Duncan, D. (1978). Leisure Types: Factor Analyses of Leisure Profiles. Journal of Leisure Research, 10, 113-115.

12. Allen, L., Buchanan T. (1982). Techniques for Comparing Leisure Classification Systems. Journal of Leisure Research, 14, 307-322.

13. Kaplan, M. (1960). Leisure in America: A Social Inquiry. New York: Doubleday.

14. Chubb, M., Chubb, H. (1981). One Third of our Time? New York: Wiley.

15. Федоров, О. В., Болгаров, Н. И. (2009). Кластерный анализ и риски инновационной деятельности. Монография. Москва: Кнорус. 157 с.

16. Меликян, А. В. (2021). Кластерный анализ российских вузов на основе динамики показателей их деятельности. Вопросы статистики, 28, 5, 58-68. DOI: 10.34023/2313-6383-2021-28-5-58-68

17. Каптерев, А. И. (1994). Методологические и теоретические основания профессионализации библиотечных специалистов. Автореферат диссертации ... д-ра пед. наук. Москва. 44 с.

18. Видов, С. В., Купцов, М. И., Теняев, В. В. (2017). Кластерный анализ мотивации к педагогической деятельности преподавателей вузов. Успехи современной науки и образования, 1, 4, 101-104.

19. Гущина, О. М., Очеповский, А. В. (2020). Интеллектуальный анализ данных в изучении учебного поведения студентов в системе электронного обучения.

Виртуальное моделирование, прототипирование и промышленный дизайн. Материалы VI Международной научно-практической конференции, г. Тамбов, 16-18 октября 2019 г. (с. 257-264). Тамбов: Тамбовский государственный технический университет.

20. Ромашкова, О. Н., Пономарева, Л. А., Василюк, И. П. (2018). Применение информационных технологий для анализа показателей рейтинговой оценки вуза. Информационно-телекоммуникационные технологии и математическое моделирование высокотехнологичных систем. Материалы Всероссийской конференции с международным участием, г. Москва, 16-20 апреля 2018 г. (с. 65-68). Москва: РУДН.

21. Ромашкова, О. Н., Пономарева, Л. А., Василюк, И. П. (2018). Линейное ранжирование показателей оценки деятельности вуза. Современные информационные технологии и ИТ-образование, 14, 1, 245-255.

22. Ермакова, Т. Н., Ромашкова, О. Н., Пономарева, Л. А. (2019). Модернизированная структура управления образовательной системой. Вестник Брянского государственного технического университета, 6(79), 84-91.

23. Федин, Ф. О., Чискидов, С. В., Павличева, Е. Н. (2019). Оценка эффективности применения интеллектуальных систем поддержки принятия решений в технологических процессах анализа больших данных. Информационные ресурсы России, 6(172), 33-39.

24. Каптерев, А. И. (2022). Социальные эффекты и риски реформы общего образования. Москва: Book-expert. 281 с.

25. Каптерев, А. И. (2021, 21 сентября). Виртуальная лаборатория ШИВА: Школьные Инновации и Визуальная Аналитика. Свидетельство о государственной регистрации программы для ЭВМ. Номер свидетельства: RU 2021665193. Патентное ведомство: Россия. Год публикации: 2021. Номер заявки: 2021664368. Дата регистрации: 14.09.2021. Дата публикации: 21.09.2021.

26. Каптерев, А. И. (2017, 11 июля). Система дистанционного профориента-ционного тестирования старших школьников «ПРОФСИЛА». Свидетельство о государственной регистрации программы для ЭВМ. Номер свидетельства: 2017617742. Патентное ведомство: Россия. Год публикации: 2017. Номер заявки: 2017614461. Дата регистрации: 16.05.2017. Дата публикации: 11.07.2017.

27. Гриншкун, В. В., Заславский, А. А. (2020). Отечественный и зарубежный опыт организации образовательного процесса на основе построения индивидуальных образовательных траекторий. Вестник МГПУ. Серия «Информатика и информатизация образования», 1(51), 8-15. DOI: 10.25688/2072-9014.2020.51.1.01

References