CC BY
189
ТРИ «М»: МЕТОД — МЕТОДИКА — МЕТОДОЛОГИЯ
УДК 37.07 Б01: 10.24411/2071-6427-2020-10005
Анализ современного состояния исследований в области управления образованием на основании данных*
Характеризуется методология анализа данных в связи с тем, что технологии больших данных становятся новым инструментом для преобразования образовательных систем, для индивидуализации образования на основе данных о развитии детей, для повышения качества образовательных результатов школьников и доказательного управления образованием на разных уровнях. Характеристика современного состояния исследований в области педагогики на основании данных, доказательного управления и анализа образовательных данных структурированно представлена по четырем направлениям: 1) исследование развития систем электронного обучения и электронных портфолио, цифровых следов в образовании, в том числе моделей «brick and click» (смешение традиционного и электронного обучения), электронных образовательных платформ и цифровых образовательных сервисов, цифровых двойников в образовании (Digital Twin);
* Статья подготовлена в рамках гранта «Методология анализа больших данных в образовании и ее интеграция в программы профессиональной подготовки педагогов и руководителей общеобразовательных организаций в логике „Педагогика, основанная на данных", „Управление образованием на основании данных"» № 19—29—14016/19 Российского фонда фундаментальных исследований по конкурсу на лучшие проекты междисциплинарных фундаментальных научных исследований «Фундаментальное научное обеспечение процессов цифровизации общего образования».
Как цитировать статью: Фиофанова О. А. Анализ современного состояния исследований в области управления образованием на основании данных // Ценности и смыслы. 2020. № 1 (65). С. 71-83.
О. А. Фиофанова
Доктор педагогических наук, доцент, заведующая Центром научных программ и научной информации Института стратегии развития образования РАО, г. Москва E-mail: fiofanova@mail.ru
Olga A. Fiofanova
Dr. Sc. (Education), Associate professor, Head of the Centre for scientific programmes and scientific information, the Institute for strategy of education development of the Russian academy of education, Moscow
2) проектирование и исследование технологий искусственного интеллекта — анализ образовательных данных, в том числе проектирование и исследование публичных репозитариев образовательных данных;
3) исследование развития методов анализа нового типа образовательных данных (метод сетевого анализа — social network analysis — и прогнозные модели успеваемости школьников с помощью больших данных);
4) исследование структуры компетенций, концепций и практик ком-петентностного развития профессионалов по анализу данных в образовании («Big Data in Education», «Practical Learning Analytics», «Data, Analytics and Learning»). Представлен анализ современного состояния исследований в области управления образованием на основании данных. Обозначены перспективы развития науки и практики управления образованием на основании данных в связи с развитием методологии анализа образовательных данных и нормативно-правовой базы, регламентирующей практики электронного образования и применения цифровых сервисов открытых данных.
Ключевые слова: педагогика, основанная на данных, управление образованием на основании данных, доказательное управление образованием, электронные образовательные сервисы и информационные сервисы управления на основании данных, методология анализа образовательных данных.
Технология анализа данных — одна из приоритетных технологий научно-технологического развития, сквозная технология Национальной технологической инициативы, утвержденная Постановлением Правительства РФ от 18.04.2016 № 317 (ред. от 20.04.2019) «О реализации Национальной технологической инициативы». Данная технология призвана трансформировать научно-технологический уклад системы управления и производственных отраслей, в том числе сферы образования как сферы подготовки кадров, компетентных в анализе и интерпретации данных об образовании и детском развитии.
Технологии анализа образовательных данных становятся новым инструментом для преобразования образовательных систем на основе принципа индивидуализации обучения, на основе концепции «педагогики, основанной на данных», с целью повышения качества образовательных результатов школьников и развития человека.
Образовательная политика начинает строиться на образовательной аналитике, на новых аналитико-управленческих методах: а) прогноз развития на основе комбинации образовательных данных; б) метод выявления структуры и кластеризация образовательных данных;
в) сетевой анализ цифровых образовательных сервисов и систематизация данных «цифровых следов».
Вышеназванное актуализирует необходимость решения следующих фундаментальных научных задач: разработка методологических принципов и технологий анализа образовательных данных и разработка методологических основ организационных моделей профессионального развития педагогов и руководителей общеобразовательных организаций, региональных систем образования в логике «управления образованием на основании данных об образовании и детском развитии».
В России за текущее десятилетие в практике государственного управления стали внедряться принципы управления на основании данных, а в сфере образования — принципы управления качеством образования на основании данных оценки качества.
Проанализируем историю развития новых подходов: управления образованием на основании данных и педагогики, основанной на данных.
Анализ современного состояния исследований в области управления образованием на основании данных — научная задача, связанная с проблематикой двух аспектов: 1) инфраструктурно-технологического (развитие цифровых сервисов образовательных данных и цифровых сервисов обработки образовательных данных для принятия организационно-педагогических решений об образовании и детском развитии, о модернизации систем управления базами данных и 2) компетент-ностного (интеграция новой методологии управления образованием на основании анализа данных в компетентностные профили, профстандарты и образовательные программы подготовки профессионалов в области управления).
Развитие исследований в области управления образованием на основании данных можно структурировать следующим образом:
1) проектирование частных инициатив, практик развития электронных образовательных сервисов и информационных сервисов управления на основании данных;
2) анализ и разработка нормативно-правовой базы применения больших данных в образовании и управления образованием на основании данных;
3) институциализация практик применения электронных образовательных сервисов и информационных сервисов управления на основании данных в образовании;
4) развитие системы подготовки и профессионального развития педагогических и управленческих кадров в образовании в логике «управление образованием на основании данных»;
5) совершенствование методов доказательного управления и развитие методологии анализа данных в образовании.
В исследовании истории развития теории и практики нового концептуального подхода в управлении образованием на основании данных важно отметить интенсивное развитие этапов № 1 и № 2, но недостаточность исследовательских и проектных разработок на этапах № 3, № 4, № 5.
В настоящее время в России актуализирована необходимость развития четвертого и пятого этапов исследований и разработок в области анализа данных в образовании: развитие компетентностной системы подготовки кадрового потенциала в области доказательного управления на основании данных и развитие методологии и технологий анализа данных в образовании.
В инфраструктурно-технологическом контексте (развитие цифровых сервисов образовательных данных и цифровых сервисов обработки образовательных данных для принятия управленческих решений об образовании и детском развитии, для принятия решений о модернизации систем управления базами данных) можно обратить внимание на следующие связи и закономерности.
Международный анализ результатов расчета индексов в странах мира:
а) Индекс сетевой готовности — Networked Readiness Index (комплексный показатель, характеризующий уровень развития информационно-коммуникационных технологий в странах мира) [1];
6) Глобальный индекс развития информационных технологий в цифровой экономике — The Global Information Technology Report in the Digital Economy [23];
в) Индекс развития электронного правительства — E-Government Development Index, EGDI [2] —демонстрирует прогресс России в развитии электронных технологий и технологий управления на основании электронных данных. Но в отраслевом аспекте (сфера образования) органы исполнительной власти остаются самыми информационно закрытыми (по данным Центра исследований перспективных управленческих решений [7]). В то же время международный анализ образовательной политики стран и управленческих решений о развитии образовательных систем (международное исследование SABER System
Assessment and Benchmarking for Education Results — «Системный подход к улучшению результатов образования» [22]) демонстрирует связь между цифровизацией образования и возможностью его персонализации для максимального удовлетворения образовательных потребностей и индивидуализации образовательных маршрутов, соответственно, и качеством образовательных результатов (Schools: evalution and self-evalution [21]).
В отношении динамики качества образовательных результатов стран по результатам международных исследований (OECD PISA [16; 17]) можно предположить наличие «непрямой» связи между инфраструк-турно-технологическим развитием стран в сфере цифрового образования — IGITR (Index The Global Information Technology Report in the Digital Economy) и результатами стран в этом международном исследовании PISA (Programme for International Student Assessment). А именно: страны, входящие в двадцатку лучших стран в рейтинге PISA, лидируют и в рейтинге IGITR (в расчете по индексу локальных образовательных онлайн-серви-сов — Local Online Services Index, LOSI [13], включающем технические и контентные аспекты образовательных веб-сайтов, предоставляемых онлайн-сервисов и проектов аналитики образовательных данных).
В связи с этим можно предположить, что задачи на национальном уровне — интенсивное развитие технологий управления на основании данных и цифровых сервисов образовательных данных, развитие компетенций специалистов по анализу данных в образовании содействуют повышению качества образования в странах, которые целенаправленно занимались их решением.
Анализ современного состояния исследований в области доказательного управления и анализа образовательных данных (Educational Data Mining) можно структурировать по четырем направлениям:
1) исследование развития систем электронного обучения (e-learning) и электронных портфолио, цифровых следов в образовании, в том числе моделей «brick and click» (смешение традиционного и электронного обучения), электронных модульных образовательных платформ (Modular Learning Environment) и цифровых двойников в образовании (Digital Twin);
2) проектирование и исследование технологий искусственного интеллекта — анализ образовательных данных, в том числе проектирование и исследование публичных репозитариев образовательных данных;
3) исследование развития методов анализа нового типа образовательных данных (например, новый метод social network analysis и прогнозные модели успеваемости школьников с помощью больших данных);
4) исследование структуры компетенций, концепций и практик компетентностного развития профессионалов по анализу данных в образовании, в том числе исследование и оценка эффективности программ (например, «Big Data in Education», «Practical Learning Analytics», «Data, Analytics and Learning»).
По первому направлению можно выделить работы по мета-ког-нитивистике в образовании и исследование развития когнитивного тьюторства Алевен (Aleven) [8; 9], Ролл (Roll), Кедингер (Koedinger) [15], а также работы Бауэрс (Bowers) [12] по анализу поведенческих паттернов школьников в электронном обучении, Бишоп (Bishop) [11] по лонгитюдному анализу образовательных достижений и индивидуального образовательного прогресса школьников.
В российском сегменте исследований в этом направлении выделяются работы Бадарча [3], Натхо [4], Нежурина [5] по проектированию электронной образовательной среды, раскрывающие методологические принципы анализа электронных образовательных ресурсов и сервисов.
По второму направлению — проектирование и исследование технологий искусственного интеллекта для анализа образовательных данных, в том числе публичных репозитариев образовательных данных — выделяются методологические труды R. Baker, G. Siemens [10], I. H. Witten, E. Frank [24], R. Ferguson [13], C. Romero, S. Ventura [18], M. Sitikhadijah, T. Zaidatun [20], J. Schmidhuber [19], раскрывающие методологические принципы и технологии анализа данных в образовании и развитии человека.
По третьему направлению — исследование развития методов анализа нового типа образовательных данных — в методологических и прикладных работах M. F. Al-Ajmi, Sh. Khan, A. S. Zamani, F. Castro, A. Vellido, A. Nebot, F. Mugica, K. Kennedy, M. Peters, M. Thomas, G. Siemens, R. Baker [10] раскрываются новые методы анализа образовательных данных — сетевой анализ и прогнозные модели успеваемости школьников с помощью больших данных, анализ данных о добавленной стоимости для улучшения обучения школьников.
По четвертому направлению — исследование структуры компетен-
ций, концепций и практик компетентностного развития специалистов по анализу данных в образовании — в работах Т. 8^шап, К. Е1и, К. Я. Кое&пдег, А. Т. СогЬеН [15] раскрываются результаты исследования методологического проектирования и оценки эффективности программ профессионального развития специалистов по анализу образовательных данных, в частности когнитивного тьюторства.
Развитие нормативно-правовой базы, регламентирующей электронное образование, развитие сервисов образовательных данных, принципов «открытого правительства», позволило развивать практики управления образованием на основании анализа образовательных данных. Нормы Федерального закона «Об образовании в Российской Федерации» и системы ГОСТ, структурировавшие основные понятия и практики электронного образования и анализа образовательных данных: ГОСТ Р 526522006 Информационные технологии в образовании; ГОСТ Р 52653-2006 Информационно-коммуникационные технологии в образовании; ГОСТ Р 52655-2006 Информационно-коммуникационные технологии в образовании; ГОСТ Р 52656-2006 Образовательные интернет-порталы федерального уровня; ГОСТ Р 52657-2006 Информационно-коммуникационные технологии в образовании. Образовательные интернет-порталы федерального уровня; ГОСТ Р 53620-2009 Информационно-коммуникационные технологии в образовании. Электронные образовательные ресурсы; ГОСТ Р 55751-2013 Информационно-коммуникационные технологии в образовании. Электронные учебно-методические комплексы; ГОСТ Р 55750-2013 Информационно-коммуникационные технологии в образовании. Метаданные электронных образовательных ресурсов.
Нормы Федерального закона «Об образовании в Российской Федерации» сформировали понятийную рамку и правовое поле цифровой трансформации образования:
- электронное обучение — организация образовательной деятельности с применением содержащейся в базах данных информации, а также информационно-телекоммуникационных сетей, обеспечивающих передачу цифровой информации, взаимодействие обучающихся и педагогов [6];
- дистанционные образовательные технологии — технологии, реализуемые с применением информационно-телекоммуникационных сетей при опосредованном взаимодействии обучающихся и педагогов [6];
- электронный образовательный ресурс — электронно-цифровая форма информации, включающая в себя структуру, предметное содержание и метаданные [6];
- электронная информационно-образовательная среда (ЭОИС) — цифровая образовательная платформа для проведения занятий, оценки образовательных результатов, реализации дистанционных образовательных технологий [6];
- электронное обучение — обучение с использованием дистанционных образовательных технологий, электронных образовательных ресурсов, цифровой фиксации результатов освоения основной образовательной программы; электронного портфолио обучающегося, цифровое взаимодействие между участниками образовательного процесса [6];
- электронный учебно-методический комплекс — структурированный комплекс электронной учебно-методической документации, электронных образовательных ресурсов, средств обучения и контроля знаний [6].
Институциональные локальные нормативно-правовые акты организации электронного обучения и аналитики образовательных данных, которые обеспечивают цифровую идентификацию обучающегося, контроль соблюдения условий осуществления образования и оценки образовательных результатов:
- Положение об электронной информационно-образовательной среде;
- Положение о порядке реализации основной образовательной программы с применением электронного образования и цифровых образовательных технологий;
- Положение об электронном учебно-методическом комплексе;
- Положение о цифровом портфолио обучающегося и т.п.
Электронное обучение в России развивается активно, но специалисты сферы образования не всегда готовы к интерпретации больших данных, предоставляемых электронной образовательной средой.
Специалисты же в области анализа данных не всегда понимают: что, как и почему необходимо измерять в образовании для построения эффективной образовательной аналитики, служащей основанием принятия организационно-педагогических и управленческих решений.
Поэтому актуальной задачей на современном этапе развития обра-
зования в логике «управление на основании анализа образовательных данных» является исследование и разработка Методологических основ организационных моделей профессионального развития педагогов, руководителей общеобразовательных организаций и региональных систем образования, компетентных в вопросах управления образованием на основании данных об образовании и детском развитии. Это позволит создать условия для массового развития педагогической и управленческой практики в сфере образования — практики анализа и интерпретации данных в образовании.
В настоящее время в Институте стратегии развития образования РАО реализуется фундаментальное исследование по вышеназванной тематике в рамках гранта Российского фонда фундаментальных исследований по конкурсу на лучшие проекты междисциплинарных фундаментальных научных исследований «Фундаментальное научное обеспечение процессов цифровизации общего образования».
На основе междисциплинарности исследования — в нем задействованы инженерно-технологическая, психолого-педагогическая, организационно-управленческая предметные области — в проекте будут решены две важнейшие фундаментальные задачи: организационно-кадровая и инфраструктурно-технологическая — развития теории и практики управления образованием на основании данных.
Литература
1. Индекс готовности стран к сетевому обществу (Networked Readiness Index) // Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации [Электронный ресурс]. URL: https://digital.gov.ru/ru/ activity/statistic/rating/indeks-gotovnosti-stran-k-setevomu-obshestvu/#tabs|Compare: Place (дата обращения: 10.09.2019).
2. Индекс развития электронного правительства (E-Government Development Index, EGDI) // Министерство цифрового развития, связи и массовых коммуникаций Российской Федерации [Электронный ресурс]. URL: https://digital.gov.ru/ru/ activity/statistic/rating/index-razvitiya-elektronnogo-pravitelstva/#tabs|Compare: Place (дата обращения: 10.09.2019).
3. Информационные и коммуникационные технологии в образовании / под ред. Д. Бадарча. М.: ИИТО ЮНЕСКО, 2013. 320 с.
4. Натхо О. И. Электронно-образовательная среда как главный действующий элемент смешанного обучения // Концепт. 2014. Т. 26. С. 121-125 [Электронный ресурс]. URL: http://e-koncept.ru/2014/64325.htm (дата обращения: 10.09.2019).
5. Нежурина М. И. Принципы организации и разработки специализирован-
ной информационно-образовательной среды для дистанционного обучения: ав-тореф. дис. ... канд. тех. наук. М., 1998. 18 с.
6. Об образовании в Российской Федерации: Федеральный закон от 29.12.2012 № 273-Ф3 [Электронный ресурс]. URL: https://www.zakonrf.info/zakon-ob-obrazovanii-v-rf (дата обращения: 10.09.2019).
7. Самыми информационно закрытыми органами признаны Минобрнауки и Минпросвещения // Навигатор образования [Электронный ресурс]. URL: https:// fulledu.ru/news/5341_samymi-informacionno-zakrytymi-organami-pravitelstva.html (дата обращения: 10.09.2019).
8. Aleven V., McLaren B., Roll I., et al. Toward meta-cognitive tutoring: A model of help seeking with a cognitive tutor // International Journal of Artificial Intelligence and Education. 2018. № 16. P. 101-128.
9. Allen I. E., Seaman J. Changing Course: Ten years of tracking online education in the United States // Sloan Consortium [Электронный ресурс]. URL: http:// sloanconsortium.org/publications/survey/changing_course_2012 (дата обращения: 10.09.2019).
10. Baker R., Siemens G. Educational Data Mining and Learning Analytics // Columbia University in the City of New York [Электронный ресурс]. URL: http:// www.columbia.edu/~rsb2162/BakerSiemensHandbook2013.pdf (дата обращения: 10.09.2019).
11. Bishop Ch. Pattern Recognition and Machine Learning // Information Science and Statistics. 2006. Vol. XX. 740 p.
12. Bowers A. J. Analyzing the longitudinal K-12 grading histories of entire cohorts of students: Grades, data driven decision making, dropping out and hierarchical cluster analysis // Practical Assessment Research and Evaluation. 2010. Vol. 15, No. 7. P. 1-18.
13. Ferguson R. The State Of Learning Analytics in 2012: A Review and Future Challenges // Technical Report KMI-12-01, Knowledge Media Institute, The Open University [Электронный ресурс]. URL: http://kmi.open.ac.uk/publications/ techreport/kmi-12-01 (дата обращения: 10.09.2019).
14. Government-Survey // United Nations [Электронный ресурс]. URL: https:// publicadministration.un.org/egovkb/en-us/Reports/UN-E-Government-Survey-2018 (дата обращения: 10.09.2019).
15. Koedinger K. R., CorbettA. T. Cognitive tutors: Technology bringing learning sciences to the classroom // The Cambridge handbook of the learning sciences. New York: Cambridge University Press, 2006 [Электронный ресурс]. URL: http://learnlab.org/ uploads/mypslc/publications/koedingercorbett06.pdf (дата обращения: 10.09.2019).
16. PISA Database // OECD [Электронный ресурс]. URL: http://www.oecd.org/ pisa/data (дата обращения: 10.09.2019).
17. Programme for International Student Assessment, PISA // OECD [Электронный ресурс]. URL: https://www.oecd.org/pisa/pisaproducts/PISA2021_TechnicalStandards. pdf (дата обращения: 10.09.2019).
18. Romero C., Ventura S. Educational Data Mining: A Review of the State of the Art // IEEE Transactions on Systems Man and Cybernetics. Part C (Applications and Reviews). 2010. Vol. 40, No. 6. P. 601-618. DOI: 10.1109/TSMCC.2010.2053532.
19. Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. 2015. No. 61.P. 85-117.
20. Sitikhadijah M., Zaidatun T. Educational Data Mining: A Review // ResearchGate [Электронный ресурс]. URL: https://www.researchgate.net/publication/275542685 (дата обращения: 10.09.2019).
21. Schools: evalution [Электронный ресурс]. URL: https://www.ciep.fr/sites/ default/files/migration/en/bibliography/docs/bibliography-schools-evaluation.pdf (дата обращения: 10.09.2019).
22. System Assessment and Benchmarking for Education Results // AIR: American Institute of Research [Электронный ресурс]. URL: https://www.air.org/project/world-bank-system-assessment-and-benchmarking (дата обращения: 10.09.2019).
23. The Global Information Technology Report in the Digital Economy // World Economic Forum [Электронный ресурс]. URL: http://www3.weforum.org/docs/ GITR2016/WEF_GITR_Full_Report.pdf (дата обращения: 10.09.2019).
24. Witten I. H., Frank E. Data Mining: Practical machine learning tools and techniques. Cambridge, MA: Morgan Kaufmann, 2015. 229 p.
ANALYSIS OF THE CURRENT STATE OF RESEARCH IN THE FIELD OF EDUCATION MANAGEMENT BASED ON DATA
The methodology of data analysis is characterized in connection with the fact that educational data analysis technologies are becoming a new tool for transforming education based on the principle of personalization, for improving the quality of educational results of schoolchildren and managing education at different levels. The characteristics of the current state of research in the field of pedagogy based on data, evidence-based management and analysis of educational data are structured in four areas: 1) research on the development of e-learning systems and electronic portfolios, digital footprints in education, including the study of brick and click models (a mix of traditional and e-learn-ing), research by Modular Object-Oriented Dynamic Learning Environment (MOODLE platforms) and Digital Twin (digits new doubles in education);
2) design and study of artificial intelligence technologies — analysis of educational data, including design and study of public educational data repositories;
3) research on the development of methods for analyzing a new type of educational data (the method of network analysis — social network analysis — and forecast models of student performance using big data); 4) studies of the structure of competencies, concepts and practices of the competence development of professionals in the analysis of data in education ("Big Data in Education", "Practical Learning Analytics", "Data, Analytics and Learning"). The analysis of the current state of research in the field of education management based on data is presented. The prospects for the development of science and practice of education management on the basis of data in connection with the development of the methodology for the analysis of educational data and the regulatory framework governing the practice of electronic education and the use of digital open data services are outlined.
Keywords: data-based pedagogy, data-based education management,
evidence-based education management, electronic educational services and information-based information management services, educational data
analysis methodology.
References
• Aleven V., McLaren B., Roll I., et al. Toward meta-cognitive tutoring: A model of help seeking with a cognitive tutor // International Journal of Artificial Intelligence and Education. 2018. № 16. P. 101-128.
• Allen I. E., Seaman J. Changing Course: Ten years of tracking online education in the United States // Sloan Consortium [Elektronnyj resurs]. URL: http://sloanconsortium. org/publications/survey/changing_course_2012 (data obrashcheniya: 10.09.2019).
• Baker R., Siemens G. Educational Data Mining and Learning Analytics // Columbia University in the City of New York [Elektronnyj resurs]. URL: http://www.columbia. edu/~rsb2162/BakerSiemensHandbook2013.pdf (data obrashcheniya: 10.09.2019).
• Bishop Ch. Pattern Recognition and Machine Learning // Information Science and Statistics. 2006. Vol. XX. 740 p.Informacionnye i kommunikacionnye tekhnologii v obra-zovanii / pod red. D. Badarcha. M.: IITO YuNESKO, 2013. 320 s. [In Rus].
• Bowers A. J. Analyzing the longitudinal K-12 grading histories of entire cohorts of students: Grades, data driven decision making, dropping out and hierarchical cluster analysis // Practical Assessment Research and Evaluation. 2010. Vol. 15, No. 7. P. 1-18.
• Ferguson R. The State Of Learning Analytics in 2012: A Review and Future Challenges // Technical Report KMI-12-01, Knowledge Media Institute, The Open University [Elektronnyj resurs]. URL: http://kmi.open.ac.uk/publications/techreport/kmi-12-01 (data obrashcheniya: 10.09.2019).
• Government-Survey // United Nations [Elektronnyj resurs]. URL: https://publicadmin-istration.un.org/egovkb/en-us/Reports/UN-E-Government-Survey-2018 (data obrash-cheniya: 10.09.2019).
• Indeks gotovnosti stran k setevomu obshchestvu (Networked Readiness Index) // Ministerstvo cifrovogo razvitiya, svyazi i massovyh kommunikacij Rossijskoj Federacii [Elektronnyj resurs]. URL: https://digital.gov.ru/ru/activity/statistic/rating/indeks-gotovnosti-stran-k-setevomu-obshestvu/#tabs|Compare: Place (data obrashcheniya: 10.09.2019). [In Rus].
• Indeks razvitiya elektronnogo pravitel'stva (E-Government Development Index, EGDI) // Ministerstvo cifrovogo razvitiya, svyazi i massovyh kommunikacij Rossijskoj Federacii [Elektronnyj resurs]. URL: https://digital.gov.ru/ru/activity/statistic/rating/index-razvitiya-elektronnogo-pravitelstva/#tabs|Compare: Place (data obrashcheniya: 10.09.2019). [In Rus].
• Koedinger K. R., Corbett A. T. Cognitive tutors: Technology bringing learning sciences to the classroom // The Cambridge handbook of the learning sciences. New York: Cambridge University Press, 2006 [Elektronnyj resurs]. URL: http://learnlab.org/uploads/mypslc/ publications/koedingercorbett06.pdf (data obrashcheniya: 10.09.2019).
• Natho O. I. Elektronno-obrazovatel'naya sreda kak glavnyj dejstvuyushchij element sme-shannogo obucheniya // Koncept. 2014. T. 26. S. 121-125 [Elektronnyj resurs]. URL: http://e-koncept.ru/2014/64325.htm (data obrashcheniya: 10.09.2019). [In Rus].
• Nezhurina M. I. Principy organizacii i razrabotki specializirovannoj informacionno-obrazovatel'noj sredy dlya distancionnogo obucheniya: avtoref. dis. ... kand. tekh. nauk. M., 1998. 18 s. [In Rus].
• Ob obrazovanii v Rossijskoj Federacii: Federal'nyj zakon ot 29.12. 2012 g. № 273-FZ [Elektronnyj resurs]. URL: https://www.zakonrf.info/zakon-ob-obrazovanii-v-rf (data obrashcheniya: 10.09.2019). [In Rus].
• PISA Database // OECD [Elektronnyj resurs]. URL: http://www.oecd.org/pisa/data (data obrashcheniya: 10.09.2019).
• Programme for International Student Assessment, PISA // OECD [Elektronnyj resurs]. URL: https://www.oecd.org/pisa/pisaproducts/PISA2021_TechnicalStandards.pdf (data obrashcheniya: 10.09.2019).
• Romero C., Ventura S. Educational Data Mining: A Review of the State of the Art // IEEE Transactions on Systems Man and Cybernetics. Part C (Applications and Reviews). 2010. Vol. 40, No. 6. P. 601-618. DOI: 10.1109/TSMCC.2010.2053532.
• Samymi informacionno zakrytymi organami priznany Minobrnauki i Minprosveshcheniya // Navigator obrazovaniya [Elektronnyj resurs]. URL: https://fulle-du.ru/news/5341_samymi-informacionno-zakrytymi-organami-pravitelstva.html (data obrashcheniya: 10.09.2019). [In Rus].
• Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. 2015. No. 61.P. 85-117.
• Schools: evalution [Elektronnyj resurs]. URL: https://www.ciep.fr/sites/default/files/mi-gration/en/bibliography/docs/bibliography-schools-evaluation.pdf (data obrashcheniya: 10.09.2019).
• Sitikhadijah M., Zaidatun T. Educational Data Mining: A Review // ResearchGate [Elektronnyj resurs]. URL: https://www.researchgate.net/publication/275542685 (data obrashcheniya: 10.09.2019).
• System Assessment and Benchmarking for Education Results // AIR: American Institute of Research [Elektronnyj resurs]. URL: https://www.air.org/project/world-bank-system-assessment-and-benchmarking (data obrashcheniya: 10.09.2019).
• The Global Information Technology Report in the Digital Economy // World Economic Forum [Elektronnyj resurs]. URL: http://www3.weforum.org/docs/GITR2016/WEF_ GITR_Full_Report.pdf (data obrashcheniya: 10.09.2019).
• Witten I. H., Frank E. Data Mining: Practical machine learning tools and techniques. Cambridge, MA: Morgan Kaufmann, 2015. 229 p.
