CC BY
28ISSN 1999-6640 (print) ISSN 1999-6659 (online)
DOI 10.15826/umpa.2022.03.025
ПОДХОД К УПРАВЛЕНИЮ КАЧЕСТВОМ ОБРАЗОВАТЕЛЬНЫХ ПРОГРАММ НА ОСНОВЕ ДАННЫХ
К. О. Тишкина, О. В. Елисеева, А. Ш. Багаутдинова, К. С. Шилова, А. А. Ефремова
Национальный исследовательский университет ИТМО, Департамент образовательной деятельности Россия, 197101, Санкт-Петербург, Кронверкский пр., д. 49, лит. А. tishkina@itmo.ru
Аннотация. Цель данной статьи - описание и обоснование подхода к управлению качеством образовательных программ, разработанного и апробированного в Университете ИТМО начиная с 2019 года. В статье представлены основные индикаторы оценки и результаты апробации данного подхода в университете. Основной единицей качества является образовательная программа. Она имеет продолжительный жизненный цикл и отвечает запросам большинства стейкхолдеров университета. С учетом всех особенностей образовательной программы предлагается комплексный набор показателей для оценки ее качества, что дает возможность объективно управлять ею на основе полученных данных. Для анализа жизненного цикла образовательной программы разработан внутренний рейтинг и представлены примеры рекомендаций по его итогам. Описаны преимущества подхода управления образовательными программами, представлены пути по дальнейшему развитию. Статья может быть интересна руководителям и управленческим командам высших учебных заведений, а также исследователям в области высшего образования.
Ключевые слова: образовательная программа, качество образования, показатели качества, система оценка качества образования
Для цитирования: Тишкина К. О., Елисеева О. В., Багаутдинова А. Ш., Шилова К. С., Ефремова А. А. Подход к управлению качеством образовательных программ на основе данных поле // Университетское управление: практика и анализ. 2022. Т. 26, № 3. С. 112-119. DOI 10.15826/umpa.2022.03.025
DOI 10.15826/umpa.2022.03.025
DATA-BASED APPROACH TO EDUCATIONAL PROGRAMS
QUALITY MANAGEMENT
K. O. Tishkina, O. V. Eliseeva, A. Sh. Bagautdinova, K. S. Shilova, A. A. Efremova
ITMO University, Department of Academic Affairs 49 lit. A, Kronverksky avenue, St. Petersburg, 197101, Russian Federation
tishkina@itmo.ru
Abstract. The purpose of this article is to describe and justify the approach to assessing the quality of educational programs that have been developed and tested at ITMO University since 2019. The article presents the main indicators of assessment and the results of testing this approach at the university. The main unit of quality is an educational program, as it has a long-life cycle and meets the needs of most stakeholders of the educational organization. Taking into account all the features of an educational program, the authors propose a comprehensive set of indicators to assess its quality, which makes it possible to objectively manage it data-based. In conclusion, for completing the task of analyzing the life cycle of an educational program, the authors present an internal rating of educational programs, concise examples of recommendations based on its results. The advantages of the approach to managing educational programs are described, and ways for further development are presented. The article may be of interest to the managers and management teams of institutions of higher education, as well as to the researchers in this field.
Keywords: educational program, quality of education, quality indicators, quality assessment system For citation: Tishkina K. O., Eliseeva O. V., Bagautdinova A. Sh., Shilova K. S., Efremova A. A. Data-Based Approach to Educational Programs Quality Management. University Management: Practice and Analysis, 2022, vol. 26, nr 3, pp. 112-119. doi 10.15826/umpa.2022.03.025. (In Russ.).
http://umj.ru
Введение
Опыт обучения студентов в дистанционном и смешанном форматах в период пандемии, формулировка новых подходов и направлений качественной оценки деятельности вузов в рамках программы стратегического академического лидерства «Приоритет 2030», а также недавний выход России из Болонской системы в очередной раз привлекли внимание к проблеме качества высшего образования. Безусловно, для его обеспечения должен функционировать комплекс мероприятий, результатом которого будет являться непрерывный мониторинг и подтверждение образовательных результатов. В ноябре 2021 года был утвержден перечень показателей, определяющих ключевые критерии качества обучения и устанавливающих вектор развития вузов в целом [1]. Несмотря на то, что универсального представления об идеальной модели внутренней оценки и обеспечения качества в сфере высшего образования не существует, каждому вузу сегодня важно разработать и выстроить собственную модель.
Практика российских вузов в контексте управления качеством образования включает в себя реализацию различных подходов. Основные принципы чаще всего декларируются в Политике в области качества или в Положениях о внутренней системе оценки качества. Анализ официальных сайтов ведущих вузов Российской Федерации (далее - РФ) - в частности, https://www.tsu.ru, https://iim.ranepa.ru, https://mgimo.ru, https://www. spbstu.ru, https://spbu.ru - выявил, что чаще всего в практике управления качеством образования используются такие мониторинговые индикаторы, как показатели успеваемости и остаточных знаний студентов, процедуры самообследования образовательных программ и отдельных подразделений, оценка кадровых и инфраструктурных ресурсов, опросы по удовлетворенности студентов и преподавателей, международная аккредитация отдельных образовательных программ и внешняя экспертная оценка.
В настоящее время широко распространенной тенденцией становится применение в образовательных организациях подходов независимой оценки качества образования (далее - НОКО) [2]. Данные мероприятия могут быть как внутренними, так и внешними, распространяться как на весь университет в целом, так и на определенный образовательный продукт, иметь качественные и количественные характеристики.
Существенную роль играет также обмен лучшими практиками в области управления
качеством образовательного процесса. Второй год успешно реализуется проект Томского государственного университета (ТГУ) «Университетская национальная инициатива качества образования» [3], к которому на данный момент присоединилось уже около 37 ведущих российских вузов. Университет ИТМО, в свою очередь, стал участником данной инициативы в ряду вузов первой волны 2020-2021 года, представив по итогам первого года участия методические рекомендации на тему «Коммуникативное взаимодействие преподавателей, студентов как ресурса повышения качества образования в университете» [4,5]. А также организовал и провел межвузовскую конференцию ITMO. OPEN: Educational Practices [6].
Нередко одной из метрик качества обучения в вузах становится его позиция в том или ином рейтинге (в частности, Times Good University Guide, US News, QS World University Rankings и Shanghay Ranking), однако любые рейтинги имеют ряд ограничений. Во-первых, неоднозначна связь между позицией вуза в международном рейтинге и качеством образования на отдельных образовательных программах. Во-вторых, не всегда корректно оценивать образовательный процесс преимущественно через количественные показатели. В данном случае интерпретация полученных результатов зачастую может потребовать более глубокой аналитики с привлечением обучающихся, преподавателей, сервисных подразделений. В-третьих, сама экспертная оценка является в большей мере субъективным фактором, в связи с этим актуален поиск объективных неин-вазивных данных, отражающих качество образования [7].
Кроме того, анализ европейских подходов к оценке качества выявил важность достижения поставленных целей на всех этапах образовательного процесса, в частности: соответствия целей программ институциональной стратегии и наличия строго обозначенных ожидаемых результатов обучения; комплексного развития профессорско-преподавательского состава, прозрачности процедур, регламентирующих образовательный процесс, и процедур оценки качества; а также студентоцентрированности при помощи образовательных, научных, внеучебных возможностей для студентов, активного обучения [8, 9,10].
Подчеркивая особую роль прозрачности процедур оценки качества образования в вузах, можно выделить несколько определяющих компонентов: (1) соответствие образовательного процесса определенным стандартам и требованиям (законы
об образовании); (2) удовлетворение запросов и потребностей стейкхолдеров образовательного процесса (социологический подход) [11]; (3) развитие и формирование у обучающихся определенных знаний, умений и навыков, составляющих основу для формирования и развития компетенций, или, в целом, качество образовательных результатов (компетентностный подход). Несмотря на то, что все предлагаемые инструменты оценки хороши, зачастую они применяются вузами разрозненно или односторонне. В то же время эффективное управление качеством образования требует внедрения системы менеджмента как всеохватывающего комплекса мер и оценки.
Все большую популярность набирает подход к управлению образованием на основе данных. В частности, можно отметить появление новых инструментов и методологий работы с образовательными данными. Рост интереса к такому подходу доказывает увеличение количества различного рода изданий по этой тематике [12]. Существенный прирост доступных для управленцев данных обеспечил дистанционный пандемий-ный период. Однако в то же время вскрылись проблемы, связанные с цифровизацией и автоматизацией образовательного процесса, потребовался пересмотр методических и педагогических подходов. В выпуске из серии «Современная аналитика образования», посвященной образовательной аналитике в управлении образовательными организациями и разработке образовательного контента, утверждается, что обеспечить обновление подходов в образовании и предоставить доказательную базу для принятия решений сможет образовательная аналитика и data driven-подход [13]. Более того, в рамках данной идеологии можно строить и проверять гипотезы, оптимизировать процессы, а впоследствии и автоматизировать принятие решений [14].
Цель данной статьи - разработка системного подхода к управлению качеством образования на основании показателей качества реализации образовательных программ (ОП). В первой части статьи рассматривается системный подход к оценке качества образования в Университете ИТМО. Во второй части статьи предложены разработанные в контексте данной системы показатели качества ОП, разделенные на три укрупненные группы: качество условий, качество процесса и качество результата. В заключительной части описан опыт апробации на образовательных программах магистратуры ИТМО и некоторые направления развития моделей оценки качества в целом.
Системный подход к оценке качества образования в ИТМО
Работа над качеством образования призвана решить многие из проблем, с которыми сталкивается руководство университетов и которые не затрагиваются внешними мероприятиями. Среди них:
- распределение финансирования между научно-образовательными подразделениями;
- принятие решений об открытии/закрытии образовательных программ;
- проверка гипотез о привлекательности программ для абитуриентов, востребованности выпускников и тд.;
- сбор данных для актуализации образовательных программ и т. д.
В статье предлагается подход, формирующий данные для решения обозначенных выше проблем.
Внутренняя система оценки качества образования в Университете ИТМО формируется с 2016 года. На уровне университета оно определяется через совокупность следующих составляющих: качества условий, качества процесса и качества результата. Поскольку оценка качества результата обуславливает изменение качества условий и качества процесса, а оценка качества процесса обуславливает развитие качества условий и влияет на качество результатов, следовательно, качество одного компонента закономерно влияет на качество других. Мониторинговые мероприятия на всех этапах данного взаимно обратимого процесса способствуют повышению качества системы образования в вузе.
Стратегической целью Университета ИТМО становится разработка, формирование и внедрение постоянно действующей и динамичной системы не столько оценки качества образования, сколько управления качеством, формирования культуры качества у всех участников образовательного процесса, то есть формирование стандарта качества образования Университета ИТМО. Для реализации данной цели была разработана и внедрена система, представленная на рис. 1.
При разработке системы качества университета ИТМО мы опирались на два принципа - скорость изменений и прозрачность процессов и процедур. Для их внедрения мы используем продуктовый подход, то есть рассматриваем все сущности как образовательные продукты. Преимущества такого подхода - быстрая проверка гипотез и быстрый запуск минимально рабочего
Рис. 1. Система качества образования в Университете ИТМО Fig. 1. Education Quality System at ITMO University
продукта, закрытие задач и потребностей целевой аудитории, а также ее сопровождение на всех этапах жизненного цикла продукта.
Система реализуется на нескольких уровнях: университета, факультета, образовательной программы, дисциплины и занятия. В ИТМО под основной единицей качества образования понимается образовательная программа. Важно отметить, что модель оценки качества отражает жизненный цикл ОП (разработка, продвижение, реализация, оценка, модернизация).
Для более объективной оценки качества ОП в ИТМО разработаны и применяются как количественные, так и качественные показатели. Качественные исследования в контексте реализации ОП, модулей, дисциплин, факультативов опираются на контекстный анализ открытых комментариев обучающихся при проведении опросов, обращений обучающихся, интервью в фокус-группах, посещения занятий (peer-review), самооценку (self-review), а также описательную статистику ОП (списочные данные по полу, возрасту, предыдущему образованию обучающихся и т.д). Цель качественных исследований - углубленная оценка, интерпретация количественных данных и показателей.
Вместе с тем, все показатели из укрупненных групп распределены по трем уровням относительно типа исходных данных для их расчета, анализа и интерпретации. Показатели 1-го уровня представляют собой ключевые индикаторы качества реализации ОП на основе статистических данных, позволяют сформировать рейтинг и отражают
качество менеджмента. Показатели 2-го уровня представляют собой расширенную оценку качества реализации ОП и отражают стратегию развития университета в части образования (например, привлечение молодых ученых и преподавателей). Качественная или описательная статистика ОП отражается в показателях 3-го уровня, которые нацелены на раскрытие и углубленный анализ первых двух уровней.
Далее рассмотрим подробнее сами показатели. Они делятся на три укрупненные группы [15]:
1. «Качество условий». Показатели позволяют сделать выводы о сформированных условиях для реализации ОП на уровне университета и подразделения-реализатора, дать расширенную оценку эффективности приемной кампании, кадровым и образовательным ресурсам.
2. «Качество процесса». Показатели позволяют дать расширенную оценку качеству процесса реализации образовательной программы и текущему освоению необходимых компетенций обучающимися, оперативно реагировать на выявленные несоответствия и формулировать для руководителей ОП и факультетов-реализаторов корректирующие действия раньше, чем обучающиеся выпустятся. Показатели ориентированы также и на общеуниверситетские критерии эффективности в рамках стратегической программы Приоритет-2030 [16] - например, на долю иностранных граждан и лиц без гражданства, обучающихся по программам магистратуры, программам подготовки научно-педагогических кадров в аспирантуре, программам ординатуры,
программам ассистентуры-стажировки по очной форме обучения.
3. «Качество результата». Показатели позволяют сделать итоговые выводы о качестве реализации образовательного процесса на уровне программы и успешности студентов и выпускников.
Показатели качества ОП могут являться не только мониторинговым инструментом реализации программ, но и исходными данными для формирования рейтинга на уровне всего университета. Так, в Университете ИТМО в 2021 году рейтинговая модель оценки качества ОП прошла апробацию на программах магистратуры 2019 и 2020 годов приема. В частности, было рассчитано 29 показателей, а также построен общий рейтинг.
Методика построения рейтинга ОП заключалась в том, что значения каждого показателя были отсортированы по возрастанию (минимальное значение - 1 балл, дальнейшие рассчитывались с шагом в 1 балл). Если программы имели одинаковые значения показателей, им присваивались одни и те же баллы. Затем баллы по каждому показателю были просуммированы, ОП с максимальным количеством баллов заняла первое место, с минимальным - последнее. Таким образом был составлен общий рейтинг ОП. Существенным фактором стало и то, что при подсчете баллов не использовались веса (коэффициенты), все показатели брались как равнозначные. В ближайшей перспективе использование весов является приоритетной задачей, позволяющей сделать ставку на развитие тех ОП, которые отвечают задачам развития университета.
По итогам рейтингования ОП университета проводились встречи с руководителями программ и деканами факультетов для обсуждения разработанной модели. В ходе встреч от участников была собрана обратная связь. Основные предложения представителей образовательных подразделений университета были связаны с укрупнением групп
показателей и пересмотром уровней нескольких из них на предмет попадания и непопадания в рейтинг. В итоге модель оценки качества образования в ИТМО на основе показателей ОП была одобрена и сегодня успешно реализуется в мероприятиях мониторинга и управления.
Однако стоит отметить, что наиболее дискуссионным остается вопрос о принципах рей-тингования ОП. Существует как минимум два возможных подхода к построению рейтинга: (1) общий - в него входят все образовательные программы, - и (2) рейтинг по признаку: например, международных образовательных программ или программ научного трека. Одним из результатов применения рейтингования ОП по признаку в ИТМО стали рекомендации руководителям о перспективах получения их ОП статуса международной образовательной программы (далее - МОП).
Отдельно взятые показатели оценки качества, итоговый рейтинг - все это используется не только для оценки как таковой, но и для управления на основе данных. Данные для управления образовательной программой требуются на всех этапах ее жизненного цикла. Таким образом, с использованием рассчитанных показателей принимаются решения о продолжении реализации ОП, выявляются лучшие практики управления и реализации, выявляются болевые точки, выстраивается диалог между руководителями и сервисными службами. Подробная схема приведена в табл. 1.
Кроме того, полученные данные можно взять в основу проведения внутренних аудитов образовательных программ и научно-образовательных подразделений, а также использовать как механизм самообследования университета, в котором соотносятся глобальные задачи развития вуза и текущая ситуация с портфелем ОП.
Важно отметить, что для расчета показателей используются не только вторичные данные (к примеру, о кадровом составе),
Таблица 1
Управление качеством ОП на основе данных
Table 1
Data-based quality management of educational programs
Вид оценки Качество условий Качество процесса Качество результата Характер оценки
Измерения Аудит процессов. Фиксация несоответствия целям ОП Текущие измерения
Анализ Тенденции улучшений/ухудшений Анализ причин и следствий Сравнение
Проблемы менеджмента Проблемы в реализации Низкие результаты Диагностика
но и первичные - результаты опросов студентов (оценка занятий, преподавания, дисциплин), посещений занятий преподавателей, обращения обучающихся. Первичные данные используются не только на уровне показателей ОП, но и для настройки процессов, связанных с преподавательским составом: выбор лучших преподавателей, персональные рекомендации по развитию компетенций преподавателей, учет в конкурсе ППС.
Анализ подхода к управлению качеством ОП на основе данных в ИТМО показал несколько важных преимуществ:
1) Использование данных из разных источников обеспечивает полноту понимания процессов.
2) Данные на всех уровнях образовательного процесса. В показателях качества ОП агрегируется информация как с уровней ниже (занятия, дисциплины), так и зависимые от факультета и университета факторы (к примеру, кадровый состав и инфраструктура). Как следствие, данные влияют на формирование портфеля мегафакультета и университета в целом.
3) Данные влияют на принятие решений. Помимо приведенных ранее примеров, информация применяется при расчете нагрузки (важную роль играет показатель «Сохранение КЦП»), а также при назначении повышающего коэффициента нагрузки для международных образовательных программ.
4) Данные - для образовательного сопровождения, а не для наказания. В первую очередь, показатели используются для развития того или иного образовательного продукта, а не для его завершения.
Одной из стратегических задач в области качества образования является автоматизация принятия решений - создание протоколов актуализации образовательных продуктов. Выделенные преимущества подхода к управлению качеством ОП на основе данных позволят достичь поставленной задачи с минимальными временными и человеческими трудозатратами.
Заключение
Пилотный расчет показателей, обсуждение их с заинтересованными сторонами, рейтингование ОП доказали жизнеспособность и эффективность многофакторного подхода к оценке качества образовательных программ. Таким образом, можно выделить несколько направлений развития модели управления качеством ОП на основе данных:
1. Цифровизация. Помимо очевидных преимуществ автоматизации расчета показателей,
таких, как минимизация человеческого фактора и ошибок, а также скорости получения результатов, есть и ряд не таких очевидных. Например, возможность получить значения показателей на любую дату, что позволит иметь больше данных, тестировать больше гипотез и настраивать уровни доступа к результатам оценки ОП для различных заинтересованных сторон.
2. Расширение источников данных. Использование всех показателей затрудняет тот факт, что объективные данные для их расчета получить проблематично. Поэтому организация работы по занесению данных в информационную систему требует отдельного ресурса.
3. Использование рассчитанных показателей для задач учебной аналитики. Для настройки продуктивной работы команды ОП с показателями необходимо применить математический аппарат (исследовать гипотезы), проанализировать значения показателей в совокупности с другими данными учебной аналитики, провести интеллектуальный анализ данных.
4. Открытость. Любая обратная связь работает, если доходит до тех стейкхолдеров, которые могут повлиять на процесс, поэтому важно делать собираемые данные открытыми и понятными для руководителей ОП, преподавателей, сервисных служб, а также предоставить доступ студентам и абитуриентам как основной целевой аудитории ОП.
5. Построение рекомендательной системы, которая будет работать автономно и не зависеть от сотрудников университета. Основной задачей системы будет не сколько описание текущей ситуации, а построение алгоритмов действий для достижения ОП оптимального качества.
Качество ОП в целом, как и любого образовательного продукта в частности, - сложное понятие, имеющее множество трактовок. Следовательно, поиск оптимального подхода может занять достаточно времени и ресурсов. К тому же, стоит принять во внимание, что любая модель оценки качества образования требует персональной настройки под особенности образовательной организации. В Университете ИТМО разработана и применяется модель системы качества, согласно которой качество образовательной программы - это совокупность показателей, отражающих качество условий, качество процесса и качество результата.
Мы не останавливаемся на достигнутом: в быстро меняющихся условиях важно сохранять гибкий подход к оценке качества. На конкретный набор показателей влияют как внутренние, так
и внешние факторы, поэтому список индикаторов остается открытым, постоянно видоизменяется и дополняется с учетом того, как развивается сам университет.
Список литературы
1. Об утверждении аккредитационных показателей по образовательным программам высшего образования: приказ Минобрнауки Рос. Федерации от 25.11.2021 № 1094. URL: https://docs.cntd.ru/document/727207945 (дата обращения: 02.07.2022).
2. Методические рекомендации по организации и проведению в образовательных организациях высшего образования внутренней независимой оценки качества образования по образовательным программам высшего образования -программам бакалавриата, программам специалитета и программам магистратуры: Минобрнауки Рос. Федерации от 15.02.2018 № 05-436. URL: https://www.consultant.ru/document/cons_doc_LAW _298168/2b00782747a363d7a38b7e7414aa8c4e5f449f60A>-та обращения: 21.11.2022).
3. Университетская национальная инициатива качества образования (УНИКО): Национальный исследовательский Томский государственный университет, Институт образования. URL: https://high-edu-quality. га/(дата обращения: 10.08.2022).
4. Козлова Д. К., Тишкина К. О., Багаутдинова А. Ш., Елисеева О. В., Руппель А. Ф. Коммуникативное взаимодействие преподавателей, студентов как ресурс повышения качества образования в университете: методические рекомендации. Томск : Изд-во Том. гос. ун-та, 2021. 24 с.
5. Багаутдинова А. Ш., Козлова Д. К., Руппель А. Ф., Тишкина К. О., Елисеева О. В. Практика управления качеством образования на основе опыта Университета ИТМО. Университет VS коронавирус. Томск : Изд-во Том. гос. ун-та, 2021. 67 с.
6. Межвузовская конференция ITMO. OPEN: Educational Practices. Программа-конструктор от Университета ИТМО: 16-18 мая 2022. URL: https://edpractices.itmo. ru/#rec303034221 (дата обращения: 10.08.2022).
7. Дзыгивский П. И. Способ оценки качества высшего образования // Университетское управление: практика и анализ. 2009. № 6. С. 19-22.
8. The CDIO Standards v 2.0 (With Customized Rubrics) // CDIO Knowledge Library. 2010. December 8. Cambridge, Massachusetts: World Initiative CDIO. 14 p.
9. Framework Standards and Guideline. EUR-ACE (EAFSG). 2021. November 4. 30 p.
10. Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Brussels, Belgium, 2015. 30 p.
11. Сергеева С. Ю., Обревко Е. Д. Современные подходы и методы оценки качества образования // Молодой ученый. 2019. № 37 (275). С. 162-165.
12. Romero C, Ventura S. Educational data mining and learning analytics: An updated survey. WIREs Data Mining Knowl Discov. 2020. 30 p.
13. Свердлов М. Б., Вербицкий Е. В., Конобеев А. В., Крецу А.И., Стриканов В. Д. Образовательная аналитика:
управление образовательной организацией и создание контента на основе данных. М.: НИУ ВШЭ, 2021. 65 с.
14. Аббакумов Д., Свердлов М., Комиссаров А., Буйлов О., Мельниченко А., Юрченков В., Шустрова Ю. и др. Аналитика обучения: о чем молчат данные? EduTech: информационно-аналитический журнал. СберУниверситет, 2022. 44 с.
15. Показатели качества образовательных программ. URL: https://edu.itmo.ru/files/753 (дата обращения: 06.07.2022).
16. Проект программы развития федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский университет ИТМО». СПб. : ФГАОУ ВО «Нац. иссл. ун-т ИТМО», 2021. 214 с.
References
1. Ob utverzhdenii akkreditacionnyh pokazatelej po obrazovatel'nym programmam vysshego obrazovaniya: prikaz Minobrnauki Ros. Federatsii ot 25.11.2021 № 1094. [On Approval of Accreditation Indicators for Educational Programs of Higher Education. The order of the Ministry of Education of the Russian Federation of 25.11.2021 No. 1094]. Available at: https://docs.cntd.ru/document/727207945 (accessed: 02.07.2022). (In Russ.).
2. Metodicheskie rekomendacii po organizacii i provedeniyu v obrazovatel'nyh organizaciyah vysshego obrazovaniya vnutrennej nezavisimoj ocenki kachestva obrazovaniya po obrazovatel'nym programmam vysshego obrazovaniya -programmam bakalavriata, programmam specialiteta i programmam magistratury: Minobrnauki Ros. Federacii ot 15.02.2018 № 05-436. [Methodological Recommendations on the Organization and Conduct of an Internal Independent Assessment of the Quality of Education in Institutions of Higher Education for Educational Programs: Bachelor's Degree Programs, Specialty Programs and Master's Degree Programs: The Ministry of Education and Science of the Russian Federation. Federation from No. 05-436 dated 15.02.2018]. Available at: https://www. consultant.ru/document/cons_doc_LAW_298168/2b007827 47a363d7a38b7e7414aa8c4e5f449f60/(accessed: 21.11.2022). (In Russ.).
3. Universitetskaya nacional'naya iniciativa kachestva obrazovaniya (UNIKO): Nacional'nyj issledovatel'skij Tomskij gosudarstvennyj universitet, Institut obrazovaniya. [University National Education Quality Initiative (UNICO): National Research Tomsk State University, Institute of Education]. Available at: https://high-edu-quality.ru/(accessed: 11.08.2022). (In Russ.).
4. Kozlova D. K., Tishkina K. O., Bagautdinova A. Sh., Eliseeva O. V., Ruppel' A. F. Kommunikativnoe vzaimodeistvi e prepodavatelei, studentov kak resurs povysheniya kachestva obrazovaniya v universitete: metodicheskie rekomendatsii [Communicative Interaction of Teachers, Students as a Resource for Improving the Quality of Education at the University: Guidelines]. Tomsk: Tomsk State University Publishing House, 2021, 24 p. (In Russ.).
5. Bagautdinova A. Sh., Kozlova D. K., Ruppel' A. F., Tishkina K. O., Eliseeva O. V. Praktika upravleniya kachestvom obrazovaniya na osnove opyta Universiteta IT
MO. Universitet VS koronavirus [The Practice of Education Quality Management Based on the Experience of ITMO University. University VS Coronavirus]. Tomsk, Tomsk State University Publishing House, 2021, 67 p. (In Russ.).
6. Mezhvuzovskaya konferenciya ITMO. OPEN: Educational Practices. Programma-konstruktor ot Universiteta ITMO [Intercollegiate Conference ITMO. OPEN: Educational Practices. Designer Program from ITMO University]. 2022, May 16-18. Available at: https://edpractices. itmo.ru/#rec303034221 (accessed: 12.08.2022). (In Russ.).
7. Dzygivskiy P. I. Sposob otsenki kachestva vysshego obrazovaniya [Estimation Method of the Higher Education Quality]. Universitetskoe upravlenie: praktika i analiz [University Management: Practice and Analysis], 2004, nr 6, pp. 19-22. (In Russ.).
8. The CDIO Standards v 2.0 (With Customized Rubrics). CDIO Knowledge Library, Cambridge, Massachusetts, World Initiative CDIO, December 8, 14 p. (In Eng.).
9. Framework Standards and Guideline. EUR-ACE (EAFSG), 2021, November 4, 30 p. (In Eng.).
10. Standards and Guidelines for Quality Assurance in the European Higher Education Area (ESG). Brussels, Belgium, 2015, 30 p. (In Eng.).
11. Sergeeva S. Yu., Obrevko E. D. Sovremennye podkhody i metody otsenki kachestva obrazovaniya [Modern Approaches and Methods of Assessing the Quality
of Education]. Molodoj uchenyj [Young Scientist], 2019, nr 37 (275), pp. 162-165. (In Russ.).
12. Romero C., Ventura S. Educational Data mining and learning analytics: An updated survey. WIREs Data Mining Knowl Discov, 2020, 30 p. doi: 10.1002/widm.1355. (In Eng.).
13. Sverdlov M. B., Verbickij E. V., Konobeev A. V., Krecu A. I., Strikanov V. D. Obrazovatel'naja analitika: upravlenie obrazovatel'noj organizaciej i sozdanie kontenta na osnove dannyh [Educational Analytics: Managing an Educational Organization and Creating Data-Based Content]. Moscow, HSE University, 2021, № 9 (58), 65 p. (In Russ.).
14. Abbakumov D., Sverdlov M., Komissarov A., Bujlov O., Mel'nichenko A., Jurchenkov V., Shustrova Ju. Analitika obu-chenija: o chem molchat dannye? [Learning Analytics: What the Data is Silent About?] EduTech, an information and analytical journal, Sberbank University, 2022, 44 p. (In Russ.).
15. Proekt programmy razvitiya federal'nogo gosu-darstvennogo avtonomnogo obrazovatel'nogo uchrezhdeni-ya vysshego obrazovaniya «Nacional'nyj issledovatel'skij universitet ITMO». [Draft Program for the Development of the Federal State Autonomous Educational Institution of Higher Education «ITMO National Research University»]. St. Petersburg, ITMO University, 2021, 214 p. (In Russ.).
16. Pokazateli kachestva obrazovatel'nyh programm [Quality Indicators of Educational Programs]. Available at: https://edu.itmo.ru/files/753 (accessed: 06.07.2022). (In Russ.).
Информация об авторах
Тишкина Кристина Олеговна - директор центра качества организации учебного процесса, Университет ИТЫО, Департамент образовательной деятельности; tishkina@itmo.ru
Елисеева Ольга Владимировна - канд. пед. наук, доцент, начальник управления качества образовательного процесса, Университет ИТЫО, Департамент образовательной деятельности; eliseeva@itmo.ru
Багаутдинова Алия Шамилевна - канд. пед. наук, доцент, начальник департамента образовательной деятельности, Университет ИТЫО, Департамент образовательной деятельности; abagautdinova@itmo.ru
Шилова Ксения Сергеевна - заместитель начальника управления качества образовательного процесса, Университет ИТЫО, Департамент образовательной деятельности; kssukhodoeva@itmo.ru
Ефремова Алена Александровна - заместитель директора центра качества организации учебного процесса, Университет ИТЫО, Департамент образовательной деятельности; aaefremova@itmo.ru
Information about the authors
Tishkina Kristina Olegovna - Director of the Center for Educational Management and Quality Assurance, ITMO University, Department of Academic Affairs; tishkina@itmo.ru,
Eliseeva Olga Vladimirovna - Cand. Sci. (Pedagogy), Assoc. Prof., Head of Department of Educational Quality Assurance, ITMO University, Department of Academic Affairs; eliseeva@itmo.ru
Bagautdinova Aliya Shamilevna - Cand. Sci. (Pedagogy), Assoc. Prof., Head of the Department of Academic Affairs, ITMO University, Department of Academic Affairs; abagautdinova@itmo.ru
Shilova Ksenia Sergeevna - Deputy Head of Department of Educational Quality Assurance, ITMO University, Department of Academic Affairs; kssukhodoeva@itmo.ru
Efremova Alena Aleksandrovna - Deputy Head of the Center for Educational Management and Quality Assurance, ITMO University, Department of Academic Affairs; aaefremova@itmo.ru
