CC BY
34
УДК 378.014.5:658.562
МОДЕЛИРОВАНИЕ ПРОЦЕССА ОЦЕНКИ КАЧЕСТВА ВУЗОВСКОГО ОБРАЗОВАНИЯ: ПОСТАНОВКА ЗАДАЧИ
Борисова Людмила Михайловна,
borisova@tpu.ru
Корнева Ольга Юрьевна,
kornevaoyur@tpu.ru
Плотникова Инна Васильевна,
inna@tpu.ru
Силифонова Екатерина Валерьевна,
lazarchukev@tpu.ru
Шевелева Елена Александровна,
vasendina@tpu.ru
Национальный исследовательский Томский политехнический университет, Россия, 634050, г. Томск, пр. Ленина, 30.
Борисова Людмила Михайловна, кандидат экономических наук, доцент Школы инженерного предпринимательства Национального исследовательского Томского политехнического университета.
Корнева Ольга Юрьевна, кандидат экономических наук, доцент Школы инженерного предпринимательства Национального исследовательского Томского политехнического университета.
Плотникова Инна Васильевна, кандидат технических наук, доцент отделения контроля и диагностики Инженерной школы неразрушающего контроля и безопасности Национального исследовательского Томского политехнического университета.
Силифонова Екатерина Валерьевна, кандидат экономических наук, доцент Школы инженерного предпринимательства Национального исследовательского Томского политехнического университета.
Шевелева Елена Александровна, кандидат технических наук, доцент отделения контроля и диагностики Инженерной школы неразрушающего контроля и безопасности Национального исследовательского Томского политехнического университета.
Благополучие общества и перспектива развития качественного высшего профессионального образования являются неотъемлемыми составляющими современной жизни. Существующий опыт исследований в области оценки качества образования не отражает его реального уровня, вследствие недостатка концептуально значимых факторов, влияющих на процесс формирования качественного образования. Целью работы является создание системы оценки качества образования, предполагающей сквозной мониторинг таких факторов, как мотивация, вовлеченность и т. п., которые оказывают влияние на степень овладения компетенциями. В статье приводится разъяснение подготовительного этапа моделирования процесса оценки качества образования. Метод исследования подготовительного этапа - экспертный семинар, технология которого разработана силами сотрудников Томского политехнического университета [17]. Результаты: разработаны признаки, определяющие основу поиска переменных для модели оценки качества образования.
Ключевые слова: Высшее профессиональное образование, оценка качества образования, вовлеченность, критерии оценки качества образования.
122
ЭО1 10.18799/26584956/2021/1(40)/1087
Образование, как система, способно существенно изменять условия благополучного общества, решить проблемы конкурентоспособности государственной экономики, обеспечить эффективность экономической системы посредством расширенного воспроизводства факторов производства с сокращением временного интервала на каждом последующем этапе жизнедеятельности. Основополагающим принципом системы эффективности экономики на всех ее уровнях управления (страна, отрасль, хозяйствующий субъект) является соотношение конечного результата (в виде национального дохода, валового внутреннего продукта, объёма реализации продукции) и эффекта (в виде прибыли) с применёнными или потреблёнными ресурсами (в совокупности или по отдельным видам). Различие между примененными и потребленными ресурсами предопределяют и два не противоречащих друг другу подхода к оценке экономической эффективности - ресурсный и затратный. Причинно-следственная связь понятий конкурентоспособности и эффективности включает дефиницию «качество» как базовый признак, на который опирается конкурентоспособность системы и который указывает на ее эффективность. Качество образования в подобных координатах системы образования не является исключением [1-3]. Проблема оценки качества образования в целом и вузовского в частности обсуждается в открытых источниках достаточно давно. При этом наличие широкого спектра систем оценки качества образования отечественного и мирового класса не приводит исследователей и менеджеров от образования к искомому результату. При достаточно большом интересе к данному вопросу и озабоченности большинства авторов низким уровнем освоения компетенций высшего порядка почти отсутствуют репрезентативные и сравнительные исследования данной проблемы [2, 4-9]. Исследователи сходятся в утверждении, что традиционная оценка качества образования не отражает реальной картины текущего состояния системы, т. к. выпускников приходится доучивать на производстве, нет единого мнения о содержании качества образования, наблюдается системный кризис, не исследуются факторы, отвечающие за развитие профессиональных компетенций, оценка качества позволяет только констатировать результат в силу времени ее проведения и пр. [5-8, 10]. Целью исследования является создание системы оценки качества образования, предполагающей сквозной мониторинг таких факторов, как мотивация, вовлеченность и т. п. [8, 11-14], и компетенций, отвечающих требованиям CDIO (Conceive-Design-Implement-Operate - Придумывай-Разрабатывай-Внедряй-Управляй), - основополагающего принципа образовательной среды для подготовки поколения современных инженеров, по мнению представителей более 100 вузов в 30 странах [14]. Статья включает описание и первые выводы в результате подготовительной работы в ходе построения заявленной модели.
Начальный этап моделирования любого процесса, в том числе оценки качества образования, включает введение понятийного аппарата и методов, используемых в работе. К факторам, «отвечающим» за степень освоения компетенций, мы относим вовлеченность и мотивацию. Исходя из теории вовлечения А.В. Эстина (A.W. Astin), чем больше студенты вовлечены в академические и социальные аспекты университетского опыта, тем больше они узнают и качественнее овладевают знаниями [11, 15]. Теория утверждает, что студент играет неотъемлемую роль в формировании своей собственной степени вовлеченности в лекционные и практические занятия, внеклассную и общественную деятельность. Несомненно, чем больше качественных ресурсов доступно, тем больше вероятность того, что участвующие студенты будут расти или развиваться. Следовательно, взаимодействие преподавателей как внутри, так и за пределами класса, а также высококачественные университетские программы и политика, отражающие при-
верженность вуза к обучению студентов, необходимы для роста студентов [11, 15]. Определение вовлеченности как состояния, при котором студент осознанно обращается со стимулами окружающей обстановки, созданной преподавателем, и активно участвует в её поддержке, может стать базовым для поиска признаков оценки этого фактора. Так выявление условий и причин зарождения осознанного интереса позволит предложить рекомендации, направленные на усиление включенности в учебный процесс, повышение качества получаемых знаний и освоение компетенций [11, 15, 16].
Для оценки вовлеченности студентов была применен метод «экспертного семинара», разработанный в Томском политехническом университете [17]. Участниками экспертного семинара являлись руководители различного уровня, управляющие учебным процессом или отвечающие за внеуниверситетскую деятельность студентов. Структура семинара в соответствии с методологией [17] предполагала несколько этапов с различным уровнем участия. На первом этапе участников попросили дать интуитивную личную оценку уровня вовлеченности студентов в учебный процесс во время проведения лекционных занятий по шкале от «критически низкого» до «превосходного».
критически низкий средний хороший превосходный другое
низкий low middle good excellent other
critically low
Экпертная (интуитивная) оценка Expert (intuitive) assessment
Рис. 1. Экспертная (интуитивная) оценка уровня вовлеченности студентов в учебный процесс во время проведения лекционных занятий Fig. 1. Expert (intuitive) assessment of the level of student involvement in the educational
process during lectures
Интуитивная оценка показала, что большинство (более 40 %) экспертов оценило вовлеченность на среднем уровне. Кроме этого, часть экспертов сочла нужным высказать свое мнение о данном явлении. Они на диаграмме отмечены столбцом «другое». В частности, было замечено, что студентов необходимо классифицировать на группы вовлеченности («средний, хороший, низкий»). Лекционные занятия были выбраны по следующей причине: во время данного вида занятий проявление вовлеченности носит добровольный характер, т. е. говорит о чистоте эксперимента и правдивости выводов. На втором этапе участники работали в небольших группах, каждой из которых была поставлена задача сформулировать признаки оценки вовлеченности. На третьем этапе признаки сводятся воедино и по числу наиболее часто встречающихся выбираются пять, на основе
которых проектируется шкала для измерения вовлеченности. В нашем случае были выбраны признаки, отражающие вовлеченность через процесс дискуссии, возникающей на лекции. Например, «Доля студентов, задающих вопросы преподавателю, %» - в этом случае для «критически низкого» уровня вовлеченности доля студентов, уделяющих этому время, будет 5 % от общего числа студентов, для «низкого» - 15 %, «среднего» -32 %, «высокого» - 39 % и «превосходного» - 46 %.
Таблица 1. Матрица критериев оценки уровня вовлеченности студентов в учебный процесс во время проведения лекционных занятий Table 1. Matrix of criteria for assessing the level of student involvement in the educational
process during lectures
Удельный вес, % Specific gravity, % SQ Критерий Criterion Критически низкий Critically low Низкий Low Средний Average Хороший Good Превосходный Excellent
0,20 10,0 0 Доля студентов, задающих вопросы преподавателю, % Share of students asking questions to the teacher, % 5,00 14,63 32,25 38,75 45,63
0,30 30,0 0 Доля студентов, отвечающих на вопросы преподавателя, % Share of students answering teacher's questions, % 3,88 15,63 35,00 48,13 62,50
0,20 2,00 Среднее время реакции на вопрос преподавателя, мин Average reaction time to a teacher's question, min 6,25 3,40 2,13 1,23 0,38
0,10 20,0 0 Доля студентов, делающих пометки в раздаточном материале преподавателя, % Share of students making notes in the teacher's handout, % 5,88 16,00 33,13 48,13 68,13
0,20 20,0 0 Доля вопросов преподавателя, по которым возникает дискуссия в аудитории, % Share of the teacher's questions, on which there is a discussion in the audience, % 5,13 15,63 31,00 43,75 60,63
Все индивидуальные оценки суммируются и делятся на количество участников, что дает порог для каждой степени вовлеченности. Затем участники задают долю влияния каждого признака на процесс вовлеченности и дают оценку исходя из данных, полученных в процессе профессиональной деятельности (SQ). В случае если критерии совпадают с некоторыми из критериев, уже существующих в национальных или международных исследованиях, оценки эксперта могут быть сопоставлены с существующей статистикой в конце семинара. В таблице цветом отмечены границы оценки экспертов. В нашем случае интуитивная оценка не полностью совпала с расчетными данными. На четвертом этапе участники определяют факторы, препятствующие вовлеченности, проставляют рейтинг с целью выбора самых значительных и в заключение формулируют рекоменда-
ции для преодоления препятствий и создания устойчивого процесса роста вовлеченности, а с ним мотивации и качества образования как следствия. В качестве наиболее значимых препятствий вовлеченности студентов эксперты назвали: недостаточность в материальном, программном и информационном обеспечении; неинтересный лекционный материал; загруженность и недостаток времени для качественной подготовки к лекции самого преподавателя; большую доступность любой информации - студент считает, что найдет и поймет самостоятельно материал; отсутствие мотивации у студентов; недостаточно эффективное преподавание. В качестве рекомендаций среди прочего было предложено организовать курсы повышения квалификации для преподавателей на различном уровне. Проведенный семинар является первым в череде мероприятий начального этапа моделирования. Поиск экспертами признаков, отражающих уровень состояния системы, лежит в основе выбора переменных и описания модели оценки качества образования. Выявленные препятствия впоследствии дадут возможность оценить корреляцию данных факторов с процессом стимуляции вовлеченности. Предложенные рекомендации позволят модернизировать принципы выработки стратегии вуза.
Исследуя вопросы моделирования в области оценки качества образования, мы столкнулись с множеством работ, использующих преимущественно оценки знаний [18-22]. Гипотеза нашего исследования содержит два положения: качество образования зависит от методов освоения знаний и навыков и иллюстрирует степень освоения компетенций CDIO в динамике, т. е. приращение компетенций на протяжении обучения. Нам интересен не только процесс перехода при изменении управляющих воздействий (прямые факторы), но и при изменении «возмущающих» (косвенные факторы). Таким образом, для оценки качества образования, как перехода из одного состояния в другое, требуются критериальные признаки, выражаемые численно. Процесс перехода зависит не только от свойств самой системы, но и от вида и характера воздействия. Критериальные признаки оценки качества переходных процессов можно разделить на две группы: прямые, отображает реакцию системы на типовое воздействие, можно представить в виде единичной ступенчатой функции; косвенные, которые позволяют оценить средовое воздействие на процесс изменения качества образования. Здесь и помогут экспертные семинары по оценке уровня вовлеченности и степени мотивации.
СПИСОК ЛИТЕРАТУРЫ
1. Goldin C.J.C., Katz L.F. The race between education and technology // History of Education Quarterly. -2009. - V. 49. - № 4. - P. 538-542. DOI: 10.1111/j.1748-5959.2009.00230.x (дата обращения 03.01.2021).
2. Zlatkin-Troitschanskaia O., Toepper M. Assessment of student learning progress in higher education/methodological approaches and results // Learning Gain in Higher Education (International Perspectives on Higher Education Research. V. 14) / Eds. C. Hughes, M. Tight. - Bingley: Emerald Publishing Limited, 2021. - P. 33-57. URL: https://doi.org/10.1108/S1479-362820210000014004 (дата обращения 03.01.2021).
3. Schmuck R. Comparison of the ESG guidelines used in the European higher education sector with the principles of the ISO 9001:2015 quality management standard // Quality Access to Success. - 2021. - Iss. 181. -V. 22. - P. 87-92.
4. Douglass J., Thomson G., Zhao C. Searching for the holy grail of learning outcomes // Research & Occasional Paper Series: CSHE.3.12 UNIVERSITY OF CALIFORNIA, BERKELEY. February, 2012. URL: https://cshe.berkeley.edu/sites/default/files/publications/rops.jd.gt.mz.claahelo.2.21.2012.pdf (дата обращения 03.01.2021).
5. Dias D., Amaral A. Assessment of Higher Education Learning Outcomes (AHELO): an OECD feasibility study // Quality Assurance in Higher Education. Issues in Higher Education. - London: Palgrave Macmillan, 2014. - P. 66-67. URL: https://doi.org/10.1057/9781137374639 (дата обращения 03.01.2021).
6. Hazelkorn E. It's time to move beyond rankings // Chronicle of Higher Education. - October 2011. - Iss. 24. URL: http://chronicle.com/blogs/worldwise/its-time-to-move-beyond-rankings-2/28830 (дата обращения 03.01.2021).
7. Deming D.J. The growing importance of social skills in the labor market // Quarterly Journal of Economics. -2017. - V. 132. - № 4. - P. 1593-1640. URL: https://scholar.harvard.edu/files/ddeming/files/ deming_so-cialskills_qje.pdf (дата обращения 03.01.2021).
8. Development and initial validation of the life skills ability scale for higher education students / L. Cronin, J. Allen, P. Ellison, D. Marchant, A. Levy, Ch. Harwood // Studies in Higher Education, AHEAD-OF-PRINT. - 2019. - P. 1-14. URL: https://doi.org/10.1080/03075079.2019.1672641 (дата обращения 03.01.2021).
9. Cronin L.D., Allen J. Development and initial validation of the life skills scale for sport // Psychology of Sport & Exercise, PSYSPO 1159. - 2016. URL: https://10.1016/j.psychsport.2016.11.001 (дата обращения 03.01.2021).
10. Loes C.N., Salisbury M.H., Pascarella E.T. Student perceptions of effective instruction and the development of critical thinking: a replication and extension // Higher Education. - 2015. - № 69. - P. 823-838. URL: https://doi.org/10.1007/s10734-014-9807-0 (дата обращения 03.01.2021).
11. Astin A.W. et al. Assessment for excellence: the philosophy and practice of assessment and evaluation in higher education. - Rowman & Littlefield Publishers, 2012. URL: https://books.google.ru/books?hl=ru&lr=&id=jEsRVTbukyMC&oi=fnd&pg=PR5&ots=DLRcXQA5Wi&si g=Ic2-rEZYN16Du-1fI4MTPAtSokU&redir_esc=y#v=onepage&q&f=false (дата обращения 25.01.2021).
12. Hristova M., Zhelezarov I. Modelling of the criteria for measurement and assessing the quality of university education // FACTA UNIVERSITATIS (NTS). SER.: ELEC. ENERG. - 2006. - V. 19. - № 3. - P. 393-404. URL: https://www.researchgate.net/publication/279639305_Modeling_of_the_criteria_for_measurement_ and_assessing_the_quality_of_university_education (дата обращения 01.01.2021).
13. Елтунова И.Б. Модель системы оценки профессиональных компетенций // Современные проблемы науки и образования. URL: http://science-education.ru/ru/article/view?id=17261 (дата обращения 03.01.2021).
14. Похолков Ю.П., Толкачева К.К. Инициатива CDIO и проблемы реализации активных методов обучения в инженерном образовании // Инженерное образование: электронный научный журнал. - 2014. -№ 16 . - С. 120-125. URL: http://aeer.ru/files/io/m16/art_16.pdf (дата обращения 15.01.2021).
15. Astin A.W., Denson N. Multi-campus studies of college impact: which statistical method is appropriate? // Research in Higher Education. - 2009. - № 50. - P. 354-367. URL: https://doi.org/10.1007/s11162-009-9121-3 (дата обращения 15.01.2021).
16. Киуру К.В., Попова Е.Е. Проблема студенческой вовлеченности в процесс обучения в условиях он-лайн-образования // Проблемы современного педагогического образования. - 2018. - № 59-3. - С. 380384. URL: https://cyberleninka.ru/article/n/problema-studencheskoy-vovlechennosti-v-protsess-obucheniya-v-usloviyah-onlayn-obrazovaniya (дата обращения 15.01.2021).
17. Толкачева К.К., Похолков Ю.П., Кудрявцев Ю.М. Роль и выбор образовательных технологий при подготовке инженеров // Казанская наука. - 2014. - № 10. - С. 13-17. URL: http://aeer.ru/files/article_1_2014.pdf (дата обращения 15.01.2021).
18. Krull J.L., MacKinnon D.P. Multilevel modeling of individual and group level mediated effects // Multivariate Behavioral Research. - 2001. - № 36 (2). - P. 249-277. URL: https://doi.org/10.1207/ S15327906MBR3602_06 (дата обращения 05.01.2021).
19. Обеспечение качества высшего образования в контексте европейских подходов / М.А. Измайлова, Е.Ю. Корнева, В.И. Маколов, Т.А. Салимова // Интеграция образования. - 2020. - № 24 (3). - С. 377395. URL: http://edumag.mrsu.ru/content/pdf/20-3/02.pdf (дата обращения 25.01.2021).
20. Байденко В.И., Селезнёва Н.А. Нынешний раунд Болонского процесса: сохранение оптимизма. И немного о российском... (статья 1) // Высшее образование в России. - 2017. - № 10. - C. 94-98. URL: https://cyberleninka.ru/article/n/nyneshniy-raund-bolonskogo-protsessa-sohranenie-optimizma-i-nemnogo-o-rossiyskom-statya-1 (дата обращения 04.01.2021).
21. Губа К. Оценка качества образования. Обзор международного опыта. URL: http://ciase.ru/wp-content/uploads/2019/03/ciase_univ_assessment.pdf (дата обращения 25.01.2021).
22. Трапицын С.Ю. Международный опыт оценки качества образования // Вестник ЧГАКИ. - 2006. - № 1 (9). - С. 5-17. URL: https://cyberleninka.ru/article/n/mezhdunarodnyy-opyt-otsenki-kachestva-obrazovaniya (дата обращения 09.01.2021).
Поступила 27.01.2021 г.
UDC 378.014.5:658.562
MODELING THE QUALITY ASSESSMENT OF UNIVERSITY EDUCATION:
PROBLEM STATEMENT
Lyudmila M. Borisova,
borisova@tpu.ru
Olga Yu. Korneva,
kornevaoyur@tpu.ru
Inna V. Plotnikova,
inna@tpu.ru
Ekaterina V. Silifonova,
lazarchukev@tpu.ru
Elena A. Sheveleva, vasendina@tpu.ru
National Research Tomsk Polytechnic University, 30, Lenin avenue, Tomsk, 634050, Russia.
Lyudmila M. Borisova, Cand. Sc., associate professor, National Research Tomsk Polytechnic University.
Olga Yu. Korneva, Cand. Sc., associate professor, National Research Tomsk Polytechnic University.
Inna V. Plotnikova, associate professor, Division for Testing and Diagnostics, School of Non-Destructive Testing, Tomsk Polytechnic University.
Ekaterina V. Silifonova, Cand. Sc., associate professor, National Research Tomsk Polytechnic University. Elena A. Sheveleva, Cand. Sc., associate professor, National Research Tomsk Polytechnic University.
The well-being of society and the prospects for the development of high-quality higher professional education are integral components of modern life. The existing research experience in the field of assessing the quality of education does not reflect its real level, due to the lack of conceptually significant factors influencing the process of forming a quality education. The purpose of our work is to create a system for assessing the quality of education, which presupposes end-to-end monitoring of factors such as motivation, involvement, etc., affecting the degree of mastery of competencies. This article describes the preparatory stage of modeling the process of assessing the quality of education. The research method of the preparatory stage is an expert seminar, the technology of which was developed by an employee of the Tomsk Polytechnic University [17]. Results. The authors have developed the signs that create the basis for finding variables for the model to assess the quality of education.
Key words: Higher professional education, education quality assessment, involvement, criteria for assessing the quality of education.
REFERENCES
1. Goldin C.J.C., Katz L.F. The race between education and technology. History of Education Quarterly, 2009, no. 49 (4), pp. 538-542. Available at: https://doi.org/10.1111/j.1748-5959.2009.00230.x (accessed 3 January 2021).
2. Zlatkin-Troitschanskaia O., Toepper M. Assessment of student learning progress in higher education. Methodological Approaches and Results. Learning Gain in Higher Education (International Perspectives on
Higher Education Research. Vol. 14). Eds. C. Hughes, M. Tight. Bingley, Emerald Publishing Limited, 2021. pp. 33-57. Available at: https://doi.org/10.1108/S1479-362820210000014004 (accessed 3 January 2021).
3. Schmuck R. Comparison of the ESG guidelines used in the European higher education sector with the principles of the ISO 9001:2015 quality management standard. Quality Access to Success, 2021, Iss. 181, no. 22, pp. 87-92.
4. Douglass J., Thomson G., Zhao C. Searching for the Holy Grail of learning outcomes. Research & Occasional Paper Series: CSHE.3.12 UNIVERSITY OF CALIFORNIA, BERKELEY. February 2012. Available at: https://cshe.berkeley.edu/sites/default/files/publications/rops.jd.gt.mz.claahelo.2.21.2012.pdf (accessed 3 January 2021).
5. Dias D., Amaral A. Assessment of Higher Education Learning Outcomes (AHELO): an OECD feasibility study. Quality Assurance in Higher Education, 2014, Issues in Higher Education, pp. 66-67. Available at: https://doi.org/10.1057/9781137374639_5 (accessed 3 January 2021).
6. Hazelkom E. It's time to move beyond rankings. Chronicle of Higher Education, October 2011, Iss. 24. Available at: http://chronicle.com/blogs/worldwise/its-time-to-move-beyond-rankings-2/28830(accessed 3 January 2021).
7. Deming D.J. The growing importance of social skills in the labor market. Quarterly Journal of Economics, 2017, no. 132 (4), pp. 1593-1640. Available at: https://scholar.harvard.edu/files/ddeming/files/deming_ so-cialskills_qje.pdf (accessed 3 January 2021).
8. Cronin L., Allen J., Ellison P., Marchant D., Levy A., Harwood Ch. Development and initial validation of the life skills ability scale for higher education students. Studies in Higher Education, 2019, pp. 1-14. Available at: https://doi.org/10.1080/03075079.2019.1672641 (accessed 3 January 2021).
9. Cronin L.D., Allen J. Development and initial validation of the life skills. Scale for Sport, Psychology of Sport & Exercise, PSYSPO 1159, 2016. Available at: https://10.1016/j.psychsport.2016.11.001 (accessed 3 January 2021).
10. Loes C.N., Salisbury, M.H., Pascarella E.T. Student perceptions of effective instruction and the development of critical thinking: a replication and extension. Higher Education, 2015, no. 69, pp. 823-838. Available at: https://doi.org/10.1007/s10734-014-9807-0 (accessed 3 January 2021).
11. Astin A.W. Assessment for excellence: the philosophy and practice of assessment and evaluation in higher education. Rowman & Littlefield Publishers, 2012. Available at: https://books.google.ru/books?hl=ru&lr=&id=jEsRVT-bukyMC&oi=fnd&pg=PR5&ots=DLRcXQA5Wi&sig=Ic2-rEZYN16Du-1fI4MTPAtSokU&redir_esc=y#v=onepage&q&f=false (accessed 25 January 2021).
12. Hristova M., Zhelezarov I. Modelling of the criteria for measurement and assessing the quality of university education. FACTA UNIVERSITATIS (NFS). SER.: ELEC. ENERG, 2006, vol. 19, no. 3, pp. 393-404. Available at: https://www.researchgate.net/publication/279639305_Modeling_of_the_criteria_for_ measure-ment_and_assessing_the_quality_of_university_education (accessed 1 January 2021).
13. Eltunova I.B. Model sistemy otsenki professionalnykh kompetentsiy [Model of a system for assessing professional competencies]. Sovremennye problemy nauki i obrazovaniya. Available at: http://science-educa-tion.ru/ru/article/view?id=17261 (accessed 3 January 2021).
14. Pokholkov Yu.P., Tolkacheva K.K. Initsiativa CDIO i problemy realizatsii aktivnykh metodov obucheniya v inzhenernom obrazovanii [CDIO Initiative and the Problems of Implementing Active Teaching Methods in Engineering Education]. Inzhenernoe obrazovaniye: elektronny nauchny zhurnal, 2014, no. 16, pp. 120-125. Available at: http://aeer.ru/files/io/m16/art_16.pdf (accessed 15 January 2021).
15. Astin A.W., Denson N. Multi-campus studies of college impact: which statistical method is appropriate? Research in Higher Education, 2009, no. 50, pp. 354-367. Available at: https://doi.org/10.1007/s11162-009-9121-3 (accessed 15 January 2021).
16. Kiuru K.V., Popova E.E. Problema studencheskoy vovlechennosti v protsess obucheniya v usloviyakh onlayn-obrazovaniya [The problem of student involvement in the learning process in the context of online education]. Problemy sovremennogopedagogicheskogo obrazovaniya, 2018, no. 59 (3), pp. 380-384. Available at: https://cyberleninka.ru/article/n/problema-studencheskoy-vovlechennosti-v-protsess-obucheniya-v-usloviyah-onlayn-obrazovaniya (accessed 15 January 2021).
17. Tolkacheva K.K., Pokholkov Yu.P., Kudryavtsev Yu.M. Rol i vybor obrazovatelnykh tekhnologiy pri pod-gotovke inzhenerov [The role and choice of educational technologies in the training of engineers]. Kazanskaya nauka, 2014, no. 10, pp. 13-17. Available at: http://aeer.ru/files/article_1_2014.pdf (accessed 15 January 2021).
18. Krull J.L., MacKinnon D.P. Multilevel modeling of individual and group level mediated effects. Multivariate Behavioral Research, 2001, no. 36:2, pp. 249-277. Available at: https://doi.org/10.1207/ S15327906MBR3602_06 (accessed 5 January 2021).
19. Izmaylova M.A., Korneva E.Yu., Makolov V.I., Salimova T.A. Obespechenie kachestva vysshego obra-zovaniya v kontekste evropeyskikh podkhodov [Quality assurance in higher education in the context of European approaches]. Integratsiya obrazovaniya, 2020, vol. 24, no. 3, pp. 377-395. Available at: http://edumag.mrsu.ru/content/pdf/20-3/02.pdf (accessed 25 January 2021).
20. Baydenko V.I., Selezneva N.A. Nyneshniy raund Bolonskogo protsessa: sokhranenie optimizma. I nemnogo o rossiyskom... (statya 1) [The current round of the Bologna process: maintaining optimism. And a little about Russian... (article 1)]. Vysshee obrazovanie v Rossii, 2017, no. 10, pp. 94-98. Available at: https://cyber-leninka.ru/article/n/nyneshniy-raund-bolonskogo-protsessa-sohranenie-optimizma-i-nemnogo-o-ros-siyskom-statya-1 (accessed 4 January 2021).
21. Guba K. Otsenka kachestva obrazovaniya. Obzor mezhdunarodnogo opyta [Assessment of the quality of education. Review of international experience]. Tsentr institutsionalnogo analiza nauki i obrazovaniya. Evrop-eyskiy universitet v Sankt-Peterburge, preprint TSIANO NNS-S (4). Available at: http://ciase.ru/wp-con-tent/uploads/2019/03/ciase_univ_assessment.pdf (accessed 25 January 2021).
22. Trapitsyn S.Yu. Mezhdunarodny opyt otsenki kachestva obrazovaniya [International experience in assessing the quality of education]. Vestnik CHGAKI, 2006, no. 1 (9), pp. 5-17. Available at: https://cyberleninka.ru/ar-ticle/n/mezhdunarodnyy-opyt-otsenki-kachestva-obrazovaniya (accessed 9 January 2021).
Received 27 January 2021.
