CC BY
10
УДК 378
DOI 10.30914/2072-6783-2022-16-3-319-325
Модель оценки рисков неудовлетворенности обучающихся
качеством электронного образования О. А. Кузнецова
Тольяттинский государственный университет, г. Тольятти, Российская Федерация
Аннотация. Введение. В статье рассматриваются актуальные вопросы оценки эффективности существующего в вузе электронного обучения. Акцентируется внимание на аспектах ее достаточности для обеспечения качества процесса обучения. Рассматривается модель оценки рисков, появление которых в образовательном процессе может привести к снижению качества образования. Цель работы: построить вероятностную модель оценки риска неудовлетворенности студентов качеством электронного образования для обеспечения наименьшей степени риска и, следовательно, повышения эффективности организации обучения в вузе. Материалы и методы. В работе применяется широко известный математический аппарат для обоснования полученных выводов. Анализ математических методов, которые используются при моделировании образовательного процесса в вузе, показал, что наиболее подходящими являются вероятностные методы и статистические методы экспертных оценок, применяемые в планировании эксперимента при поиске оптимальных условий. Указанные методы использовались в данном исследовании в модели оценки рисков неудовлетворенности обучающихся качеством электронного образования. Результаты исследования, обсуждения. Практическая значимость полученных результатов состоит в обосновании факторов, позволяющих привести к возникновению рисков потери качества обучения при дистанционной форме. Применительно к электронному образованию можно сказать, что образовательная система будет более высокого качества, если достигается запланированный уровень компетенций и личностных характеристик обучающихся при соблюдении определенных психо лого -педагогических и дидактических условий. Заключение. Полученные результаты апробированы в вузе при обучении студентов технических специальностей на основе материалов статистических исследований в рамках федерального проекта «Росдистант». Построенная модель позволяет оценить эффективность электронного обучения, используя мнения потребителей. Реализация данной модели позволяет ранжировать факторы риска по степени влияния их на вероятность возникновения рисковых в обучении ситуаций, а значит, формулировать соответствующие управленческие решения и на их основе разрабатывать корректирующие мероприятия по минимизации риска.
Ключевые слова: электронное образование, риски обучения, факторы риска электронного обучения, модель оценки рисков, факторный эксперимент
Автор заявляет об отсутствии конфликта интересов.
Для цитирования: Кузнецова О. А. Модель оценки рисков неудовлетворенности обучающихся качеством электронного образования // Вестник Марийского государственного университета. 2022. Т. 16. № 3. С. 319-325. DOI: https://doi.org/10.30914/2072-6783-2022-16-3-319-325
Risk assessment model of students' dissatisfaction with
the quality of e-education
O. A. Kuznetsova
Togliatti State University, Togliatti, Russian Federation
Abstract. Introduction. The article deals with topical issues of assessing the effectiveness of e-learning existing at the university. Attention is focused on the aspects of its sufficiency to ensure the quality of the learning process. The model of risk assessment, the appearance of which in the educational process can lead to a decrease in the quality of education, is considered. The purpose of the work is to build a probabilistic model for assessing the risk of students' dissatisfaction with the quality of e-education in order to ensure the lowest degree of risk and, consequently, to increase the effectiveness of the organization of education at the university. Materials and methods. The work uses a well-known mathematical apparatus to substantiate the findings. The analysis of mathematical methods used in modeling the educational process at the university has shown that probabilistic methods and statistical methods of expert assessments used in the planning of the experiment in the search for
optimal conditions are the most suitable. These methods were used in this study in the risk assessment model of students' dissatisfaction with the quality of e-education. Research results, discussions. The practical significance of the results obtained consists in substantiating the factors that can lead to the emergence of risks of loss of the quality of distance learning. With regard to e-education, we can say that the educational system will be of higher quality if the planned level of competencies and personal characteristics of students is achieved while observing certain psychological, pedagogical and didactic conditions. Conclusion. The obtained results were tested at the university when teaching students of technical specialties on the basis of statistical research materials within the framework of the "Rosdistant" federal project. The constructed model makes it possible to evaluate the effectiveness of e-learning using consumer opinions. The implementation of this model makes it possible to rank risk factors according to their degree of influence on the probability of occurrence of risky situations in training, which means to formulate appropriate management decisions and on their basis to develop corrective measures to minimize risk.
Keywords: e-education, learning risks, e-learning risk factors, risk assessment model, factor experiment The author declares no conflict of interest.
For citation: Kuznetsova O. A. Risk assessment model of students' dissatisfaction with the quality of e-education. Vestnik of the Mari State University. 2022, vol. 16, no. 3, pp. 319-325. (In Russ.). DOI: https://doi.org/10.30914/2072-6783-2022-16-3-319-325
Введение
Электронное обучение в современном вузе с использованием комплекса высокотехнологичных средств позволяет обеспечивать высокое качество учебного процесса. Сюда входит автоматизированная система, в которой студенты могут получать задания и отслеживать уровень своего лидерства в получении знаний, набор программ, тестов, методических рекомендаций и другие. Одной из весьма значимых сторон ее назначения является возможность отслеживания не только качества образовательного процесса, но и качества различных траекторий обучения [10].
Рассматривая электронную образовательную среду Тольяттинского государственного университета, выделим две основные технологии обучения: традиционную и дистанционную (электронное обучение). Каждая из них имеет свои недостатки и достоинства в зависимости от возможностей и предпочтений обучающихся. Традиционная технология предусматривает обязательное посещение лекций и семинарских занятий согласно расписанию, выполнение индивидуальных заданий и сдачу итоговой аттестации в строго установленные сроки. В Тольяттинском государственном университете данная технология реализуется с применением балльно-рейтинговой системы обучения, при которой каждый студент по результатам освоения дисциплины должен набрать определенное количество баллов (не менее 40) для допуска к зачету или экзамену.
Электронное обучение в вузе реализуется на базе инновационной образовательной площадки «Росдистант», позволяющей с использованием высокотехнологичных средств и сервисов организовать дистанционное онлайн-обучение в высшем образовании. При этом студенты могут быстро получать и выполнять задания в рамках определенной образовательной программы, использовать интерактивные приложения, участвовать в видеоконференциях, находясь в любой точке России и ближнего зарубежья. Дистанционная технология обучения дает такие для обучающихся преимущества, как возможность выбора индивидуальной траектории обучения, возможность сдачи заданий и тестов вне зависимости от расписания в удобное для него время, возможность неоднократного изучения контентов без необходимости посещения аудиторных занятий и конспектирования учебного материала, и так далее [3]. Дистанционную технологию образования можно настоятельно рекомендовать тем студентам, которые имеют навыки самообучения и самообразования. Поскольку при такой форме обучения студент приобретает возможность получения опыта коммуникаций, построения собственных траекторий и управления собственной деятельностью, удовлетворенность его процессом получения новых знаний, как потребителя образовательной услуги, значительно возрастает при отсутствии различных ситуаций неопределенности.
В настоящее время появилось много работ, в которых в том или ином аспекте рассматриваются подобные вопросы [2; 4; 9]. Однако по проблемам выявления уровня неудовлетворенности обучающихся качеством электронного образования исследователи к единому мнению не пришли. Так, например, спорными остаются вопросы о том, следует ли рассматривать интенсивность посещения студентами образовательных контентов или насколько востребованными являются вопросы практического решения нестандартных ситуаций. Оценка рисков из-за неудовлетворенности студентов качеством образования - одна из основных задач вуза, так как эффективное управление образовательной средой невозможно без оценки последствий наступления неблагоприятных для организации событий. Для обеспечения конкурентоспособности вуза необходимо иметь неуменьшающийся приток обучающихся. Только в этом случае будет обеспечена надежность существования коллектива и всей организации в целом. Особую важность имеет предварительный анализ рисков неудовлетворенности обучающихся качеством электронного образования, который на стадии внедрения той или иной технологии обучения позволяет принять обоснованное управленческое решение [6].
Цель работы - построить вероятностную модель оценки риска неудовлетворенности студентов качеством электронного образования для обеспечения наименьшей степени риска, и, следовательно, повышения эффективности организации обучения в вузе.
Материалы и методы
Для оценки уровня неудовлетворенности студентов и принятия управленческих решений будем использовать различные методы. Анализ математических методов, которые используются при моделировании образовательного процесса в вузе, показал, что наиболее подходящими являются вероятностные методы и статистические методы экспертных оценок, применяемые в планировании эксперимента при поиске оптимальных условий [8]. Указанные методы использовались в данном исследовании в модели оценки рисков неудовлетворенности обучающихся качеством электронного образования, которая позволяет оценить эффективность дистанционной технологии, используя мнение потребителей - обучающихся.
Построение математической модели вероятностной оценки риска требует количественно выразить цель экспериментальной работы в виде числового параметра, называемого функцией отклика или параметром оптимизации. Обозначим основные требования к параметрам, которые выделены в планировании эксперимента при поиске оптимальных условий [8]: главное требование - это измерение эффективности объекта исследования; параметр должен быть количественным, однозначным и статистически эффективным; каждому различимому состоянию объекта должно соответствовать только одно значение параметра оптимизации (функции отклика); параметр должен быть единственным и иметь ограниченную область определения и экономическую природу.
Основной задачей при моделировании электронной образовательной среды является определение разнообразия условий и критериев, в котором исследователю требуется осуществить выбор. Также необходимо наличие различных способов управления педагогической системой, которые бы позволяли различить то или иное состояние образовательной среды. Для этого требуется определить факторы - входы, которые являются причиной возникновения риска.
Существуют различные подходы к определению понятия «риск». В этом исследовании будем придерживаться следующего определения данного понятия: риск - это деятельность, связанная с преодолением неопределенности в ситуации неизбежного выбора, в процессе которой имеется возможность количественно и качественно оценить вероятность достижения предполагаемого результата, неудачи и отклонения от цели. К главным составляющим содержания понятия «риск» отнесем следующие:
1) возможность отклонения от предполагаемой цели, ради которой осуществлялась выбранная альтернатива;
2) вероятность достижения желаемого результата;
3) возможность материальных, нравственных и других потерь, связанных с осуществлением выбранной в условиях неопределенности альтернативы [9].
Онлайн-образование рассматривается как инновационная форма обучения, позволяющая получать знания через Интернет. В настоящее время она рассматривается и изучается как
инновационная система в образовательной среде. Инновационный потенциал университета отражает ресурсные и результативные компоненты его деятельности. Однако современные исследования выявляют множество проблем и рисков онлайн- или дистанционного образования. Выделим некоторые из них:
- отсутствие личного общения с преподавателем: невозможность найти преподавателя в любое удобное время для объяснения непонятной темы и ответов на вопросы;
- технические сбои процесса дистанционного обучения: образовательная система не может решить проблему общения преподавателя с сотнями студентов в Сети для лекции, консультации;
- огромные финансовые затраты: помимо оснащения всех преподавателей и студентов необходимым оборудованием и программным обеспечением, необходимо найти и подготовить специальный персонал, поддерживающий решение технических проблем в процессе обучения;
- отсутствие возможности развивать автономное или межличностное общение и навыки обмена качественными отзывами;
- отсутствие самомотивации и самодисциплины: отсутствие субъективной оценки преподавателей и сокурсников, побуждающих к определенным действиям для самореализации, повышения самооценки; студент не может сравнивать свои достижения со сверстниками и, как следствие, стремиться к совершенству;
- приостановленная оценка содержания: живое общение преподавателя может увлечь студентов, облегчить понимание сложного содержания;
- обезличивание преподавателей и студентов: при дистанционном обучении студенты воспринимаются как объекты, общей массой.
Это создает определенные психологические проблемы при организации эффективного электронного образования.
Под риском неудовлетворенности обучающихся качеством образования понимается риск образовательной организации потерять потребителей вследствие их негативной реакции на элементы электронного обучения, применяемые в образовательном процессе. Будем считать риск допустимым, если он не превышает установленный для гуманитарных исследований уровень (у=0,05). Такое значение у обосновано аппаратом
математической статистики, для достижения 95 %-го уровня значимости результатов.
Математическим моделированием образовательных процессов занимались разные авторы [1; 4; 5; 7]. В данной работе за основу мы берем модель оценки качества междисциплинарных комплексов, основанную на факторном эксперименте [5]. Для построения математической модели вероятностной оценки риска выделим конечное число факторов, которые оценивались потребителями (обучающимися) электронного образования в результате исследования, опроса и анкетирования. К ним относятся следующие:
- неудовлетворенность навигацией в среде «Росдистанта» (%);
- отсутствие прямого диалога с преподавателем (х2);
- отсрочка по времени ответа на возникающие у обучающегося вопросы, в результате которой теряется сиюминутная актуальность вопроса (х3);
- несоответствие лекционного материала электронного контента с теоретическими вопросами тестовых заданий (х4);
- недостаточная сформированность навыков решения практических задач, которая приводит к значительным потерям времени при решении тестовых заданий (х5).
Следует отметить два основных требования, которые соблюдались при формулировке и определении факторов. Это - требования совместимости факторов и отсутствия корреляции между любыми двумя факторами.
Выделенные факторы были дополнительно исследованы и систематизированы на предмет наличия связей между ними. Для формирования конечной цели исследования необходимо определить совокупность факторов, их оптимальный набор, ограничения на области определения факторов и интервалы их варьирования. Следующей задачей в реализации эксперимента является установление соответствия между набором факторов и значениями функции отклика у = /(х1,%2, ■■■,хп) , которую принято называть параметром оптимизации и которая количественно выражает конечную цель исследования.
Для определения оптимального набора факторов и вида параметра оптимизации применялась экспертная технология ранжирования факторов
VESTNIK OF THE MARI STATE UNIVERSITY, vol. 16, no. 3, 2022
323
с использованием коэффициента конкордации, характеризующего степень согласованности мнений исследователей. Предлагаемая процедура сводится к следующему. Исследователям предлагается расположить факторы в порядке убывания степени их влияния на параметр оптимизации (проранжировать с указанием номера места, которое отдал данный исследователь данному фактору). При этом исследователи могут включать в список факторов дополнительные факторы, если, по их мнению, он неполный. Результаты опроса представляются в виде матрицы рангов. Чем меньше сумма рангов данного фактора, тем более высокое место занимает он в средней ранжировке. Затем вычисляется коэффициент конкордации
W =
12S
- характеризующим степень согла-
т2(п3-пУ
сованности мнений исследователей. В представленной формуле - сумма квадратов отклонений суммы рангов от среднего, т - число исследователей, п - число факторов.
В данной работе для определения конечной цели эксперимента была выбрана линейная модель вида
У = Ьо + Ь1х1 + ••• + Ь5х5.
Выбор модели обусловлен тем, что при заданном наборе значений факторов неизвестные коэффициенты Ьо, Ь1, ..., Ь5 модели легко определяются методом наименьших квадратов. Для этого от натурального значения каждого фактора переходят к кодированному значению, по формуле
X = ■
Ji
«где - кодированное значение фактора, xJ0 -натуральное значение нулевого (среднего) уровня фактора, x-1 - натуральное текущее значение фактора, ] i - численное значение интервала варьирования» [8, с. 543].
Для определения значений y7 линейной функции отклика применялась экспертная технология, в которой «для совмещения начала отсчета всех оценочных шкал определяются математические ожидания оценок x7]- факторов х}-
каждого эксперта M(xtj) = mj = —'Z]>=1Xij, где
Xj - оценка j-го фактора у 7-го эксперта, m -число экспертов. Затем находят средние квадратичные отклонения всех факторов для каждого эксперта и математическое ожидание вычисленных значений Oj. Вычисляется поправочный коэффициент Aj = — и осуществляется коррекция
экспертных оценок по каждому фактору по формуле fcj = (Xij — mf)Aj + M(mf)» [5]. Предполагая, что на первом этапе вклад всех факторов в формирование риска равнозначный, получим непосредственно измеренное значение
непоср 1 тггп г>
вероятности риска y = ~ Pij.
Результаты исследования, обсуждения
Для определения вероятности риска были проведены опрос и анкетирование 163 студентов Тольяттинского государственного университета, обучающихся по дистанционной форме (электронное обучение). Оценка уровня каждого из пяти факторов, обозначенных в начале работы, приведена в таблице 1.
Таблица 1 / Table 1
Вероятностные оценки факторов риска неудовлетворенности обучающихся качеством электронного обучения / Probabilistic assessments of risk factors of students' dissatisfaction with the quality of e-learning
Н .Н
Обучающийся / Student Факторы риска / Risk factors
Xl X2 X3 X4 X5
1 0,5 0,3 0,9 0,3 0,2
2 0,2 0,7 0,2 0,3 0
3 0,3 0,2 0,7 0,4 0,2
4 0,8 0,6 0,3 0,6 0,4
5 0,5 0,7 0,2 0,2 0,2
163 0,2 0 0,5 0,8 0,1
На основе полного факторного эксперимента и экспертной технологии, описанной выше, были получены следующие результаты. Гипотетическая модель зависимости уровня риска от пяти контролируемых факторов имеет вид:
7=0,162+0,089 х;+0,263 х2+0,327 х3+0,092 х^+0,067 х5,
где Ь0=0,162, Ь1=0,089, Ь2=0,263, Ь3=0,327, Ь4=0,092, Ь5=0,067 есть весовые коэффициенты соответствующих факторов.
Используя данную модель, можно ранжировать факторы по степени влияния их на вероятность появления рисковых ситуаций, и, следовательно, разрабатывать соответствующие корректирующие мероприятия. Значение свободного члена в полиноме, задающего вероятность риска, показывает, какая доля приходится на не учтенные (неконтролируемые) в модели факторы.
Для оценки уровня допустимого состояния риска был построен доверительный интервал Jp по формуле:
где в — оценка риска обучающимися, о -среднее значение средних квадратичных отклонений по факторам, п - количество опрошенных студентов, ^ =2 при уровне доверия (3=0,95
и к=п—1 - числа степеней свободы распределения Стьюдента (п>15). По результатам проведенного эксперимента был получен интервал (0,089; 0,463).
Заключение
Предложенная математическая модель позволяет оценить факторы возникновения риска на основе факторного эксперимента и ранжировать их по степени влияния на вероятность появления рисковых ситуаций. Результаты эксперимента показывают, что большинство контролируемых факторов, повышающих вероятность риска, принимают значение <0,2, что свидетельствует о низкой степени неудовлетворенности студентов качеством образования и, следовательно, об эффективности системы организации и управления электронным образованием. Построенный доверительный интервал показывает, что при уровне доверия 95 % качество электронной образовательной среды можно оценивать в пределах >0,5, что по принципам оценки эффективности образовательной системы говорит о высоком уровне данной системы в Тольяттинском государственном университете. Попадание коэффициентов Ь2 и Ь3 в доверительный интервал указывает на то, что большинство опрошенных студентов нуждаются в прямом диалоге с преподавателем, а значит необходимо создать условия для постоянного проведения консультаций «преподаватель — студент» в режиме онлайн.
Дальнейшее исследование данного вопроса касается выявления неучтенных (неконтролируемых) факторов риска неудовлетворенности студентов качеством электронного образования с целью формирования и принятия управленческих решений по их устранению.
1. Алдунин Д. А., Федин Г. Г. Математическая модель для построения оптимальной образовательной траектории обучающегося при изучении массовых открытых онлайн-курсов // Информационные технологии. 2019. Т. 25. № 4. С. 250-256. URL: https://www.elibrary.ru/item.asp?id=37350892 (дата обращения: 20.01.2022).
2. Ванина М. Ф., Ерохин А. Г., Фролова Е. А. Применение математических моделей для оценки эффективности внедрения процесса компьютерного тестирования // T-Comm: Телекоммуникации и транспорт. 2017. Т. 11. № 5. С. 83-85. URL: https://www.elibrary.ru/item.asp?id=29320339 (дата обращения: 16.02.2022).
3. Картушина Н. В. Математическая модель оценки профессиональной деятельности педагогического работника образовательной организации высшего образования // Мир университетской науки: культура, образование. 2020. № 4. С. 48-54. URL: https://www.elibrary.ru/item.asp?id=43803305 (дата обращения: 24.12.2021).
4. Минкова А. С. О некоторых подходах к использованию математических моделей и методов при оценке и оптимизации учебного процесса // Гуманитарные, социальны-экономические и общественные науки. 2017. № 8-9. С. 295-299. URL: https://www.elibrary.ru/item.asp?id=30451334 (дата обращения: 16.02.2022).
5. Щипанов В. В., Чернова Ю. К., Крылова С. А Математическое моделирование образовательных процессов: монография / под науч. ред. А. И. Субетто. Тольятти : Тольят. гос. ун-т, 2005. 101 с. URL: https://www.elibrary.ru/item.asp?id=19967780 (дата обращения: 24.12.2021).
6. Glukhova L. V., Syrotyuk S. D., Sherstobitova A. A., Gudkova S. A. Identification of key factors for a development of smart organization: Conference proceedings // Smart Education and e-Learning 2019. DOI: https://doi.org/10.1007/978-981-13-8260-4
7. Khimicheva H., Volivach A. Mathematical Model of an Educational Program Quality Assessment // Advances in Aerospace Technology. 2020. Vol. 3. No. 84. Pp. 71-79. DOI: https://doi.org/10.18372/2306-1472.84.14956
8. Kuznetsova O. A., Palferova S. S., Gudkova S. A., Evstafeva O. A. Simulation for Evaluating the Feedback Effectiveness at e-Learning University System // Smart Education and e-Learning. 2020. Vol. 188. Pp. 539-549. DOI: https://doi.org/10.1007/978-981-15-5584-8_45
9. Serdyukova N, Serdyukov V. Algebraic Formalization of Smart Systems Theory and Practice: monograph // Smart Innovation, Systems and Technologies. 2018. Vol. 91. 189 p. DOI: https://doi.org/10.1007/978-3-319-77051-2
10. Uskov V. L., Bakken J. P., Howlett R. J., Jain L. C. (eds.) Smart Universities: Concepts, Systems, and Technologies // Smart Innovation, Systems and Technologies. 2018. Vol. 70. 421 p. DOI: https://doi.org/10.1007/978-3-319-59454-5
Статья поступила в редакцию 24.02.2022 г.; одобрена после рецензирования 29.03.2022 г.; принята к публикации 08.04.2022 г.
Об авторе
Кузнецова Ольга Александровна
кандидат педагогических наук, доцент, Тольяттинский государственный университет (445020, Российская Федерация, г. Тольятти, ул. Белорусская, д. 14), ORCID: https://orcid.org/0000-0003-4841-0060, oly--2009@yandex.ru
Автор прочитал и одобрил окончательный вариант рукописи.
1. Aldunin D. A., Fedin G. G. Matematicheskaya model' dlya postroeniya optimal'noi obrazovatel'noi traektorii obuchayushche-gosya pri izuchenii massovykh otkrytykh onlain-kursov [Mathematical modelling of building individual educational trajectory for studying MOOCS]. Informatsionnye tekhnologii = Information Technologies, 2019, vol. 25, no. 4, pp. 250-256. Available at: https://www.elibrary.ru/item.asp?id=37350892 (accessed 20.01.2022). (In Rus.).
2. Vanina M. F., Erokhin A. G., Frolova E. A. Primenenie matematicheskikh modelei dlya otsenki effektivnosti vnedreniya protsessa komp'yuternogo testirovaniya [Application of mathematical models for assessing the effectiveness of the implementation of the computer testing process]. T-Comm: Telekommunikatsii i transport = T-COMM, 2017, vol. 11, no. 5, pp. 83-85. Available at: https://www.elibrary.ru/item.asp?id=29320339 (accessed 16.02.2022). (In Russ.).
3. Kartushina N. V. Matematicheskaya model' otsenki professional'noi deyatel'nosti pedagogicheskogo rabotnika obrazovatel'noi organizatsii vysshego obrazovaniya [Mathematical model for evaluating professional activity of a teacher in a higher educational organization]. Mir universitetskoi nauki: kul'tura, obrazovanie = The World of Academia: Culture, Education, 2020, no. 4, pp. 48-54. Available at: https://www.elibrary.ru/item.asp?id=43803305 (accessed 22.12.2021). (In Russ.).
4. Minkova A. S. O nekotorykh podkhodakh k ispol'zovaniyu matematicheskikh modelei i metodov pri otsenke i optimizatsii uchebnogo protsessa [On some approaches to the use of mathematical models and methods in the evaluation and optimization of the educational process]. Gumanitarnye, sotsial'ny-ekonomicheskie i obshchestvennye nauki = Humanities, Socio-Economic and Social Sciences, 2017, no. 8-9, pp. 295-299. Available at: https://www.elibrary.ru/item.asp?id=30451334 (accessed 19.02.2022). (In Russ.).
5. Shchipanov V. V., Chernova Yu. K., Krylova S. A. Matematicheskoe modelirovanie obrazovatel'nykh protsessov: monografi-ya [Mathematical modeling of educational processes: monograph], scientific editor A. I. Subetto, Togliatti, Togliatti State University Publ. house, 2005, 101 p. Available at: https://www.elibrary.ru/item.asp?id=19967780 (accessed 24.12.2021). (In Russ.).
6. Glukhova L. V, Syrotyuk S. D., Sherstobitova A. A., Gudkova S. A. Identification of key factors for a development of smart organization: Conference proceedings. Smart Education and e-Learning, 2019. (In Eng.). DOI: https://doi.org/10.1007/978-981-13-8260-4
7. Khimicheva Kh., Volivach A. Mathematical model for assessing the quality of an educational program. Advances in Aerospace Technology, 2020, vol. 3, no. 84, pp. 71-79. Available at: https://www.elibrary.ru/item.asp?id=44228712 (accessed 17.01.2022). (In Eng.).
8. Kuznetsova O. A., Palferova S. S., Gudkova S. A., Evstafyeva O. A. Modeling for evaluating the effectiveness of feedback in the university e-learning system. Smart Education and e-Learning, 2020, vol. 188, pp. 539-549. (In Eng.). DOI: https://doi.org/10.1007/978-981-15-5584-8_45
9. Serdyukova N., Serdyukov V. Algebraic formalization of theory and practice of intelligent systems. Smart Innovations, Systems and Technologies, 2018, vol. 91, 189 p. (In Eng.). DOI: https://doi.org/10.1007/978-3-319-77051-2
10. Uskov V. L., Bakken J. P., Howlett R. J., Jane L. S. (eds.) Smart Universities: concepts, systems and technologies. Smart Innovations, Systems and Technologies, 2018, vol. 70, 421 p. (In Eng.). DOI: https://doi.org/10.1007/978-3-319-59454-5
The article was submitted 24.02.2022; approved after reviewing 29.03.2022; accepted for publication 08.04.2022.
About the author Olga A. Kuznetsova
Ph. D. (Pedagogy), Associate Professor, Togliatti State University (14 Belorusskaya St., Togliatti 445020, Russian Federation), ORCID: https://orcid.org/0000-0003-4841-0060, oly--2009@yandex.ru
The author has read and approved the final manuscript.
