Модели и средства поддержки принятия решений в системах переподготовки кадров предприятия Текст научной статьи по специальности «Науки об образовании»

УДК 004.891.2

МОДЕЛИ И СРЕДСТВА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ В СИСТЕМАХ ПЕРЕПОДГОТОВКИ КАДРОВ ПРЕДПРИЯТИЯ

MODELS AND METHODS OF DECISION SUPPORT IN THE INFORMATION SYSTEMS FOR REQUALIFICATION OF EMPLOYEES

Р.Г. Асадуллаев, В.В. Ломакин, Ю.Ю. Белоконь, Т.В. Зайцева, О.С. Резниченко R.G. Asadullaev, V.V. Lomakin, Y.Y. Belokon, T.V. Zaitseva, O.S. Reznichenko

Белгородский государственный национальный исследовательский университет,

Россия, 308015, Белгород, ул. Победы, 85

Belgorod State National Research University, 85 Pobeda St, Belgorod, 308015, Russia

E-mail: [email protected], [email protected], [email protected],

[email protected], orezni [email protected]

Аннотация

Статья посвящена разработке моделей и средств поддержки принятия решений в системах переподготовки кадров предприятия на основании индивидуально-ориентированного подхода обучения и с учетом наличия в контурах управления параллельных процессов. В процессе рассмотрения индивидуально-ориентированного подхода обучения раскрыты взаимосвязи основных элементов, входящих в контуры управления переподготовкой кадров. Построены модели процессов тестирования, генерации контента и процесса индивидуально-ориентированного обучения с учетом наличия параллельных процессов. Предложен подход групповой экспертной оценки для реализации механизмов поддержки принятия решений в процессе аттестации кадров по результатам переподготовки с учетом требований предприятия.

Abstract

The article proposes the models and methods of decision support in the information systems for requalification of the employees in the company. They are based on individual-oriented learning approach taking into account the parallelism of the processes in the requalification management. In this study, the management of the process of building an individual trajectory of learning is carried out without intervention of the teacher. The decision support system use, when the system is not capable of independently deciding on the further formation of the individual educational trajectory of the trainee. The models of testing, content generation processes were developed as well as individual-oriented learning processes that consider the parallelism in the requalification management. This paper presents also the approach of group expert evaluation to support the decision making in the process of the stratification of employees based on requalification results considering requirements of the company.

Ключевые слова: принятие решений; комплекс критериев; личностно-ориентированное обучение; индивидуальная траектория обучения.

Keywords: decision support; set of criteria; personal-focused training; personal training trajectory. Введение

Основным ресурсом предприятий, занимающихся производством продукции и активно ведущими научные изыскания с целью получения новых видов инновационной продукции и совершенствования методов и средств получения продукции, является персонал. В

предприятиях подобного рода уделяется особое внимание таким вопросам управления кадрами, как повышение и поддержка должного уровня квалификации, кадровый потенциал и резерв [Катковская, 2016]. Некоторые крупные предприятия организуют собственные учебные центры, деятельностью которых является аттестация персонала, подготовка новых сотрудников с учетом специфики предприятия, оценка кадрового потенциала и другие виды деятельности [Ганчарик, 2016]. Таким образом, система переподготовки кадров должна представлять собой комплекс средств, обеспечивающих повышение уровня компетентности кадров с применением современных информационных средств поддержки принятия решений. Основная часть

В работе [Асадуллаев, Ломакин, 2014] авторами построена функциональная схема процесса управления профессиональным обучением с обоснованием состава элементов, входящих в устройство управления профессиональным обучением, которые рациональным образом управляют индивидуальной образовательной траекторией посредством формирования индивидуального учебного контента. Из функциональной схемы видно, что информационная модель процесса переподготовки кадров должна отражать параллельные процессы, в которых отражается деятельность обучаемого и тьютора [Ахмедов, Смольянинова, 2017]. При этом функционал системы переподготовки кадров должен оперировать систематизированными знаниями тьюторов [Ломакин, Асадуллаев, 2013], которыми помимо преподавателей могут выступать как ученые, так и специалисты предприятия, что обуславливает применение средств поддержки принятия решений [Андреева и др., 2016].

На рис. 1 представлена контекстная диаграмма IDEF0 процесса индивидуально-ориентированного обучения. Схема отражает влияние на процесс обучения как основных сведений о курсе и форме обучения, так и данных об уникальных показателях обучающегося.

9 ? £ 2 I *

5 >

™ ю

Знания и навыки обучающегося

Цели, задачи курса* др

LL 1

Обучение по курсу

Практические знания и навыки

WirnT)

i I 5 ?

2

SraoT

>• П X ф

s о; T

Ю

О

О с

Рис. 1. Контекстная диаграмма процесса индивидуально-ориентированного обучения Fig. 1. ^ntextual diagram of the process of individual-oriented learning

Декомпозиция процесса обучения (рис. 1) представлена на рис. 2. Видно, что формально процесс переподготовки можно разделить на несколько этапов, однако стоит отметить специфику подготовки кадров с совокупным применением аудиторного обучения и самостоятельного обучения с использованием электронных ресурсов [Зеленко, Шумская,

2015]. При этом в автоматизированном режиме используются индивидуальные данные обучающегося в процессах «Электронное обучение» и «Контрольное тестирование», что в результате позволяет выстроить электронный профиль сотрудника [Шеманаева, 2017].

Рис. 2. Процесс обучения на основании индивидуальных показателей обучаемого Fig. 2. The learning process based on individual trainee indicators

Адаптивное электронное обучение предполагает управление процессом индивидуального усвоения знаний обучающимися с вмешательством преподавателя в систему управления лишь в случаях, когда система неспособна самостоятельно принять решение о дальнейшем формировании индивидуальной образовательной траектории обучающегося [Khoroshko et al., 2018]. С учетом схемы (рис. 2) на основании сетей Петри разработана модель функционирования системы (рис. 3) [Cherepovskaya, Lyamin, 2018], отражающая основные процессы электронного обучения и параллельные состояния [Соловов, 2011]. Работа сети начинается из состояния 1, когда программа не запущена. Запуск программы служит переходом I к состоянию 2 - ввод данных авторизации. На схеме отображены параллельные процессы работы обучающегося и тьютора. После идентификации пользователя, при срабатывании перехода II - начинает свою работу тьютор, при срабатывании перехода III - обучающийся. Работа первого включает состояния 3, 6, 7, а второго - состояния 4, 5, 8, 10. Важной частью алгоритма является участок сети с переходами VIII и XI. Данные переходы срабатывают в случае активности всех входящих в него состояний [Ueno et al., 2018]. Таким образом, обучающийся сможет перейти к полной версии контента только если преподаватель, работающий с данным контентом параллельно, окончит редактирование курса [Вайнштейн и др., 2017].

Рис. 3. Модель процесса индивидуально-ориентированного обучения Fig. 3. Model of the process of individual-oriented learning В табл. 1 и 2 приведено описание позиций и переходов модели (рис. 3).

Таблица 1 Table 1

Позиции модели процесса индивидуально-ориентированного обучения Positions of the model of process of individual-oriented learning

№ позиции Описание позиции

1 Приложение не запущенно

2 Ожидание авторизации

3 Вход тьютора выполнен

4 Вход обучающегося выполнен

5 Главное меню

6 Наблюдение эксперта за выполнением тестовых заданий

7 Изменения преподавателя внесены.

8 Контент курса изучен

9 Преподаватель завершил редактирование теста

10 Материал усвоен

11 Тестирование пройдено

12 Решение о дальнейшем обучении учащегося

13 Обучение по теме завершено

Таблица 2 Table 2

Переходы модели процесса индивидуально-ориентированного обучения Transitions of the model of process of individual-oriented learning

Обозначение Описание действия перехода

I Запуск программы

II Авторизация тьютора

III Авторизация обучающегося

IV Загрузка или формирование личных данных обучаемого

V Изменение контрольных тестовых заданий

VI Изменение элементов учебного курса, с его временной блокировкой

VII Формирование контента и проверка доступа

VIII Изучение активного контента

IX Изменение тестов тьютором, анализ результатов предыдущих тестирований

X Завершение работы пользователем

XI Принятие тьютором решения о дальнейшем обучении пользователя

XII Выполнение контрольного тестирования

XIII Решение о прерывании обучения пользователя

XIV Переход к формированию контента по следующей теме

XV Выход из программы

Важной особенностью индивидуально-ориентированного обучения является возможность формирования учебного контента, учитывающего индивидуальные особенности обучающегося [Ьуашт et а1, 2018]. Так, на рис. 4 отражены параллельные процессы работы обучающегося и тьютора. При подключении к курсу, обучающийся переходит из главного

меню к меню выбора курса, далее - выбору раздела и темы. При работе в системе, в любое время возможет выход и переход к предыдущему меню. [Сысоева, 2014]. От действий преподавателя, при его параллельной работе в системе, зависит подключение обучаемого к курсу, обновление, переработка существующего контента. В случае редактирования контента преподавателем, доступ к соответствующему материалу обучающегося блокируется.

Fig. 4. Model of the process of content génération

Контент учебного курса рассматриваемой системы электронного обучения разрабатывается преподавателем в нескольких версиях - для разных уровней глубины научного проникновения в сущность учебного элемента, то есть для разных ступеней абстракции [Андреев, 2016; Вовк, 2017]. Возможны четыре таких ступени при отображении контента [Беспалько, 2002]:

1 - феноменологическая (описание на общедоступном, естественном языке).

2 - качественная (использование специфического языка науки).

3 - количественная (создание математической модели объекта науки и обеспечение наиболее полного знания закономерностей его поведения).

4 - аксиоматическая (высшая ступень развития науки в целом, учитывающая общность законов функционирования объектов, принадлежащих разным наукам.

Каждый курс может быть изложен на любой ступени абстракции при условии, что область знания по курсу достигла ее в своем развитии [Пахунов, 2010]. Важно отметить, что 3 и 4 ступени абстракции используются только при изучении точных наук.

В табл. 3 и 4 представлены расшифровки значений позиций и переходов, соответствующих модели, представленной на рисунке 4.

Таблица 3 Table 3

Позиции модели процесса генерации контента Positions of the process of content generation

№ позиции Описание позиции

1 Приложение не запущенно

2 Вход преподавателя выполнен

3 Вход обучающегося выполнен

4 Вход в меню курса

5 Характеристики обучаемого загружены

6 Меню темы

7 Контент готов для использования

8 Меню раздела

9 Контент сформирован

10 Меню подразделов

11 Добавление ссылки в навигацию

12 Изучена тема раздела

13 Изучен раздел курса

14 Изучен курс

Таблица 4

Table 4

Переходы модели процесса генерации контента

Transitions of the process of content generation

Обозначение Описание действия перехода

I Ввод данных преподавателя

II Ввод данных обучающегося

III Редактирование курса

IV Подключение к курсу обучающегося

V Загрузка истории обучения

VI Выполнение теста на остаточные знания

VII Выбор темы

VIII Выбор раздела

IX Выбор подраздела

X Изучение подраздела

XI Контрольные мероприятия

XII Выход из системы обучающегося

При соответствии модели обучаемого уровню усвоения учебного материала, осуществляются проверки. Если темя последняя по разделу - срабатывает переход к прохождению тестового контроля по разделу. Обучающийся переходит к прохождению итогового тестового контроля в случае, если раздел последний в курсе (рис. 5). В иных случаях формируется индивидуальный контент обучаемого следующей темы. При многократных неудачных попытках тестирования и превышении количества повторов изучения контента больше порогового, текущий раздел курса для обучающегося блокируется [Мартынова, 2017], в результате чего, пользователь не может продолжать обучение по курсу, пока преподавателем-редактором не будет принято решение о последующем формировании индивидуального контента обучающегося либо окончании его обучения [Романенкова, 2013; Мирошниченко, 2017].

Fig. 5. Model of the testing process

В табл. 5 и 6 описаны значения позиций и переходов модели, представленной на рис. 5.

Таблица 5 Table 5

Позиции модели тестирования Positions of the model of testing

№ позиции Описание позиции

1 Сформирован контент

2 Контент изучен

3 Тест выполнен успешно

Окончание табл. 5

4 Количество неправильных попыток превышено

5 Вход тьютора выполнен

6 Ожидание консультации тьютора

7 Тьютор готов к работе с обучаемым

8 Решение по обучающемуся

9 Программа неактивна

Таблица 6

Table 6

Переходы модели тестирования

Transitions of the model of testing

Обозначение Описание действия перехода

I Освоение материала

II Прохождение контрольного теста

III Переход к следующему контенту

IV Блокировка курса

V Контроль необходимости консультации обучающегося

VI Консультация с обучающимся

VII Завершение работы с приложением

VIII Формирование нового контента

IX Решение об окончании обучения

С учетом специфики отдельных предприятий в процессе переподготовки кадров в контурах управления электронным обучением необходимо реализовать систему поддержки принятия решений, которая будет решать следующие основные задачи:

- помогать эксперту принимать решение в ситуациях, когда система не в состоянии эффективно управлять индивидуальной образовательной траекторией;

- расширять базу знаний посредством добавления новых правил в процессе принятия решений экспертом;

- организовывать групповую экспертную оценку хода обучения и качества материалов программы обучения.

Примером может служить оценка профиля сотрудника по результатам переподготовки с учетом заданных критериев, отражающих требования конкретного предприятия. Для оценки экспертами значимости каждого критерия используется шкала в диапазоне от 1 до М, где М представляет собой число критериев. Таким образом, критерий со значимостью М является наиболее важным, а критерий с показателем значимости 1 является наименее важным. Данный подход упрощает работу экспертов, например, в отличии от метода парных сравнений, в котором необходимо проделывать трудоемкую работу по заполнению матриц и отслеживать корректность важности каждого критерия относительно друг друга и выставленных ранее оценок. В данном случае применяется линейное упорядочивание критериев по важности. При этом определенное ранжирование критериев по важности

устанавливается единым для каждого эксперта, что обусловлено важностью критериев для предприятия.

ъ гпк1

Определив значимость каждого критерия проводится нормирование критериев для

получения веса 1 -го критерия в диапазоне [0..1]:

, гпк

мк = ———

1 М (П

Е znkj (1)

]=1

мЪ 1 1 е [1 М ]

где ' - в ес '-го критерия, при 1 -1;

гпк1 1

- значимость -го критерия, определенная экспертами.

В свою очередь эксперты ранжируются по важности с точки зрения доверия к экспертному мнению на базе опыта работы в данной отрасли, научных интересов и других параметров, которые сводятся к интегральной оценке каждого эксперта и присвоения значимости мнения каждого эксперта. Оценка доверия к экспертному мнению проводится в диапазоне от 1 до 10 с шагом 1. При этом число экспертов может варьироваться. тт гпе1

После определения значимости экспертов проводится нормирование значимости

экспертов для получения веса к-го эксперта мек в диапазоне [0..1]: гпек

мек

Е znej (2)

]=1

где мек - вес к -го эксперта, при к е ]; N - общее количество экспертов;

гпек к

- значимость -го эксперта.

Эксперты проводят оценку по каждому критерию и выставляют оценку оек в диапазоне [1..10] с шагом 1, где к - номер эксперта, 1 - номер критерия. При этом, чем выше оценка, тем выше качество оцениваемого критерия.

После того, как эксперт провел оценку по всем критериям, рассчитывается интегральная оценка каждого эксперта с учетом формулы (1):

М г гпк . ч

1оек = Е (М * оеЫ)

1-1 Е гпк / j=1

М (3)

ч (3)

1оек к

где - интегральная оценка -го эксперта;

оек - оценка к -м экспертом 1 -го критерия.

Получив интегральную оценку каждого эксперта гоек, с учетом формул (2, 4) рассчитывается совокупная интегральная оценка экспертов 10 :

^ М, гпк ч . гпек ч

10 = к=,(Е(-Мп- * оек1) * ) (4)

к-1 1 -1 Е гnkj Е гnej К '

j=1 ]=1

Интегральная экспертная оценка 10 изменяется в диапазоне от 1 «наихудшая оценка» до 10 «наилучшая оценка».

Таким образом, с учетом вышеизложенного и формул (1, 2, 3, 4), разработана сводная таблица 7 по проведению экспертной оценки. Методика заполнения табл. 7 сводится к следующим действиям:

1. Выставляется значимость каждого критерия. Автоматически по формуле 1 производится расчет веса каждого критерия.

2. Заполняется поле «Доверие к мнению эксперта» для каждого эксперта. Автоматически по формуле 2 производится расчет веса каждого эксперта.

3. Эксперт ставит оценку в поле «Оценка эксперта» для каждого из M критериев.

4. После того, когда каждый эксперт выставит оценки, автоматически рассчитывается интегральная оценка каждого эксперта по формуле (3) и совокупная интегральная оценка экспертов по всем критериям по формуле (4).

Таблица 7 Table 7

Экспертная оценка

Expert review_

Доверие к мнению эксперта, [1.10] znel zne2 zne3 zneN

Вес эксперта, [0..1] wel We2 we3 weN

№ п/п Критерии Значимость критерия, [1..4] Вес критерия, [0..1] Оценка эксперт 1 Оценка эксперт 2 Оценка эксперт 3 Оценка эксперта N

1 Критерий 1 znkl wkl oen 0e21 0e31 0eN1

2 Критерий 2 znk2 wk2 0e12 0e22 0e32 0eN 2

3 Критерий 3 znk3 wk3 oe13 0e23 0e33 0eN 3

M Критерий M znk4 wk4 0e14 0e24 0e34 0eN 4

Интегральная оценка 1 -го эксперта: 1оех i0e2 i0e3 i0eN

Совокупная интегральная оценка экспертов по всем критериям: IO

Основные выводы

Таким образом, построена модель процесса обучения по курсу, формально представляющая взаимосвязи основных элементов с применением индивидуально ориентированного подхода. Отдельно построены модели процессов тестирования, генерации контента и процесса индивидуально-ориентированного обучения, отражающие наличие в контурах управления параллельных процессов, а также наличие средств индивидуально-ориентированного управления образовательными траекториями. Обусловлена необходимость реализации средств поддержки принятия решений. В результате разработан подход групповой экспертной оценки, учитывающий мнение каждого эксперта и выдающий групповую оценку по каждому объекту оценки.

Выполнено в рамках реализации комплексного проекта по созданию высокотехнологичного производства «Разработка методологии и инструментальных средств создания прикладных приложений, поддержки жизненного цикла информационно-технологического обеспечения и принятия решений для эффективного осуществления административно-управленческих процессов в рамках установленных полномочий», 2017218-09-187; постановление Правительства Российской Федерации от 9 апреля 2010г. № 218

Список литературы References

1. Катковская И.В. 2016. Условия и инструменты управления кадровым потенциалом организации. Молодой ученый, 15: 301-305.

Katkovskaya I.V. 2016. Conditions and tools for managing the human resources of the organization. Young scientist, 15: 301-305. (in Russian)

2. Ганчарик Л.П. 2016. Образовательные технологии в системе наставничества управленческих кадров. Открытое образование, 20 (6): 59-64.

Gancharik L.P. 2016. Educational technologies in the system of managerial staff mentoring. Open education, 20 (6): 59-64. (in Russian)

3. Асадуллаев Р.Г., Ломакин В.В. 2014. Построение функциональной схемы процесса управления повышением квалификации персонала предприятия для адаптивной системы управления обучением. Научно-технический вестник Поволжья, 5:101-104.

Asadullaev R.G., Lomakin V.V. 2014. Creation of the function chart of process of management of professional development of the personnel of the enterprise for the adaptive learning management system. Nauchno-tekhnicheskij vestnik Povolzh'ya, 5: 101-104. (in Russian)

4. Ахмедов А.Э., Смольянинова, И.В. 2017. Индивидуальная образовательная траектория в системе подготовки конкурентоспособного специалиста. Научно-методический электронный журнал Концепт, 14: 40-44. URL: http://e-koncept.ru/2017/770621.htm. (дата обращения 12.10.2017)

Ahmedov A.EH., Smolyaninova I.V. 2017. Individual educational path in the system of a competitive specialist training. Nauchno-metodicheskij ehlektronnyj zhurnal Koncept, 14: 40-44. URL: http://e-koncept.ru/2017/770621.htm. (accessed 12.10.2017). (in Russian)

5. Ломакин В.В., Асадуллаев Р.Г. 2013. Организация интеллектуального управления индивидуальными образовательными траекториями. Научные ведомости БелГУ, 22(165): С.167-174.

Lomakin V.V., Asadullaev R.G. 2013. Organization of individual educational trajectories intellectual control. Nauchnye vedomosti BelGU, 22(165): 167-174. (in Russian)

6. Андреева Л.Г., Бурукина О.А., Воробьева И.А., Денисов А.Р., Маркова В.А., Новикова В.П., Степанова М.М. 2016. Онлайн-платформа для формирования компетенций в корпоративных системах обучения. Образование и наука,1(130): 74-94.

Andreeva L.G., Burukina O.A., Vorobyeva I.A., Denisov A.R., Markova V.A., Novikova V.P., Stepanova M.M. 2016. On-line platform for competences development in corporate educational systems. Obrazovanie i nauka, 1(130): 74-94. (in Russian)

7. Зеленко Л.С., Шумская Е.А. 2015. Комплекс программ для работы с учебным контентом в дистанционных обучающих системах. Известия Самарского научного центра Российской академии наук, №2(5): 992-995.

Zelenko L.S., Shumskaya E.A. 2015 Set of programs to work with the learning content in distance learning system. Izvestiya Samarskogo nauchnogo centra Rossijskoj akademii nauk, №2(5): 992995. (in Russian)

8. Шеманаева М. А. 2017. Алгоритм разработки индивидуальной образовательной траектории. Научно-методический электронный журнал Концепт, S12: 40-42. URL: http://e-koncept.ru/2017/470153.htm. (дата обращения 12.10.2017)

Shemanaeva M.A. 2017 Algorithm for the development of an individual educational trajectory. Nauchno-metodicheskij ehlektronnyj zhurnal Koncept,S12: 40-42. URL: http://e-koncept.ru/2017/470153.htm. (accessed 12.10.2017). (in Russian)

9. Khoroshko L.L., Vikulin M.A., Kvashnin V.M. 2018. Technologies for the development of interactive training courses through the example of LMS MOODLE. Smart Innovation, Systems and Technologies, 75: 129-142.

10. Cherepovskaya E.N., Lyamin A.V. 2018. An automata model for an adaptive course development. Smart Innovation, Systems and Technologies, 75: 302-309.

11. Соловов А.В., Меньшикова А. А. 2011. Дискретные математические модели типовых процессов автоматизированного обучения. Дистанционное и виртуальное обучение, 12: 6479.

Solovov A.V. Menshikova A.A. 2011. Discrete mathematical models in research of automated tutoring processes. Distance and virtual learning, 12: 64-79. (in Russian)

12. Ueno M., Morishita M., Isahara H. 2018. Artificial curation for creating learners manual based on data semantics and user personality. Advances in Intelligent Systems and Computing, 620: 247-253.

13. Вайнштейн Ю.В., Есин Р.В., Цибульский Г.М. 2017. Адаптивная модель построения индивидуальных образовательных траекторий при реализации смешанного обучения. Информатика и образование,2 (281): 83-86.

Vajnshtejn Y.V., Esin R.V., Cibul'skij G.M. 2017. Adaptive model of constructing individual educational trajectories in the implementation of mixed teaching. Informatika i obrazovanie, №2 (281): 83-86. (in Russian)

14. Lyamin A.V., Cherepovskaya E.N., Chezhin, M.S. 2018. An outcome-based framework for developing learning trajectories. Smart Innovation, Systems and Technologies,75: 129-142.

15. Сысоева Е.Ю. 2014. Личностно-ориентированные технологии обучения в системе повышения квалификации преподавателей вуза. Высшее образование в России, 12: 42-47. Sysoeva E.Y. 2014. Personality-oriented technologies for university teachers' qualification raising system. Vysshee obrazovanie v Rossii, 12: 42-47. (in Russian)

16. Андреев В.Е. 2016. Методическое обеспечение самостоятельной работы студентов с использованием электронного учебно-методического комплекса. Научно-методический электронный журнал «Концепт», 37: 1-6. URL: http://e-koncept.ru/2016/56777.htm. (дата обращения 12.10.2017)

Andreev V.E. 2016. Methodical support of independent work of students with use of electronic educational-methodical complex. Nauchno-metodicheskij ehlektronnyj zhurnal «Koncept», 37: 16. URL: http://e-koncept.ru/2016/56777.htm. (accessed 12.10.2017). (in Russian)

17. Вовк Е.В. 2017. Моделирование индивидуальных образовательных маршрутов обучающихся по личностным образовательным результатам обучающихся. Гуманитарные науки (г.Ялта), 3 (39): 119-123.

Vovk E.V. 2017. Modeling of individual educational routes on personal and educational students results. Gumanitarnye nauki (g.YAlta), 3 (39): 119-123. (in Russian)

18. Беспалько В.П. 2002. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия). М., МПСИ, 352.

Bespalko, V.P. 2002. Education and training with the participation of computers (pedagogy of the third millennium). Moscow, IPSI, 352. (in Russian)

19. Пахунов, А.В. 2010. Разработка принципов структуризации учебно-методических материалов для подготовки специалистов промышленных предприятий в системе электронных образовательных ресурсов. Автореф. дисс. ... канд. техн. наук. Москва, 15. Pahunov, A.V. Development of the principles of structuring teaching and learning materials for the training of industrial enterprises in the system of electronic educational resources. Abstract. dis. ... cand. t. sciences. Moskva, 15. (in Russian)

20.Мартынова Е.А. 2017. Построение индивидуальной образовательной траектории лиц с ограниченными возможностями здоровья и инвалидов, обучающихся в профессиональных образовательных организациях. Научный альманах, 6-1 (32): 156-160.

Martynova E.A. 2017. Construction of an individual educational trajectory for persons with disabilities and disabled people who study in professional educational organizations. Nauchnyj almanah, 6-1 (32): 156-160. (in Russian)

21. Романенкова Д.Ф. 2013. Методы педагогического контроля качества учебной деятельности в системе дистанционного обучения. Вестник Южно-Уральского государственного университета. Серия: Образование. Педагогические науки, 5 (1): 121-126. Romanenkova D.F. 2013. Methods of pedagogical control of quality of study activities in distance education system. Vestnik Yuzhno-Ural'skogo gosudarstvennogo universiteta. Seriya: Obrazovanie. Pedagogicheskie nauki, 5 (1): 121-126. (in Russian)

22. Мирошниченко И.Н. 2017. Индивидуальная образовательная траектория студента как личностный путь к познанию в пространстве профессионального обучения. Сборники конференций ниц социосфера, 27: 68-71.

Miroshnichenko I.N. 2017. Individual educational trajectory of a student as a personal path to knowledge in the space of vocational training. Sborniki konferencij nic sociosfera, 27: 68-71. (in Russian)