CC BY
43УДК 159.9: 331.101.1
DOI: 10.30987/article_5c65263772ba92.98419543
Д.С. Жадаев, А.А. Кузьменко, В.В. Спасенников
ОСОБЕННОСТИ НЕЙРОСЕТЕВОГО АНАЛИЗА УРОВНЯ ПОДГОТОВКИ СТУДЕНТОВ В ПРОЦЕССЕ АДАПТИВНОГО ТЕСТИРОВАНИЯ ИХ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ
Предложен метод экспертных оценок профессиональных компетенций при подготовке специалистов разных направлений, уровней и профилей подготовки с использованием метода весовых коэффициентов важности. Проанализированы способы выбора траектории тестирования. Предложен
алгоритм проведения адаптивного тестирования с использованием искусственных нейронных сетей.
Ключевые слова: весовые коэффициенты важности, дисперсия, адаптивное тестирование, искусственная нейронная сеть, многослойный пер-септрон.
D.S. Zhadaev, A.A. Kuzmenko, V.V. Spasennikov
PECULIARITIES OF NEURAL NETWORK ANALYSIS OF STUDENTS' TRAINING LEVEL DURING THEIR PROFESSIONAL COMPETENCES ADAPTIVE TESTING
There is offered a method for the expert assessments of professional competences during the training of specialist of different fields, levels and profiles of training with the use of the method of weight coefficients of significance. Methods for the choice of a testing path are analyzed. An algorithm is offered for the
fulfillment of adaptive testing with the use of artificial neural networks.
Key words: weight coefficients of significance, dispersion, adaptive testing, artificial neural network, multi-layer perceptron.
Введение
Известно, что проведение экспертных оценок для выявления дисциплин, которые оказывают наибольшее влияние на формирование профессиональных
компетенций, является неотъемлемым этапом подготовки специалистов в образовательных учреждениях. В отличие от существующих методов выявления таких дисциплин, в данной работе предложен алгоритм для экспертных оценок профессиональных компетенций при подготовке специалистов разных направлений, уровней и профилей подготовки (СПО, ВПО) на основе метода весовых коэффициентов важности [1; 3; 5].
В статье рассматриваются два первых модуля системы оценки сформированности компетенций студентов и выпускников:
• Модуль экспертной оценки сформированное™ компетенций.
• Модуль нейросетевого анализа уровня сформированности компетенций.
Алгоритмизация экспертной оценки
В нашей работе соблюдались определенные правила для экспертной оценки с использованием метода весовых коэффициентов важности, а именно:
1. Опрос экспертов производится в письменном виде.
2. Анкета содержит дисциплины.
3. Отбор экспертов производится из разнородных групп.
4. Опрос экспертов производится индивидуально.
После заполнения опросного листа эксперт заполняет экспертную таблицу (табл. 1).
На главной диагонали матрицы X ^ = j) рекомендуется проставлять оценки ху = 1, так как объект (дисциплина) сравнивается сам с собой.
Эксперт заполняет верхнюю (правую) часть матрицы, на диагонали которой стоят единицы, а нижнюю (левую) часть
матрицы заполняет исследователь по правилу
ан
2-аг1
Таблица 1
Экспертная таблица
Факторы, i Факторы, j Рг (1) Рг (2)
Ху Х2 Хз Х4 Х5 Хб Х7 Х8 Х9 Х10
Х; 1
Х2 1
Хз 1
Х4 1
Х5 1
Хб 1
Х7 1
Х8 1
Х9 1
Хю 1
£
а = 4
У
2, если фактор /' важнее фактора у;
1, если оба фактора одинаковы или эксперт не знает, что сказать; 0, если фактор г уступает фактору у.
В итоге ранжирование происходит по величине весовых коэффициентов важности к-го порядка:
Ь (к ) = -РЩ-,
I V / п '
(к)
г=1 (1)
где рг(к) - итерированная важность к-го порядка для 1-го объекта;п - число сравниваемых объектов. Конкретно величины рг(к) можно найти по следующим формулам:
п
Р (1) = 1 ау;
У=1
п
р, (2) = /Р/ (1); / = 1, п,
/=1
где
2, если Р/ (1) < р 1 (1); 1,если рг (1)=р,(1);
0, если рг (1) > р (1).
Уникальной особенностью данного метода (МВКВ) является возможность определить внутреннюю
непротиворечивость ответов экспертов [1].
¥ =
Коэффициент внутренней
непротиворечивости 1-го эксперта (коэффициент его компетентности по данному вопросу) можно определить по ф о рмуле
=
И
1 (п 3 - п)
Результаты обработки анкет были сведены в таблицу весовых коэффициентов важности второго порядка (табл. 2), рассчитанных по формуле (1).
Для выделения факторов,
вызывающих разногласия экспертов, использовался критерий Кохрена, при нахождении которого требуется знать выборочную дисперсию:
О =
тах
ММ
(к)
1=1
где
м2 (к )=-\ ± Ь (к)-ь (к)]'
т -1 г=!
выборочная
дисперсия
весовых
3
п
коэффициентов важности, вычисленная для всех шести экспертов по ьму фактору;
"■'."..'*'■.- ■■ - максимальное числовое
значение одной из выборочных дисперсий
, вычисленных для исследуемых факторов.
всех
Таблица 2
Весовые коэффициенты важности второго порядка
Номер эксперта, 1 Факторы, 1 Коэффициент непротиворечивости ql
XI х2 Хз Х4 Х5 Хб Х7
1 0,021 0,202 0,176 0,107 0,055 0,318 0,200 0,982
2 0,021 0,178 0,106 0,055 0,004 0,365 0,268 0,964
3 0,049 0,175 0,110 0,049 0,008 0,351 0,257 0,875
4 0,056 0,108 0,177 0,021 0,004 0,264 0,368 1
5 0,024 0,170 0,113 0,068 0,024 0,299 0,299 0,857
6 0,021 0,264 0,177 0,108 0,056 0,367 0,232 1
Ъ (2) 0,032 0,183 0,143 0,068 0,025 0,327 0,271 -
Б? [Ъ, (2)]х104 2,584 25,610 13,518 11,720 6,060 16,908 33,92 -
0 =
33,920 -10"
(2,584 + 25,61 +13,518 +11,720 + 6,060 +16,908 + 33,920)-10
0^ (5%; ^ = 5; узн = 7) = 0,397.
т = 0,307 < 0пабл
Поскольку G полученное меньше G табличного, можно заявить с 95%-й уверенностью, что существенных противоречий в высказываниях экспертов по каждому отдельному фактору не имеется.
Для проверки согласия экспертов и правильности выводов экспертизы был вычислен коэффициент конкордации Ж по формуле
Ж = -
п Е I=1 ш Е Ра С1) - шп 1=1 2
1 — ш 3 ш ( п ш 3-п)-ЕЕ$ -tll) /=11=1
где til - число повторений величин р ц (1), сделанных 1-м экспертом. Проверка
Х = 6 (7-1) 0,956 = 34,416 > Хпаабл (5%; V = 7-1 = 6) = 12,59.
правильности выводов экспертизы дала величину Ж = 0,956, а расчетный критерий Пирсона для определения значимости коэффициента конкордации по формуле
X = ш (п-1)Ж подвергся сравнению с табличным
значением хПабл (Ч; V = п -1).
Коэффициент конкордации
признается значимым только в одном случае - при выполнении условия XX > Хпабл. Проведенные расчеты показали следующий результат:
Это окончательно подтверждает правильность найденной ранжировки, а также доказывает, что экспертное мнение
является согласованным
непротиворечивым.
и
7
4
\
Блок-схема алгоритма расчета коэффициентов важности влияния дисциплин
на формирование профессиональных компетенций приведена на рис. 1.
Рис. 1. Блок-схема алгоритма расчета коэффициентов важности влияния дисциплин на формирование ПК
В качестве исходных данных выступают параметры, полученные исследователем в ходе анкетирования. Загрузка исходных данных осуществляется нажатием кнопки «Загрузка исходных данных». Для работы данного алгоритма предполагается подготовка текстового файла.
В первых двух строках через пробел располагаются значения итерированных важностей второго порядка р^2) всех п
объектов первого эксперта, в третьей строке - значения следующего эксперта и т.д. Всего в текстовом файле должно содержаться т + 1 строк. При этом число параметров и экспертов определяется автоматически на основе содержимого файла. Далее осуществляется нажатие кнопки «Расчет», после чего на основе загруженных исходных данных
производится расчет весовых
коэффициентов важности методом ВКВ.
Нейросетевой анализ уровня сформированности компетенций
Одним из главных факторов управления образовательным процессом является оценка знаний. Для анализа знаний студентов кроме стандартной системы опроса также используется опрос в виде тестов. Среди всех моделей
тестирования выделяется адаптивная модель. В ней заложена идея о большей эффективности классических тестов. Такая форма позволяет более точно и быстро оценить способности студента. К другим преимуществам адаптивного тестирования
можно отнести уменьшение количества заданий, времени на тестирование, повышение точности оценки, повышение мотивации у студентов к прохождению тестов [6].
В настоящее время для решения задачи увеличения эффективности адаптивного тестирования был проведен анализ способов выбора траектории тестирования. Существует три основных способа [2]:
1) способ с применением теории ГОТ;
2) способ с заданием перехода между состояниями;
3) способ с помощью нейросетевых методов.
Способ с применением теории ГОТ прост для использования, однако сложен для получения точности логитов -величины, характеризующей трудность задания и разрешающую способность человека.
Нейросетевой метод является наиболее действенным для задачи выбора траектории тестирования. Рассмотрим способ проведения стандартного адаптивного тестирования [2], который показан на рис. 2.
Сперва, до задания тестовых вопросов, необходимо ввести основные параметры (тема тестирования, количество тестовых вопросов, время тестирования). Далее добавляем условие выбора первого задания. Вторым шагом является анализ выполненного задания, на основе которого происходит выбор следующего задания. Заключительным шагом является проверка правила окончания тестирования (закончились вопросы или время проведения тестирования). По завершении тестирования определяется его результат.
Данный способ малоэффективен, поскольку для выявления уровня сформиро-ванности компетенции требуется большое количество вопросов.
Для повышения эффективности тестирования и более точного выявления
уровня освоения компетенций студентами всех уровней подготовки предлагается задать уровень трудности вопросов. Элементы блок-схемы алгоритма стандартного адаптивного тестирования «Анализ результатов выполненного задания» и «Выбор следующего задания» объединяем в элемент «Оценка результатов» и применяем аппарат искусственной нейронной сети.
Для корректировки перехода между модулями зададим ряд условий требованиями:
1) разделить вопросы по степени трудности;
2) установить количество блоков с вопросами;
3) применить искусственную нейронную сеть для корректного перехода между блоками.
На рис. 3 видно, что тестирование состоит из 3 блоков с вопросами. На первом этапе происходит выбор 10 вопросов, которые ранжируются по трудности следующим образом: {2, 6, 2}, то есть в блок включается 2 легких, 6 средней трудности и 2 трудных вопроса. Второй и третий этапы состоят из 6 вопросов, а по трудности могут быть ранжированы следующим образом: {1; 5; 0} (1 лёгкий, 5 средних, 0 трудных); {2; 4; 0}; {3; 3; 0}; {0; 4; 2}; {0; 5; 1};{0; 2; 4;}.
Обработка данных происходит после ответов на каждый блок вопросов. Результатом обработки данных является выбор вопросов для следующего блока. После прохождения второго блока вопросов существует выбор: если испытуемый ответил верно не менее чем на 15 вопросов из 16, то он может получить итоговую оценку, минуя третий блок вопросов [3].
Исходя из основных направлений использования искусственной нейронной сети нами была выбрана структура под названием «многослойный персептрон». Архитектура многослойного персептрона представлена на рис. 4.
Рис. 2. Способ проведения стандартного адаптивного тестирования
В качестве функции активации нейрона выбрана сигмоидальная функция.
Предположим, что испытуемый ответил на 6 вопросов: 1 легкий, 4 средних, 1 трудный. Данную раскладку выражаем в долях: 1 /2 - доля легких решенных вопросов, 4/6 - доля средних решенных вопросов, 1 /2 - доля трудных решенных вопросов. Набор
коэффициентов выглядит следующим образом: {1/2, 4/6, 1/2}. Он будет входным в искусственную нейронную сеть. Если испытуемый ответит на все вопросы, входные данные будут выглядеть так: {1, 1, 1}.
Обучение будет проводиться с учителем по экспертным данным. В результате обучения на выходе получаем число в промежутке от 0 до 1, на
основании которого будут выбираться блоки вопросов.
В данном способе искусственная нейронная сеть осуществляет выбор траектории адаптивного тестирования. Существует несколько видов траекторий: индивидуальная, уровневая и смешанная [8]. Таким образом, в нашем случае параметры сети имеют зависимость от параметров тестирования.
Входных нейронов в сети будет 3 - по количеству трудностей вопросов в тесте. Выходных нейронов будет 4. Они будут нести в себе информацию, необходимую для вынесения оценки. Скрытых нейронов будет выбрано 6. Структура принятой искусственной нейронной сети
представлена на рис. 5.
Рис. 4. Архитектура многослойного пер-септрона
Рис. 3. Схема проведения адаптивного тестирования
Заключение
Несмотря на то что метод тестирования для анализа уровня сформированности профессиональных компетенций обучающихся признан одним из самых эффективных и объективных, данная тестовая система не может считаться безупречной. Среди основных недостатков метода тестов главное место занимает одновариант-ность и недостаточное внимание к личностным параметрам испытуемого [7]. Данная проблема может быть решена применением адаптивного тестирования, которое способно подстроиться под уровень знаний студентов, а также варьирует количество и сложность заданий в зависимости от полученных результатов (ответов на вопросы теста).
В данной работе рассмотрены два модуля системы адаптивного тестирования студентов и выпускников. Модуль экспертной оценки сформированности профессиональных компетенций позволяет
Рис. 5. Структура принятой искусственной нейронной сети
получить согласованное и непротиворечивое мнение экспертов по поводу той или иной профессиональной компетенции. Модуль нейросетевого анализа профессиональных компетенций позволяет увеличить уровень эффективности системы тестов и задать правильную траекторию тестирования. С помощью этого метода возможно совершенствование метода тестирования, а значит, повышение достоверности оценки уровня знаний студентов и выпускников. Данные модули лежат в основе разрабатываемой системы тестов. В ближайшее время нами будет проведено проверочное тестирование студентов специальности «Информационные системы и технологии» Брянского государственного технического университета. Все неточности в алгоритмах будут учтены, а также будут скорректированы веса нейронов разрабатываемой нейронной сети.
СПИСОК ЛИТЕРАТУРЫ
1. Бешелев, С.Д. Математико-статистические методы экспертных оценок / С.Д. Бешелев, Ф.Г. Гурвич. - М.: Статистика, 1980. - С. 263.
2. Бешелев, С.Д. Экспертные оценки / С.Д. Бешелев, Ф.Г. Гурвич. - М.: Наука, 1973. - С. 161.
3. Горюшкин, Е.И. Использование нейросетевых технологий в адаптивном тестировании по информатике в вузе / Е.И. Горюшкин. - Курск, 2009. - С. 1.
4. Горюшкин, Е.И. Особенности адаптивного контроля и измерения результативности дистанционного обучения информатике / Е.И. Горюш-кин. - Курск: Изд-во КГУ, 2009. - С. 240.
5. Гура, В.В. Теоретические основы педагогического проектирования личностно-ориентированных электронных образовательных ресурсов и сред / В.В. Гура. - Ростов н/Д: Изд-во ЮФУ, 2007. - С. 299.
6. Данг, Х.Ф. Методы разработки алгоритмов адаптивного тестирования / Х.Ф. Данг, О.А. Шабалина, В.А. Камаев // Известия Волгоградского государственного технического университета. - 2012. - Т. 4. - № 13. - С. 107-112.
7. Данг, Х.Ф. Полное адаптивное тестирование / Х.Ф. Данг, О.А. Шабалина // Известия Волго-
1. Beshelev, S.D. Mathematical-Statistical Methods of Expert Assessments / S.D. Beshelev, F.G. Gurvich.
- M.: Statistics, 1980. - pp. 263.
2. Beshelev, S.D. Expert Assessments / S.D. Beshelev, F.G. Gurvich. - M.: Science, 1973. - pp. 161.
3. Goryushkin, E.I. Neural Technology Use in Adaptive Testing on Informatics in College / E.I. Goryushkin. - Kursk, 2009. - pp. 1.
4. Goryushkin, E.I. Peculiarities in Adaptive Control and Measurement of Effectiveness in Informatics Remote Education / E.I. Goryushkin. - Kursk: Publishing House of KSU, 2009. - pp. 240.
5. Gura, V.V. Theoretical Fundamentals of Pedagogical Design of Person-Oriented Electronic Educational Resources and Environments / V.V. Gura. -Rostov-upon-Don: Publishing House of SFU, 2007.
- pp. 299.
6. Dang, H.F. Methods of algorithm development for adaptive testing / H.F. Dang, O.A. Shabalina, V.A. Kamaev // Proceedings of Volgograd State Technical University. - 2012. - Vol.4. - No.13. - pp. 107-112.
7. Dang, H.F. Complete adaptive testing / H.F. Dang, O.A. Shabalina // Proceedings of Volgograd Technical University. - 2013. - No.14 (117).
градского государственного технического университета. - 2013. - № 14 (117).
8. Долгов, Ю.А. Статистическое моделирование: учеб. для вузов / Ю.А. Долгов. - Тирасполь: Изд-во Приднестр. ун-та, 2010. - 117 с.
9. Кондратенко, С.В. Методология оценки деятельности операторов в человеко-машинных системах / С.В. Кондратенко, А.А. Кузьменко, В.В. Спасенников // Вестник Брянского государственного технического университета. -2017. - № 1 (54). - С. 261-270.
10. Юсупов, Д.Ф. Нейросетевые технологии адаптивного обучения и контроля знаний студентов по курсу «Основы программирования» / Д.Ф. Юсупов // Молодой ученый. - 2014. - № 6. - С. 779-783.
11. Averchenkov, V.I. Methodology of evaluation of operators activities in man-machine systems with color estimates / V.I. Averchenkov, V.V. Spasenni-kov, M.Y. Rytov, S.V. Kondratenko, A.A. Kuzmenko // International conference on industrial engineering, applications and manufacturing (ICI-EAM). - СПб., 2017.
8. Dolgov, Yu.A. Statistical Modeling: college textbook / Yu.A. Dolgov. - Tiraspol: Publishing House of Transnistrian University, 2010. - pp. 117.
9. Kondratenko, S.V. Methodology for operators activities assessment in man-machine systems / S.V. Kondratenko, A.A. Kuzmenko, V.V. Spasennikov // Bulletin of Bryansk State Technical University. -2017. - No.1 (54). - pp. 261-270.
10. Yusupov, D.F. Neural network technologies for adaptive training and control of students knowledge on course of "Programming Fundamentals" / D.F. Yusupov // Young Scientist. - 2014. - No.6. - pp. 779-783.
11. Averchenkov, V.I. Methodology of evaluation of operators activities in man-machine systems with color estimates / V.I. Averchenkov, V.V. Spasennikov, M.Y. Rytov, S.V. Kondratenko, A.A. Kuzmenko // International Conf. on Industrial Engineering, Applications and Manufacturing (ICI-EAM). - S-Pb., 2017.
Статья поступила в редакцию 30.10.18. Рецензент: д.т.н., профессор Брянского государственного
технического университета Давыдов С.В. Статья принята к публикации 25.01.19.
Сведения об авторах:
Жадаев Дмитрий Сергеевич, аспирант Брянского государственного технического университета, преподаватель кафедры «ОПДиИС» ПГУ им. Т.Г. Шевченко, тел.: +7(900) 6989052, e-mail: zha-daevdmitrii@gmail.com.
Кузьменко Александр Анатольевич, к.т.н., доцент кафедры «КТС» Брянского государственного
Zhadaev Dmitry Sergeevich, Post graduate student of Bryansk State Technical University, Lecturer of the Dep. "OPD&IS" of Shevchenko PSU, email: zhadaevdmitrii@gmail. com. Kuzmenko Alexander Anatolievich, Can. Sc. Tech., Assistant Prof. of the Dep. "KTS", Bryansk State
технического университета, e-mail: kuzmenko-zlexandr@yandex.r .
Спасенников Валерий Валентинович,
д.психол.н., преподаватель кафедры «КТС» Брянского государственного технического университета, e-mail: spas1956@mail.ru.
Technical University, e-mail: kuzmenko-
zlexandr@yandex.ru.
Spasennikov Valery Valentinovich, Dr. Sc. Psychol., Lecturer of the Dep. "KTS", Bryansk State Technical University, e-mail: spas1956@mail.ru.
