Использование нейросетевого подхода для оценивания профессиональных компетенций Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.414.23:378

ИСПОЛЬЗОВАНИЕ НЕЙРОСЕТЕВОГО ПОДХОДА ДЛЯ ОЦЕНИВАНИЯ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙ1

Т.В. ЗАЙЦЕВА С.В. ИГРУНОВА Н.П. ПУТИВЦЕВА О.П. ПУСНАЯ Е.В. НЕСТЕРОВА

Белгородский

государственный

национальный

исследовательский

университет

e-mail:

[email protected]

В работе рассмотрена информационная модель прямонаправленной искусственной нейронной сети, которая имеет два скрытых слоя с непараметрическими функциональными зависимостями. Нами были получены классы, которые показывали зависимости каждой компетенции, зависящей от набора тестовых заданий. Эти классы были эталоном для распознавающей нейросети. При этом модель прямонаправленной искусственной нейронной сети включала алгоритм обратного распространения ошибки, который имел высокую эффективностью. Эффективность рассчитывалась по показателям степени соответствия выхода компетенций.

Ключевые слова: тестирование, компетенции, нейронная сеть, информационная модель, нейросетевой алгоритм классификации, аттестационные испытания, формализация.

Актуальность

Министерством образования и науки РФ разработаны государственные образовательнае стандарты высшего профессионального образования третьего поколения(ФГОС ВПО), которые имеют ряд особенностей:

1. приоритетным является подход к двухуровневому высшему образованию (бакалавр-магистр);

2. компетентностный подход является неотъемлемой частью образовательного процесса;

3. широкое использование интерактивных форм, в том числе и тестирования;

4. обеспечение качества высшего образования;

5. единство подходов к образовательному процессу.

Подготовка студентов к профессиональной деятельности в вузах по инженерно-техническим и естественнонаучным направлениям подготовки должна быть направлена на формирование как универсальных, так и профессиональных компетенций [1]. Формирование компетенций и их оценивание представляет собой первоочередную задачу высшей школы на современном этапе развития общества.

Цель и задачи исследования

Целью является оптимизация анализа влияния используемого набора тестовых заданий для проверки степени соответствия реализации компетенций.

Для достижения поставленной цели необходимо решить следующие задачи:

- разработать модель искусственной нейронной сети;

- сформировать обучающий алгоритм;

- разработатькритерии эффективностиалгоритмовраспознавания.

Методы исследования

Включаютиспользованиесистемного анализа с декомпозицией целей и функций разрабатываемойсистемы,моделированием рассматриваемых непараметрических функциональных зависимостей и степени соответствия реализации компетенций.

Основное содержание работы

Известно, что контроль знаний является важной частью образовательного процесса в контексте Болонской системы и позволяет получить всестороннюю оценку уровня знаний студентов за счет оценивания сформированных компетенций. Наиболее популярной формой контроля знаний является тестирование [2, 3]. В работе тестирование нами было

1 Работа выполнена в рамках гранта РФФИ № 13-07-00075А «Комплексная модель адаптивной обучающей системы на базе гибридной модели представления знаний».

рассмотрено кактехнологическое средство для измерения уровня знаний и инструмент, который позволил реализовать эффективный контроль и организовать управление учебным процессом.

На основе проведения библиографического исследования [4] были выделены два типа заданий, которые объединяют шесть видов.

К заданиям открытого типа относятся следующие виды - задания-дополнения, задания-уточнения и задания свободного изложения. Их отличительной особенностью является то, что студент в ответ на задание должен записать одно или несколько слов (цифр, букв, словосочетаний, предложений).

Задания закрытого типа (альтернативные ответы, единичного или множественного выбора, восстановления соответствия и восстановленияпоследовательности) предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбираются один или несколько правильных ответов, выбираются правильные (или неправильные) элементы списка и др. Эти задания предполагают наличие ряда предварительно разработанных вариантов ответа на заданный вопрос.

Рассмотрим примеры каждого вида тестовых заданий.

Задания закрытого типа

1. Задания альтернативных ответов. К каждой задаче альтернативных ответов дается только два варианта ответов. Испытуемый должен выбрать один из них - "да - нет", "правильно - неправильно" и др.

Инструкция для задания альтернативных ответов:

- Если предложены два ответа на вопрос, то вам необходимо выбрать один вариант ответа, который Вы считаете правильным.

- Если вариантов ответов не существует и вопрос представлен в виде утверждения, то Вам необходимо указать согласны Вы с данным утверждением или нет.

Задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и др.

Особенностью заданий альтернативных ответов является то, что вопрос должен быть сформулирован в форме утверждения, поскольку он предполагает согласие или несогласие, которое можно отнести к утверждению.

Пример 1. Инструкция: Вам необходимо выбрать один вариант ответа, который Вы считаете правильным. Вопрос: Лекция является активным методом извлечения знаний.

Варианты ответов: да нет

Ответ: нет.

Эти альтернативные задания в наибольшей степени соответствуют задаче выявления того, в какой степени испытуемый понимает данные. Они могут содержать проверку умений работать с графиками, навыками приближенного вычисления. Любая другая форма представления заданий будет гораздо более громоздкой и менее удобной.

2. Задания единичногоили множественного выбора. Это основной вид заданий, применяемый в тестах достижений. Задачи с множественным выбором предполагают наличие вариативности в выборе.

Испытуемый должен выбрать один или несколько вариантовиз предложенных.

Форма предоставления заданий множественного выбора:

Вопрос (утверждение):

A. Вариант ответа 1

B. Вариант ответа 2

C. Вариант ответа 3

Б. Вариант ответа 4

Инструкция для заданий множественного выбора: Выберите букву (ы), соответствующую (не) варианту (ом) правильного (ых) ответа (ов).

Пример 2. Инструкция: Выберите один правильный ответ. Вопрос: Как называются утверждения в форме "если... , то ... " о взаимосвязи фактов, свойств или отношений элементов предметной области между собой?

Серия История. Политология. Экономика. Информатика. 2014 № 15 (186). Выпуск 31/1

Варианта ответов:

A. Факты

B. Правила

C. Метазнания Б. Условия Ответ: В.

Пример 3. Инструкция: Выберите несколько правильных ответов. Вопрос: Приведите примеры неточных имен. Варианта ответов:

A. Неизвестный солдат

B. Высокий человек

C. Молодой человек Б. Тинэйджер Ответ: В, С.

3. Задания на восстановление соответствия. К заданиям данного типа относятся задания на восстановление соответствия между элементами двух списков. Форма представления заданий на восстановление соответствия: Инструкция: Соотнесите написанное в столбцах 1 и 2. Вопрос:

Варианты ответа: Столбец 1 Столбец 2 А. 1.

Главными преимуществами заданий этого вида являются: возможностью быстрой оценки знаний, умений и навыков в конкретной области знаний, и экономичность размещения задач в тесте.

4. Задания на восстановление последовательности Задания на восстановление последовательности можно рассматривать как вариант задания на восстановления соответствия, когда одним из рядов является время, расстояние, или иной континуальный конструкт, который подразумевается в виде ряда.

Задания на восстановление последовательности - это очень качественная форма тестовых заданий, обладающая значительными преимуществами: краткостью, простотой проверки.

Задание. Инструкция: Расположите в правильной последовательности.

Вопрос. Варианты ответа. 1. А. 2. В. 3. С.

Преимущества заданий закрытого типа:

- Задания могут быть надежны, поскольку отсутствуют факторы, связанные с субъективными оценками, которые снижают надежность.

- Оценивание заданий полностью объективно: между оценками различных проверяющих не может быть различий.

- Не учитывается умение испытуемых хорошо формулировать ответы.

- Задания этого типа легко обрабатываются, тестирование быстро проводится.

- Простой алгоритм заполнения снижает количество случайных ошибок и описок.

- Эти задания позволяют охватить большие области знания, что для тестов достижений особенно важно.

- Низкая вероятность угадывания правильных ответов.

- Возможно получение точной оценки содержательности теста, что особенно важно для определения соответствия теста целям исследования.

Задания открытого типа

К ним относятся задания двух видов:

1) дополнения (задачи с ограничением на ответы). В этих заданиях испытуемые также самостоятельно давать ответы на вопросы, однако их возможности ограничены.

Б. С. Б. Е.

3.

4.

5.

2.

Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо многоточия впишите только одно слово (символ, знак и т.д.).

Пример задания дополнения. Инструкция: Вместо пропуска впишите только одно

слово. Вопрос: Экспертные системы могут быть _, динамическими и

квазидинамическими. Ответ: статическими.

2) Свободного изложения или свободного конструирования. Они предполагают свободные ответы испытуемых по сути задания. На ответы не накладываются ограничения. Однако формулировки заданий должны обеспечивать наличие только одного правильного ответа.

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ (словосочетание, фразу, предложение или несколько предложений).

Пример задания свободного изложения. Инструкция: Закончите предложение.

Вопрос: К достоинствам продукционной модели можно отнести легкость и естественность спецификации продукционных ... Ответ: знаний.

Трудность в применении этого вида задач заключается в сложности с формализацией ответов, необходимость подготовки оценочных схем затрудняет стандартизацию, громоздкость процедуры и большие затраты времени на проведение. Основная трудность при составлении заданий открытого типа - соблюдения основного требования к тестовым заданиям (наличия однозначного правильного ответа).

Положительными сторонами хорошо составленных заданий дополнения и свободного изложения являются:

- Невозможность угадать ответ.

- Краткость и однозначность ответов.

- Необходимость воспроизведения ответа по памяти.

- Отсутствие необходимости искать несколько вариантов ответа.

- Простота формулировки вопроса.

- Простота проверки.

Широкое распространение получили автоматизированные систы тестирования. В НИУ «БелГУ» используется система «Пегас». Нами были выделены следующие типы тестовых заданий, реализация которых возможна в программе «Пегас» [5]:

- одиниз многих, т.е. возможен выбор только одного правильного варианта ответов из множества предложенных (ОМ);

- многие из многих, т.е. возможен выбор нескольких правильных вариантов ответов из множества предложенных (ММ);

- установление соответствия, т.е. необходимо поставить в соответствие элементы двух представленных текстовых множеств (ЕС);

- установление порядка, т.е. необходимо расположить в правильном порядке элементы заданного текстового множества (ЕР);

- пропущенное слово, т.е. в тексте необходимо в указанном определенномместе вставить слово в нужном числе и падеже (ММ);

- пропущенная цифра, т.е. в тексте необходимо в указанном определенном месте вставить точную цифру (МБ);

- альтернатива, т.е. на вопрос возможны только два ответа«да» или «нет» (УИ);

- ответкороткий, т.е. на вопрос необходимо написать ответ в виде одного слова или словосочетания из двух слов (АЗ);

- ответ длинный,т.е. на вопрос необходимо написать ответ в виде нескольких слов или словосочетаний (АЬ);

- ответ точная цифра, т.е. на вопрос необходимо написать ответ в виде конкретного числа (АР);

- ответ цифра с допустимым отклонением, т.е. на вопрос необходимо написать ответ в виде числа из определенного диапазона значений(АР+);

- развернутый ответ, т.е. мини-рассказ или эссе (DR).

На основе информационного анализа нами была предложена следующая детализация компетенций в терминах:

- знания теоретические (TK);

- знания практические (PK);

- умения элементарные, т.е. простейшие действия (BS);

- умения комплексные (AC);

- владение навыками элементарные (PBS);

- владение навыками базовые (PBS+);

- владение навыками продвинутые (PAS).

Математическиемодели,предложенные нами, позволяют:

- определить степень влияния типа используемого теста на ту или иную совокупную детализацию компетенций;

- спрогнозировать уровни получаемых компетенций в зависимости от наборов тестовых заданий в тесте;

- определить процентное соответствие получаемых компетенций компетентностной модели.

Для решения поставленных задач была использована методология системного анализа,теория управления и теория моделирования.

Прежде всего, были разработаны составляющие компоненты модели, которую можно представить в формализованном виде:

где n G [1; 12],

х, G (ОМ; ММ; ЕС; EP;MW; MD; YN; AS; AL; AF; AF+; DR}.

Даннаямодельрассматриваетсянами ввиденаборов тестовых заданий, имеющихусловно-вероятностныйхарактер.Всоответствиисним строят дифференциальную кривую распределения^ по ее вероятностям вычисляют все параметры энтропии [5, 7].

Максимально возможное число наборов тестовых заданий составляет = - 1. В нашем исследовании для обучения и проверки модели на адекватность было использовано 127 наборов. В ходе эксперимента было проанализировано 450 записей результатов тестового контроля у 75 студентов заочной формы обучения. Обучающая выборка включала 360 записей у 60 студентов. В экзаменационную выборку входило 15 человек, у которых было проанализировано 90 записей.

В результате были получены восемь классов, которые иллюстрировали зависимости детализации компетенций от наборов тестовых заданий:

- TK;

- PK;

- BS;

- TK+ BS;

- PK+AC;

- TK+ PBS;

- TK+ BS+ PBS+;

- PK+ AC+ PAS.

На следующем этапе исследования были сформированы мнения экспертов, а также определены целевые выходные вектора нейронной сети.

Для решения поставленных задач была выбрана прямонаправленная искусственная нейронная сеть. Перед использованием нейронной сети в режиме функционирования ее обучают решению конкретной задачи. Парадигмы обучения нейронных сетей разделяют на обучение с учителем и без него. Обучениесучителемпредполагает,что для каждого входного вектора из обучающей выборки эксперт определяет целевой выходной вектор.

Внашемслучаедлярешениязадачи классификациибыла построена модель (рис. 1) прямонаправленной искусственной нейронной сети с двумя скрытыми слоями (12-83-15-8).

Рис. 1. Модельпрямонаправленной искусственной нейронной сети с двумя скрытыми слоями

Искусственная нейронная сеть обучена поалгоритмуобратногораспространения ошибки.

Алгоритмобучениявключаетследующие этапы:

1.Инициализациясетипроводитсясо случайными значениями весовых коэффициентов.

2. Вычисление текущих выходных сигналов для случайно выбранного из обучающей выборки входного вектора.

3. Настройка синаптических весов.

Коррекции весовых коэффициентов связи осуществляются в направлении антиградиента целевой функции:

Е =

8 / / 15 /S3 /12

di

V

где ш-матрица весовых коэффициентов связи; xi - l-я координата входного вектора;

di - i-я координата соответствующего целевого вектора, сформированного экспертом;

f(.) - биполярная сигмоидальная функция активации нейронов скрытых и выходного

слоев.

4. Шаги 2-3 повторяются.

Приработесетиврежимефункционирования отклик сети на входной вектор определяется по формуле:

у, = ^»ГЧ^^Чя^'Ч ))).

где i = 1,8.

Распознавание класса производится по максимальному уровню выходного сигнала нейрона, связанного при обучении с одним из восьми классов: TK; PK; BS; TK + BS; PK + AC; TK + PBS; TK + BS + PBS+; PK + AC + PAS.

Для реализации рассмотренного алгоритма была разработана система, реализующая нейронную сеть. Послею оооитераций (время обучения-1-2мин)сеть

устойчиво выходит на 91,2 %верной классификации и ошибается только в граничных случаях, к которым относятся аддитивные исходы.

В табл. 1 рассмотренырезультаты влияния используемого набора тестовых заданий для проверки степени соответствия реализации компетенцийна примере обучающей выборки.

Таблица 1

Анализ влияния используемого набора тестовых заданий для проверки степени соответствия реализации компетенций на примере обучающей выборки

№ п/п Детализация компетенций Общее число Правильно распознано Неправильно распознано

SC nSC DSO DnSO

1 TK 25,00% 19,50% 4% 0,50% 1%

2 PK 15,00% 9,70% 4,40% 0,90% 0%

3 BS 20,00% 8,50% 8,60% 1,30% 1,60%

4 TK + BS 10,00% 7,10% 1,20% 1,30% 0,40%

5 PK + AC 10,00% 5,30% 3,70% 1% 0%

6 TK + PBS 10,00% 6,20% 3,30% 0,50% 0%

7 TK + BS + PBS+ 5,00% 3% 1,70% 0,30% 0%

8 PK + AC + PAS 5,00% 2% 3% 0% 0%

Итого 100,00% 61,30% 29,90% 5,80% 3,00%

В табл. 1 приняты следующие сокращения:

БС - система правильно распознает заданный исход,

пБС - система правильно распознает любой исход кроме заданного,

ББО - на входе заданы данные, соответствующие определенному исходу, а система не распознает их,

БпБО - на входе заданы данные, несоответствующие определенному исходу, а система распознает их.

Общее число по исходам было выбрано исходя из анализа применения тестов для определения уровня компетенций. Так были проанализированы категории тестовых заданий:

- тесты самопроверки;

- тесты в конце каждого модуля;

- тесты промежуточной аттестации;

- тесты допуска к контрольной точке;

- зачетные/экзаменационные тесты;

- отсроченные проверочные тесты.

В табл. 2 рассмотрены результаты влияния используемого набора тестовых заданий для проверки степени соответствия реализации компетенцийна примере экзаменационной выборки.

Таблица 2

Анализ влияния используемого набора тестовых заданий для проверки степени соответствия реализации компетенцийна примере экзаменационной выборки

№ п/п Детализация компетенций Общее число Правильно распознано Неправильно распознано

SC nSC DSO DnSO

1 TK 30,00% 17,3% 11,6% 0,0% 1,1%

2 PK 10,00% 4,8% 4,0% 0,5% 0,7%

3 BS 10,00% 4,2% 4,9% 0,4% 0,5%

4 TK + BS 10,00% 3,9% 5,3% 0,7% 0,1%

5 PK + AC 10,00% 4,9% 4,9% 0,2% 0,0%

6 TK + PBS 10,00% 5,5% 4,2% 0,3% 0,0%

7 TK + BS + PBS+ 10,00% 4,6% 5,4% 0,0% 0,0%

8 PK + AC + PAS 10,00% 3,0% 7,0% 0,0% 0,0%

Итого 100,00% 48,2% 47,3% 2,1% 2,4%

Из представленных в табл. 2 данных следует, что нейросетевой алгоритм на экзаменационной выборке правильно классифицирует 95,5% исходов. Неправильно распознано 4,5%.

Нейросетевой алгоритм практически одинаково неправильно распознал данные, соответствующиеDSO (2,1%), и данные, соответствующие DnSO (2,4%).

Выводы

1. Рассмотрены виды тестовых заданий и выбраны 12 типов, которые можно реализовать в системе «Пегас», используемой в НИУ «БелГУ».

2. Разработана формализованная модель детализации компетенций в терминах.

3. Разработана модель прямонаправленной искусственной нейронной сети с двумя скрытыми слоями, отличающаяся наличием обучающего алгоритма с использованием алгоритма обратного распространения ошибки.

4. Проанализированы критерии оценки эффективности нейросетевого алгоритма распознавания степени соответствия реализации компетенций.

5. Ошибки классификации составили 4,5%, что значительно ниже ошибок распознавания, которые допускают преподаватели при проведении процедуры тестового контроля.

Список литературы

1. Путивцева, Н.П. Компьютерная поддержка оценки рейтинга профессиональных компетенций студентов в сфере ИКТ [Текст] / Н.П. Путивцева, С.В. Игрунова, Т.В. Зайцева, Е.В. Нестерова, А.Е. Лекова, К.В. Наливко// Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. - 2014. - № 8 (179), вып. 30/1. - С. 138-145.

2. Зайцева, Т.В. Реализация адаптивного тестирования уровня знаний студентов с использованием экспертной системы "RExpert" [Текст] / Т.В. Зайцева, Е.В. Нестерова, С.В. Игрунова, Н.П. Путивцева, О.П. Пусная, В.Г. Нестеров // Наука Красноярья. - № 3(08), 2013. -С. 122-138.

3. Зайцева, Т.В. О разработке модели адаптивного контроля знаний [Текст] / Т.В. Зайцева, О.П. Пусная, Е.В. Нестерова, Н.Н. Смородина, С.В. Игрунова // Научные ведомости БелГУ Серия История. Политология. Экономика. Информатика. - Белгород: Изд-во БелГУ. - 2013. - № 15(158). -Выпуск 27/1. - С. 223-227.

4. Майоров А.Н. Теория и практика создания тестов для системы образования. - М.: "Интеллект-центр", 2002. - 296 с.

5. Маматов А.В., Немцев А.Н., Клепикова А.Г., Штифанов А.И. Методика применения дистанционных образовательных технологий преподавателями вуза (учебное пособие). -Белгород: Изд-во БелГУ. - 2006. - 161 с.

6. Путивцева, Н.П. Байесовская стратегия оценки достоверности выводов [Текст] / Н.П. Путивцева, С.В. Игрунова, Т.В. Зайцева, Е.В. Нестерова, О.П. Пусная, Н.Н. Смородина // Научные ведомости БелГУ. - 2012. - № 13(132), выпуск 23/1. - С. 180-183.

7. Жиляков, Е.Г. Об эффективности метода оценивания значений долей энергии изображений на основе частотных представлений [Текст] / Е.Г. Жиляков, А.А. Черноморец, А.Н. Заливин // Известия ОрелГТУ. Информационные системы и технологии. - № 2/52 (563) март-апрель. - 2009. - С. 12-22.

USING A NEURAL NETWORK APPROACH FOR ESTIMATING THE PROFESSIONAL COMPETENCIES

T. V. ZAITSEVA S.V. IGRUNOVA N.P. PUTIVZEVA O.P. PUSNAY E.V. NESTEROV A

Belgorod National Research

University

e-mail:

[email protected]

The paper considers the information model feed forward artificial neural network, which has two hidden layers with non-parametric functional dependencies. We obtained the classes that show the dependence of each competency, which depends on a set of test items. These classes have been a model for the neural network to recognize. In this model feed forward artificial neural network algorithm involved back propagation, which had a high efficiency. Efficiency was calculated in terms of the extent to which exit competencies.

Keywords: testing, competence, neural network, the information model, the neural network classification algorithm, certification tests, formalization.