CC BY
118
УДК 681.3.06
М.В. Гунер, О.И. Пятковский
Разработка гибридной интеллектуальной системы с нечётко-нейросетевыми компонентами для оценки профессиональной компетентности студентов
M.V. Guner, O.I. Pyatkovsky
Development of Hybrid Intellectual System with Fuzzy and Neuronetwork Components for an Assessment of Student’s Professional Competence
Построена гибридная модель оценки профессиональной компетентности студентов, в которой используются экспертные системы, логически прозрачные нечеткие нейронные сети Такаги-Сугено-Канга. При помощи разработанного программного комплекса проведены эксперименты, подтверждающие адекватность модели. Ключевые слова: оценка компетентности студентов, высшее образование, нечеткие нейронные сети, гибридные модели.
Введение. В условиях рыночной экономики в связи с прогрессом науки и техники, усложнением социальных и экономических ситуаций возрастают требования к подготовке специалистов, объективно возникает потребность в модернизации системы образования, и на смену категории «профессионализм» как главной производственной ценности приходит категория «компетентность». Компетентностный подход акцентирует внимание на результате образования, причем в качестве результата рассматривается не сумма усвоенной информации, а способность применять знания, умения и личностные качества для успешной деятельности в определенной области.
Развитие компетентности студента является одной из важнейших задач любого высшего учебного заведения. По Б. Блуму, в процессе обучения компетентность студентов нарастает и достигаются следующие уровни целей: знание, понимание, применение, анализ, синтез, оценка. Проблема количественной оценки уровня обладания студентом требуемыми компетенциями является по-настоящему актуальной [1, 2].
Ввиду того, что при решении поставленной проблемы не обойтись без экспертных оценок, в которых всегда присутствуют неточность и субъективность, целесообразно будет применение методов нечеткого моделирования: экспертных систем с нечеткой логикой, нейронных сетей, нечетких нейронных сетей. Однако каждый из этих методов не лишен недостатков. Поэтому для решения задачи оценки комплексного рейтинга студента, его компетентности предлагается использовать гибридные экспертные
The hybrid model that use expert systems, logically transparent fuzzy neural networks TSK is constructed to assess professional competence of students. By means of the developed program complex the experiments confirming adequacy of the model are made.
Key words: assessment of student’s competence, higher education, fuzzy neural networks, hybrid models.
системы (ГЭС), метод решения неформализованных задач, при помощи которого задачу можно представить в виде иерархического дерева подзадач и указать для каждой из них свой метод решения [3].
Цель работы — разработать гибридную математическую модель с нечетко-нейросетевыми компонентами для решения задачи оценки профессиональной компетентности студентов; создать программно-инструментальный комплекс построения гибридных экспертных систем «Бизнес Аналитик» и настроить с его помощью модель; провести вычислительные эксперименты и сделать выводы об адекватности модели.
Оценка рейтинга студента 7 = Е (71,72,73,74) — сложная функция, которая включает в себя оценку компетентности за время обучения в университете YI=H(OK, ПК), социально-психологический портрет 72 , уровень довузовской подготовки 73 и оценку профессиональной пригодности работодателем 7 4. Согласно ФГОС ВПО различают общекультурные (ОК) и профессиональные (ПК) компетенции, последние в свою очередь включают общепрофессиональные, проектную деятельность, организационно-управленческую и производственно-технологическую, аналитическую и научно-исследовательскую [4, 5].
В основе расчета уровней компетентности студента лежат модульно-рейтинговая система [1, 2] и матрица компетенций (табл. 1), в которой столбцами являются дисциплины учебного плана, а строками — сами общекультурные и профессиональные компетенции, на пересечении — удельный вес данной дисциплины при развитии в обучаемом той
или иной компетенции. Оценка будет производиться по 100-балльной шкале на основе семестрового рейтинга. Значения отдельных компетенций рассчитываются по формуле средневзвешенной, при необходимости можно их откорректировать на основе
информации об участии студентов в конференциях и олимпиадах и т. п.
Представим задачу оценки комплексного рейтинга студента, его компетентности в виде иерархии подзадач (рис. 1).
Таблица 1
Шаблон матрицы компетенций
Компетенция Математический и естественно-научный цикл Профессиональный цикл
Математика Программирование Операционные системы Програмная инженерия
Общекультурные
Общепрофессиональные
Проектная
Организационно-управленческая и производственно-технологическая
Аналитическая
Научно-исследовательская
Рис. 1. Гибридная модель оценки рейтинга и оценки компетентности студента
Вычислительные эксперименты в работе проводились при помощи программно-инструментального комплекса построения гибридных экспертных систем «Бизнес Аналитик». ^стема разработана в среде MS Visual Studio 2010, имеет в своем составе четыре типа настраиваемых решателя, каждый из которых представляет собой отдельный DLL модуль: аналитическая формула, классическая нейронная сеть (многослойный персептрон), экспертная система с нечеткой логикой, нечеткая нейронная сеть Тaкaги-Cyгено-Кaнгa.
Рассмотрим детально задачу оценки профессиональной компетентности студента, в этом узле методики в качестве решателя была выбрана нейронная
сеть. Входными параметрами являются организационно-управленческая и производственно-технологическая деятельность, аналитическая, научная, проектная и общепрофессиональные компетентности. Составим обучающую выборку (табл. 2), в качестве выходной оценки может выступать суммарная (итоговая) оценка по результатам государственного выпускного экзамена и защиты дипломного проекта. Возможно проставление выходной оценки экспертом, в этом случае необходимо определиться со шкалой значений выходного показателя, например, [0..10]. Важным является определение согласованности мнений экспертов.
Таблица 2
Фрагмент обучающей выборки для узла «Оценка профессиональной компетентности студента»
X1 — Организационноуправленческая и производственно-технологическая деятельность X2 — Аналитическая ХЗ — Научно-исследовательская Х4 — Проектная X5 — Общепрофессиональные Y — Оценка профессиональных компетенций
Отудет 1 З7 80 Зб бб 95 7
Отудет 2 5З 4б 21 51 25 5
Cтyдент З б4 89 70 74 7б 8
Cтyдент 4 б4 Зб 70 28 7б б
Cтyдент 5 б5 50 92 51 З8 7
Cтyдент б б2 78 З7 54 бб 7
Cтyдент 7 54 24 4б б7 71 б
Cтyдент S б5 З4 З4 З0 42 5
Сначала для решения задачи будем использовать классические нейронные сети (многослойный персеп-трон), метод обучения кРагТап. Варьируя количество нейронов на скрытых слоях, определим оптимальную структуру, где ошибка обобщения (полученная при те-
стировании обученной нейронной сети на новых данных, которые в процессе обучения не участвовали) будет минимальной. Результаты вычислительных экспериментов по настройке нейронных сетей представлены в таблице 3.
Таблица 3
Результаты обучения и тестирования нейронной сети. Определение оптимальной структуры
^рук^ра нейронной сети Ошибка обучения Ошибка обобщения
1 2 З макс мин сред 1 2 З макс мин сред
5:5 1 0,277 0,25 0,244 0,277 0,244 0,257 1,087 0,884 1,248 1,248 0,884 1,073
5:4 1 0,28З 0,ЗЗ4 0,297 0,334 0,283 0,305 1,12З 1,079 0,752 1,123 0,752 0,985
5:З 1 0,2бЗ 0,З0З 0,З08 0,308 0,2б3 0,291 0,95З 0,781 0,71 0,953 0,710 0,815
5:2 1 0,2б2 0,229 0,2б4 0,2б4 0,229 0,252 0,99 0,859 0,99 0,990 0,859 0,94б
4:4 1 0,З29 0,З19 0,З2 0,329 0,319 0,323 1,0З8 0,925 0,845 1,038 0,845 0,93б
4:З 1 0,З28 0,З08 0,ЗЗ9 0,339 0,308 0,325 0,759 0,8З8 0,802 0,838 0,759 0,800
4:2 1 0,З45 0,З2З 0,З55 0,355 0,323 0,341 0,985 0,8З9 1,084 1,084 0,839 0,9б9
З:З 1 0,З9З 0,Зб1 0,Зб5 0,393 0,3б1 0,373 0,94З 0,87З 0,87З 0,943 0,873 0,89б
З:2 1 0,40З 0,З51 0,41б 0,41б 0,351 0,390 0,788 0,882 0,809 0,882 0,788 0,82б
2:2 1 0,455 0,429 0,4З9 0,455 0,429 0,441 0,781 0,8З8 0,859 0,859 0,781 0,82б
Оптимальной является структура сети 4:3:1, ошибка обобщения минимальна и равна 0,800. Примерно такая же средняя ошибка 0,815 получилась при использовании нейронной сети структуры 5:3:1. Однако, как видно на графиках (рис. 2 и 3), разброс ошибок
в этом случае существенно больше, сложные по структуре нейронные сети зачастую работают нестабильно и склонны к переобучению (с увеличением числа нейронов ошибка обучения продолжает уменьшается, а ошибка обобщения начинает возрастать).
9б
Рис. 2. Графики изменения ошибок обучения и обобщения в зависимости от структуры нейронной сети
Ошибка обобщения 1,300
3
- ■ ,
г ■ Ь
г
5:5:1 5:4:1 5:3:1 5:2:1 4:4:1 4:3:1 4:2:1 3:3:1 3:2:1 2:2:1
Структура нейронной сети
Рис. 3. Разброс ошибок обобщения при обучении нейронных сетей заданной структуры несколько раз
Классические нейронные сети, такие как многослойные персептроны, имеют важный недостаток — трудности при объяснении полученных результатов. В специальной литературе приводится два основных подхода к построению логически прозрачных нейронных сетей. Первый подход заключается в контрастировании, т. е. упрощении структуры нейронной сети путем сокращения количества нейронов и связей [6]. Второй подход предполагает использование для решения задачи аппроксимации другого класса нейронных сетей. В разработанной интеллектуальной системе «Бизнес Аналитик» реализованы нечеткие нейронные сети Такаги-Сугено-Канга (ННС TSK), в которых модель вывода (функция заключения) определяется в виде совокупности М нечетких правил (рис. 4) [7-9].
На примере задачи оценки профессиональной компетентности студентов пройдем все этапы обучения и тестирования нечеткой нейронной сети Такаги-Сугено-Канга.
1. Предварительная обработка данных, устранение аномалий, кластеризация. В ИС «Бизнес Аналитик»
возможно разбиение обучающей выборки на классы вручную либо с помощью алгоритма к-теаш. Количество классов соответствует количеству нечетких правил.
2. Обучение слоя фаззификации нечеткой нейронной сети (определение для к-го правила и входной переменной х. значение функции принадлежности).
2.1. Формирование обучающих выборок. Обучение производится раздельно для каждого правила, поэтому всего потребуется составить М выборок. В первую часть выборки включают все примеры, которые относятся к к-му классу, и соответственно желаемые выходные значения функции принадлежности равны 1. По второй части выборки сеть тренируется отделять от к-го класса входные сигналы, относящиеся к другим классам. Поэтому в качестве желаемых выходных сигналов использовалось значение 0. В целях обеспечения сбалансированности набора данных и анализа всей области допустимых значений во вторую часть выборки следует случайным образом включать данные из всех других клас-
сов, общее количество наблюдений в обеих частях должно быть примерно одинаковым.
2.2. Подстройка параметров функций фаззифика-ции. В ИС «Бизнес Аналитик» реализовано обучение нечеткой нейронной сети Такаги-Сугено-Канга градиентными методами, а также при помощи генетических алгоритмов. Обучение производится в пакетном режиме (рис. 5), т. е. минимизируемая целевая функция рассчитывается как суммарная ошибка Е по всем элементам обучающей выборки [7, 9]:
Е = £1 (£ (*д)-Мк (*д ))2
д=1 2 '
(1)
где Рк — количество примеров в обучающей выборке; (хд) — желаемое (эталонное) значение функции
принадлежности для входного вектора хд ; ^ (хд) — вычисленное сетью значение уровня активации к-го правила (результирующее значение функции принадлежности для входного вектора хд ), зачастую на практике используется сигмоидальная функция.
Рис. 4. Структура нечеткой нейронной сети Такаги-Сугено-Канга
Рис. 5. Обучение слоя фаззификации ННС ТБК с помощью алгоритма к-Раг1ап
3. Обучение слоя заключения нечеткой нейрон- первого порядка. В модели TSK выход системы
ной сети и тестирование. В качестве функции за- определяется как средневзвешенное по всем М пра-
ключения часто используется обычный полином вилам (рис. 6).
Рис. 6. Результат обучения нечеткой нейронной сети на примере решения задачи оценки профессиональной компетентности студентов
Ошибка обучения составила 0,466. Ошибка обобщения — 1,192. Полученные значения ошибок находятся в допустимых пределах, однако их можно еще уменьшить, если исключить из выборки несколько аномальных примеров.
Заключение. При решении задачи оценки профессиональных компетенций студента классические нейронные сети структуры 4:3:1 показали лучший результат — 0,800. Однако нечеткие нейронные сети
позволяют не просто получить числовой результат, но и объяснить его. Всего было сгенерировано пять нечетких правил. По виду функций принадлежности, представленных на рисунке 6, можно определить значимость отдельных входных параметров в каждом правиле. В дальнейшем предполагается развивать предложенную методику и активнее использовать методы нечеткого моделирования в гибридных экспертных системах.
Библиографический список
1. Байденко В. И. Выявление состава компетенций выпускников вузов как необходимый этап проектирования ГОС ВПО нового поколения: метод. пособие. — М., 2006.
2. Берестнева О. Г., Дубинина И. В. Уровни сформирован-ности интеллектуальной компетентности: технология оценок, методы измерения и интерпретации // Известия Томского политехнического университета. — 2006. — Т. 309, № 6.
3. Пятковский О. И. Интеллектуальные компоненты автоматизированных информационных систем управления предприятием: монография. — Барнаул, 1999.
4. Гунер М. В., Пятковский О. И. Гибридная модель оценки компетентности студентов // Нейроинформатика, ее приложения и анализ данных: мат. XX Всерос. семинара, 28-30 сентября 2012 г. / под ред. А. Н. Горбаня, Е. М. Миркеса. — Красноярск, 2012.
5. ФГОС ВПО по направлению подготовки 230700 Прикладная информатика (квалификация (степень) «ба-
калавр») / Министерство образования и науки Российской Федерации [Электронный ресурс]. — URL: http://www.edu.ru/db-mon/mo/Data/d_09/prm783-1.pdf. — Загл. с экрана.
6. Горбань А. Н., Россиев Д. А. Нейронные сети на персональном компьютере. — Новосибирск, 1996.
7. Матвеев М. Г., Свиридов А. С., Алейникова Н. А. Модели и методы искусственного интеллекта. Применение в экономике: учеб. пособие. — М., 2008.
8. Гунер М. В., Пятковский О. И. Разработка гибридной интеллектуальной системы с нечетко-нейросете-выми компонентами для решения задачи оценки компетентности студентов // Ползуновский альманах. — 2012. — № 2.
9. Takagi T., Sugeno M. Fuzzy identification of system and its application to modeling and control // IEEE Transactions on systems, man and cybernetics. — 1985. — Vol. 15, № 1.
