CC BY
146
УДК 378:004
Расчет рейтинга преподавателей вуза с использованием гибридных экспертных систем
П.П. Кудрявцев, О.И. Пятковский
Алтайский государственный технический университет им. И.И. Ползунова (Барнаул, Россия)
Evaluation of University Lecturers Rating Using Hybrid Expert Systems
P.P. Kudriavcev, O.I. Pyatkovsky
Polzunov Altai State Technical University (Barnaul, Russia)
Рассматриваются системы расчета рейтинга преподавателей вуза, используемые в настоящее время. Приведена их классификация, описаны преимущества и недостатки. Представлено использование автоматизированной информационной системы «Кафедра» в качестве источника данных для расчета рейтинга преподавателей. Предложена методика расчета рейтинга преподавателей на основе гибридных экспертных систем с использованием искусственных нейронных сетей, продукционных экспертных систем, экспертных систем с нечеткой логикой. Приведена структура автоматизированной информационной системы «Бизнес-Аналитик». Описана реализация методики в среде автоматизированной информационной системы «Бизнес-Аналитик». Приведен процесс создания структуры искусственной нейронной сети. В качестве примера рассмотрен интегральный показатель методики «Руководство научно-исследовательской работой». Представлены результаты обучения и тестирования искусственной нейронной сети. Получены промежуточные результаты расчета рейтинга преподавателей на тестовых данных с использование нейронных сетей. Ключевые слова: вуз, оценка, рейтинг преподавателя, гибридная экспертная система, нейронная сеть, продукционная экспертная система.
DOI 10.14258/izvasu(2015)1.1-29
In the paper, we consider university lecturers rating systems that are currently in use. Their classification, advantages and disadvantages are discussed. We use an automated information system "Department" as the data source for lecturers rating evaluation. The method of rating evaluation is based on a hybrid expert system with artificial neural networks, production expert systems, and expert systems with fuzzy logic. The structure of the automated information system "Business Analyst" is demonstrated. The proposed methods are implemented in the environment of the automated information system "Business Analyst." The process of building the artificial neural network structure is presented. As an example, we investigate the evaluation of integral parameter "Research Management". Intermediate results of lecturers rating evaluation using neural networks are obtained. Key words: university, score, lecturer rating, a hybrid expert system, neural network, a production expert system.
В настоящее время во многих вузах Российской Федерации разработаны и внедрены системы рейтинговой оценки деятельности преподавателей. Использование таких систем обусловлено необходимостью:
- получения объективной информации о результатах деятельности профессорско-преподавательского состава для руководства кафедр, факультетов, институтов;
- стимулирования роста квалификации, профессионализма, продуктивности педагогической и научной работы, развития творческой инициативы преподавателя.
Используемые системы расчета рейтинга можно разделить на две группы [1]. В первую группу входят системы, в которых рейтинговые оценки определяются по принципам рейтинговых оценок вузов и специальностей [2], используемых Министерством образования и науки Российской Федерации. Во вторую группу включены системы, в которых рейтинговые оценки определяются на основе суммы баллов, начисляемых преподавателям (кафедрам, факультетам) за единицу выполненных работ.
В работе [1] проанализированы преимущества и недостатки обеих групп. Методики первой группы не имеют существенных и неустранимых недостатков. Для получения справедливых рейтинговых оценок необходимо соблюдать правило: до проведения нормализации показателей работы все сопоставимые показатели должны быть сгруппированы в один интегральный показатель (в виде взвешенной суммы).
В методиках второй группы есть серьезный изъян — невозможно предотвратить бесконечное возрастание рейтинга за счет бесконечного возрастания одного показателя.
Кроме того, анализ существующих методик, проведенный в работе [3], показал их типичные недостатки [4]:
- преобладание качественного характера предлагаемых к оценке показателей;
- излишняя формализация методик, основанная на допущении того, что общая оценка деятельности преподавателя определяется только количественными характеристиками ее составляющих;
- в итоговый рейтинг включаются только те показатели, которые можно измерять количественно, однако они не охватывают весь спектр деятельности педагога;
- при определении рейтинга не учитывается аксиологический аспект оценки. Все виды деятельности педагога и отдельные показатели внутри видов являются равнозначными;
- отсутствие ясного представления о направлении интерпретации полученных в ходе оценивания результатов и возможностей их практического использования.
Таким образом, оценка рейтинга преподавателей является сложной и неформализованной задачей, в таких условиях целесообразно использование гибридных экспертных систем с методами искусственного интеллекта [5, 6].
Для объективной и обоснованной оценки необходимо иметь достаточно полную информацию о деятельности преподавателя. При этом количество показателей может достигать нескольких десятков, и обработка их без использования информационной системы нецелесообразна. В качестве такой системы выбрана автоматизированная информационная система «Кафедра» (АИС «Кафедра»), разработанная на кафедре «Информационные системы в экономике» АлтГТУ и проходящая апробацию. В состав АИС «Кафедра» входит модуль «Преподаватели, аспиранты и сотрудники кафедры», предназначенный для учета и хранения информации о научной и практической деятельностях профессорско-преподавательского состава. Необходимо только дополнить модуль недостающими показателями. Форма ввода информации о сотруднике изображена на рисунке 1.
С. Ии^юрщшш » ЛОЛЛ«!»лр
«НО
работа 0 «ГГВ«*«"' рУо» -я ДмИННЯ1? Рейп+г работы грегоа-ьыге'И
ОгкцИГ П ерсдаз а»*** Ччеб-чя работ« работа
г Лвпшдаь А'
5. Стек и
7 Стай*»« ей «¿од»**««
■.ыл^^-йикя Й^йфамынг« Д-эта мчала
> ¿тГТУ >« МИ 1.о«о вне ияч С1 .Ш 2000
II Н4СТ0 ДОйОГЫ
ГЫич НИ Папины.пдолмктти™;!«™
1ЦШВ
АНС ¡<AfEДPA
Рис. 1. Информация о преподавателе в АИС «Кафедра»
Для обработки информации используется АИС «Бизнес-Аналитик». Бизнес-Аналитик - это комплекс, предназначенный для построения гибридных интеллектуальных систем, он включает в себя такие реша-
тели, как формула, нейронная сеть, продукционная экспертная система, экспертная система с нечеткой логикой. Структура АИС «Бизнес-Аналитик» приведена на рисунке 2.
БИЗНЕС АНАЛИТИК
Настройка документов
I
Ввод исходных данных
±
Настройка методики
Формула Экспертная система Нефосеть
Расчет по методике Р
Блок решения Объяснительная компонента
г
Выдача отчета Р
[р] Зада
ча выполняется в разрезах организации и периодов.
Рис. 2. Структура АИС «Бизнес-Аналитик»
Первым этапом осуществляется структуризация предметной области на основе системного анализа и интегрированного объектного и иерархического подходов. Далее выбираются методы формализации решения задач, в том числе с использованием продукционных систем и нейросетевого подхода. При разработке методики использовались эксперт-
ные оценки [7]. В результате получена многоуровневая иерархическая структура и определены методы решения для каждого узла структуры.
Разработанная методика была занесена в АИС «Бизнес-Аналитик». Фрагмент модели изображен на рисунке 3.
Нестройна дерева выбранном методики - Рейгингпреподавателе й
□
Добавить потомка
Изменить
Удалить ЫЩ Копировать ВН. Вставить
Настроить
Обновить
ТООТ 'Рейтинг преподавателей'
Е>.....Ш П1 'Квалификационный потенциал'
П1.1 'Академическое ученое звание академик, чл.-корр. государственной академии' П1.2 'Ученая степень доктора наук'
П1.3 'Почетное звание РФ (Указ президента РФ 30 декабря 1995г. N2 1341), ордена и медали РФ (У| П1.4 'Прочие звания федерального уровня' П1.5 'Прочие звания регионального уровня' П1.6 'Член Ученого совета университета'
П1.7 'Член Ученого совета института, факультета, УВФО, НМС, НТС
П1.8 'Аккредитованный эксперт федерального уровня (Рособрнадзора, Росаккредагентства и т.д.)' П1.9 'Членство в творческих союзах: Союз архитекторов РФ, Союз художников РФ и т.п.' I П2 Творческая активность в учебно-методической работе'
П2.1 'Разработка учебников и учебно-методических пособий'
П2.1.1 'Издано учебников (в т.ч. ЭОР) с грифами УМО, НМС, фед.органов испол. власти (при со П2.1.2 'Издано учебников (в т.ч. ЭОР) с другими грифами (за п.л.) (при соавторстве количество
Й
Дочгрннз;узлов: 3/55
Рис. 3. Настройка методики
Рассмотрим подробнее узел «Руководство научно-исследовательской работой». В качестве решателя данного узла экспертами была выбрана нейронная
сеть. Перед использованием нейронной сети ее необходимо обучить. Для этого использовалась обучающая выборка, фрагмент которой изображен на рисунке 4.
Рис. 4. Формирование обучающей выборки
В ходе экспериментов удалось получить наименьшую ошибку обучения нейронной сети - 0,03, при использовании однослойной сети из четырех нейронов
(рис. 5) и метода градиентного спуска (рис. 6). После обучения проведена проверка на тестовой выборке, среднее линейное отклонение составило 0,67.
Рис. 5. Структура нейронной сети
Нейроимитатор - [Название узла] вви
_^ . Построение нейронной сети
ы
^Выборка рафик Сеть Статистика Настройки Цвета
Алгоритм ПЗ.... ПЗ.... ПЗ... ПЗ.... ПЗ.... ПЗ. ПЗ.... ПЗ. ПЗ... ПЗ.... оит От... Ош...
БоргБгас! V 1 3 3 5 Б э 6 0 3 Э 1 4,55 0.1
^ 5 4 0 1 Э 3 8 7 1 1 4,34 4,29 0.05
3 2 Э 5 4 8 3 2 4 2 7 4,59 4,58 0.01
Допустим 4 5 6 1 Б 5 8 10 3 5 5 5,32 5,35 0.02
5 0 3 1 7 2 3 3 8 Э 4 3,87 3.86 0.01
1 в 8 8 2 нр» 7 4 10 4 7 0 5,42 5,27 0.15
Обучить Л 10 10 4 1 Э 3 6 1 1 0 5,12 5,2 0.08
3 8 3 1 6 3 2 10 4 0 7 4,49 4,47 0.02
Ошибка 0,03 в 7 5 5 6 1 6 3 Э 8 5 5,3 5.13 0.18
10 8 8 7 0 2 0 4 Э 7 3 5,39 5,44 0.05
17 5 2 2 5 5 2 5 7 1 2 3,18 2,84 0.34
12 10 3 7 10 10 2 4 2 0 1 4,99 5,01 0.02
73 5 Э Э 5 5 3 7 3 7 7 6,3 6,33 0.03
14 4 5 6 1 2 5 0 5 5 0 3,38 3,35 0.03
15 6 6 3 2 3 8 8 Э 1 4 4,67 1.8 0.13
* 16 1 7 э 8 3 Э 8 3 3 2 4.6 4.74 0.14
Сбросить 17 8 0 3 2 5 Э 8 3 3 1 4,39 4,35 0 05
13 1 0 0 8 5 1 2 Э 5 2.4 2,6 0.2
13 6 5 3 7 Э 0 10 2 0 10 5,35 5,33 0.02
20 5 3 5 Э 7 6 1 1 Б 3 4,83 4,78 0.05
Рис. 6. Обучение нейронной сети
Таким образом, использование гибридных экспертных систем для расчета рейтинга преподавателей возможно и целесообразно. Необходимо прове-
дение экспериментов на реальных данных, в ходе которых будет усовершенствована предложенная модель расчета.
Библиографический список
1. Степанов Ю.С., Рабинович М.И. О проблемах получения рейтинговых оценок деятельности преподавателей, кафедр и факультетов во внутривузовской системе управления качеством образования // Университетское управление: практика и анализ. - 2006. - №6.
2. О внесении изменений в приказ Минобразования России от 26.02.2001 № 631 «О рейтинге высших учебных заведений»: Приказ Минобразования России № 593 от 19.02.2003 [Электронный ресурс] // Консультант Плюс.
3. Трапицын С.Ю. Теоретические основы управления качеством образовательного процесса в военном вузе : дис. ... д-ра пед. наук. - СПб., 2000.
4. Васильева Е.Ю. Подходы к оценке качества деятельности преподавателя вуза // Университетское управление. - 2006. - № 2.
5. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. - СПб., 2001.
6. Пятковский О.И. Интеллектуальные компоненты аналитических информационных систем управления организацией. - Барнаул, 2002.
7. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. - М., 1978.
