CC BY
109
УДК 004.891 Дата подачи статьи: 19.01.16
Б01: 10.15827/0236-235Х.114.189-193 2016. Т. 29. №° 4. С. 189-193
МЕТОДИКА ОЦЕНКИ КАЧЕСТВА ОБУЧЕНИЯ СТУДЕНТОВ ВУЗА С ИСПОЛЬЗОВАНИЕМ НЕЙРО-НЕЧЕТКОГО ПОДХОДА
А.Р. Айдинян, к.т.н.., доцент, andstyle@mail.ru; О.Л. Цветкова, к.т.н.., доцент, olga_cvetkova@mail.ru (Донской государственный технический университет, пл. Гагарина, 1, г. Ростов-на-Дону, 344000, Россия)
В настоящее время в соответствии с Болонским процессом для обеспечения успешного функционирования высших учебных заведений и повышения их конкурентоспособности на международном рынке внедряются системы оценки качества обучения. На точность определения эффективности работы вуза в большой степени влияет правильный выбор критериев оценки факторов. Оценка качества образования затрудняется тем, что значение этого показателя обусловлено множеством факторов, возможно, с неизвестным характером влияния, а также тем, что при проведении педагогических измерений необходимо работать с иформацией, имеющей нечисловой характер.
Для решения поставленных задач был проведен обзор факторов, оказывающих наибольшее влияние на процесс обучения студентов. Традиционно среди них выделяют следующие: качество взаимодействия с рынком труда при формировании содержания образования, качество абитуриентов и студентов, технологий обучения, учебно-методического и материально-технического обеспечения образовательного процесса, профессорско-преподавательского состава.
Предложенная авторами работы методика оценки качества обучения студентов вуза основана на использовании двухуровневой системы, построенной на базе адаптивной системы нейро-нечеткого вывода ANFIS, реализованной в пакете Fuzzy Logic Toolbox системы MatLab и искусственных нейронных сетей.
Для оценки четырех выделенных групп факторов используются четыре модуля, реализованные с помощью искусственных нейронных сетей. Число входов каждой из этих сетей обусловлено числом факторов, входящих в соответствующую группу. На входы искусственных нейронных сетей подаются значения показателей в виде величин в диапазоне от 0 до 1. На выходе каждой ИНС формируются значения оценки соответствующей группы факторов также в виде величин в диапазоне от 0 до 1.
Полученные в итоге значения оценки групп факторов подаются на вход сети ANFIS, которая представляет собой второй уровень системы оценки качества обучения студентов вуза. А выходная переменная системы ANFIS представляет собой численную оценку качества обучения студентов вуза.
Двухуровневое вычисление упрощает сбор данных для обучения искусственных нейронных сетей, а также процесс формирования экспертных оценок для обучения и формирования входов искусственных нейронных сетей и сети ANFIS.
Предложенная система оценки качества обучения студентов вуза позволяет получить числовую оценку, представляющую собой суммарный показатель, характеризующий результаты деятельности образовательного учреждения и показывающий, насколько эффективно проходит процесс обучения.
Ключевые слова: качество образования, искусственные нейронные сети, адаптивные сети нейро-нечеткого вывода, экспертные оценки.
При проведении педагогических исследований неизбежна работа с информацией, имеющей нечисловой, слабоформализуемый характер. Вследствие этого возникает необходимость построения методики количественного описания процессов и предметов, связанных с педагогикой [1, 2]. Особое значение имеет качество образования, под которым понимают некоторый суммарный показатель, отражающий результат деятельности образовательного учреждения, а также соответствие потребностям и ожиданиям общества (различных социальных групп) в формировании различных компетенций личности.
Оценка качества образования затрудняется тем, что значение этого показателя зависит от множества факторов, возможно, с неизвестным характером влияния. Также в данном случае имеет место специфичность «продукта» образования - выпускник учебного заведения, который должен рассматриваться как сложная система. Существуют различные методы и алгоритмы оценки качества обра-
зования [2, 3], в данной статье предлагается методика оценки качества обучения студентов вуза на основе нейро-нечеткого подхода.
Предварительно необходимо определить факторы, оказывающие наибольшее влияние на процесс обучения студентов. Традиционно среди них выделяют следующие [4].
1. Качество взаимодействия с рынком труда при формировании содержания образования:
- уровень привлечения работодателей к формированию образовательных программ;
- наличие системы целевой подготовки специалистов по заказам предприятий;
- наличие соглашений с зарубежными университетами о совместной реализации образовательных программ;
- процент иностранных студентов по отношению ко всем студентам;
- уровень развития системы анализа и содействия трудоустройству выпускников.
2. Качество абитуриентов и студентов:
- уровень усвоения текущего учебного материала;
- комплексная оценка остаточных знаний;
- уровень умения решать прикладные задачи;
- уровень итоговой аттестации.
3. Качество технологий обучения, учебно-методического и материально-технического обеспечения образовательного процесса:
- уровень системы непрерывного контроля успеваемости студентов в течение семестра и технологии рейтингования студентов;
- уровень учебно-методического материала;
- уровень книгообеспеченности учебного процесса;
- уровень обеспеченности специализированными лабораториями;
- уровень организации поддержки обучения студентов по индивидуальным планам.
4. Качество профессорско-преподавательского состава:
- уровень соответствия базового образования преподавателя с учетом стажа педагогической работы и специализации;
- уровень квалификации преподавателя (научная степень, звание, должность);
- уровень социально-психологических отношений преподавателя со студентами;
- внедрение практики приглашения специалистов различных отраслей промышленности для проведения учебных занятий.
Построение нейро-нечеткой системы
оценки качества обучения студентов вуза
Методику оценки качества обучения студентов вуза предлагается построить с использованием методов и средств искусственного интеллекта, реализованных в пакете Fuzzy Logic Toolbox системы MatLab в виде адаптивной системы нейро-нечеткого вывода ANFIS (Adaptive Neuro-Fuzzy Inference System) [5].
Гибридная система ANFIS представляет собой сочетание нейро-нечеткого метода вывода Сугено с возможностью обучения пятислойной искусственной нейронной сети (ИНС) прямого распространения с одним выходом и несколькими входами, которые представляют собой нечеткие лингвистические переменные.
В качестве входных переменных системы ANFIS используем оценки четырех групп факторов Vi (i=1, ..., 4), которые, соответственно, определяют качество: V - взаимодействия с рынком труда при формировании содержания образования, V2 - абитуриентов и студентов, V3 - технологий обучения, учебно-методического и материально-технического обеспечения образовательного процесса, V4 - профессорско-преподавательского состава.
Выходная переменная системы ANFIS представляет собой численную оценку качества обучения студентов вуза и определяется как функция y = f (V1, V2, V3, V4).
Слой 1 системы ANFIS для лингвистической оценки входных параметров использует терм-множества Av ^«удовлетворительное», «хорошее»,
«отличное»}.
Оценка «неудовлетворительное» не рассматривается, поскольку при выставлении оценки «неудовлетворительно» по любой из входных переменных выходная переменная также принимает значение «неудовлетворительно».
В символическом виде запишем: A ={УД</>,
XO<i> OT<>}.
Терм-множество выходной лингвистической переменной y составляет множество значений оценок качества обучения студентов вуза: Ty = {«удовлетворительное», «хорошее», «отличное»} или в символическом виде: Ty = {УД, XO, OT}.
Выходы узлов слоя 1 представляют собой значения функций принадлежности при конкретных значениях входных переменных.
Слой 2 является неадаптивным и определяет предпосылки нечетких продукционных правил. Каждый узел данного слоя соединен с теми узлами слоя 1, которые формируют предпосылки соответствующего правила.
Для решения рассматриваемой задачи сформулированы три нечетких продукционных правила: P = {Ръ p2, p3}.
В соответствии с особенностями сети ANFIS необходимо, чтобы число правил сети соответствовало размерности терм-множества выходной переменной y.
Узлы выполняют нечеткую логическую операцию «И» (min). Выходами узлов данного слоя являются степени истинности (выполнения) предпосылок каждого из трех нечетких продукционных правил, вычисленные по формулам:
W = min(цуд! ), Цуд2 (К,), Цудз (F3)),
• = min (цхо1 (V1 ), ЦХ02 (V2 ), Цхоз (V3 )) > w3 = min (Ц0Т1 (V1 X ЦоТ2 (V2 X ^ОТЗ (V3 ))■
Слой 3 проводит нормализацию степеней выполнения каждого из нечетких продукционных правил (вычисление относительной степени выполнения правил) следующим образом:
wh = wh ^w , где h = 1, ..., 3 - номер продук-
/ i=i
ционного правила.
На слое 4 вычисляется вклад (заключение правил) каждого нечеткого продукционного правила в выход сети по формуле
Ун(v,V) = Wh(vh0 + v^V + vh 'V2 + v?V3 + v?%) ,
где v« - коэффициенты выходной функции (i = 0, ..., 4).
Входы
Слой 1
Слой 4 Слой 5 Выход
N.
№(Vi)
^xoi(Vi)
HüTl(Vi)
/ №(V2)
1, —» N
ЦОТ2( V)
Рис. 1. Структура системы ANFIS для оценки качества обучения студентов вуза
Fig. 1. The structure of ANFIS to assess the quality of students' education in a university
Слой 5 обобщает вклады
3
всех правил: у = ^ у.
1=1
Структура системы ANFIS для оценки качества обучения студентов вуза показана на рисунке 1.
Обучение сети АОТШ осуществлялось за 24 эпохи гибридным методом. При обучении подбираются вид функций принадлежности, вид выходной функции и их коэффициенты. В результате обучения нечеткой сети для трех правил в качестве функций принадлежности были приняты функции Гаусса, а в качестве выходной функции - линейная функция. В результате обучения также были получены функции принадлежности и их коэффициенты, часть которых представлена на рисунке 2.
Нейросетевые модули оценки групп факторов, влияющих на процесс обучения
Для оценки каждой из четырех групп факторов, оказывающих влияние на качество процесса обучения студентов, используются четыре модуля, реализованные с помощью ИНС, предназначенные для учета качества взаимодействия с рынком труда при формировании содержания образования (модуль № 1), качества абитуриентов и студентов (модуль № 2), технологий обучения, учебно-методического и материально-технического обеспечения образовательного процесса (модуль № 3), профессорско-преподавательского состава (модуль № 4).
В зависимости от имеющихся характеристик вуза или конкретного направления обучения будут формироваться входные сигналы этих модулей.
Для реализации модулей используются ИНС, показавшие высокую эффективность при решении различных задач [6-8]. Число входов каждой ИНС обусловлено числом факторов, входящих в соответствующую группу. На входы ИНС подаются значения показателей в виде величин в диапазоне от 0 до 1. На выходе каждой ИНС формируются значения оценки соответствующей группы факторов также в виде величин в диапазоне от 0 до 1.
Рис. 2. Окно пакета MatLab, содержащее графики функций принадлежности
Fig. 2. A window of MatLab package with graphs of membership functions
Слой 2
Слой 3
Модуль ANFIS оценки качества обучения
Рис. 3. Система оценки качества обучения студентов Fig. 3. The system of assessing students' education quality
При выборе структуры сети необходимо тщательно проанализировать закономерности обучающей выборки [9-11]. Все используемые ИНС являются сетями прямого распространения с одним скрытым слоем с количеством сигмоидальных нейронов 2v+1, где v - количество входов этой ИНС. Данное количество искусственных нейронов в скрытом слое связано с теоремой Колмогорова и позволяет с достаточной степенью точности аппроксимировать требуемую функцию при правильном обучении [9, 12]. Разработанная система оценки качества обучения студентов вуза изображена на рисунке 3.
Обучение осуществлялось методом оптимизации Левенберга-Маркара (TRAINLM) в течение 17 эпох. Ошибка обучения определялась с помощью среднеквадратического отклонения и составила менее 2-10-14.
Значения оценки групп факторов подаются на вход сети ANFIS, которая представляет собой второй уровень системы оценки качества обучения студентов вуза.
Двухуровневое вычисление упрощает сбор данных для обучения ИНС, а также процесс формирования экспертных оценок для обучения и формирования входов ИНС и сети ANFIS.
Для анализа оценок, полученных от экспертов, применяются различные методы математической статистики, которые могут комбинироваться в зависимости от типа задачи и необходимого результата.
Предложенная система оценки качества обучения студентов вуза позволяет получить числовую оценку, представляющую собой суммарный показатель, характеризующий результаты деятельности образовательного учреждения и показывающий, насколько эффективно проходит процесс обучения.
Литература
1. Селиванов Е.И., Панюшкина Е.В. Краеугольные камни квалиметрии компетенций на соответствие требованиям федеральных государственных образовательных стандартов среднего профессионального образования // Фундаментальные и прикладные исследования в современном мире. 2014. Т. 3. № 5. С. 87-91.
2. Ворсина Е.В., Снигирева Т.А. Квалиметрия учебной компетентности студентов на основе анализа учебных текстов // Вестн. Костромского гос. ун-та им. Н.А. Некрасова. 2012. Т. 18. № 3. С. 124-127.
3. Лисецкий Ю.М. Алгоритм сравнения методов комплексной количественной оценки качества сложных систем // Программные продукты и системы. 2012. № 4. С. 153-156.
4. Бартасевич И.Г. Система критериев качества обучения студентов в высшем учебном заведении // Вестн. Астраханского гос. технич. ун-та. 2008. № 3. С. 217-220.
5. Штовба С.Д. Проектирование нечетких систем средствами MatLab. М.: Горячая линия-Телеком, 2007. 288 с.
6. Колесников А.А., Маршаков Д.В., Айдинян А.Р. Комплексное применение синергетического подхода и нейросете-вых структур к проблеме синтеза интеллектуальной системы управления электроприводом // Вестн. Донского гос. технич. ун-та. 2014. Т. 14. № 4 (79). С. 60-71.
7. Цветкова О.Л., Айдинян А.Р. Интеллектуальная система оценки информационной безопасности предприятия от внутренних угроз // Вестн. компьютерных и информационных технологий. 2014. № 8 (122). С. 48-53.
8. Галушка В.В., Фатхи В.А. Формирование обучающей выборки при использовании искусственных нейронных сетей в задачах поиска ошибок баз данных // Инженер. вестн. Дона. 2013. № 2. URL: ivdon.ru/ru/magazine/archive/n2y2013/1597/ (дата обращения: 20.08.2015).
9. Осовский С. Нейронные сети для обработки информации. М.: Финансы и статистика, 2002. 344 с.
10. Анохин М.Н., Березняк С.А., Бланко Л.М.Л. Организация пространственной группировки сигналов в ассоциативных процессах искусственных нейронных сетей // Инженер. вестн. Дона. 2014. Т. 28. № 1. URL: ivdon.ru/ru/magazine/archive/ n1y2014/2230/ (дата обращения: 20.08.2015).
11. Вагин В.Н., Ганишев В.А. Кластеризация пользователей по голосу с помощью улучшенных самоорганизующихся растущих нейронных сетей. // Программные продукты и системы. 2015. № 3 (111). С. 136-142. URL: http://elibrary.ru/item. asp?id=24131141 (дата обращения: 22.12.2015).
12. Белявский Г.И., Пучков Е.В., Лила В.Б. Алгоритм и программная реализация гибридного метода обучения искусственных нейронных сетей // Программные продукты и системы. 2012. № 4. С. 96-100.
Software & Systems Received 19.01.16
DOI: 10.15827/0236-235X.114.189-193 2016, vol. 29, no. 4, pp. 189-193
METHODS OF ASSESSING THE QUALITY OF UNIVERSITY STUDENTS' EDUCATION USING A NEURO-FUZZY APPROACH
A.R. Aydinyan1, Ph.D. (Engineering), Associate Professor, andstyle@mail.ru O.L. Tsvetkova1, Ph.D. (Engineering), Associate Professor, olga_cvetkova@mail.ru
1 Don State Technical University, Gagarin Sq. 1, Rostov-on-Don, 344000, Russian Federation
Abstract. Nowadays according to the Bologna process the system of education quality assessment are introduced for successful functioning of higher education institutions and enhancing their competitive in the international market. The accuracy of determining the university efficiency to a large extent depends on the correct choice of criteria to assess the factors that determine education quality. Education quality assessment is hampered by the fact that the value of this indicator depends on many factors, as well as the fact that during the pedagogical dimensions it is inevitable to work with non-numeric information.
In order to achieve the objectives the authors have reviewed factors that have the greatest impact on student learning. Traditionally among these factors there are the following: the quality of interaction with a labor market during the formation of educational content, the quality of applicants and students, the quality of teaching technologies, teaching and logistical support of an educational process, the quality of teaching staff.
The proposed methods of assessing the quality of students education is based on a two-level system. It is built on the basis of an adaptive neuro-fuzzy inference system (ANFIS) which is implemented in the Fuzzy Logic Toolbox package of MatLab and artificial neural networks.
To evaluate each of the four groups of factors that influence the quality of a students' learning process, there are four modules implemented using artificial neural networks. The number of inputs of each artificial neural network is caused by a number of factors included in an appropriate group. Factor group values go to the input of ANFIS, which is the second level of a quality assessment system for university students' education. The output variable of ANFIS is a numerical evaluation of students' learning quality. Two-level calculation simplifies data collection for artificial neural networks training and the expert assessments formation for training and formation of inputs of artificial neural networks and ANFIS.
The proposed system of students education quality assessment provides a numerical estimate, which is an aggregate measure of an educational institution performance, showing learning process efficiency.
Keywords: education quality, artificial neural networks, adaptive neuro-fuzzy inference systems, expert assessments.
References
1. Selivanov E.I., Panyushkina E.V. The foundation stones of qualimetry of competencies to satisfy the requirements of the federal state educational standards for secondary vocational education. Fundamentalnye i prikladnye issledovaniya v sovremennom mire [Basic and Applied Research in a Modern World]. 2014, vol. 3, no. 5, pp. 87-91 (in Russ.).
2. Vorsina E.V., Snigireva T.A. Qualimetry of educational competence of students based on the analysis of educational texts. VestnikKostromskogo gos. univ. im. N.A. Nekrasova [Bull. Kostroma State Univ.]. 2012, vol. 18, no. 3, pp. 124-127 (in Russ.).
3. Lisetsky Yu.M. A comparison algorithm of methods of complex quantitative quality of complex system evaluation. Programmnyeprodukty i sistemy [Software & Systems]. 2012, no. 4, pp. 153-156 (in Russ.).
4. Bartasevich I.G. The system of quality factors of students education in high school. Vestnik Astrakhanskogo gos. tekhnich. univ. [Vestn. Astrakhan State Tech. Univ.]. 2008, no. 3, pp. 217-220 (in Russ.).
5. Shtovba S.D. Proektirovanie nechetkikh sistem sredstvami MatLab [Fuzzy systems design of by means of MatLab]. Moscow, Goryachaya Liniya-Telekom Publ., 2007, 288 p. (in Russ.).
6. Kolesnikov A.A., Marshakov D.V., Aydinyan A.R. Integrated application of synergetic approach and neural network structures to the problem of electric drive intellectual control system synthesis. Vestnik Donskogo gos. tekhnich. univ. [Vestn. DSTU]. 2014, vol. 14, no. 4, pp. 60-71 (in Russ.).
7. Tsvetkova O.L., Aydinyan A.R. Intelligent system evaluation information security of the enterprise from internal threats. Vestnik kompyuternykh i informatsionnykh technology [Her. Comp. and Inform. Technol.]. 2014, no. 8, pp. 48-53 (in Russ.).
8. Galushka V.V., Fatkhi V.A. Train set forming for using artificial neural networks to database errors search. Inzhenerny vestnik Dona [Eng. J. Don]. 2013, no. 2. Available at: http://ivdon.ru/ru/magazine/archive/n2y2013/1597/ (accessed August 20, 2015) (in Russ.).
9. Osovsky S. Neyronnye seti dlya obrabotki informatsii [Neural networks for information processing]. Moscow, Finansy i statistika Publ., 2002, 344 p.
10. Anokhin M.N., Bereznyak S.A., Blanko L.M.L. Spatial organization grouping signals in associative processes of artificial neural networks. Inzhenerny vestnik Dona [Eng. J. Don]. 2014, vol. 28, no. 1. Available at: http://ivdon.ru/ru/ magazine/archive/n1y2014/2230/ (accessed August 20, 2015) (in Russ.).
11. Vagin V.N., Ganishev V.A. Speaker clustering using enhanced self-organizing incremental neural networks. Programmnye produkty i sistemy [Software & Systems]. 2015, no. 3, pp. 136-142 (in Russ.). Available at: http://elibrary.ru/ item.asp?id=24131141 (accessed December 22, 2015).
12. Belyavsky G.I., Puchkov E.V., Lila V.B. Algorithm and software realization of hybrid methods of training artificial neural network. Programmnye produkty i sistemy [Software & Systems]. 2012, no. 4, pp. 96-100 (in Russ.).
