CC BY
187
pedagogical sciences
УДК [378.091.26/.27 : 005.336.2] : 510.644.4
ОЦЕНКА УРОВНЯ ОСВОЕНИЯ КОМПЕТЕНЦИЙ НА ОСНОВЕ НЕЧЕТКОЙ ЛОГИКИ
© 2017
Апатова Наталья Владимировна, доктор педагогических наук, доктор экономических наук, профессор, заведующая кафедрой «Бизнес-информатики и математического моделирования» Гапонов Андрей Иванович, кандидат физико-математических наук, доцент кафедры «Бизнес-информатики и математического моделирования» Смирнова Оксана Юрьевна, ассистент кафедры «Бизнес-информатики и математического моделирования» Крымский федеральный университет имени В. И. Вернадского (295007, Россия, Симферополь, проспект Академика Вернадского, 4, e-mail: smirnovaqueen@gmail.com)
Аннотация. В работе рассматривается метод оценки результатов обучения в образовательных организациях высшего образования, исходя из уровня освоения компетенций и их составляющих - компетентностных показателей, предусмотренных рабочей программой соответствующей дисциплины Авторами рассчитана на основе нечеткой логики комплексная оценка освоения обучающимися компетенций, приобретаемых в результате изучения учебной дисциплины «Математика для экономистов». С целью автоматизации процесса оценивания применяется пакет Fuzzy Logic Toolbox в программной среде MATLAB. При этом, во избежание трудностей, связанных с показательной зависимостью количества правил нечеткого вывода от числа входных переменных, рассматриваются только правила, являющимися активными для конкретных численных оценок компетентностных составляющих. Обосновывается выбор шкалы оценивания компетентностных составляющих. Расчеты выполняются на примере интегральной оценки компетентностного показателя качества обучения в соответствии с компетентностными составляющими, предусмотренными рабочей программой учебной дисциплины «Математика для экономистов». Проиллюстрирована несостоятельность среднеарифметической комплексной оценки в сравнении с оценочной техникой на основе нечеткой логики. По мнению авторов, предложенный автоматизированный механизм оценивания может использоваться в различных оценочных системах, применяемых в образовательных организациях высшего образования.
Ключевые слова: результаты обучения, образовательная организация, учебная дисциплина, обучающиеся, компетенции, оценочные средства, нечеткая логика, функция принадлежности, лингвистическая переменная, нечеткий вывод, комплексная оценка, пакет Fuzzy Logic Toolbox, программная среда MATLAB.
EVALUATION OF THE LEVEL OF DEVELOPMENT OF COMPETENCIES BASED ON FUZZY LOGIC
© 2017
Apatova Natalia Vladimirovna, doctor of pedagogical sciences, doctor of economic sciences, professor, head of department "Business Informatics and Mathematical Modelling" Gaponov Andrey Ivanovich, candidate of physical and mathematical sciences, associate professor of the chair
"Business Informatics and Mathematical Modelling" Smirnova Oksana Yurievna, assistant of the chair «Business-Informatics and Mathematical Modelling»
Crimean Federal V. I. Vernadsky University (295007, Russia, Simferopol, Prospect Academician Vernadsky. 4, e-mail: apatova@list.ru)
Abstract. The article considers the method of evaluating the results of studies in higher education, based on the level of competence indicators. The authors calculated a comprehensive assessment of the mastery of students' competences acquired as a result of studying the discipline, based on fuzzy logic. In order to automate the evaluation process, the Fuzzy Logic Toolbox package is used in the MATLAB software environment. In order to avoid the difficulties associated with the exponential dependence of the number of rules of fuzzy conclusion on the number of input variables, we consider only rules that are active for specific numerical evaluations of the competence components. Calculations are carried out on the example of an integrated assessment of the competence indicator of the quality of education in accordance with the competence components provided by the work program of the academic discipline "Mathematics for Economists". In the authors' opinion, the proposed automated assessment mechanism can be used in various evaluation systems used in higher education.
Keywords: learning outcomes, educational organization, academic discipline, trainees, competencies, evaluation tools, fuzzy logic, membership function, linguistic variable, fuzzy conclusion, complex evaluation, package Fuzzy Logic Toolbox, software environment MATLAB.
Постановка проблемы в общем виде и ее связь с важными научными и практическими задачами. В настоящее время проблема оценки результатов обучения в образовательных организациях высшего образования не теряет своей актуальности, так как в условиях ком-петентностного подхода, оценка результатов обучения становится чрезвычайно сложной и многомерной, не сводимой к проверке теоретических знаний и практических умений.
Анализ последних исследований и публикаций, в которых рассматривались аспекты этой проблемы и на которых основываются авторы; выделение неразрешенных раньше частей общей проблемы. Анализ публикаций, посвященных этому вопросу, отражает неуклонное развитие и совершенствование оценочных средств качества освоения образовательных программ [1-7]. В данной работе рассматриваются возможности теории нечеткой логики для оценки уровня освоения обучающимися компетенций, соответствующих дисциплине «Математика для экономистов».
Основы нечеткого моделирования заложены американским математиком Лотфи Заде в 1965 году [8]. С тех пор системы, основанные на нечеткой логике, одинаково
успешно применяются как в управлении доменными печами и бытовой техникой, так и при анализе бизнес-проектов и принятии решений в условиях неопределенности. Далеко неполный перечень работ, опубликованных только в 2017 году [9-14], демонстрирует эффективность использования аппарата теории нечетких множеств в решении различных прикладных задач.
Формирование целей статьи (постановка задания). Рассчитать на основе нечеткой логики комплексную оценку освоения обучающимися компетенций, приобретаемых в результате изучения учебной дисциплины «Математика для экономистов».
Изложение основного материала исследования с полным обоснованием полученных научных результатов. В рамках рабочих программ учебных дисциплин предусмотрен перечень компетенций и их составляющих, соответствующих той или иной специальности и профилю подготовки. Проведем оценку уровня освоения компетенций, используя систему нечеткого вывода [15, 16, 8], на примере учебной дисциплины «Математика для экономистов». Оценку «компетентностного» показателя качества обучения получим на основе следующих ком-петентностных составляющих, предусмотренных рабо-
чей программой учебной дисциплины «Математика для экономистов»:
1. Знать основные методы математического анализа, основные понятия и инструментарий математического анализа, для решения задач (З).
2. Исследовать функции действительной переменной (И).
3. Решать типовые задачи математического анализа
(Р).
4. Применять методы математического анализа для решения экономических задач (П).
5. Владеть основами математического моделирования прикладных задач, решаемых аналитическими методами (В).
Дальнейшие расчеты выполним на основе математического аппарата теории нечетких множеств с использованием прикладного пакета Fuzzy Logic Toolbox в программной среде MATHLAB [15]. Будем использовать 9-балльную шкалу оценивания: неудовлетворительно («Н») 0 - 3; удовлетворительно («У») 0 - 6; хорошо («Х») 3 - 9; отлично («О») 6 - 9. В приведенной шкале оценивания, например, 4 балла соответствуют как оценке «удовлетворительно», так и оценке «хорошо». Согласно нечеткой логике, соответствие оценки «4» признаку «удовлетворительно» или «хорошо» определяется значением функции принадлежности числа «четыре» этим признакам. То есть, предполагается, что с различной степенью уверенности (истинности) это как «удовлетворительно», так и «хорошо». В нашей модели 4 балла - это примерно на 70% еще «удовлетворительно», но уже на 30% «хорошо». При этом 0 баллов на 100% соответствует оценке «неудовлетворительно», 3 балла - «удовлетворительно», 6 баллов - «хорошо» и 9 баллов - «отлично», что проиллюстрировано на рисунке 1.
компетенций («КО»). Каждая лингвистическая переменная имеет четыре значения - лингвистических терма, соответствующих качественным оценкам: «неудовлетворительно» (Н), «удовлетворительно» (У), «хорошо» (Х), «отлично» (О). Областью определения лингвистических переменных является множество действительных чисел [0; 9].
Лингвистические термы входных переменных определяются треугольными функциями принадлежности ^ггСш/Ос, сг. Ь. с) (степенью принадлежности численного значения переменной лингвистическому терму или степенью истинности принадлежности этого значения терму) (см. рис.1).
0. .г <
(1)
—. а ^ I п > 1 о-с
0,* > Ь
Vtrinzf
U, И, Ь, с) =
Рисунок 1 - График функции принадлежности «ком-петентностных» лингвистических переменных
Выбрана 9-балльная шкала только для удобства, так как рассматриваемый интервал изменения переменных делится на три, то есть подходит любая шкала кратная трем (см. рис.1). Поскольку мы пользуемся четырьмя качественными оценками и соответствующими им лингвистическими термами (как показано на рисунке 1), то, например, для пятибалльной шкалы координатами вершин треугольников (п ответствующей оценке) будут 0; 1 -; 3 -; 50; 1 -; 3 7: 5 . При таком разбиении шкалы провебти йаглядное оценивание в целых числах невозможно. Для наших целей также непригодна и применяемая в настоящее время в образовательных организациях высшего образования 100-балльная шкала. Так как в ней нельзя дать такие качественные оценки как «вполне удовлетворительно, но до некоторой степени уже хорошо»; или «скорее хорошо, чем удовлетворительно» и т.д. В принятом разбиении 100-балльной шкалы очень проблематично в интервал между «хорошо» и «удовлетворительно» (74-73=1 балл) «ввести» такого рода нечеткость.
В соответствии с алгоритмом нечеткого вывода [15, 16, 17] введем входные лингвистические переменные, соответствующие компетентностным составляющим «З», «И», «Р», «П», «В», и выходную лингвистическую
где л, с - абсциссы концов основания треугольника, Ъ - абсцисса его вершины.
В рассматриваемой модели лингвистические термы определяются следующими параметрами (а, Ь, с): «Н»(0; 0; 3), «У»(0; 3; 6), «Х»(3; 6; 9), «0»(6; 9; 9) как показано на рисунке 1.
Нечеткий вывод выполним на основании алгоритма Мамдани [15, 16, 17], автоматически реализующегося в пакете Fuzzy Logic Toolbox. Нам только остается составить базу правил вида:
«ЕСЛИ «З» есть «Х», И «И» есть «У», И «Р» есть «X», И «П» есть «О», И «В» есть «Н», ТО «КО» есть «У»».
Количество N правил нечеткого вывода в общем случае равно N = nm, где У1 - количество лингвистических
термов, m - количество входных лингвистических переменных. В рассматриваемом примере таких правил 4е = 1024. Естественно, составление здесь такого количества правил не оправдано. Поэтому, будем учитывать только «активные» правила - правила, участвующие в нечетком выводе, в соответствии с конкретными оценками компетентностных составляющих. Поскольку любая численная оценка соответствует не более, чем двум «соседним» качественным оценкам, то количество активных правил не превышает 25 = 32. Приведенные рассуждения рассмотрим на следующем примере. Пусть оценки «З», «И», «Р», «П», «В», принадлежат соответственно промежуткам: «удовлетворительно-хорошо», «хорошо-отлично», только «удовлетворительно», «неудовлетворительно-удовлетворительно», «неудовлетворительно-удовлетворительно». В этом случае активными будут только 24=16 правил, приведенных в таблице 1. Таблица 1 - Правила нечеткого вывода
Оценки показателей
Ks п''п Знание методов, «3» Исследование функций, «И» Решение задач, «Р» Применение методов мат. анализа б Владение основами математического Комплексная оценка, «КО»
экономических задачах, «П» моделирования. «В»
L V X У Н Н Н
2. У X У Н У Н
3. У X У У У н
4. У X У У У У
5. У О У н н н
6. У О У н У н
7. У О У У н У
8. У О У У У У
у. x x У н н н
10. x x У н У н
1l X X У У н У
12. X X У У У У
13. X О У н н н
14 X О У н У н
15. X О У У н У
16. X О У У У У
Для того, чтобы получить численное значение «Комплексной Оценки», вводим значения входных переменных в редакторе просмотра правил RuleViewer (см. рис. 2) [15, 17]. Пусть это будут следующие оценки для компетентностных составляющих: «З» = 5, «И» = 7, «Р» = 3, «П» = 2, «В» = 2. Тогда «КО» = 2,83, что не-
Балтийский гуманитарный журнал. 2017. Т. 6. № 3(20)
127
pedagogical sciences
сколько меньше оценки «удовлетворительно». Среднее арифметическое этих оценок равно 3,8, т.е. несколько больше, чем «удовлетворительно». Принципиальных различий в оценках, полученными двумя способами нет.
Теперь найдем «Комплексную Оценку» для других значений входных переменных, а именно: «З» = 5, «И» = 8, «Р» = 3, «П» = 0, «В» = 2. Получим «КО» = 1,06 как показано на рисунке 2. То есть комплексная оценка уровня освоения компетенций оказалась в большей степени «неудовлетворительно», что вполне объяснимо. При этом среднее арифметическое этих оценок равно 3,6 - даже больше, чем «удовлетворительно». Нелепость последнего результата очевидна: полное отсутствие у обучающегося по специальности «Экономика» представления о применении методов математического анализа в экономике компенсируется умением исследования функций и решения типовых задач.
Рисунок 2 - Визуализация нечеткого вывода для входных значений
Выводы исследования и перспективы дальнейших изысканий данного направления. Таким образом, мы имеем автоматизированный механизм интегральной оценки уровня освоения компетенций, предусмотренных рабочими программами учебных курсов различных дисциплин. Последовательное применение этого механизма также позволяет отслеживать динамику качества освоения обучающимися учебного курса и может быть использовано как для промежуточной, так и для итоговой аттестации. Приведенный метод оценивания особенно эффективен при компьютерном обучении и тестировании освоения компетенций.
СПИСОК ЛИТЕРАТУРЫ:
1. Бачина Т.В., Ерзылева А.А. Разработка методики оценки сформированности компетенций экономиста в рамках проведения итоговой государственной аттестации // ScienceTime. 2015. № 11 (23). С.43-50.
2. Ефремова Н. Ф. Экспертиза качества освоения компетенций студентами по модулям образовательных программ //CETERIS PARIBUS. 2015. № 1. С.76-83.
3. Карасева Р.И. Методика оценки выпускника вуза // Вестник Сибирской государственной автомобильно-дорожной академии. 2015. № 1 (41). С.137-142.
4. Князева О.М., Мустафаева Н.Н. Методика оценки качества систем обработки данных вуза // Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и
информатика. 2017. № 2. С. 69-79.
5. Кон Е. Л., Фрейман В. И., Южаков А. А. Количественная оценка результатов обучения, представленных в компетентностном формате // Вестник Уфимского государственного авиационного технического университета. 2015. № 1. Т.19. С.206-212.
6. Малышев Е.Н., Васильев Н.В. Интеграция систем оценки уровня освоения дисциплин и оценки уровня компетенций // Высшее образование в России. 2015. № 7. С.75-78.
7. Фомичев А.А., Филиппова З.Ю. Оценка дисциплинарных компетенций студентов // Известия Тульского государственного университета. Технические науки. 2016. № 11-1. С.273-281.
8. Zade L.A. Fuzzy sets. Inforvation and control, 1965, p.338 - 353.
9. Анохина Е.С. Применение теории нечетких множеств к задаче формирования портфеля проектов // Современные тенденции развития науки и технологий. 2017. № 3-12 (24). С. 9-13.
10. Багрецов С.А., Палицын А.Б., Чистяков С.В., Логунов С.В. Идентификация нечетких ситуаций управления на основе композиционного и ситуационного логического выводов // Информатизация и связь. 2017. № 1. С. 31-38.
11. Карнаухов В.М. Исследование весовых коэффициентов единиц рейтинга при помощи нечетких множеств // Информатизация образования и науки. 2017. № 2 (34). С. 57-67.
12. Конников Е.А., Прико П.А. Нечетко-множественная модель оценки уровня социальной ответственности организаций // Экономика и предпринимательство. 2017. № 3-2 (80-2). С. 681-683.
13. Нурмаганбетова М.О., Нурмагамбетов Д.Е., Мыр-закеримова А.Б. Математическая модель диагностирования с использованием правила нечеткого вывода // Международный журнал прикладных и фундаментальных исследований. 2017. № 4-3. С. 493-497.
14. Печуркина А.С., Сентябов Ю.Н. Использование положений нечеткой логики в моделях сравнения эффективности реальных и виртуальных команд // Наука вчера, сегодня, завтра. 2017. № 7 (41). С. 108-120.
15. Леоненков А. В. Нечеткое моделирование среде MATLAB и fuzzyTECH. СПб.: БХВ Петербург, 2005. 736 с.
16. Пегат А. Нечеткое моделирование и управление / А. Пегат; пер. с англ. — М.: БИНОМ. Лаборатория знаний, 2009. — 798 с.
17. Штовба С.Д. Введение в теорию нечетких множеств и нечеткую логику проекта [Электронный ресурс]: http://matlab.exponenta.ru/fuzzylogic/book1/
Статья поступила в редакцию 08.07.2017.
Статья принята к публикации 23.09.2017.
