CC BY
31МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЧИСЛЕННЫЕ МЕТОДЫ И КОМПЛЕКСЫ ПРОГРАММ
УДК 378.14 : 004.891.2
DOI 10.21672/2074-1707.2019.47.3.055-069
НЕЧЕТКАЯ ДЕСКРИПТОРНАЯ МОДЕЛЬ ОЦЕНИВАНИЯ ВЫРАЖЕННОСТИ ИНДИКАТОРОВ ДОСТИЖЕНИЯ КОМПЕТЕНЦИЙ
Статья поступила в редакцию 22.08.2019, в окончательном варианте — 27.08.2019.
Полетайкин Алексей Николаевич, Кубанский государственный университет, 350040, Российская Федерация, г. Краснодар, ул. Ставропольская, 149,
кандидат технических наук, доцент, e-mail: alex.poletaykin@gmail.com, ORCID: 0000-0002-5128-1952, РИНЦ: https://elibrary.ru/author_items.asp?authorid=768719
Подколзин Вадим Владиславович, Кубанский государственный университет, 350040, Российская Федерация, г. Краснодар, ул. Ставропольская, 149,
кандидат физико-математических наук, e-mail: vvp_35@mail.ru, ORCID: 0000-0002-44911493, РИНЦ: https://elibrary.ru/author_items.asp?authorid=820657
Кулешова Наталия Владимировна, Сибирский государственный университет телекоммуникаций и информатики, 630102, Российская Федерация, г. Новосибирск, ул. Кирова, 86,
кандидат экономических наук, доцент, e-mail: natkuleshova@yandex.ru, ORCID: 0000-0002-7708-958X, РИНЦ: https://elibrary.ru/authorjtems.asp?authorid=1040182
Кунц Екатерина Юрьевна, Сибирский государственный университет телекоммуникаций и информатики, 630102, Российская Федерация, г. Новосибирск, ул. Кирова, 86,
начальник отдела дистанционного обучения, e-mail: zentcova@sibsutis.ru, ORCID: 00000003-3903-4737, РИНЦ: https://elibrary.ru/authorjtems.asp?authorid=1039870
В статье представлен математизированный подход к построению дескрипторной модели компетенции. Последняя рассматривается как структура результатов обучения типа «знать», «уметь», «владеть», на которой определены индикаторы достижения компетенции. Дескрипторы индикаторов достижения компетенций рассматриваются как триада «Эпитет», «Активность», «Объект контроля» и формализованы на структурном уровне как нечеткие характеристики сформированности компетенции в привязке к результатам обучения и проверяющим контрольным заданиям при помощи аппарата нечеткой логики. Исходные данные формируются на основе экспертных суждений преподавателей, ответственных за контрольное испытание. Процедура оценивания формализована как система нечеткого вывода, конфигурируемая этим же преподавателем. В модели используются классические механизмы нечеткой логики, исторически получившие наиболее широкое применение в системах нечеткого вывода и апробированные на задачах нечеткого управления в разных областях. В задаче оценивания сформированности компетенций на основе ее дескрипторной модели технология нечеткого вывода применяется впервые. Рассмотренный пример демонстрирует применение дескрипторной модели, состоящей из 9-ти нечетких продукционных правил, использующих 6 входных нечетких переменных, для оценивания выраженности экспериментального индикатора достижения компетенции. Результаты проведенного исследования позволяют сделать заключение о возможности алгоритмизации данной модели и ее применения для автоматизированной разработки оценочных средств, а также процедуры оценивания этой выраженности индикаторов достижения компетенций.
Ключевые слова: Болонское соглашение, индикатор достижения компетенции, результаты обучения, дескриптор, нечеткая неопределенность, функция принадлежности, бинарное нечеткое отношение, нечеткая дескрипторная модель, нечеткий логический вывод, экспертные суждения, нечеткий контроллер
FUZZY DESCRIPTOR MODEL FOR ASSESSING THE SEVERITY OF COMPETENCE ACHIEVEMENT INDICATORS
The article was received by the editorial board on 22.08.2019, in the final version — 27.08.2019.
Poletaykin Aleksey N., Kuban State University, 149 Stavropolskaya St., Krasnodar, 350040, Russian Federation,
Cand. Sci. (Engineering), Associate Professor, e-mail: alex.poletaykin@gmail.com, ORCID: 0000-0002-5128-1952, https://elibrary.ru/author_items.asp?authorid=768719
Podkolzin Vadim V., Kuban State University, 149 Stavropolskaya St., Krasnodar, 350040, Russian Federation,
Cand. Sci. (Physics and Mathematics), e-mail: vvp_35@mail.ru, ORCID: 0000-0002-44911493, https://elibrary.ru/author_items.asp?authorid=820657
Kuleshova Nataliya V., Siberian State University of Telecommunications and Information Science, 86 Kirov St., Novosibirsk, 630102, Russian Federation,
Cand. Sci. (Economics), Associate Professor, e-mail: natkuleshova@yandex.ru, ORCID: 0000-0002-7708-958X
Kunts Ekaterina Yu., Siberian State University of Telecommunications and Information Science, 86 Kirov St., Novosibirsk, 630102, Russian Federation,
Head of the Distance Learning Department, e-mail: zentcova@sibsutis.ru, ORCID: 0000-00033903-4737
The article presents a mathematical approach to the construction of a descriptor model of competence. Competence is considered as the structure of learning outcomes such as know, be able, to own, on which indicators of achievement of competence are defined. The descriptors of competence achievement indicators are considered as a triad "Epithet", "Activity", "Object of control" and formalized at the structural level as fuzzy characteristics of the formation of competence in relation to learning outcomes and testing control tasks using a fuzzy logic apparatus. Input data for fuzzy estimation are formed on the basis of expert judgments of the teachers responsible for a check test. The procedure for assessing the severity of indicators of achievement of competencies is formalized as a fuzzy inference system configured by the same teacher. The model uses classical mechanisms of fuzzy logic, historically received the most widely used in systems of fuzzy inference and tested in problems of fuzzy control in different areas. The fuzzy inference technology is applied for the first time in the problems of assessment of competence formation on the basis of its descriptor model. The control example demonstrates the application of the constructed descriptor model consisting of 9 fuzzy production rules using 6 input fuzzy variables to assess the severity of the experimental indicator of competence achievement. The research results allow us to make a conclusion about the possibility of algorithmization of this model and its application for the automated development of evaluation tools for determining the severity of indicators of achievement of competencies, as well as the procedure for evaluating this severity.
Keywords: Bologna agreement, indicator of competence achievement, learning outcomes, descriptor, fuzzy uncertainty, membership function, binary fuzzy relation, fuzzy descriptor model, fuzzy inference, expert judgment, fuzzy controller
Graphical annotation (Графическая аннотация)
Введение. В свете внедрения федеральных государственных образовательных стандартов высшего образования (ФГОС ВО) нового поколения сегодня в российской образовательной практике очень актуальна задача измерения компетенций. Если ранее требовалось развернутое описание составляющих компетенций в связи с их краткими формулировками, то с утверждением ФГОС ВО 3++ (см., например, [14]) появляются индикаторы достижения компетенций (ИДК) - комплекс характеристик, уточняющих и раскрывающих формулировку компетенции в виде результатов обучения (РО) или (и) конкретных действий, выполняемых выпускником, освоившим данную компетенцию, которые, согласно ФГОС ВО 3++, должны быть измеряемы с помощью средств, доступных в образовательном процессе [14]. В мировой практике для измерения ИДК применяются так называемые дескрипторы, которые в общем случае можно определить как качественные критерии оценивания, описывающие уровень проявления ИДК (низкий, средний, высокий). Это дает основания для определения степени сформированности компетенций у обучающегося.
Присоединение России к Болонскому соглашению в 2003 г. заставляет обратиться к опыту европейских образовательных систем. В них понятие «дескриптор» используется применительно к квалификации и уровню образования, характеризуя образовательную программу в целом: наличие необходимых знаний, их специальной направленности и новизны [2]. Наибольшее распространение получили Дублинские дескрипторы, разработанные с целью систематизации дескрипторов уровней в разных странах, в виде характеристик знаний, умений и навыков, которыми должен обладать выпускник образовательной организации [18].
В российской системе образования распространен соответствующий Болонской практике подход, основанный на оценке сформированности компетенций посредством введения уровней и критериев этой сформированности. Одним из главных методов реализации такого подхода является декомпозиция компетенции на ИДК. При этом единого понимания понятия «дескриптор» в настоящее время нет. Этот термин не употребляется ни во ФГОС ВО, разрабатываемых Минобрнауки, ни в примерных основных образовательных программах (ПООП), разрабатываемых профильными образовательными организациями и рассматриваемых как логическое дополнение ФГОС. Вместе с тем в ПООП устанавливаются обязательные компетенции и соответствующие им ИДК, логически связанные с дескрипторами. В подавляющем большинстве случаев это универсальные и общепрофессиональные компетенции. Профессиональные же компетенции носят рекомендуемый характер, а индикаторы их достижения образовательным организациям предписывается устанавливать и формулировать самостоятельно при разработке основных профессиональных образовательных программ (ОПОП), которые также предполагают и разработку дескрипторов.
На сегодняшний день большинство авторов и разработчиков ОПОП отождествляют дескрипторы с РО (освоения образовательной программы). При этом для формулирования дескрипторов чаще всего используется таксономия Блума, отражающая РО через знания, умения и навыки [6]. Зачастую понятие «дескриптор» синонимично ИДК. Многие авторы призывают внести большую открытость в систему высшего образования, совершая попытки по разработке системы дескрипторов с общими рекомендациями для разработчиков ОПОП и отдельных учебных дисциплин [4].
На самом деле идея дескрипторов заключается в описывании РО, которые может достигнуть обучающийся на конкретном уровне их освоения. При этом основанием для дифференциации уровней освоения является полнота воспроизведения знаний, степень их понимания, способность к анализу учебного материала, достаточность умений и навыков, в том числе их актуальность для потенциальных работодателей [5], и, в общем, качество результатов деятельности обучения. В связи с этим Ю.Г. Татур и Ю.Г. Фокин предлагают свести дескрипторы в единую таксономическую таблицу - тарификатор, предназначенный для определения качества РО с учетом гностического, функционального, профориентационного и ценностно-этического или методологического составляющих компетенций [13]. При этом рассмотренные примеры оценивания РО на основе данного подхода свидетельствуют о его объективности.
Таким образом, налицо неоднозначность и противоречивость в толковании понятия «дескриптор», формулировке индикаторов для необязательных компетенций и технологии разработки дескрипторов как средств оценивания их достижения. Ликвидация этих проблем является актуальной научной и производственной задачей, особенно остро стоящей в образовательных организациях в преддверии перехода на ФГОС ВО 3++. А учитывая вовлеченность в эту проблему «человеческого капитала» образовательной организации и прямое ее воздействие на качество образования, задача является также социально значимой.
Постановка задачи исследования. Для обеспечения качества образования необходимо принятие единого методологического подхода к оцениванию (а применительно к необязательным компетенциям - и к формулировке) ИДК, а также к разработке дескрипторов оценивания выраженности ИДК.
Системный анализ показал, что фактически дескриптор описывает некоторую активность, которую проявляет испытуемый в отношении объектов контроля, определяемых РО. Следовательно, дескрипторы целесообразно формулировать с учетом формулировок оцениваемых РО, под которыми будем понимать традиционные элементарные РО трех типов: знать, уметь, владеть (ЗУВ). Этот аспект построения дескрипторов исследован авторами в [7], где также предлагается формальный подход к построению дескрипторной модели компетенции. Как правило, в формулировке ЗУВ заложен лингвистический конструкт с типовой формулой «Активность» + «Объект контроля». Например: Знать методы принятия решений (Знать - активность, методы принятия решений - объект контроля); Умеет принимать конкретные решения для повышения эффективности процедур анализа проблем (принимать - активность, решения и процедуры анализа проблем - объекты контроля). На основе данных РО может быть сформулирован ИДК I: «Умеет принимать конкретные решения для повышения эффективности процедур анализа проблем». Для оценивания выраженности этого ИДК необходима градация освоения составляющих его ЗУВ в качественном и количественном выражении. Проблема, однако, заключается в субъективности таких качественных шкал и неопределенности процедуры оценивания. Следствием этого является низкая точность и достоверность результатных оценок. Для решения этой проблемы в формулировках дескрипторов предлагается использовать эпитеты, которые должны обеспечивать дифференциацию проявления ИДК по уровням на основе экспертных суждений. Таким образом, минимальный необходимый вариант формулы дескриптора:
«Дескриптор» = «Эпитет» + «Активность» + «Объект контроля». (1)
Приведем пример дескриптора для высокого уровня выраженности индикатора I: «Принимает конкретные обоснованные решения, позволяющие вырабатывать эффективные процедуры анализа проблем», где использовано 3 эпитета: Конкретные, Обоснованные и Эффективные, что делает эту формулировку также и достаточной. Опираясь на эти эпитеты, проверяющий (эксперт) может оценить степень выраженности соответствующего ИДК. Здесь также имеет место субъективность. Однако она размыта качественными характеристиками, что делает процедуру оценивания менее абстрактной с обозначенной используемыми эпитетами нечеткой неопределенностью. Такая процедура не годится для окончательного оценивания (возникают коллизии в толковании дескрипторов и принципиально разное понимание выраженности ИДК), но дает определенные преимущества при дальнейшей обработке методами нечеткой математики.
Также нелегко осуществить четкую привязку контрольных заданий (КЗ), проверяющих сформированность компетенции, к определенным ИДК и РО. Выполняя эту привязку при разработке оценочных средств учебных дисциплин, преподаватель (эксперт), как правило, испытывает некоторую неуверенность в отнесении тех или иных КЗ даже к компетенциям (если их несколько). В то же время, учитывая агрегатность компетенции, было бы целесообразно осуществлять это отнесение к ее атомарным компонентам - ЗУВ. Принимая во внимание большое число КЗ и ЗУВ, такое отнесение далеко не всегда можно осуществить однозначно. Таким образом, здесь неизбежно возникает нечеткая неопределенность, учет и обработка которой оказывается необходимым этапом решения задачи оценивания сформированности компетенций.
Кроме того, разработка оценочных средств для определения выраженности ИДК и добросовестное их практическое применение - достаточно трудоемкие процессы. Так, для построения в ручном режиме дескрипторной модели общепрофессиональной компетенции с тремя стандартными индикаторами, определенными ПООП, необходимо (при добросовестном выполнении этой задачи) затратить не менее 10 минут напряженного умственного труда. Фрагмент этого решения показан выше и описан в статье [7], где результатная дескрипторная модель представлена в виде таблицы с 4-мя столбцами и 20-ю строками. Процедура же оценивания, особенно при наличии КЗ открытого типа, требует от эксперта выполнения операций по сопоставлению множества нечетких характеристик решений и ответов испытуемого с компонентами разработанной дескрипторной модели. Учитывая количество испытуемых и число ИДК, подлежащих оцениванию в реальных условиях, корректное решение этой задачи под силу только человеку с очень ясным умом и стойкой психической организацией. Автоматизация указанных задач позволит существенно упростить задачу для человека за счет накапливания и повторного использования компонентов дескрипторов, использования интеллектуального интерфейса и алгоритма вычисления оценок выраженности ИДК на основании указанных вы-
ше нечетких характеристик ответов испытуемых. Это может в разы сократить временные затраты на построение дескрипторной модели, а также существенно понизить уровень умственного напряжения разработчика, превратив эту процедуру в увлекательную игру в «конструктор». Процедура же оценивания выраженности ИДК потребует от эксперта лишь осмысления решений испытуемого и ввод в систему оценочных суждений в первичном нечетком виде, а в перспективе позволит производить оценивание автоматически без участия эксперта.
Учитывая все приведенные выше обстоятельства, целью настоящего исследования обозначим максимальное упорядочение и автоматизацию процедуры разработки РПД и ФОС и оценивания сформированности компетенций в условиях нечеткой неопределенности критериев оценивания.
Принципы оценивания в условиях нечеткой неопределенности. Существующие исследования (см., например, [1, 8-12, 15-17, 19-22]) показали, что нечеткая неопределенность, в том числе в сфере образования, может быть учтена и эффективно обработана за счет использования математических методов нечеткой логики. Например, исследование [22] подтверждает гипотезу о целесообразности применения системы нечетких правил для определения оптимальных параметров управления на основе нечеткого интерполяционного умозаключения. Наиболее полный анализ нечетких методов анализа данных и их применения в управлении различными объектами и процессами представлен в книге [9]. В частности, рассмотрено применение операций над нечеткими отношениями и моделирования посредством нечеткого вывода к задачам измерения характеристик управления. В [8] авторы напрямую исследуют возможности применения нечеткого логического вывода к задаче многокритериального оценивания и ранжирования в сфере образования и приходят к заключению о целесообразности применения нечеткого оценивания объектов и формализации критериев оценивания в виде нечетких суждений. Подобного рода суждения мы также обнаружили в задаче оценивания выраженности ИДК (см. раздел 1), и дальнейшее исследование этой задачи будем рассматривать именно с позиции нечеткого анализа данных образовательной деятельности обучающегося, которая, как отмечалось, характеризуется определенной нечеткостью.
Суть данного анализа состоит в том, что при внимательном рассмотрении источников этой нечеткости выявляется ряд параметров par, которые затруднительно измерить точно. При этом в их оценке неизбежно появляется субъективный компонент, который выражается нечеткими лингвистическими оценками (термами) типа «высокий», «достаточный», «скорее всего», «маловероятно», «не совсем» и т.п. Функция принадлежности ¡Jipar) задает количественную меру неопределенности относительно данных параметров на единичном интервале [17]. Формируется лингвистическая переменная, включающая множество нечетких переменных для каждого из лингвистических термов исходного терм-множества с одной и той же областью определения. Например, на рисунке 1 представлена функция принадлежности (ФП) лингвистической переменной «Значение параметра по десятибалльной шкале», полученная на основании экспертных оценок.
рЦмг)
Рисунок 1 - График функции принадлежности лингвистической переменной «Значение параметра по десятибалльной шкале»
На рисунке 1 видно, что балл par от 0 до 1 оценивается экспертами как безусловно, низкий, в диапазоне от 4 до 6 баллов - как безусловно средний, а от 9 и выше - как безусловно высокий. В остальных промежутках эксперты проявляют неуверенность в своей классификации, и структура этой неуверенности передается ломаным графиком ФП, отражающим нечеткое множество Z-образного (низкий), трапециевидного (средний) и S-образного (высокий)
нечетких чисел, выступающих значениями соответствующих нечетких переменных, определенных на той же области определения, что и соответствующая лингвистическая переменная. В качестве параметра par может быть рассмотрен, например, эпитет «Обоснованность» (принимаемых решений по десятибалльной шкале) или десятибалльная оценка КЗ.
Фактически лингвистическая переменная, показанная на рисунке 1, выражает, к примеру, нечеткое значение десятибалльной оценки на терм-множестве TL = {<L, Низкий>, <A, Средний>, <H, Высокий>} тройкой значений L, A, H соответственно, лежащих в диапазоне от 0 до 1. Например, оценке в 5 баллов соответствует тройка значений {0; 1; 0}, а оценке 7,5 баллов соответствует тройка {0; 0,5; 0,5}, и т.д. Для повышения точности множество TL может быть расширено до 5 или 7 термов, что также увеличит трудоемкость процедуры фаззификации и дефаззификации. Исследование [10] показало, что множества трех уровней {L, A, H} достаточно для адекватного решения подобных задач.
Нечеткие переменные, детализирующие лингвистическую переменную в отношении каждого терма множества TL, могут выступать как элементы бинарных нечетких отношений (БНО), устанавливающих нечеткие соотношения между элементами четких множеств (например, ЗУВ и КЗ, данный механизм нечеткой классификации ЗУВ по признаку их отнесения к КЗ и нечеткого оценивания сформированности компетенции раскрыт в [12]). Также нечеткие переменные могут быть выражены как конструкты антецедентов и консеквентов нечетких продукций, составляющих систему нечеткого вывода (например, при оценивании уровня сформи-рованности компетенции на основании степени конкретности и обоснованности принимаемых решений). При этом антецедент и консеквент представляют собой нечеткие лингвистические высказывания. Вариант правила нечеткой продукции может быть записан в форме: Правило# i: \pt, kt,] at, ЕСЛИД есть X [И/ИЛИ р2 есть x"K] ТО ю1 есть у' [И ю2 есть у"к]
Здесь нечеткие высказывания: « Р1 есть x » и « Р2 есть x"» представляют собой подусло-
« t вия антецедентов правил нечетких продукций, а нечеткие высказывания «Ш1 есть у » и
« ш 2 есть у"» - заключения правил. Значения x и у - элементы терм-множества TL. При этом каждой i-й нечеткой продукции может быть присвоена величина приоритета p^, регламентирующего применение правила, а также весовой коэффициент kt, выражающий степень влияния данного правила на конечный результат системы вывода. Кроме того, правила имеют условия активизации ai, в которых могут быть задействованы четкие переменные, характеризующие величины, не поддающиеся нечеткой формализации, например, 1) вид контроля с множеством значений: практическая работа (ПР), расчетно-графическая работа (РГР), курсовая работа (проект) (КР, КП), дискуссия, кейс и другие интерактивные методы (ИМ), зачет (З), экзамен (Э), а также 2) принадлежность испытуемого к группе лиц с ограниченными возможностями и 3) самостоятельное выполнение типовых задач с бинарным множеством значений: нет и да. Примеры некоторых правил представлены ниже:
ПРАВИЛО 1:
УСЛОВИЕ АКТИВИЗАЦИИИстина
ЕСЛИКонкретность решений - средняя И Обоснованность решений - низкая И Эффективность выработанных процедур анализа проблем - средняя
ТОВыраженность индикатора «Умеет принимать конкретные решения для повышения эффективности процедур анализа проблем» - средняя
ПРАВИЛО 2:
УСЛОВИЕ АКТИВИЗАЦИИВид промежуточного контроля - РГР
ЕСЛИКонкретность решений - не высокая И Обоснованность решений - низкая И Эффективность выработанных процедур анализа проблем - не высокая
ТОВыраженность индикатора «Умеет принимать конкретные решения для повышения эффективности процедур анализа проблем» - низкая
ПРАВИЛО 3:
УСЛОВИЕ АКТИВИЗАЦИИИспытуемый принадлежит к группе лиц с ограниченными возможностями
ЕСЛИКонкретность решений - низкая ИЛИ Обоснованность решений - низкая
ТОПрименить систему правил Оценивание некачественных решений для лиц с ограниченными возможностями
Совокупность таких правил вместе с четкими а, нечеткими входными р и нечеткими выходными ю переменными образуют систему нечеткого вывода. Основные этапы нечеткого вывода на такой системе в его классическом исполнении предполагают применение алгоритма Мам-дани: фаззификацию, агрегирование подусловий, активизацию подзаключений, аккумулирование и дефаззификацию управляющих переменных. Применение этого подхода при решении задачи нечеткого управления дорожным движением в условиях неопределенности многофакторного пространства (использовалось 14 входных и 3 выходных нечетких переменных, система вывода включала 105 нечетких продукций) показало существенную эффективность по социальным, экономическим и экологическим показателям [11]. В задаче оценивания сформированное™ компетенций на основе ее дескрипторной модели технология нечеткого вывода применяется впервые.
Функциональная структура нечеткой дескрипторной модели оценивания сформи-рованности компетенций. Структурная схема нечеткой дескрипторной модели представлена на рисунке 2. В ней можно выделить три подмодели:
I. Подмодель построения нечетких дескрипторов представлена в левой верхней части схемы на рисунке 2. В качестве исходных данных она получает:
• формулировки результатов обучения, агрегированных в ИДК;
• формулировки лексических дескрипторов в привязке к ИДК;
• экспертные суждения, задающие фаззификацию лексических формулировок дескрипторов.
Рисунок 2 - Структурная схема нечеткой дескрипторной модели, сегментированная на три подмодели
Подмодель обрабатывает формулировки результатов обучения в их соотнесении с лексемами дескрипторов, которые извлекаются из конкретизированных входных лексических дескрипторов и заносятся в базу данных (БД) лексем. В БД формируются типовые лексемы и лексемные конструкции в соответствии с формулой (1), которые используются для автоматизированного построения дескрипторов. Фаззифицированные дескрипторы и правила их обработки формируются под управлением эксперта и загружаются в продукционную базу знаний, где хранятся в декларативном и процедурном виде.
Рассмотренные выше правила 1 и 2 могут быть формализованы посредством введения двух четких переменных: а1 - вид контроля, а 2 - принадлежность испытуемого к категории лиц с ограниченными возможностями, а также трех входных и одной выходной нечетких переменных: Р1 - конкретность решений, Р2 - обоснованность решений, Р3 - эффектив-
ность выработанных процедур анализа проблем, (D1 - выраженность индикатора. Для простоты будем считать, что все нечеткие переменные определены на едином терм-множестве TL = {L, A, H} посредством одной и той же функции принадлежности, показанной на рисунке 1. Область значений четких переменных a1: {si - лабораторные/практические работы, s2 - РГР, s3 - курсовая работа/проект, s4 - интерактивные методы, s5 - зачет, s6 - экзамен}; a2 :{s0 - нет, s1 - да}. Тогда фрагмент фаззифицированного дескриптора в виде системы трех нечетких продукций может выглядеть так: #01: k=1.0, True, IF P1 IS A AND P2 IS L AND P3 IS A THEN ш1 IS A, #02: k=1.0, a1= s5, IF NOT P1 IS H AND P 2 IS L AND NOT P3 IS H THEN ш1 IS L, (2) #03: k=0.6, a2 = s1, IF P1 IS L OR P2 IS L THEN UseRuleSystem[Spec_Eval], где k - весовой коэффициент продукции, UseRuleSystem[RuleSystemName] - оператор применения системы правил, представленной параметром RuleSystemName, SpecEval - логическое имя системы правил Оценивание некачественных решений для лиц с ограниченными возможностями.
II. Подмодель нечеткой классификации результатов обучения, представлена в левой нижней части схемы на рисунке 2. В качестве исходных данных она получает:
• результаты обучения, сгруппированные по учебным дисциплинам и типам: знать, уметь, владеть;
• контрольные задания, проверяющие результаты обучения и сгруппированные по типам: открытые (вопросы и задачи) и закрытые (тестовые);
• экспертные суждения, задающие нечеткие оценки отношения ЗУВ и КЗ.
Подмодель обеспечивает установление нечеткого соответствия между множествами
ЗУВ и КЗ посредством выставления экспертной оценки степени уверенности в том факте, что соответствующее КЗ проверяет соответствующий ЗУВ. Степень уверенности - целое число в интервале [0; 100], где 100 - полная уверенность в соответствии, 0 - полная уверенность в несоответствии, 50 - полная неуверенность эксперта. Оценки ставятся вручную на множестве сочетаний ЗУВ-КЗ, которое представляет собой декартово произведение соответствующих четких множеств © и Т, и редуцируются к единичному отрезку посредством деления на 100.
В результате формируется бинарное нечеткое отношение (БНО) М©Т = , J, uMm (@i, J J, ФП Um@t e [0,1] которого - оценка степени уверенности эксперта в отнесении ЗУВ ©г- е © к КЗ Tj е Т. Сформированное БНО сохраняется в БД подмодели. Подробная реализация нечеткой классификации ЗУВ рассмотрена в [12].
III. Подмодель нечеткого оценивания выраженности ИДК представлена в правой части схемы на рисунке 2. В качестве исходных данных она получает:
• оценки контрольных заданий, приведенные к десятибалльной шкале;
• БНО М©т, источником которой является БД подмодели II;
• экспертные оценки значений переменных, входящих в антецеденты правил системы нечеткого вывода.
Подмодель, по сути, представляет собой нечеткий контроллер (НК), функциональная схема которого представлена на рисунке 3. Вне зависимости от сферы применения НК имеет типовую структуру и осуществляет нечеткое управление объектом [16]. Укрупненно НК можно представить двумя функциями:
1) реализация на основе операции композиции БНО процедуры нечеткого оценивания полноты демонстрируемых студентом результатов обучения (ЗУВ);
2) выполнение процедуры нечеткого вывода для оценивания выраженности ИДК.
Рисунок 3 - Функциональная схема реализации процедуры нечеткого вывода при оценивании индикаторов достижения компетенций
Функция 1 разработана и апробирована в статье [12] и является логическим продолжением функции подмодели II. На рисунке 3 она представлена блоком 2 и частично блоком 1, отвечающим за фаззификацию десятибалльных оценок КЗ тройками нечетких чисел, определенных на множестве TL (см. раздел 2) в соответствии с ФП на подобие той, которая показана на рисунке 1. На выходе блока 1 формируется БНО нечетких оценок КЗ
От=^хг-, tj Цот(тi, tj ^ J, где Ti еТ и tj е TL - элементы четких множеств, м-от(тi, j -ФП БНО, которая определяется как отображение цОт : Т, TL ^ [о, 1]. Фактически, это матрица
размером Т х 3, элементами которой выступают нечеткие оценки, выражаемые функцией Цот, в виде троек действительных чисел, соответствующих единичному отрезку.
Блок 2 выполняет операцию тах-тш композиции бинарных нечетких отношений (3), где левое БНО Мвт условно-постоянное (содержит экспертные оценки), порождаемое моделью II и хранимое в БД. Правое БНО - переменное, содержит фаззифицированные оценки КЗ х] е Т тройками оценок уровня выраженности (к е ТЬ (к = 1, 3).
0в = МвТ®0Т . (3)
Операция композиции не дистрибутивна и имеет своим результатом БНО 0@ размером
|©| х 3, каждая строка которого представляет собой нечеткую характеристику трех уровней
выраженности оценки соответствующего ЗУВ. При этом ФП элементов итогового БНО вычисляется в соответствии с правилом тах-тт-нечеткой композиции:
^0в {в/, *к )}= тах мвТ (в/, х ]), ^оТ (х ], *к )}}. х ]еТ
(4)
Четкая оценка /'-го ЗУВ может быть получена посредством дефаззификации методом центра тяжести для одноточечных множеств, которая осуществляется в блоке 4:
О =10в] • ЬУ/ I 0в] , (5)
]=1 / ] =1
где 0в] - элемент БНО 0в, рассчитанной по формуле (4); Ьц - четкое значение соответствующего элемента базисного множества оценок TF, определяемое на основе ФП «Нечеткая оценка ЗУВ по десятибалльной шкале», график которой может быть аналогичен тому, который показан на рисунке 1. Полученные оценки ЗУВ 0/ выводятся в качестве результата функции 1 подмодели III (блок «Данные» в правой нижней части рис. 2).
Функция 2 представляет реализацию процедуры нечеткого вывода с применением алгоритма Мамдани [1, 16], краткое описание которого представлено в конце предыдущего раздела. Функциональная схема представлена на рисунке 3.
Фаззификация выполняется в блоке 1, на вход которого поступают экспертные оценки параметров продукций в виде лингвистических термов множества TL, указанных экспертом для каждого задействованного нечеткого параметра. В отличие от экспертных суждений, обеспечивающих подготовку данных в подмоделях I и II и относящихся к категории справочных данных, эти экспертные оценки обеспечивают процедуру оценивания входных оперативных данных «Оценки КЗ» и поэтому также имеют оперативный характер.
Собственно нечеткий вывод осуществляется в блоке 3. Наряду с оценками нечетких переменных на него поступают также с выхода блока 2 нечеткие оценки ЗУВ oi =(p©i^, i - индекс
ЗУВ, j = 1,3 - индекс терма из множества TL. При этом Oi могут быть интерпретированы как
дополнительные входные нечеткие переменные. В связи с этим система правил (2) может быть дополнена, например, такими нечеткими продукциями на основе дополнительных входных переменных с>1 - результат «Знать способы повышения эффективности процедур анализа проблем», о 2 -результат «Уметь обосновывать выбор современных технологий для принятия решений при решении профессиональных задач», о3 - результат итогового тестирования: #04: k=0.5, True, IF о1 IS A OR о2 IS A THEN ш1 IS A, #05: k=0.5, True, IF о1 IS L OR о2 IS L THEN ш1 IS L,
#06: k=0.5, True, IF P2 IS H AND NOT о2 IS L THEN (ш IS H,
2 1 (6) #07: k=1.0, a1= s5 OR a1= s6, IF о3 IS L THEN ш1 IS L,
#08: k=1.0, a1= s5 OR a1= s6, IF о3 IS A THEN ш1 IS A,
#09: k=1.0, a1= s5 OR a1= s6, IF о3 IS H THEN ш1 IS H.
Здесь представлены наиболее распространенные правила. Данные правила также могут иметь составной антецедент, включающий подусловия на основе нечетких переменных.
Правила #04 и #05 выглядят вполне логично. Правило #06 демонстрирует смешанный антецедент, в который входит основная и дополнительная нечеткие переменные. Интерпретация этого правила выглядит следующим образом: Если Обоснованность решений - высокая И терм, имеющий максимально значение у нечеткой оценки результата «Уметь обосновывать выбор современных технологий для принятия решений при решении профессиональных задач» -не низкий ТО Выраженность индикатора - высокая.
Что касается правил ##07-09, эта группа предназначена для внесения в состав дескриптора результатов тестирования, выраженных вещественной оценкой по десятибалльной шкале и фаззифицируемой в соответствии с ФП, представленной на рисунке 1. Фаззификация результатов тестирования обусловлена дискретностью исходных оценочных данных. Более точные оценочные данные, адаптированные к данной задаче, могут быть получены при помощи технологии компьютерного тестирования с использованием нечетких ответов [3]. Данная технология позволяет получить промежуточные оценочные данные в нечеткой форме, пригодной для использования в правилах нечеткого вывода, что может дать более точные результаты вывода.
Разумеется, представленные 9 нечетких продукций не ограничивают рассматриваемую систему нечеткого вывода. Практика применения данного метода (см., например, [9-11, 22]) показывает, что число правил в системе вывода примерно соответствует троекратно увеличенному числу входных переменных, умноженному на число выходных переменных. Таким образом, для сформированной демонстрационной системы правил с пятью входными и одной выходной нечеткими переменными минимальное число правил в системе вывода составляет 24.
Агрегирование применяется последовательно ко всем продукциям и предполагает вычисление истинности b"j всех подусловий bj (i - номер правила, j - номер по порядку под-
условия в антецеденте продукции). При этом выполняются следующие логические операции с нечеткими высказываниями:
1. Нечеткое отрицание. В случае подусловия ¿62 (6) его истинность b" = 1 - (o2 is L).
2. Нечеткая конъюнкция. Используется классическая min-конъюнкция: b" = min {b- ],
где Ь - агрегированное значение истинности антецедента i-й продукции; Ъ'- - истинность j-го
подусловия i-й продукции; ni - число подусловий в ее антецеденте.
3. Дизъюнкция. По аналогии с формализмом нечеткой конъюнкции используется классическая max-дизъюнкция: b" = max {bj ).
г i =i
Активация осуществляется с учетом весовых коэффициентов продукций kt (i - номер продукции). Поскольку в нечетком дескрипторе консеквент включает только 1 подзаключение, формализующее выраженность соответствующего ИДК, то степень его истинности Ci вычисляется как алгебраическое произведение: ci = kib". При этом ФП каждого из консеквентов определяется посредством min-активации: с- = min{c, /(ю)}, где /(ю) - ФП терма, который является значением выходной переменной ю в консеквенте i-й продукции.
Аккумуляция предполагает расчет итоговой формы нечеткой оценки ю выраженности индикатора как аккумулирование степеней истинности с- всех заключений продукций, входящих в данный нечеткий дескриптор посредством объединения нечетких множеств, определенных на ФП переменной ю , путем операции их объединения.
Дефаззификация полученного объединенного нечеткого множества выполняется в блоке 4 методом центра тяжести (5) в соответствии с ФП, представленной на рисунке 1. При этом вместо элементов БНО подставляются значения ц,- (ю) термов, входящих в итоговую ФП. Обратная процедура дает искомую нечеткую характеристику уровня выраженности ИДК.
Контрольный пример. Рассмотрим пример применения формализованной в разделе 3 системы правил нечеткого вывода для оценивания выраженности ИДК I «Умеет принимать конкретные решения для повышения эффективности процедур анализа проблем».
Исходные данные представлены набором ЗУВ, соотнесенных с КЗ, общее число которых равно 12 (10 тестовых заданий и 2 открытых задания), в виде БНО. Пример работы подмодели II и функции 1 подмодели III детально разобран в статье [12]. Поэтому здесь приводим только результатные оценки испытания:
• четкую итоговую оценку по тестированию 7,08 балла, фаззифицированный эквивалент которой в соответствии с ФП, показанной на рисунке 1, составляет {0,00 0,64 0,36};
• нечеткие и четкие оценки ЗУВ (см. табл. 1), которые соответствуют выходам блоков 2 и 4 на схеме нечеткого контроллера (см. рис. 3).
В таблице 1 кортежи оценок термов L, A, H есть нечеткие переменные о,-; O - четкие оценки, рассчитанные по формуле (5).
Таблица 1 - Характеристики ЗУВ, составляющих экспериментальный ИДК
Шифр Формулировка Оценки
L A H O
З.1 Современные технологии принятия решения в профессиональной области 0,91 0,38 1,00 5,58
З.2 Способы повышения эффективности процедур анализа проблем 0,00 0,00 0,96 8,83
У.1 Обосновывать выбор современных технологий для принятия решений при решении профессиональных задач 0,56 0,50 1,00 6,51
У.2 Изучать предметные области и моделировать бизнес-процессы 0,00 0,00 1,00 10,0
В.1 Навыки построения математических моделей принятия решений анализа проблем в профессиональной области 0,00 0,00 0,93 8,73
Реализацию функции 2 подмодели III рассмотрим более детально. Выполнение процедуры нечеткого оценивания выраженности ИДК инициируется при вводе входных данных в виде конкретных значений четких и нечетких переменных (примерные значения переменных для оценивания экспериментального ИДК представлены в таблице 2). Фактически данные оценок четких переменных а, и нечетких переменных о, извлекаются из БД дескрипторной модели
(рис. 2), а значения нечетких переменных рj вводятся экспертом на основании проведенного
испытания. При этом из базы знаний выбираются нечеткие дескрипторы, соответствующие оцениваемым индикаторам, и осуществляется активация правил, входящих в эти дескрипторы.
Таблица 2 - Значения переменных для оценивания экспериментального ИДК
Переменная Значение Символ
а! Вид контроля Зачет S5
а 2 Принадлежность к категории лиц с ограниченными возможностями Не принадлежит S0
Р1 Конкретность решений Средняя A
Р2 Обоснованность решений Низкая L
Рз Эффективность выработанных процедур анализа проблем Средняя A
с>1 результат обучения З.2 (см. табл. 1) {0,00; 0,00; 1,00} -
о 2 результат обучения У.1 (см. табл. 1) {0,56; 0,50; 1,00} -
С3 результат тестирования {0,00; 0,64; 0,36} -
В рассматриваемом случае будет выбран один нечеткий дескриптор, состав которого представлен системой продукций (2) и (6). К этой системе применяется основная процедура нечеткого вывода, реализуемая в блоке 3 (см. рис. 3). Результаты расчетов на этапах фаззифи-кации, агрегирования и активации показаны в таблице 3.
Таблица 3 - Промежуточные результаты процедуры нечеткого вывода
#i ki % ai2 ft ai Ъ'ц b'a Ъ'в bi ci T f Ci
№ стадии Фаззш )икация 1 2 - 3
01 1,0 1 - 1 1,00 1,00 1,00 1,00 1,00 A 1,00
02 1,0 1 - 1 1,00 1,00 1,00 1,00 1,00 L 1,00
03 0,6 - 0,00 0,00 - - - - -
04 0,5 1 - 1 0,00 0,50 - 0,50 0,25 A 0,25
05 0,5 1 - 1 0,00 0,56 - 0,56 0,28 L 0,28
06 0,5 1 - 1 0,00 0,44 - 0,00 0,00 H 0,00
07 1,0 1 0 1 0,00 - - 0,00 0,00 L 0,00
08 1,0 1 0 1 0,64 - - 0,64 0,64 A 0,64
09 1,0 1 0 1 0,36 - - 0,36 0,36 H 0,36
Процедура аккумулирования выполнена с учетом термов, актуальных в консеквентах соответствующих продукций (столбец T). Результат этапа дефаззификации - четкая оценка индикатора, рассчитанная по формуле (5):
_ 0 • 1 + 5 -1 + (1,75 + 8,25)• 0,25 + 3,16 • 0,28 + (2,92 + 7,08)• 0,64 + 7,08 • 0,36 _ 3 92 _ 1 +1 + 0,25 + 0,25 + 0,28 + 0,64 + 0,64 + 0,36 _ , .
Для получения нечеткого эквивалента выраженности индикатора I вычисленную четкую оценку необходимо вновь фаззифицировать тройкой значений термов. Согласно графику
ФП, представленному на рисунке 1, имеем: I _ {0,03; 0,97; 0,00}. Уровень выраженности индикатора определяется при помощи оператора MaxTerm [x], который идентифицирует и возвращает имя терма, имеющего максимальное значение ФП:
MaxTerm[x]: return max [(¿, цl),(A, цa),{H, ЦH )].
VL ,ЦA,ЦH}
Следовательно, искомый уровень выраженности индикатора: MaxTer т~]_ A - «Средний».
Заключение. Построенная модель позволяет в автоматизированном режиме осуществить разработку оценочных средств определения выраженности индикаторов достижения компетенций, а также реализовать процедуру оценивания этой выраженности за счет применения аппарата нечеткой логики, что сделано впервые. Таким образом, получена новая математическая модель, учитывающая нечеткую неопределенность и объективизирующая процедуру оценивания выраженности индикаторов достижения компетенций. Разработанный нечеткий контроллер для оценивания выраженности ИДК за счет применения мягких вычислений сни-
жает чувствительность к вариации входных оценочных данных и субъективизму экспертных суждений лиц, контролирующих испытание. Тем самым повышается объективность результатных оценок выраженности ИДК и сформированности компетенций.
Следует отметить, что нечеткая методика, положенная в основу модели, использует классические механизмы нечеткой логики, исторически получившие наиболее широкое применение в системах нечеткого вывода, такие как тш-конъюнкция, нечеткий вывод по Мамдани, дефаззификация методом центра тяжести, и др. К примеру, в статьях [15, 21] предлагаются улучшенные системы вывода по Мамдани с учетом шума внешней среды, в частности, за счет уточнения математического аппарата этапов нечеткого вывода и параметров ФП, а в исследовании [1] рассматривается локальная подстройка алгоритма вывода Мамдани, где для одного фиксированного набора входных переменных можно настроить выходное значение (отклик) системы. Поэтому модель следует рассматривать как один из возможных вариантов реализации процедуры оценивания выраженности ИДК. Дальнейшие исследования применения других механизмов реализации нечетких операций и процедуры вывода позволят получить наиболее рациональную конфигурацию нечеткой дескрипторной модели, обеспечивая тем самым ее адекватность и объективность процедуры оценивания сформированности компетенций. Например, посредством гибридизации модели нечеткого вывода по типу Мамдани - Сугено, как показано в [19], либо повышения вариативности интерпретации элементов нечеткости предметной области, широкое поле для применения которой рассматривается в статье [20].
Библиографический список
1. Алгоритм настройки системы нечёткого логического вывода типа Мамдани / М. С. Голосов-ский, А. В. Богомолов, Д. С. Теребов, Е. В. Евтушенко // Вестник Южно-Уральского государственного университета. Сер. Математика. Механика. Физика. - 2018. - Т. 10, № 3. - С. 19-29.
2. Болонский процесс: европейские и национальные структуры квалификаций (Книга-приложение 2) / под науч. ред. д-ра пед. наук, проф. В. И. Байденко. - Москва : Исследовательский центр проблем качества подготовки специалистов, 2009. - 220 с.
3. Брумштейн Ю. М. Системный анализ технологий компьютерного тестирования с использованием нечетких ответов. Часть 1. Тестовые задания категорий «выбор из набора ответов» и «ранжирование объектов» / Ю. М. Брумштейн, Д. И. Коновалова // Прикаспийский журнал: управление и высокие технологии. - 2019. - № 4 (44). - С. 57-71.
4. Власов Д. А. Вопросы разработки дескрипторов для системы высшего образования / Д. А. Власов // NOVAINFO.RU. - № 56-4. - С. 359-365. - Режим доступа: https://novainfo.ru/article/9386, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 11.08.2019).
5. Ильин Д. Ю. Информационно-аналитический сервис формирования актуальных профессиональных компетенций на основе патентного анализа технологий и выделения профессиональных навыков в вакансиях работодателей / Д. Ю. Ильин, Е. В. Никульчев, Г. Г. Бубнов, Е. О. Матешук // Прикаспийский журнал: управление и высокие технологи. - 2017. - № 2 (38). - С. 71-88.
6. Казакова Е. И. Оценка универсальных компетенций студентов при освоении образовательных программ / Е. И. Казакова, И. Ю. Тарханова // Ярославский педагогический вестник. - 2018. - № 5. -С. 127-135.
7. Кулешова Н. В. Методика разработки индикаторов достижения профессиональных компетенций и построения дескрипторной модели компетенций / Н. В. Кулешова, А. Н. Полетайкин // Качество высшего и среднего профессионального образования в условиях перехода на федеральные государственные образовательные стандарты нового поколения : материалы LX научно-методической конференции. -Новосибирск : СибГУТИ, 2019. - С. 112-118.
8. Марданов М. Дж. Комплексная оценка и ранжирование вузов методом нечёткого логического вывода / М. Дж. Марданов, Р. Р. Рзаев // Автоматизация и приборостроение: проблемы, решения : материалы Международной научно-технической конференции. - Севастополь, 2017. - С. 13-14.
9. Пегат А. Нечёткое моделирование и управление : пер. с англ. / А. Пегат. - 3-е изд. - Москва : БИНОМ. Лаборатория знаний, 2015. - 801 с.
10. Пивкин Е. Н. Применение теории нечетких множеств и обобщенного метода центра неопределенности для определения параметров функции принадлежности / Е. Н. Пивкин, В. М. Белов, Е. В. Рябова // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. - 2008. - № 4 (62). - С. 70-76.
11. Полетайкин А. Н. Инфраструктурные средства мониторинга и интеллектуального управления дорожным движением / А. Н. Полетайкин, Ю. В. Белов // Автомобильный транспорт : сборник научных трудов. - Харьков : ХНАДУ, 2014. - Вып. 35. - С. 13-21.
12. Полетайкин А. Н. Подготовка классификационных данных для конструирования профессиональных компетенций / А. Н. Полетайкин, Т. С. Ильина, Л. Ф. Данилова // Вестник СибГУТИ. - 2018. -№ 2. - С. 89-102.
13. Татур Ю. Г. Как повысить объективность измерения и оценки результатов образования / Ю. Г. Татур // Высшее образование в России. - 2010. - № 5. - С. 22-31.
14. Федеральный государственный образовательный стандарт высшего образования по направлению подготовки 09.03.03 Прикладная информатика. - 20 с. - Режим доступа: http://fgosvo.ru/fgosvo/downloads/1480/?f=%2Fuploadfiles%2FFGOS+VO+3%2B%2B%2FBak%2F090303_B_ 3_17102017.pdf, свободный. - Заглавие с экрана. - Яз. рус. (дата обращения: 17.08.2018).
15. E. Boopathi Kumar. Edge detection using trapezoidal membership function based on fuzzy's mamda-ni inference system / E. Boopathi Kumar and M. Sundaresan // 2014 International Conference on Computing for Sustainable Global Development (INDIACom). - New Delhi, 2014. - P. 515-518.
16. Haipeng Pan. Study of Mamdani Fuzzy Controller and Its Realization on PLC / Haipeng Pan and Jiade Yan // 2006 6th World Congress on Intelligent Control and Automation. - Dalian, 2006. - P. 3997-4001.
17. Sanz J. A. IVTURS: A Linguistic Fuzzy Rule-Based Classification System Based On a New Interval-Valued Fuzzy Reasoning Method With Tuning and Rule Selection / J. A. Sanz, A. Fernández, H. Bustince and F. Herrera // IEEE Transactions on Fuzzy Systems. - June 2013. - Vol. 21, № 3. - P. 399- 411
18. Kennedy D. Writing and Using Learning Outcomes: A Practical Guide / D. Kennedy. - Cork : University College Cork, 2006. - 103 p.
19. Gacto M. J. Interpretability of linguistic fuzzy rule-based systems: An overview of interpretability measures / M. J. Gacto, R. Alcal, F. Herrera // Inf. Sci. - 2011. - Vol. 181, № 20. - P. 4340-4360.
20. Devi M. S. A hybrid technique of Mamdani and Sugeno based fuzzy interference system approach / M. S. Devi and M. Soranamageswari // 2016 International Conference on Data Mining and Advanced Computing (SAPIENCE). - Ernakulam, 2016. - P. 340-342.
21. Na W. A Mamdani Fuzzy modeling method via Evolution-Objective Cluster Analysis" / W. Na, H. Chaofang and S. Wuxi // Proceedings of the 31st Chinese Control Conference. - Hefei, 2012, - P. 3470-3475.
22. Chang Y. Fuzzy Interpolative Reasoning for Sparse Fuzzy-Rule-Based Systems Based on the Areas of Fuzzy Sets / Y. Chang, S. Chen and C. Liau // IEEE Transactions on Fuzzy Systems. - 2008. - Vol. 16, № 5. -P. 1285-1301.
References
1. Golosovsky M. S., Bogomolov A. V., Terebov D. S., Yevtushenko E. V. Algoritm nastroyki sistemy nechetkogo logicheskogo vyvoda tipa Mamdani [Algorithm of adjusting the system of Mamdani fuzzy interference system] Vestnik Juzhno-Uralskogo gosudarstvennogo universiteta. Seriya. Matematika. Mehanika. Phizika [Bulletin of the South Ural State University. Series. Maths. Mechanics. Physics], 2018, vol. 10, no. 3, pp. 19-29.
2. Baidenko V. I. (ed.) Bolonskiy protsess: evropeyskie i natsionalnye struktury kvalifikatsiy (Kniga-prilozhenie 2) [Bologna process: European and national qualifications frameworks (Book-Annex 2)]. Moscow, 2009. 220 p.
3. Brumshteyn Yu. M., Konovalova D. I. Sistemnyy analiz tekhnologiy kompyuternogo testirovaniya s ispolzovaniem nechetkikh otvetov. Chast 1. Testovye zadaniya kategoriy «vybor iz nabora otvetov» i «ranzhiro-vanie obektov» [System analysis of computer testing technologies with illegible answers using. Part 1. Test tasks of categories "the choice from a set of answers" and "ranging of objects"]. Prikaspiyskiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian Journal: Control and High Technologies], 2018, no. 4 (44), pp. 57-71.
4. Vlasov D. A. Voprosy razrabotki deskriptorov dlya sistemy vysshego obrazovaniya [Questions of development of descriptors for the system of higher education]. NOVAINFO.RU, no. 56-4, pp. 359-365. Available at: https://novainfo.ru/article/9386 (accessed 11.08.2019).
5. Ilin D. Yu., Nikulchev Ye. V., Bubnov G. G., Mateshuk Ye. O. Informatsionno-analiticheskiy servis formirovaniya aktualnykh professio-nalnykh kompetentsiy na osnove patentnogo analiza tekhnologiy i vydeleni-ya professionalnykh navykov v vakansiyakh rabotodateley [informational and analytical service of formation of actual professional competences on the basis of patent analysis of technologies and allocation of professional skills in vacancies of employers]. Prikaspiyskiy zhurnal: upravleniye i vysokiye tekhnologii [Caspian Journal: Control and High Technologies], 2017, no. 2 (38), pp. 71-88.
6. Kazakova Ye. I., Tarkhanova I. Yu. Otsenka universalnykh kompetentsiy studentov pri osvoenii obrazovatelnykh program [Evaluation of universal competences of students in the development of educational programs]. Yaroslavlskiy Pedagogitcheskiy vestnik [Yaroslavl Pedagogical Bulletin], 2018, no. 5, pp. 127-135.
7. Kuleshova N. V, Poletaykin A. N. Metodika razrabotki indikatorov dostizheniya professionalnykh kompetentsiy i postroeniya deskriptornoy modeli kompetentsiy [Method of the development of professional competence achievement indicators and buildings competencies descriptor models]. Kachestvo vysshego i srednego professionalnogo obrazovaniya v usloviyakh perekhoda na federalnye gosudarstvennye obrazovatelnye standarty novogo pokoleniya : materialy LX nauchno-metodicheskoy konferentsii [The quality of higher and secondary vocational education in the context of the transition to a new generation of federal state educational standards: materials of the LX scientific and methodological conference]. Novosibirsk, 2019. pp. 112-118.
8. Mardanov M. J., Rzajev R. R. Kompleksnaya otsenka i ranzhirovanie vuzov metodom nechetkogo logicheskogo vyvoda [Complex estimation and ranking the high schools by fuzzy logical method]. Avtomatizatsi-ya i priborostroyenie: problemi, resheniya : materialy mezhdunarodnoy nauchno-tehnicheskoy konferentsii [Automation and instrumentation: problems, solutions: materials of the International scientific and technical conference], 2017, pp. 13-14.
9. Pegat A. Fuzzy Modeling and Control. 3-rd ed. Moscow, 2015. 801 p.
10. Pivkin E. N., Belov V. M., Ryabova E. V. Primenenie teorii nechetkikh mnozhestv i obobshchennogo metoda tsentra neopredelennosti dlya opredeleniya parametrov funktsii prinadlezhnosti [Application of the theory
of fuzzy sets and the generalized method of the center of uncertainty to determine the parameters of the membership function]. Nauchno-tekhnitcheskie vedomosti Sankt-Peterburzhskogo gosudarstvennogo politekhnitcheskogo universiteta. Informatika. Telekommunikatsii. Upravlenie [Scientific and technical statements of the St. Petersburg State Polytechnic University. Informatics. Telecommunications. Control], 2008, no. 4 (62), pp. 70-76.
11. Poletaykin A. N., Belov Yu. V. Infrastrukturnye sredstva monitoringa i intellektualnogo upravleniya dorozhnym dvizheniem [Infrastructure monitoring, and intelligent traffic management]. Avtomobilnyy transport : sbornik nauchnykh trudov [Road transport : proceedings]. Kharkiv, 2014, issue 35, pp. 13-21.
12. Poletaykin A. N., Ilina T. S., Danilova L. Ph. Podgotovka klassifikatsionnykh dannykh dlya kon-struirovaniya professio-nalnykh kompetentsiy [Preparation of classification data for designing of professional competences]. Vestnik SIBGUTI [Siberian State University of Telecommunications and Information Sciences], 2018, no. 2, pp. 89-102.
13. Tatur Yu. G. Kak povysit obektivnost izmereniya i otsenki rezultatov obrazovaniya [How to improve the objectivity of measurement and evaluation of educational results]. Vysshee obrazovanie v Rossii [Higher education in Russia], 2010, no. 5, pp. 22-31.
14. Federal state educational standard of the higher education in the direction ofpreparation 09.03.03 Applied Informatics. 20 p. Available at: http://fgosvo.ru/fgosvo/downloads/1480/?f=%2Fuploadfiles%2 FFG0S+V0+3%2B%2B%2FBak%2F090303_B_3_17102017.pdf (accessed 17.08.2018).
15. E. Boopathi Kumar and M. Sundaresan. Edge detection using trapezoidal membership function based on fuzzy's mamdani inference system. 2014 International Conference on Computing for Sustainable Global Development (INDIACom). New Delhi, 2014, pp. 515-518.
16. Haipeng Pan and Jiade Yan. Study of Mamdani Fuzzy Controller and Its Realization on PLC. 2006 6th World Congress on Intelligent Control and Automation. Dalian, 2006, pp. 3997-4001.
17. Sanz J. A., Fernández A., Bustince H. and Herrera F. IVTURS: A Linguistic Fuzzy Rule-Based Classification System Based On a New Interval-Valued Fuzzy Reasoning Method With Tuning and Rule Selection. IEEE Transactions on Fuzzy Systems, June 2013, vol. 21, no. 3, pp. 399-411,
18. Kennedy D. Writing and Using Learning Outcomes: A Practical Guide. Cork, University College Cork, 2006. 103 p.
19. Gacto M. J., Alcal R., Herrera F. Interpretability of linguistic fuzzy rule-based systems: An overview of interpretability measures. Inf. Sci. 2011, vol. 181, no. 20, pp. 4340-4360.
20. Devi M. S. and Soranamageswari M. A hybrid technique of Mamdani and Sugeno based fuzzy interference system approach. 2016 International Conference on Data Mining and Advanced Computing (SAPIENCE). Ernakulam, 2016, pp. 340-342.
21. Na W., Chaofang H. and Wuxi S. A Mamdani Fuzzy modeling method via Evolution-Objective Cluster Analysis. Proceedings of the 31st Chinese Control Conference. Hefei, 2012, pp. 3470-3475.
22. Chang Y., Chen S. and Liau C. Fuzzy Interpolative Reasoning for Sparse Fuzzy-Rule-Based Systems Based on the Areas of Fuzzy Sets. IEEE Transactions on Fuzzy Systems, 2008, vol. 16, no. 5, pp. 1285-1301.
