ИССЛЕДОВАНИЕ ДОСТОВЕРНОСТИ НЕЧЕТКОЙ МОДЕЛИ ОЦЕНИВАНИЯ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ Текст научной статьи по специальности «Науки об образовании»

92

Вестник СибГУТИ. 2020. № 4

УДК 004.04:576.08

Исследование достоверности нечеткой модели оценивания результатов обучения1

Е. Ю. Кунц, А. Н. Полетайкин, Н. А. Двуреченская

В данной статье исследована инновационная нечёткая модель оценивания результатов обучения на основе ФГОС 3++. Суть исследования состоит в определении точности полученных результатов обучения в сравнении с оценками, полученными традиционными консервативными способами. Результатом исследования являются оценки относительной погрешности оценивания, на основе которых делается заключение о достоверности исследуемой модели. В заключении обозначены перспективные направления дальнейших исследований, направленных на калибровку системы нечеткого вывода, положенной в основу модели оценивания.

Ключевые слова: гибридная модель оценивания компетенций, результаты обучения, точность оценивания, контрольные оценки, относительная погрешность.

1. Введение

В условиях модернизации образования согласно федеральным государственным образовательным стандартам поколения 3++ (ФГОС 3++) и в соответствии с множеством требований законодательства РФ, профессиональных стандартов, требованиями рынка труда, международными критериями аккредитации становится актуальной задача комплексного оценивания результатов обучения (РО). Математическая модель, реализующая процедуру оценивания, отвечающую данным требованиям, разработана в [1]. Важно понять, насколько данные результаты являются достоверными и точными в сравнении с результатами, полученными традиционными способами оценивания. Для этого выполним оценивание РО группы студентов разными методами, в том числе с использованием технологии [2], реализованной на базе модели [1].

В России данными исследованиями занимались Ильина Т. С., Канев В. С. (оценивание сформированности компетенций на основе системного подхода, с учетом личностных качеств обучающихся) [3], Пустовой Н. В., Зима Е. А. (формирование компетенций современного инженера в условиях перехода на двухуровневую систему образования) [4], Белов В. М., Созоров Н. Г., Керб О. М. (концепция, удовлетворяющая фундаментальным принципам гуманизации образования и в то же время позволяющая успешно работать в различных инновационных парадигмах, не исключая при этом и традиционные подходы) [5], Менькова С. В., Пермяков О. Е. (методика, разработанная на основе интерполяции финского опыта оценки квалификации работников) [6]. Предложенные указанными авторами методики оценивания во многом утратили свою актуальность в связи с внедрением новых образовательных стандартов ФГОС 3++, однако вполне могут быть использованы в качестве контрольных РО для сравнения с результатами, полученными с помощью исследуемой модели.

1 Работа выполнена при финансовой поддержке Фонда прикладных научных исследований СибГУТИ.

2. Постановка задачи

Целью исследования является повышение точности и достоверности оценивания результатов освоения образовательной программы студентами, осуществляемого посредством мо-дельно-измерительного комплекса, основывающегося на нечеткой логике. При этом достоверность будем понимать как уверенность в точности и объективности оценивания. В случае, если оценивание осуществляется в условиях измеримой неопределенности, достоверность имеет соответствующий элемент неопределенности, выражаемый относительной погрешностью оценивания.

В соответствии с методикой построения компетентностной модели образовательной программы (ОП) сообразно требованиям ФГОС 3++ [7] была получена структура компетенции ОПК-3 направления 11.03.02 «Инфокоммуникационные технологии и системы связи», показанная на рис. 1а. Индикаторы достижения компетенции (ИДК) построены в соответствии с методикой, рассмотренной в статье [8]. Структурные схемы ИДК показаны на рис. 1 (б-г).

а) Компетенция ОПК-3

б) Индикатор ОПК-3.1

в) Индикатор ОПК-3.2

г) Индикатор ОПК-3.3

Рис. 1. Структура компетенции ОПК-3

Наличие в процедурах оценивания результатов образования измеримой неопределенности, относящейся к категории нечеткой (например, суждения субъектов, оценивающих выполнение открытых контрольных заданий в соответствии с определенной функцией принадлежности), требует построения научно обоснованной технологии оценивания сформированности компетенций. Основываясь на математических методах, обрабатывающих нечеткую неопределенность и способствующих её минимизации, данная технология в совокупности с технологией оптимального конструирования компетенций и компетентност-ной модели, а также индикаторов достижения компетенций [7, 8] образует научно-технологический контент ОП. Рассмотрим технологию оценивания [2] более подробно и

исследуем ее применение для оценивания сформированности компетенции в условиях нечеткой неопределенности.

Базовыми исходными данными является множество проверяющих контрольных заданий Т и их оценки От е [0,10]. При этом контрольные задания Ту е Т соотнесены с компонентами компетенции - знаниями, умениями и навыками (ЗУН) 0/ е0, нечеткими экспертными оценками соответствия Цм0Т (®г, формируя бинарное нечеткое отношение

М0т = {^0/, Ту^, Им0т , т^} , которое выступает как справочные данные.

Нечеткое оценивание ЗУН осуществляется посредством нечеткой композиции бинарных нечетких отношений. Результатом является множество векторов

0)0 : {(Ь, Ць) А, /и^!Н, Цн)} нечетких оценок ЗУН в соответствии с функцией принадлежности (ФП) ц( О), примерный график которой показан на рис. 2.

ц(раг)

1 2 3 4 5 6 7 8 9 10 Рис. 2. Примерный график ФП «Значение параметра по десятибалльной шкале»

На этой же ФП определены лингвистические оценки 0де {Ь, A, H} параметров нечеткой

дескрипторной модели Mд компетенции (l = 1, Ь, Ь - число параметров). Оценки 0д и 0т подаются на вход модели нечеткого оценивания. Результатом моделирования являются оценки выраженности ИДК 0{ и оценки сформированности компетенций 0к, причем 0{,

0К е {^, Ь, А, Н} . В этом множестве оценки Ь, А, Н - термы уровней, показанные на рис. 2,

а N - обозначение оценки «Не сформирована». Общая структура модели показана на рис. 3. Данная модель осуществляет оценивание в условиях нечеткой неопределенности, заданной функцией принадлежности ¡(0).

Рис. 3. Модель типа «черный ящик» процедуры оценивания сформированности компетенций

в условиях нечеткой неопределенности

3. Исследование точности оценивания результатов обучения

Исследование точности системного оценивания компетенций основывалось на предположении, согласно которому в качестве эталонных оценок были приняты контрольные оценочные данные, полученные без применения гибридной модели: на основе фонда оценочных

средств, аккредитованного в вузе в соответствии с ФГОС 3+: 0+, и на основе субъективных

суждений НИР, ответственного за данное испытание: О". Для повышения объективности исследования в качестве эталонных оценок были также приняты ретроспективные оценочные данные - средние оценки, полученные на предыдущем цикле управления:

0г-1 ^ Ог . Системные оценки 0++ вычислены при помощи технологии [2]. В ка-

О'

or еОг

честве оценочных материалов использованы тестовые задания и задания открытого типа для

выполнения контрольной работы. При этом оценка 0МС получена посредством активации подзаключений нечетких продукций методом тах-дизъюнкции и дефаззификации методом

центра масс, а оценка 0^М - посредством активации методом граничной суммы и дефаззи-фикация методом среднего максимума. Данные две комбинации методов были выбраны как дающие наиболее адекватные результаты оценивания по итогам специального исследования комбинирования методов на этапах нечеткого вывода Мамдани, представленного в статье [8]. Для сравнения представлена контрольная оценка 00, полученная без применения нечеткой методики на основе оценочных средств, разработанных согласно ФГОС 3++, как средние оценки по проверяющим ц-й ЗУН контрольному заданию (0^ - оценка ц-го ЗУН 6ц е 1-й

компетенции 1-м контрольным заданием т еТц) с учетом весов 1-го контрольного задания

1 №

kT е [0,1]: O&i =—. I

©• 1 №i| j=1

Tj \Tj\ I kfOjJ I kf

1=1 / 1=1

В исследовании принимали участие 6 студентов I курса направления подготовки 11.03.02 «Инфокоммуникационные технологии и системы связи» набора 2019 года, обучающихся в СибГУТИ в рамках ФГОС ВО 3++. Оцениваемая компетенция ОПК-3, структура которой показана на рис. 1, формируется учебной дисциплиной «Основы телекоммуникаций» на первом курсе обучения.

Системные оценки 0++ вычислены посредством технологии [2] в рамках плановой промежуточной аттестации в зимней сессии 2019/2020 учебного года. Соответственно, оценки

0*-1 получены с учетом множеств оценок Ог, полученных студентами при входном контроле, округлены до единиц и преобразованы в термы {И, А, Ь, N}. Таким образом, имеем

Ot-1, O+, Osi

. Оценочные данные,

полное множество из трёх контрольных оценок: О :-полученные в результате проведенных испытаний, представлены в табл. 1. Для N испытуемых средние относительные погрешности Л0 отклонения оценок 0++ от контрольных оценок из Ос рассчитываются по формуле (1). При этом оценки 0++ и о^ учитываются в отражении множества термов на множество балльных оценок: {И, А, Ь, N1 ^ {5, 4, 3, 2}.

- 1 N

Ao = 9N I I

9 Nk=1 0k eOk

O++- Ok

100%.

(1)

Погрешность оценок, полученных с применением нечеткой методики на основе методов

граничной суммы и среднего максимума (в табл. 1 оценки OSM ), заметно ниже, чем погрешность оценок, полученных с применением нечеткой методики на основе методов max-

дизъюнкции и центра масс (в табл. 1 оценки 0МС), и ниже, чем погрешность оценок 00,

полученных дискретным способом. Это свидетельствует о том, что оценки 0^М являются наиболее точными, а математическая модель в соответствующей конфигурации - наиболее достоверной.

Таблица 1. Данные испытаний точности оценивания сформированности компетенций (обозначения оценок приведены в терминах термов уровня)

Испытуемый Контрольные оценки Оценки 0++ и их погрешности, %

О1 -1 0й 0+ 00 А 0МС А 0Ш А

1 А Ь С Ь 22.2 А 11.1 А 11.1

2 Н А С А 11.1 А 11.1 А 11.1

3 Н Н Н Н 0.0 А 33.3 Н 0.0

4 Ь Н Ь Н 44.4 А 33.3 А 33.3

5 Н А А А 11.1 А 11.1 А 11.1

6 Н Н А Н 11.1 А 11.1 Н 11.1

Средняя погрешность Ао, % : 16.6 18.5 12.9

4. Заключение

Следует заметить, что средняя относительная погрешность 12.9 % всё же является высокой, в связи с чем необходимы дополнительные исследования в части более тонкой настройки системы нечеткого вывода, а именно:

- варьирование весовых коэффициентов нечетких продукций;

- уточнение функции принадлежности на основе анализа ретроспективных оценочных данных;

- введение в систему дополнительных продукций или модификации антецедентов существующих продукций, уточняющих дескрипторный механизм оценивая компетенций.

Данные исследования будут проведены следующим этапом, в результате чего можно

прогнозировать понижение средней относительной погрешности (1) оценок 0++ ниже приемлемого уровня, составляющего 5 %. В целом можно констатировать наличие адекватной модели оценивания сформированности компетенций сообразно требованиям ФГОС3++, которая позволяет получать достоверные оценки за счет качественного научно-технологического контента.

Литература

1. Кунц Е. Ю., Полетайкин А. Н., Шевцова Ю. В. Реализация модели нечеткого оценивания сформированности компетенций с помощью пакета Ма11ЬаЬ // Новые информационные технологии в образовании и науке. 2020. № 3. С. 66-72.

2. Данилова Л. Ф., Кунц Е. Ю. Технология реализации модели нечеткого оценивания сфор-мированности компетенций // Экономика и управление: теория и практика. 2020. Т. 6, № 3. С. 79-87.

3. Ильина Т. С., Полетайкин А. Н., Канев В. С. Модельно-инструментальный комплекс оценивания качества освоения образовательных программ студентами высшего учебного // Материалы 58 (ЬУШ) межвузовской научно-методической конференции «Разработка и

применение фондов оценочных средств в рамках реализации образовательных программ», Новосибирск, 2017. С. 89-97.

4. Пустовой Н. В., Зима Е. А. Формирование компетенций современного инженера в условиях перехода на двухуровневую систему // Высшее образование в России. 2008. № 10. С. 3-7.

5. Белов В. М., Созоров Н. Г., Керб О. М. Технология ритмос как методологическая основа обучения с применением техники мгновенной обратной связи // Сборник IV Всероссийской (национальной) научной конференции «Роль аграрной науки в устойчивом развитии сельских территорий», Новосибирск, 2019. С. 233-239.

6. Пермяков О. Е., Менькова С. В., Борисова Г. В. Интерполяция финского опыта оценки и признания квалификации работников // Международный журнал экспериментального образования. 2014. № 1-2. С. 35-37.

7. Данилова Л. Ф. Технология оптимального конструирования компетенций и компетент-ностной модели // Качество. Инновации. Образование. 2018. № 1 (152). С. 3-10.

8. Полетайкин А. Н., Кунц Е. Ю., Кулешова Н. В. Оптимизационная модель построения индикаторов достижения компетенций // Информатизация образования и науки. 2020. № 1 (45). С. 64-81.

Статья поступила в редакцию 13.10.2020.

Кунц Екатерина Юрьевна

начальник отдела дистанционного обучения СибГУТИ, старший преподаватель кафедры математического моделирования бизнес-процессов СибГУТИ (630102, Новосибирск, ул. Кирова, 86), тел. (383) 269-82-78, e-mail: kuntsey@sibguti . ru.

Полетайкин Алексей Николаевич

к.т.н., доцент, доцент кафедры информационных технологий Кубанского государственного университета (350040, Краснодар, ул. Ставропольская, 149), тел. (861) 219-95-77, e-mail: alex. poletaykin@gmail. com.

Двуреченская Надежда Александровна

директор центра содействия научно-инновационной деятельности СибГУТИ, e-mail:

dvurechenskaya@sibguti.ru.

Validation study of a fuzzy assessment model of educational outcomes E. Kunts, A. Poletaikin, N. Dvurechenskaya

An innovative fuzzy model of systemic assessment of educational outcomes based on FSES 3 ++ is examined in this article. The essence of the study is to determine the accuracy of the obtained educational outcomes in comparison with the rates obtained by traditional conservative methods. The results of the study are the rates of the relative evaluation error on the basis of which the validation of the model under study is made. In conclusion, promising directions for further research are indicated aimed at calibrating the fuzzy inference system underlying the estimation model.

Keywords: hybrid model of competency assessment, educational outcomes, assessment accuracy, control rates, relative error.