CC BY
29
Оценка качества объекта (учебного курса): построение модели, автоматизация расчетов, примеры реализации
Старыгина Светлана Дмитриевна доцент, к.п.н, доцент кафедрой информатики и прикладной математики, Казанский национальный исследовательских технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 svetacd kazan@mail.ru
Нуриев Наиль Кашапович профессор, д.п.н., заведующий кафедрой информатики и прикладной математики, Казанский национальный исследовательских технологический университет, ул. К.Маркса, 68, г. Казань, 420015, (843)2314119 nurievnk@mail. ru
Гарифьянов Нургаяз Фархатович студент 2 курса магистратуры, Институт вычислительной математики и информационных технологий, Информационные системы и технологии Казанский Федеральный Университет nf. garifyanov@gmail.com
Аннотация
Разработана методика решения проблемы со следующей формулировкой: требуется оценить качество сложного объекта (процесса, предмета) с точки зрения его целесообразной эффективности. Методика рассматривается на примере оценки качества учебного курса.
A methodology for solving the problem has been developed with the following formulation: it is required to evaluate the quality of a complex object (process, object) from the point of view of its expedient effectiveness. The method is considered on the example of assessing the quality of the training course.
Ключевые слова
экспертиза качества, сложный объект, оценка качества, целесообразная эффективность, качество учебного курса
quality examination, compound object, quality control, reasonable efficiency, quality of the training course
Введение
Как правило, качество любого объекта (предмета, процесса, явления) нельзя оценить только одним показателем и только количественно. Например, мы хотим приобрести комплекс учебных курсов для подготовки инженеров по какому-то направлению или купить для нашего бизнеса партию автомобилей, вычислительной техники, продуктов питания и т.д.
Разумеется, во всех этих ситуациях мы хотим риск (цена - качества объекта) свести к минимуму, т.е. купить за приемлемую цену качественный товар.
Рассмотрим модель ситуации оценки экспертом качества объекта с точки зрения целесообразной эффективности. Очевидно, что качество объекта W, которое мы хотим оценить, зависит от качества поддерживающих его взаимосвязанных компонентов, т.е.
W = F(A, В, С, ..., Х(п)) (1)
В модели через F(*) обозначен функционал, который с учетом влияния качества всех компонентов ставит в соответствие одно число W, по значению которого можно судить о качестве объекта в целом. На практике ситуация осложняется тем, что качество каждого компонента А, В, С, ... может в свою очередь еще зависеть от качества характеризующих его компонентов или свойств, т.е.
А = А(х(1), х(2), х(3),..., х(т 1))
В = В (.у (1), .у (2), .у (3),..., .у ( т 2))
С = С ( 2 (1), 2 (2), 2 (3),..., 2 ( т 3))
х(/), / = 1, т 1 ; у ( у), у = 1, т 2 ; 2(к), к = 1, т 3
В результате, для оценки качества любого сложного объекта W, необходимо произвести абстрактное его разложение (декомпозицию) с какой - то точки зрения, например, с точки зрения надежности функционирования, достижения какой - то цели или, как показывает практика, с разных точек зрения в комплексе. Разумеется, каждый компонент в системной организации объекта поддерживает определенное свойство или множество свойств и с этой точки зрения мы должны оценить качество этой компоненты. Таким образом, исходя из свойств объекта W, производится его абстрактная декомпозиция, где в свою очередь у каждой компоненты определены свои свойства, и этот процесс разложения по компонентам и свойствам может продолжаться практически бесконечно. Разумеется, такой анализ и декомпозиции объекта, с какой - то точки, зрения по иерархической структуре (слоям) с высокой надежностью может произвести только эксперт или группа экспертов, которые опираются на свой опыт на фоне знаний [1].
На практике, исходя из необходимости надежности оценки, мы можем столкнуться как с «однослойной» (см (1)) так и «многослойной» (см. (2)) моделью оценки качества объекта экспертом.
Модель оценки качества объекта на основе экспертных оценок
Рассмотрим «однослойную» модель оценки качества объекта. Техника (формализованная процедура) оценки следующая:
1. Формируется модель (функционал для оценки качества объекта), например, W = F(A, B, с, D),
где А, В, С, D компоненты определяющие качество W.
2. Организуется команда экспертов, например, из 6 человек.
3. Каждому эксперту предлагается оценить (от 0 до 1) качество исполнения своей роли (качества требуемого свойства) компонентами А, В, С, D.
_4. Данные экспертизы формируются в специальные таблицы_
эксперт компонент^^^^^^ 1 2 3 4 5 6 Среднее значение
A 0,6 0,8 0,5 0,9 0,8 0,7 0,72
B 0,7 0,9 0,6 0,7 0,8 0,6 0,72
C 0,8 0,8 0,9 0,5 0,5 0,5 0,67
D 0,1 0,5 0,3 0,1 0,3 0,5 0,3
5. Для наглядности результатов экспертизы по средним значениям строится диаграмма Кивиата.
Рис. 1. Диаграмма состояния качества объекта
6. Оценивается качества объекта W в целом. Это можно определить разными способами, например, как среднее арифметическое W = (А + В + С + D)/4 или как среднее геометрическое, т.е. ш 2 = . На рассмотренном примере эти значения равны соответственно W = 0,60, W2 = 0,56. Следует особо подчеркнуть, что среднее геометрическое является наиболее валидной оценкой, который позволяет оценить качество объекта. Как показывает опыт, среднее геометрическое позволяет учесть влияние «отрицательной» синергии на общую оценку качества объекта.
7. Анализируется коэффициент согласованности мнений экспертов, т.е. вычисляется значения коэффициента конкордации [2].
8. Если значение коэффициента конкордации значимо достаточное, например, по критерию Романовского [3], то мнение экспертов о качестве объекта «легализуются».
Формирования модели для оценки качества объекта
Как показывает практика, основная проблема при формализации процесса оценки качества объекта возникает при декомпозиции объекта по целесообразным его основным компонентам и построения структуры причинно - следственных свойств этих компонент, т.е., в целом, построении абстрактной иерархической модели для оценки качества объекта. Рассмотрим эту проблему на конкретном примере в такой формулировке: построить иерархическую модель структуры организации учебного курса (УК) для оценки его качества с точки зрения достижения цели, где цель - на основе УК быстро овладеть компетенцией с высоким показателем качества.
На рис. 2 приводится модель декомпозиции УК по целесообразным компонентам с построением иерархической структуры причинно - следственных свойств объекта [4 -10].
Рис. 2. Иерархическая модель компонент и причинно - следственных свойств
объекта
Коротко обозначим эту декомпозицию. Любой УК это единство, состоящее из трех компонент: теория (Т), практика (П), диагностика (Д). Каждая из этих компонент снабжена контентом (содержанием), которая для эффективности (согласно цели) должна удовлетворять определенным требованиям или по-другому обладать свойствами. Требования к свойствам можно представить в виде в виде иерархически организованной причинно-следственной цепочки (гирлянды) свойств. Например,
содержание теории (Т) должно обладать свойствами полноты (Т1) и целостности (Т2) в рамках УК, т.е. компонент должен быть достаточным (с теоретической точки зрения) для освоения компетенции. В тоже время этот компонент обязательно должен обладать свойством доступности (Т3), т.е. легко должен быть понятен (воспринят) студентом [11].
Бесспорно, свойство Т3, т.е. доступность теоретического материала во многом зависит от структурированности компонента (свойство Т3.1) и учета при формировании контента основных функциональный закономерностей дидактики для быстрого развития студента (свойство Т3.2). Это означат, что контент должен (обладать свойством) обеспечить обучение: через «зону ближайшего развития (ЗБР)» (свойство Т3.2.1); обучение на «высоком уровне трудности (ВУТ)» (свойство Т.3.2.2); обучение с разнообразным представлением знаний (РПЗ) (свойство Т.3.2.3). Очевидно, что свойство РПЗ поддерживается свойствами Т1.2.3.1, Т1.2.3.2, Т1.2.3.3.
Аналогично, можно расписать гирлянду требуемых свойств, для контента практики (П) и контента диагностики (Д).
Рассмотрим иерархическую ветвь требований к свойствам содержания УК по практике (П):
- соответствие - содержание практики должно соответствовать содержанию теории;
- РПМ - разнообразие применяемых методов, построенных на различных идеях и методах;
- структурированность - содержание практического материала;
- доступность - обеспеченность задач, требующих решения, множеством решенных аналогичных задач (прототипов). Соблюдения основного принципа развития «от простого к сложному», т.е. обучение через «зону ближайшего развития (ЗБР)», на «высоком уровне трудности (ВУТ)» с использованием различных форм и видов визуализации.
Аналогично, распишем иерархическую ветвь требований к свойствам содержания УК по диагностике (Д) с целью установки качества усвоенных знаний, приобретенных умений и навыков в рамках УК студентом.
Тест знаний. Оценка качества содержания вопросов теста и теста в целом
зависит:
- Релевантности содержания вопросов теста относительно содержания УК.
- Репрезентативности (представительности), т.е. тест обладает свойством репрезентативности, если в нем представлены (через вопросы) все диагностируемые разделы.
- Валидности (корректности) вопросов теста.
- Несмещенности, т.е. в вопросах теста в равных количествах представлены вопросы на «полноту» усвоенных знаний и их «целостность» в рамках УК.
Сложности, т.е. требуется оценить справедливость (качество) формулы ^студента) = 3 ^(эксперта) - продолжительности времени предложенного на проведение теста.
Тест умений. Требуется оценить справедливость (качество) формулы расчета времени ^студента) = 5*^эксперта). предложенного для решения задач четырех уровней сложности.
Разумеется, с профессиональной точки зрения, можно спорить о формате и требуемых свойствах контента, но принцип построения такой иерархической структуры для оценки качества УК (относительно цели) остается бесспорным.
Пример проведения экспертизы УК
Экспертиза качества обладания свойствами какого-то УК начинается с самого нижнего иерархического уровня. Например, эксперт-преподаватель всего один (рис. 3)_
Эксперт - преподаватель
Т3.2.3.1 0,9 (с точки зрения качества содержания текста)
Т3.2.3.2 1 (с точки зрения качества содержания видео)
Т3.2.3.3 1 (с точки зрения качества использования звука)
Рис. 3. Значения оценок с точки зрения эксперта
Качество РПЗ в содержании считается как среднее арифметическое значений поддерживающих свойств, т.е. РПЗ (Т3.2.3)=(0,9+1+1)/3=0,96. Аналогично оценивается качество учета в содержании законов развития (Т3.2)=(0,96+1+0,5)/3=0,82 (см. рис. 2). Качество доступности содержания теории также рассчитывается с учетом качества поддерживающих свойств, т.е. доступность (Т3)=(0,82+1)/2=0,91. Исходя из структуры модели, вычисляется качество представления теории в целом, т.е. теория (Т)=(0,91+0,9+0,8)/3=0,87
Вывод: качество представления теоретического материала УК оценивается экспертом на 0,87 при максимально возможным равное 1.
Далее, по аналогичным вычислениям по модели (см. рис. 2) экспертом имеем: качество содержания практического материала оценивается П=0,73, а качество содержания диагностического материала Д=0,88.. В целом, результат :вычищений показывает ук = ф,87 ■ 0,73 ■ 0,88 = ф,вз = 0,8 53 , т.е. качество содержания представленного материала в УК = 0,853.
Допустим, построена интервальная шкала для перевода количественной в качественную шкалу. Например, эксперты предлагают следующую градацию (рис. 4).
Численный диапазон качества Качество
от 0 до 0,6 (включительно) низкое
от 0,6 до 0,75 (включительно) среднее
от 0,75 до 0,85 (включительно) хорошее
от 0,85 до 1 (включительно) высокое
Рис. 4. Диапазоны перевода количественных значений в качественные
В рассмотренном примере качество УК=0,853. Вывод: качество представленного содержания для быстрого освоения УК - высокое.
Разработка и реализация автоматизированной системы экспертизы качества объекта
Разработана и реализована автоматизированная система экспертизы в виде web - приложения. Данная система позволяет:
- Определять типы объектов и их критерии оценки
- Приглашать экспертов по каждому из созданных типов
- Проводить экспертизу объекта с произвольным количеством экспертов
- Отображать подробные результаты экспертизы
ПЕРВЫЙ пример
Для демонстрации возможностей системы, рассмотрим создание и экспертизу объектов являющихся тестами в учебных курсах.
Качество теста в учебном курсе U в учебном курсе можно записать как: U = U(VAL, REL, REP, KSM), где VAL - Валидность, REL - Релевантность, REP - Репрезентативность, KSM -Несмещенность. Функция U - среднее геометрическое. - общий показатель качества содержания теста._
Рис. 5. Скриншот - главная страница теста
Создадим тип объектов "Тест". Для этого переходим к форме создания типа объектов. Необходимо ввести название типа, описание, а также добавить критерии оценки объектов данного типа.
Рис. 6. Скриншот - создание объекта
Рис. 7. Скриншот - управление типами
Для созданного типа требуется определить экспертов. Эксперты могут зарегистрироваться по коду из приглашения. Для отправки приглашения необходимо указать e-mail. Далее из списка, необходимо определить какие из экспертов, могут оценивать тесты.
Рис. 8. Скриншот - перечень экспертов
Выбор экспертов
Имя Фамилия Email
Admin admin
Эксперт 7 expert7@mail.ru
Эксперт 8 expert8@mail.ru
Эксперт 9 cxpert9@mail.ru
Эксперт 10 cxpertlO@mail.ru
Эксперт 11 cxpertll@mail.ru
Эксперт 12 cxpertl2@mail.ru
Закрыть
Рис. 9. Скриншот - выбор экспертов
Следующим этапом будет создание объекта являющегося тестом. Каждый объект имеет название и описание. Опишем объект как ссылку на соответствующий курс, содержащий этот тест.
Рис. 10. Скриншот - описание объектов
Для каждого объекта имеется возможность создавать экспертизы этого объекта. При создании экспертизы необходимо выбрать экспертов из списка для данного типа.
Экспертиза 1
X го I (В ©
В i 5 Г„ I л
45с. еэ Р и I § й 5! 0 Источн|
»? Стили - Обычное
Список экспертов
Имя Фамилия
Эксперт 1 и
Эксперт 3 й
Эксперт 2 1
Эксперт 4 0
Эксперт 5 В
Эксперт б в
Рис. 11. Скриншот - выбор экспертов Управление экспертизами
Рис. 12. Скриншот - управление экспертами
Форма оценивания выглядит следующим образом. Эксперту необходимо оценить каждый критерий от 0 до 1. Также он может оставить свое мнение в поле комментарий.
Отправить
Рис. 13. Скриншот - процесс экспертизы
Страница с результатом экспертизы содержат таблицу со всеми оценками экспертов и статистическими показателями. Имеется возможность просмотра комментариев, и исключения оценок любого эксперта из данных для расчета результатов. Для оценок рассчитывается коэффициент конкордации. Также на странице показывается визуализация результатов в виде диаграммы Кивиата.
Рис. 14. Скриншот - результаты экспертизы
В результате экспертизы получено среднее значение качества теста 0,7. Коэффициент конкордации равен 0,67, т.е. мнение экспертов можно считать согласованным.
ВТОРОЙ ПРИМЕР
В качестве другого примера проведем в данной системе экспертизу веб-браузера.
Качество браузера V будет зависеть от следующих критериев:
- INT - Показатель удобства интерфейса, характеризует проработанность интерфейса. Показатель равный единице, означает, что интерфейс имеет приятный внешний вид и позволяет быстро получить доступ ко всем инструментам.
- EXT - Показатель характеризует насколько возможно расширить функционал актуальной версии браузера, с помощью существующих расширений.
- CMP - Показатель характеризует поддержку браузером современных web технологий.
- SEC - Показатель характеризует защищенность данных пользователя, блокировку опасного содержимого, подверженность браузера к существующим уязвимостям.
Тогда качество браузера V можно представить, как V = V(INT, EXT, CMP, SEC). Функция V так же будет являться средним геометрическим.
Рис. 15. Скриншот - главная страница теста
Создадим объект являющийся браузером. Объектом для экспертизы будет являться браузер Mozilla Firefox. Опишем его ссылкой на страницу загрузки с официального сайта.
Mozilla Firefox
; i ti ffi Ii ; 9- F BÜ Щй вистомник
В I S I„ I г= ;= ; -í|E »» Стили - Формат... • О
https ://www. mozilla. orq/ru/firefox/
Добавить
Рис. 16. Скриншот -создание объекта
Рис. 17. Скриншот - результаты экспертизы
В результате данной экспертизы получено, что качество данного браузера 0,8. Коэффициент конкордации равен 0,73 следовательно, мнение экспертов можно считать согласованным.
Для каждого эксперта имеет возможность статистику отклонений оценок эксперта. Отображается количество завышенных и заниженных оценок, стандартные отклонения, и графики распределения отклонений оценок от средних по экспертизам.
Рис. 18. Скриншот - данные эксперта
Заключение
По приведенной методике было оценено значение качество учебных
курсов:
1. Экономико-математические модели в управлении (подготовка 1Т -инженеров в метрическом компетентностном формате) [12]. W = 0, 756.
2. Исследование операций: математическое программирование: учеб. пособие [13]. W = 0, 887.
Список литературы
1. Нуриев Н.К. Надежность результата теста для оценка качества владения компетенцией /Н. К. Нуриев, С.Д. Старыгина // Современные проблемы безопасности жизнедеятельности: интеллектуальные транспортные системы и ситуационные центры: мат. V Международной научно-практической конференции. - Казань: Центр инновационных технологий, 2018. - С.261-271.
2. Старыгина С.Д. Построение математической модели процесса регламентации педагогического тестирования / С.Д.Старыгина, Н.К.Нуриев, Е.А.Печеный // Информационные технологии и математическое моделирование (ИТММ-2017):
мат. XVI междунар. конфр. им. А.Ф.Терпухова. - Томск: Изд-во НТЛ, 2017. - С. 223-229.
3. Старыгина С.Д. Построение математической модели измерительного средства педагогического тестирования / С.Д.Старыгина, Е.А.Печеный, Н.К.Нуриев // Информационные технологии и математическое моделирование (ИТММ-2017): мат. XVI междунар. конфр. им. А.Ф.Терпухова. - Томск: Изд-во НТЛ, 2017. - С. 229-234.
4. Крылов Д.А. Дидактическая инженерия как методология техногенной образовательной среды / Д.А.Крылов, Н.К.Нуриев, С.Д.Старыгина // Евразийский союз ученых (ЕСУ). - 2015. - № 7(16). - Часть 4. - С.62-64.
5. Нуриев Н.К. Алгоритм оценки качества владения компетенцией на основе показателя глубины усвоенных знаний / Н.К.Нуриев, С.Д.Старыгина, Д.А. Ахметшин // Альма-Матер. - 2015. - № 11. - С. 64-67.
6. Нуриев Н.К. Дидактическая инженерия: проектирование систем обучения нового поколения / Н.К. Нуриев, С.Д Старыгина., Э.А. Гибадуллина // Интеграция образования. - 2016. - Т. 20. - № 3 (84). - С. 393-406.
7. Нуриев Н.К. Дидактическая инженерия: технология подготовки IT-инженеров в техногенной среде / Н.К. Нуриев, С.Д. Старыгина // Альма-Матер (Вестник высшей школы) - 2016. - № 11. - С. 64-67.
8. Нуриев Н.К. Проектирование smart -системы для поддержки обучения «двойной диплом» / Н.К.Нуриев, С.Д.Старыгина // Вестник Казанского государственного технологического университета. - 2012. - № 19. - С.253-257.
9. Старыгина С.Д. Дидактическая инженерия как методология организации подготовки в реально-виртуальной среде / С.Д. Старыгина, Н.К. Нуриев // Образовательные технологии. - 2016. - № 2. -С. 27-34.
10. Старыгина С.Д. Дидактическая инженерия: проектирование систем нового поколения / С.Д.Старыгина, Н.К. Нуриев // Образовательные технологии. - 2016. - № 3. - С. 23-34.
11. Гарифьянов Н.Ф. Дидактическая инженерия: практика реализации / Н.Ф.Гарифьянов, Н.К.Нуриев // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)" (http://ifets.ieee.org/russian/periodical/joumal.html). - 2016. - V.19. - N 4. - С. 385396. ISSN 1436-4522.
12. Печеный Е.А. Экономико-математические модели в управлении (подготовка IT -инженеров в метрическом компетентностном формате): учеб. пособие / Е.А.Печеный, Н.К.Нуриев, С.Д.Старыгина. - Казань: Центр инновационных технологий, 2016. - 224 с
13. Старыгина С.Д. Исследование операций: математическое программирование: учеб. пособие / Е.А.Печеный, Н.К.Нуриев. - Казань: Отечество, 2016. - 296 с.
14. Старыгина С.Д. Дидактическая инженерия: проектирование ЭОР для подготовки инженеров в метрическом компетентностном формате / С.Д.Старыгина, Н.К.Нуриев // Международный электронный журнал "Образовательные технологии и общество (Education Technology & Society)" (http://ifets.ieee.org/russian/periodical/joumal.html). - 2016. - V.19. - N 1. - С. 567577.
