CC BY
13
УДК 519.8 :378.16
А.В. Городович, В.В. Кручинин, М.Ю. Перминова
Система оценивания электронных учебно-методических комплексов дисциплин
Рассматриваются вопросы построения системы оценивания электронных учебно-методических комплексов дисциплин (ЭУМКД) факультета дистанционного обучения (ФДО) Томского государственного университета систем управления и радиоэлектроники (ТУСУР) с помощью инструментальной системы построения процедуры оценивания, разработанной в ТУСУРе. Описаны основные мероприятия: выбор критериев из базы знаний, запись новых критериев в базу знаний в форме анкет, установка коэффициентов важности, выявление согласованности экспертов, построение обобщённых критериев, получение рейтинга множества ЭУМКД. Приведены результаты построения рейтинга ЭУМКД 10 технических, 10 гуманитарных и 10 физико-математических дисциплин ФДО ТУСУР.
Ключевые слова: система оценивания, электронный образовательный ресурс, электронный учебно-методический комплекс дисциплины, критерий, база знаний, рейтинг. DOI: 10.21293/1818-0442-2021-24-4-65-72
В настоящее время системы дистанционного обучения (СДО) вуза являются одним из важнейших элементов системы обучения студентов, в которой содержится большое число разнообразных электронных учебных ресурсов. Так, например, в Томском университете систем управления и радиоэлектроники (ТУСУР) на факультете дистанционного обучения (ФДО) в настоящее время имеется свыше 2 400 учебно-методических материалов, пособий, онлайн-курсов и тестов, представленных в электронной форме [1]. Оценивание качества учебно-методических комплексов дисциплин (УМКД), в том числе и электронных (ЭУМКД), осуществляют учебно-методические подразделения вуза, которые формируют оценки на основе рецензий экспертов и требований нормативно-правовых актов и инструкций. Необходимо отметить, что все ЭУМКД ФДО ТУСУРа соответствуют нормативным документам и прошли экспертизу, одним из критериев которой является соответствие принципам и нормам дидактики. С другой стороны, наличие большого числа электронных образовательных ресурсов ставит задачу улучшения их качества. В этом случае рецензии позволяют определить направление улучшения лишь частично. Поэтому для оценки качества ЭУМКД с целью их модернизации предложено построение информационной системы оценки качества, в основе которой лежат: прикладная лингвистика [2], психодидактика [3], теория принятия решений [4] и методы квалиметрии [5]. Для построения такой системы необходимо получить и исследовать систему критериев оценки качества ЭУМКД, которая строится на основе анализа множества электронных методических материалов и 20-летнего опыта их модернизации на ФДО ТУСУРа. Были выявлены следующие базовые элементы оценивания:
1. Учебный текст.
2. Креолизованный учебный текст.
3. Иллюстрация.
4. Аудиофайл.
5. Видеофайл.
6. Тестовые вопросы и задания.
7. Организация навигации, поиска и справочной информации.
Учебный текст является основой представления учебной информации, поэтому его качество является важной характеристикой. Имеется огромное число параметров текста, используемых при его оценке [6]. В ходе исследования ЭУМКД ФДО ТУСУРа были выделены следующие показатели качества текста: информационная насыщенность; абстрактность; удобочитаемость; водность; плотность ключевых слов [7], которые, с одной стороны, характеризуют сложность понимания текста, с другой - наличие новой информации.
В ходе исследований было выявлено 52 разнообразных критерия. Наличие большого числа критериев натолкнуло на идею создания инструментальной системы (ИС), которая по запросам методистов или по требованию текущей ситуации анализа ЭУМКД позволяла бы строить систему оценки качества учебного контента.
Для решения этой задачи были построены онтологическая модель процесса оценивания ЭУМКД и пополняемая база знаний критериев [8-10]. Данная ИС позволяет выполнить следующее: построить процедуру оценивания, выполнить оценивание элемента ЭУМКД, произвести обработку результатов оценивания, построить итоговый рейтинг множества ЭУМКД.
Для построения системы оценивания была разработана соответствующая методика оценивания [11], которая с помощью инструментальной системы обеспечивает:
1) выбор множества критериев оценивания,
2) установку коэффициентов предпочтения для построения итоговой оценки.
Критерии в инструментальной системе делятся на автоматические, значения которых определяются на основе алгоритма, и критерии, значения которых определяются на основе экспертного опроса. Причем при построении процедуры оценивания автоматические критерии выбираются из базы знаний, а критерии экспертного опроса могут как выбираться,
так и создаваться новые. Автоматические критерии делятся на следующие группы [11]: текстовые критерии, критерии оценки креолизации текста, критерии оценки иллюстраций, критерии организации справочной информации и поиска.
Для построения системы оценивания можно выделить следующую последовательность мероприятий:
1. Выявление множества автоматических критериев оценивания ЭУМКД. На данном этапе методист просматривает базу знаний критериев и выбирает наиболее значимые критерии для оценки определенного набора ЭУМКД. Например, если множество ЭУМКД не будет иметь объектов креолизации в тексте, то критерии оценки креолизации текста не надо включать в систему оценки [12]. Для определения способности оценивания автоматических критериев для данного класса ЭУМКД необходимо выбрать некоторое множество ЭУМКД, построить процедуру оценивания, содержащую только автоматические критерии, запустить систему анализа и получить оценки для выделенного множества ЭУМКД, провести анализ, например, получить среднее и среднеквадратическое отклонение.
2. Выявление множества критериев, значения которых определяются на основе опросных анкет. В процессе оценивания производится формирование анкет и рассылка этих анкет и элементов оценивания ЭУМКД экспертам. Каждый вопрос в анкете имеет шкалу оценивания. В процессе построения процедуры оценивания методист может создавать свои собственные анкеты. Методика построения анкет основана на использовании Google Forms. Она включает:
1) запись названия анкеты и оцениваемого элемента ЭУМКД,
2) получение совокупности вопросов,
3) получение шкал для каждого вопроса,
4) формирование комментариев и подсказок,
5) использование конструктора анкет.
На данный момент в базе знаний имеется 30 анкет, например, анкета на соответствие ЭУМКД нормативно-правовому обеспечению или анкета для оценки учебного видео. Для создания и проведения экспертных опросов также используется сервис Google Forms [13-15].
3. После получения множества критериев оценивания производится формирование коэффициентов важности. Каждый индивидуальный критерий (автоматический и экспертный) в системе имеет коэффициент важности. Имеется огромное число методов определения коэффициентов важности [16, 17]. В настоящее время в инструментальной системе реализован метод приписывания баллов [18]. При получении коэффициентов важности определяется согласованность мнений экспертов на основе коэффициента конкордации Кендалла [19]. При слабой согласованности (коэффициент менее 0,4) необходимо проводить мероприятия по повышению согласованности экспертов, применяя методы и алгоритмы повышения согласованности данных [20, 21].
4. Производится формирование обобщённых критериев путем объединения нескольких локаль-
ных критериев в виде процедуры оценивания. Например, все локальные текстовые критерии объединяются в один обобщённый текстовый критерий:
C = S ajYj, (1)
jeord(V )
где aj - коэффициент значимости для j-го критерия; Yj - нормализованное значение критерия.
5. Формируются коэффициенты важности для обобщённых критериев (аналогично методам приписывания баллов), вычисляются коэффициенты согласованности экспертов и при необходимости проводятся мероприятия для повышения согласованности мнений экспертов.
6. Формируется единая процедура оценивания ЭУМКД:
^ЭУМКД = S wiCi, (2)
ieord(Vo )
где Wi - коэффициент значимости для г-го обобщенного критерия; Ci - нормализованное значение обобщённого критерия.
На каждом этапе инструментальная система формирует таблицы в формате Microsoft Excel, что позволяет воспользоваться программным обеспечением других систем обработки экспертной информации.
Рассмотрим построение системы оценивания электронных учебно-методических комплексов дисциплин факультета дистанционного обучения (ФДО) ТУСУРа. C 2018 г. ключевым компонентом ЭУМкД ФДО является электронный курс, в рамках которого публикуются все учебно-методические материалы. В данной статье понятия электронного курса и ЭУМКД употребляются в качестве синонимов.
Условно электронный курс можно разделить на несколько блоков: информационно-организационный, учебный, текущий контроль, промежуточная аттестация. В информационно-организационном блоке представлена информация, которая помогает организовать самостоятельное освоение дисциплины и дает общее представление о ней, например, аннотация курса, рабочая программа, информация об авторе курса и т.п. В учебном блоке находится теоретический материал по дисциплине, который может быть представлен в виде текстово-графи-ческих материалов, слайд-лекций (иногда комбинированных с аудио или видео), видео- и аудиолекций, вебинаров, интерактивных тренажеров и т.п. В блоке текущего контроля размещаются тесты и задания для самоконтроля, тесты и задания на контрольные и лабораторные работы, курсовые работы и проекты, требования к их оформлению, критерии оценивания работ и т.п. В блоке промежуточной аттестации находятся тесты и задания для зачета с оценкой или экзамена.
Все ЭУМКД ФДО можно разделить по условным категориям:
• гуманитарные - 43%,
• инженерные - 26%,
• физико-математические - 15%.
Оставшиеся 16% - это прочие ЭУМКД, которые нельзя отнести к данным категориям (например, ЭУМКД по физической культуре, практикам, государственной итоговой аттестации и т.п.).
На первом шаге из базы знаний критериев было выбрано 9 автоматических критериев:
• информационная насыщенность,
• абстрактность,
• удобочитаемость,
• водность,
• плотность ключевых слов,
• степень креолизации учебного текста,
• объем иллюстраций,
• равномерность распределения иллюстраций,
• справка и навигация.
Данные критерии позволяют получить высокую точность оценки и основаны на основных проблемах, которые возникают у студентов при изучении электронных курсов дисциплин [7, 22].
На втором шаге выделены критерии, значения которых определяются на основе экспертного опроса. Эксперту выдаются один или несколько элементов ЭУМКД, которые необходимо оценить, из списка:
• учебное пособие/курс лекций (может быть из электронно-библиотечных систем),
• учебно-методическое пособие,
• методические указания (по курсовому проекту/работе, контрольной/лабораторной работе, самостоятельной работе),
• банк тестовых заданий (для контрольной работы, экзамена).
Формируется анкета для опроса эксперта. Критерии оценки ЭУМКД:
1. Тестовые задания (ТЗ).
Вопросы анкеты:
• Оцените, проверяют ли ТЗ степень сформи-рованности и уровень освоения закрепленных за дисциплиной компетенций (шкала, поле ввода).
• Оцените степень соответствия ТЗ теоретическому материалу (шкала, поле ввода).
• Имеются требования к формированию билета (сколько ТЗ выдавать обучающемуся по каждой главе или теме) (шкала, поле ввода).
• Оцените распределение ТЗ по главам (модулям) (шкала, поле ввода).
• Оцените количество ТЗ генераторного типа (шкала, поле ввода).
2. Учебное видео.
Вопросы анкеты:
• Оцените степень соответствия учебного видео теме модуля (шкала, поле ввода).
• Оцените качество учебного видео (шкала, поле ввода).
Подобным образом формируется анкета для оценки учебного аудио.
3. Учебное пособие/курс лекций:
• Оцените степень соответствия объема пособия общей трудоемкости дисциплины (шкала, поле ввода).
• Оцените степень соответствия содержания пособия целям и задачам дисциплины (шкала, поле ввода).
• Оцените степень соответствия содержания пособия результатам освоения дисциплины (компетенции, знания, умения и навыки) (шкала, поле ввода).
• Оцените степень соответствия названий глав пособия названиям разделов дисциплины (шкала, поле ввода).
• Оцените степень соответствия объема глав пособия часам, отведенным на их изучение (шкала, поле ввода).
4. Учебно-методическое пособие:
• Оцените степень соответствия содержания пособия целям и задачам дисциплины (шкала, поле ввода).
• Оцените степень соответствия заданий теоретическому материалу курса (шкала, поле ввода).
• Оцените систему оценивания (критерии оценивания) заданий (шкала, поле ввода).
• Оцените список источников литературы (с теоретическим и/или практическим материалом), необходимых для выполнения заданий (шкала, поле ввода).
• Оцените требования к структуре и оформлению отчетов, которые пишут обучающиеся по итогу выполнения текстовой работы (шкала, поле ввода).
• Оцените количество исходных вариантов тем/заданий (шкала, поле ввода).
5. Учебная презентация:
• Оцените содержательную часть презентаций на соответствие теме модуля (шкала, поле ввода).
• Оцените качество графической части презентаций (иллюстрации, таблицы, схемы и т.п.) (шкала, поле ввода).
• Оцените баланс текстовой и графической (иллюстрации, таблицы, схемы и т.п.) частей презентаций (шкала, поле ввода).
Указанные критерии получены на основе анализа базы ЭУМКД ФДО и локальных нормативных актов ТУСУР и других образовательных организаций высшего образования с учетом основных проблем, которые возникают у студентов при изучении электронных курсов дисциплин [23-25].
Анкеты для опроса эксперта вводятся как критерии оценки в базу знаний инструментальной системы и рассматриваются системой как критерий. Например, анкета для оценки учебного пособия на соответствие РПД состоит из следующих вопросов:
1. Оцените степень соответствия объема пособия общей трудоемкости дисциплины по шкале от 0 до 2, где: 0 - не соответствует; 1 - частично соответствует; 2 - соответствует.
2. Оцените степень соответствия содержания пособия целям и задачам дисциплины по шкале от 0 до 2, где: 0 - не соответствует; 1 - частично соответствует; 2 - соответствует.
3. Оцените степень соответствия содержания пособия результатам освоения дисциплины (компетенции, знания, умения и навыки) по шкале от 0 до 2, где: 0 - не соответствует; 1 - частично соответствует; 2 - соответствует.
4. Оцените степень соответствия названий глав пособия названиям разделов дисциплины по шкале
от 0 до 2, где: 0 - не соответствует; 1 - частично соответствует; 2 - соответствует.
5. Оцените степень соответствия объема глав пособия часам, отведенным на их изучение по шкале от 0 до 2, где: 0 - не соответствует; 1 - частично соответствует; 2 - соответствует.
6. Поле для ввода особого мнения.
Выявленное и построенное множество критериев в системе записывается как процедура оценивания, причем эта процедура оценивания может содержать другие процедуры оценивания. Для нашего случая формируется пять обобщенных критериев:
1. Текстовые критерии объединены в процедуру оценивания текста.
2. Критерии оценки иллюстраций объединены в процедуру оценки иллюстраций.
3. Критерии оценки креолизации объединены в процедуру оценки креолизации.
4. Критерии оценки справки и навигации объединены в процедуру оценки справки и навигации.
5. Анкетные критерии объединены в процедуру оценки на основе экспертного опроса.
В процессе формирования множества критериев можно проводить предварительный анализ групп ЭУМКД, воспользовавшись модулем анализа инструментальной системы. Например, для предварительной оценки качества текста по текстовым параметрам для группы ЭУМКД можно запустить процедуру оценивания текста (табл. 1). У каждого критерия в скобках указан рекомендуемый диапазон значений.
Таблица 1
Предварительное оценивание качества ЭУМКД ФДО по текстовым критериям
Отметка времени Система дистанционного обучения Идентификатор курса Абстрактность (5-20) Информационная насыщенность (30-100) Плотность ключевых слов (5-7) Удобочитаемость (0-20) Водность (0-30)
20.08.2021 9:23:40 new-online 4 24,97 13,51 31,53 6,84 3,58
20.08.2021 9:27:33 new-online 238 24,92 16,24 36,5 8,74 2,66
20.08.2021 9:29:27 new-online 422 28,22 1,91 71,54 10,59 1,69
20.08.2021 9:33:26 new-online 164 23,14 1,58 35,43 8,62 2,44
20.08.2021 9:37:19 new-online 89 27,41 16,38 40,63 9,52 2,35
20.08.2021 9:38:05 new-online 284 25,32 4,48 30,63 7,4 2,86
20.08.2021 9:39:00 new-online 234 25,75 6,6 25,98 7,73 3,54
20.08.2021 9:39:49 new-online 155 26,39 2,99 37,13 7,63 2,75
20.08.2021 9:41:31 new-online 154 27,67 7,39 31,19 7,33 2,21
20.08.2021 9:43:46 new-online 254 25,31 21,42 34,48 7,65 2,99
20.08.2021 9:44:52 new-online 153 22,22 16,25 26,72 4,95 4,72
20.08.2021 9:47:05 new-online 106 25,18 14,69 44,01 8,58 1,66
20.08.2021 9:49:47 new-online 97 20,48 90,13 36,06 5,8 4,28
Следующим этапом формируется множество коэффициентов важности для локальных и обобщенных критериев. Это происходит методом приписывания баллов: 4 экспертам был предоставлен набор критериев, важность которых они оценили по шкале от 0 до 10. При этом разрешалось оценивать важность дробными величинами или приписывать одну и ту же величину из выбранной шкалы нескольким критериям.
Все оценки экспертов были объединены в таблицу в формате Microsoft Excel. В табл. 2 приведены оценки экспертов по текстовым критериям.
Далее, воспользовавшись модулем обработки данных инструментальной системы, были получены весовые коэффициенты и коэффициент конкордации.
Для текстовых критериев:
• Абстрактность - 0,273.
• Информационная насыщенность - 0,219.
• Плотность ключевых слов - 0,13.
• Удобочитаемость - 0,274.
• Водность - 0,104.
• Коэффициент конкордации - 0,9125.
Таблица 2 Таблица для определения коэффициентов
Абстракт-ность Инф. насыщенность Плотность ключевых слов Удобо-читаемость Водность
Эксперт 1 8 6 4 9 2
Эксперт 2 9 7 5 8 4
Эксперт 3 10 8 4 9 3
Эксперт 4 9 8 4 10 5
Для критериев оценки иллюстраций:
• Число иллюстраций - 0,402.
• Среднее число иллюстраций на странице -0,598.
• Коэффициент конкордации - 1. Для критериев оценки креолизации:
• Выделение фоновым цветом - 0,109.
• Выделение жирным шрифтом - 0,166.
• Выделение рамкой - 0,05.
• Выделение курсивом - 0,161.
• Выделение ссылкой - 0,168.
• Выделение пиктограммой - 0,251.
• Выделение подчёркиванием - 0,095.
• Коэффициент конкордации - 0,9245. Для критериев справки и навигации:
• Список литературы - 0,418.
• Список формул - 0,145.
• Глоссарий - 0,202.
• Среда ссылок - 0,123.
• Список таблиц - 0,113.
• Коэффициент конкордации - 0,926.
Для обобщенных критериев были выявлены следующие коэффициенты важности:
• Текст - 0,323.
• Рисунки - 0,26.
• Креолизация - 0,244.
• Справка - 0,173.
• Коэффициент конкордации - 0,97368. Для экспертных критериев:
• Критерий 1 - 0,091.
• Критерий 2 - 0,091.
• Критерий 3 - 0,084.
• Критерий 4 - 0,023.
• Критерий 5 - 0,059.
• Критерий 6 - 0,058.
• Критерий 7 - 0,049.
• Критерий 8 - 0,061.
• Критерий 9 - 0,056.
• Критерий 10 - 0,058.
• Критерий 11 - 0,035.
• Критерий 12 - 0,026.
• Критерий 13 - 0,019.
• Критерий 14 - 0,03.
• Критерий 15 - 0,023.
• Критерий 16 - 0,082.
• Критерий 17 - 0,045.
• Критерий 18 - 0,038.
• Критерий 19 - 0,048.
• Критерий 20 - 0,017.
• Критерий 21 - 0,026.
• Критерий 22 - 0,028.
• Коэффициент конкордации - 0,6497.
Для автоматических и экспертных критериев:
• Автоматические критерии - 0,468.
• Экспертные критерии - 0,532.
• Коэффициент конкордации - 0,5. Коэффициент конкордации во всех случаях
имеет значение больше или равное 0,5, что говорит о наличии высокой степени согласованности мнений экспертов.
Оценка по каждому обобщенному критерию рассчитывается по формуле (1). Основными требованиями к такой обобщающей функции являются:
1) изменяемость всех значений критериев в единой шкале [0,1];
2) монотонный рост при увеличении значения частного критерия при фиксированных остальных частных критериях;
3) независимость частных критериев [4].
Эти требования были учтены в системе оценивания. Критерии независимы, что следует из формул, по которым рассчитываются их значения [7].
Оценка по обобщенным автоматическим критериям имеет вид выражения
(
Крав =
Ктекст х Крав1 +
+Киллюстр х Крав2 + К]
креолиз
<Крав3 +
+К
- зна-
(
Крэ
Л
■^справ и навиг
х Крав4
где ^тексг, Киллюстр, Ккреолиз, Ксправ и навиг чения коэффициента важности соответствующего обобщённого критерия (текста, иллюстраций, крео-лизации, справки и навигации), Кравг- - значение соответствующего обобщённого критерия.
Оценка по обобщенному критерию, значение которого определяется на основе опросных анкет, имеет вид
К1 х Крэксп1 + +К2 х Крэксп2 + К3 х Крэксп3 +...
ч +К22 х Крэксп22
где Кг- - значение коэффициента важности соответствующего критерия опросной анкеты экспертов, Крэксш- - значение соответствующего критерия опросной анкеты экспертов.
Итоговая оценка ЭУМКД рассчитывается по формуле (2).
В табл. 3 приведен итоговый рейтинг группы из 30 ЭУМКД ФДО, причем 10 из них относятся к техническим дисциплинам (Т), 10 - к гуманитарным 10 - к физико-математическим (Б).
Таблица 3
Код УМКД Крсум Категория ЭУМКД
1 2 3
287 0,45223 T
153 0,41125 F
266 0,37745 T
95 0,37704 F
97 0,37673 F
422 0,35449 G
238 0,35094 T
284 0,34591 G
4 0,33549 T
282 0,33257 G
289 0,31916 F
164 0,31847 T
271 0,31309 F
234 0,30312 T
52 0,30068 F
Продолжение табл. 3
1 2 3
2Q5 Q,28756 F
89 Q,27117 T
197 Q,262Q2 T
189 Q,26169 T
254 Q,26154 G
1Q6 Q,259Q3 F
154 Q,2562 G
74 Q,24985 F
14Q Q,23329 G
155 Q,22725 G
75 Q,21929 G
62 Q,21391 T
34 Q,2QQ79 F
46 Q,19412 G
4Q Q,18924 G
Выводы
1. Представленная система оценивания качества ЭУМКД ориентирована на решение проблемы модернизации электронного учебного контента и не исключает традиционные методы оценивания методического обеспечения.
2. Наличие пополняемой базы знаний критериев оценивания обеспечивает возможность внесения изменений в имеющуюся систему оценки качества или создание новой системы оценивания для использования в иных целях.
3. Анализ таблицы итогового рейтинга показывает, что:
• суммарное значение обобщенных критериев Крсум для представленного множества ЭУМКД составляет 8,8556, или 29,5% от максимального значения (30), это свидетельствует о потенциальной возможности улучшения их качества;
• отсутствует группирование по типу ЭУМКД, что дает возможность сравнивать между собой гуманитарные, технические и физико-математические учебные материалы.
В настоящее время система оценивания проходит опытную эксплуатацию на ФДО. Экспериментальные данные, полученные с помощью этой системы, согласуются с мнением экспертного сообщества.
Литература
1. Городович А.В. Текущее состояние и проблемы модернизации контента в системе электронного обучения ТУСУР / А.В. Городович, В.В. Кручинин, М.Ю. Перми-нова // Современное образование: качество образования и актуальные проблемы современной высшей школы: матер. междунар. науч.-метод. конф. - Томск: ТУСУР, 2019. -С. 109-111.
2. Майер Р.В. Дидактическая сложность учебных текстов и ее оценка. - Глазов: ГГПИ, 2020. - 148 с.
3. Савенков А.И. Психодидактика. - М.: Национальный книжный центр, 2012. - 360 с.
4. Микони С.В. Теория принятия управленческих решений. - СПб.: Лань, 2015. - 448 с.
5. Субетто А.И. Квалиметрия: малая энциклопедия. -СПб.: ИПЦ СЗИУ - фил. РАНХиГС, 2015. - Вып. 1. - 244 с.
6. Кротова И.В. Оптимизация совместимости учебной наглядности (на примере учебников средней школы): автореф. дис. ... д-ра пед. наук. - Чита, 2009. - 39 с.
7. Морозова Ю.В. Методика анализа электронного учебного контента / Ю.В. Морозова, И.А. Уртамова // Открытое и дистанционное образование. - 2017. - № 4 (68). -C. 38-44.
8. Городович А.В. Инструментальная система анализа и оценивания учебного контента / А.В. Городович, И.А. Кречетов, В.В. Кручинин, М.Ю. Перминова // Доклады: ТУСУР. - 2020. - Т. 23, № 2. - С. 81-87.
9. Городович А.В. Задача и алгоритмы формирования плана мероприятий модернизации учебного контента /
A.В. Городович, В.В. Кручинин, С.П. Сущенко // Доклады ТУСУР. - 2019. - Т. 22, № 4. - С. 69-74.
10. Свидетельство о регистрации программы для ЭВМ №2020618144. Система анализа и оценивания учебного контента / А.В. Городович, И.А. Кречетов, В.В. Кручинин, М.Ю. Перминова. - Заявка № 2020616899. Дата поступления 07 июля 2020 г. Зарегистрировано в Реестре программ для ЭВМ 20 июля 2020 г.
11. Городович А.В. Методика построения системы оценивания электронных учебно-методических комплексов дисциплин / А.В. Городович, В.В. Кручинин, М.Ю. Пер-минова // Современное образование: повышение конкурентоспособности университетов: матер. междунар. науч.-метод. конф. - Томск: Изд-во ТУСУР, 2021. - Ч. 1. -C. 216-222.
12. Городович А.В. Метод определения степени кре-олизации учебного текста в электронных системах обучения / А.В. Городович, В.В. Кручинин, М.Ю. Перминова // Современные тенденции развития непрерывного образования: вызовы цифровой экономики: матер. междунар. науч.-метод. конф. - Томск: ТУСУР, 2020. - С. 74-75.
13. Raju N.V. Online survey tools: A case study of Google Forms / N.V. Raju, N.S. Harinara-yana [Электронный ресурс]. - Режим доступа: https://www.researchgate.net/ publication/326831738_Online_survey_tools_A_case_study_ of_Google_Forms, свободный (дата обращения: 30.11.2021).
14. Kishore K. How to create an online survey by using Google Forms / K. Kishore, L. Naik [Электронный реcурс]. -Режим доступа: https://www.researchgate.net/publication/ 333369585_HOW_TO_CREATE_AN_ONLINE_SURVEY_ BY_USING_GOOGLE_FORMS, свободный (дата обращения: 30.11.2021).
15. Using Google Forms for Medical Survey: A Technical Note / H. Mondal, S. Mondal, T. Ghosal, S. Mondal // International Journal of Clinical and Experimental Physiology, 5(4), 216-218 [Электронный реcурс]. - Режим доступа: https://doi.org/10.5530/ijcep.2018.5.4.26, свободный (дата обращения: 27.11.2021).
16. Спиридонов С.Б. Анализ подходов к выбору весовых коэффициентов критериев методом парного сравнения критериев / С.Б. Спиридонов, И.Г. Булатова,
B.М. Постников // Интернет-журнал «Науковедение». -2017. - Т. 9, № 6 [Электронный ресурс]. - Режим доступа: https://naukovedenie.ru/PDF/16TVN617.pdf, свободный (дата обращения: 28.11.2021).
17. Постников В.М. Методы выбора весовых коэффициентов локальных критериев / В.М. Постников,
C.Б. Спиридонов // Наука и образование МГТУ им. Н.Э. Баумана. - 2015. - № 6. - С. 267-287 [Электронный ресурс]. - Режим доступа: https://cyberleninka.rU/article/n/ metody-vybora-vesovyh-koeffitsientov-lokalnyh-kriteriev (дата обращения: 16.11.2021).
18. Корячко В.П. Теоретические основы САПР: учеб. для вузов / В.П. Корячко, В.М. Курейчик, И.П. Норенков. -М.: Энергоатомиздат, 1987. - 400 с.
19. Фёрстер Э. Методы корреляционного и регрессионного анализа. Руководство для экономистов /
Э. Фёрстер, Б. Рёнц (пер. с нем. и предисл. В.М. Ивановой). - М.: Финансы и статистика, 1983. - 304 с.
20. Огурцов А.Н. Алгоритм повышения согласованности экспертных оценок в методе анализа иерархий / А.Н. Огурцов, Н.А. Староверова // Вестник ИГЭУ - 2013. -№ 5 [Электронный ресурс]. - Режим доступа: М1р8://суЬег1ешпка.ги/аг11с1е/п/а^оп1т-роуу8Ьетуа-8(^1а-80Уато811-ек8рег1пуЬ-о18епок-у-те1;о11е-апаН7а-1егагЫу (дата обращения: 02.12.2021).
21. Постников В.М. Подход к увеличению уровня согласованности мнений экспертов при выборе варианта развития системы обработки информации / В.М. Постников, С.Б. Спиридонов // Наука и образование МГТУ им. Н.Э. Баумана. - 2013. - № 06 [Электронный ресурс]. -Режим доступа: https://cyberleшnka.ru/artide/n/podhod-k-uve1icheпiyu-urovпya-sog1asovaппosti-mпeпiy-ekspertov-pri-vybore-variaпta-razvitiya-sistemy-obrabotki-informatsii, свободный (дата обращения: 01.12.2021).
22. Уртамова И.А. Критерии анализа электронного учебного контента / И.А. Уртамова, Ю.В. Морозова // Матер. междунар. науч.-метод. конф. «Современное образование: развитие технологий и содержания высшего профессионального образования как условие повышения качества подготовки выпускников». - Томск: ТУСУР, 2017. -С. 186-187.
23. Положение об электронном курсе в ТУСУРе [Электронный ресурс]. - Режим доступа: https://regu1ations.tusur.ru/documents/1134, свободный (дата обращения: 01.10.2021).
24. Эрганова Н.Е. Практикум по методике профессионального обучения: учеб. пособие / Н.Е. Эрганова, М.Г. Ша-лунова, Л.В. Колясникова. - 2-е изд., пересмотр. и доп. -Екатеринбург: Изд-во Рос. гос. проф.-пед. ун-та, 2011. -89 с.
25. Требования к структуре и содержанию онлайн-курсов и методические рекомендации по разработке он-лайн-курсов в системе управления электронным обучением LMS MOODLE [Электронный ресурс]. - Режим доступа: https://portal.tpu.ru/f_el/pdf/2019/tr_k_strsodok2019.pdf, свободный (дата обращения: 10.10.2021).
Городович Андрей Викторович
И.о. директора Института инноватики (ИИ) Томского государственного ун-та систем управления и радиоэлектроники (ТУСУР),
ассистент каф. технологий электронного обучения (ТЭО) факультета дистанционного обучения (ФДО) ИИ ТУСУРа Ленина пр-т, 40, г. Томск, Россия, 634050 Тел.: +7 (382-2) 90-01-88 Эл. почта: gaw@2i.tusur.ru
Кручинин Владимир Викторович
Д-р техн. наук, доцент, зав. каф. ТЭО ФДО ИИ ТУСУРа
Ленина пр-т, 40, г. Томск, Россия, 634050
ОЯСГО: 0000-0001-5564-2797
Тел.: +7 (382-2) 70-15-52
Эл. почта: kru@2i.tusur.ru
Перминова Мария Юрьевна
Канд. техн. наук, доцент каф. ТЭО ФДО ИИ ТУСУР Ленина пр-т, 40, г. Томск, Россия, 634050 Тел.: +7 (382-2) 70-15-52 Эл. почта: pmy@2i.tusur.ru
Gorodovich A.V., Kruchinin V.V., Perminova M.Yu. Evaluation system for electronic educational-methodical complexes of disciplines
The article describes the design of evaluation system for electronic educational-methodical complexes of disciplines (EEMCD) applied at the Faculty of Distance Learning of Tomsk State University of Control Systems and Radioelec-tronics (TUSUR). The design technique developed at TUSUR involves a tool system to evaluate the procedure. The following main activities are described: selection of criteria from knowledge base, introducing new criteria into knowledge base in form of questionnaires, setting importance coefficients, identification of experts' consistency, construction of generalized criteria, obtaining the rating of EEMCD set. The results of computerized multimedia subjects rating on 10 engineering disciplines, 10 disciplines in the field of physics and mathematics taught at TUSUR Faculty of Distance Learning are given.
Keywords: evaluation system, electronic educational resource, electronic educational-methodical complex of discipline, criterion, knowledge database, rating. DOI: 10.21293/1818-0442-2021 -24-4-65-72
References
1. Gorodovich A.V., Kruchinin V.V., Perminova M.Yu. Tekushchee sostoyanie i problemy modernizacii kontenta v sisteme elektronnogo obucheniya TUSUR [Current state and problems of content modernization in the e-learning system of TUSUR University]. Sovremennoye obrazovaniye: kachestvo obrazovaniya i aktual'nyye problemy sovremennoy vysshey shkoly. Materialy mezhdunarodnoi nauchno-metodicheskoy konferentsii [Modern education: the quality of education and current problems of modern higher education. Proc. of the International scientific and methodological conference]. Tomsk, TUSUR Publ., 2019, pp. 109-111 (in Russ.).
2. Majer R.V. Didakticheskaja slozhnost' uchebnyh tek-stov i ee ocenka: monografija [Didactic complexity of educational texts and its evaluation]. - Glazov: GGPI, 2020, 148 p. (in Russ.).
3. Savenkov A.I. Psihodidaktika [Psychodidactics]. M.: Nacional'nyj knizhnyj centr, 2012, 360 p. (in Russ.).
4. Mikoni S.V. Teoriya prinyatiya upravlencheskih resh-enij [Theory of managerial decision making]. St. Petersburg: Lan' Publ., 2015, 448 p. (in Russ.).
5. Subetto A. I. Kvalimetriya : malaya enciklopediya [Qualimetry : a small encyclopedia]. St. Petersburg: IPC SZIU Publ. fil. RANHiGS, 2015, 244 p. (in Russ.).
6. Krotova I.V. Optimizaciya sovmestimosti uchebnoj naglyadnosti (na primere uchebnikov srednej shkoly) [Optimizing the compatibility of educational visuals (the example of secondary school textbooks). Thesis of Doctor of Science in Didactics]. CHita, 2009, 39 p. (in Russ.).
7. Morozova Ju.V., Urtamova I.A. Metodika analiza jel-ektronnogo uchebnogo kontenta [Metodology of analysis of electronic educational content]. Open and Distance Education, 2017, vol. 68, no 4, pp. 38-44 (in Russ.).
8. Gorodovich A.V., Krechetov I.A., Kruchinin V.V., Perminova M.Ju. [Tool system for analysis and evaluation of learning content]. Proceedings of TUSUR University, 2020, vol. 23, no. 2, pp. 81-87 (in Russ.).
9. Gorodovich A.V., Kruchinin V.V., Suschenko S.P. [Task and algorithms to conceive an action plan for the updating of learning content]. Proceedings of TUSUR University, 2019, vol. 22, no. 4, pp. 69-74 (in Russ.).
10. Gorodovich A.V., Krechetov I.A., Kruchinin V.V., Perminova M.Ju. Sistema analiza i ocenivanija uchebnogo
kontenta [Learning content analysis and evaluation system]. Program Registration Certificate for JeVM (no. 2020618144,
2020) (in Russ.).
11. Gorodovich A.V. Metodika postroenija sistemy ocenivanija jelektronnyh uchebno-metodicheskih kompleksov disciplin [Methods for building a system for evaluating electronic educational and methodical complexes of disciplines]. Sovremennoe obrazovanie: povyshenie konkurentosposobno-sti universitetov [Modern education: increasing the competitiveness of universities. Proceedings of the International scientific and methodological conference]. Tomsk, TUSUR Publishing Office, 2021, pp. 216-222 (in Russ.).
12. Gorodovich A.V., Kruchinin V.V., Perminova M.Yu. Metod opredelenija stepeni kreolizacii uchebnogo teksta v jelektronnyh sistemah obuchenija [Method for determining the degree of creolisation of educational text in electronic learning systems]. Sovremennye tendencii razvitija nepreryvnogo obrazova-nija: vyzovy cifrovoj jekonomiki : materialy mezhd. nauch.metod. konf. [Current trends in continuing education: challenges of the digital economy. Proceedings of the International scientific and methodological conference]. Tomsk, TUSUR Publishing Office, 2020, pp. 74-75 (in Russ.).
13. Vasantha Raju N., Harinarayana N.S. Online survey tools: A case study of Google Forms. Available at: https://www.researchgate.net/publication/326831738_Online_ survey_tools_A_case_study_of_Google_Forms, free (Accessed: November 30, 2021).
14. Kumar, Kishore, Naik, Lokesha How to create an online survey by using Google forms. International Journal of Library and Information Studies, 2016, vol. 6, no. 3, pp. 118— 126. Available at: https://www.researchgate.net/publication/ 333369585_HOW_TO_CREATE_AN_ONLINE_SURVEY_ BY_USING_GOOGLE_FORMS, free (Accessed: November 30, 2021).
15. Mondal H., Mondal S., Ghosal T., Mondal S. Using Google Forms for Medical Survey: A Technical Note. International Journal of Clinical and Experimental Physiology, 2019, vol. 4, no. 5, pp. 216—218. Available at: https://doi.org/ 10.5530/ijcep.2018.5.4.26, free (Accessed: November 27, 2021).
16. Spiridonov S.B., Bulatova I.G., Postnikov V.M. Analysis of approaches to the choice of weighting criteria method of pair comparison of criteria. Internet-zhumal «Nau-kovedenie», 2017, vol. 9, no. 6 (in Russ.). Available at: https://naukovedenie.ru/PDF/16TVN617.pdf, free (Accessed: November 28, 2021).
17. Postnikov V.M., Spiridonov S.B. Selecting Methods of the Weighting Local Criteria. Science&Education of the Bauman MSTU, 2015, no. 6, pp. 267—287 (in Russ.). Available at: https://cyberleninka.ru/article/n/metody-vybora-vesovyh-koeffitsientov-lokalnyh-kriteriev, free (Accessed: November 16, 2021).
18. Korjachko V.P., Kurejchik V.M., Norenkov I.P. Te-oreticheskie osnovy SAPR [Theoretical foundations of CAD]. Moscow, Jenergoatomizdat Publ., 1987, 400 p. (in Russ.).
19. Fjorster Je., Rjonc B. Metody korreljacionnogo i re-gressionnogo analiza [Methods of correlation and regression analysis] (translation from German and epilogue by V.M. Ivanova). Moscow, Finansy i statistika Publ., 1983, 304 p. (in Russ.).
20. Ogurcov A.N., Staroverova N.A. Algorithm of improving expert assessment consistency in hierarchy analysis method. Vestnik of Ivanovo State Power Engineering University, 2013, no. 5 (in Russ.). Available at: https://cyberleninka.ru/ article/n/algoritm-povysheniya-soglasovannosti-ekspertnyh-otsenok-v-metode-analiza-ierarhiy, free (Accessed: December 2,
2021).
21. Postnikov V.M., Spiridonov S.B. Approach to increasing the level of consistency of expert opinion when selecting the variant of development of the data processing. Science&Education of the Bauman MSTU, 2013, no. 06 (in Russ.). Available at: https://cyberleninka.ru/article/n/podhod-k-uvelicheniyu-urovnya-soglasovannosti-mneniy-ekspertov-pri-vybore-varianta-razvitiya-sistemy-obrabotki-informatsii, free (Accessed: December 1, 2021).
22. Morozova Ju.V., Urtamova I.A. Kriterii analiza jel-ektronnogo uchebnogo kontenta [Criteria for analyzing e-learning content]. Sovremennoe obrazovanie: razvitie tehnologij i soderzhanija vysshego professional'nogo obra-zovanija kak uslovie povyshenija kachestva podgotovki vypusknikov [Modern Education: development of technology and content of higher professional education as a condition for improving the quality of graduates. [Proc. of the International scientific and methodological conference «Modern Education: development of technology and content of higher professional education as a condition for improving the quality of graduates»]. Tomsk, TUSUR Publishing Office, 2017, pp. 186—187 (in Russ.).
23. Polozheniye ob elektronnom kurse v TUSURe. Available at: https://regulations.tusur.ru/documents/1134, free (Accessed: December 1, 2021) (in Russ.).
24. Erganova N.E., Shalunova M.G., Kolyasnikova L.V. Praktikum po metodike professionalnogo obucheniya [Workshop on the methodology of vocational training]. Ekaterinburg: Ros. gos. prof.-ped. un-ta Publ., 2011, 89 p. (in Russ.).
25. Trebovaniya k strukture i soderzhaniyu onlayn-kursov i metodicheskiye rekomendatsii po razrabotke onlayn-kursov v sisteme upravleniya elektronnym obucheniyem. Available at: https://portal.tpu.ru/f_el/pdf/2019/tr_k_strsodok 2019.pdf, free (Accessed: October 10, 2021).
Andrey V Gorodovich
Acting Director, Institute of Innovations (II),
Assistant, Department of e-Learning Technology (ELT),
Faculty of Distance Learning (DL)
Tomsk State University of Control Systems
and Radioelectronics (TUSUR)
40, Lenin pr., Tomsk, Russia, 634050
Phone: +7 (382-2) 90-01-88
Email: gaw@2i.tusur.ru
Vladimir V Kruchinin
Doctor of Science in Engineering, Assistant Professor,
Head, Department of e-Learning Technology (ELT),
Faculty of Distance Learning (DL) TUSUR
40, Lenin pr., Tomsk, Russia, 634050
ORCID: 0000-0001-5564-2797
Phone: +7 (382-2) 70-15-52
Email: kru@2i.tusur.ru
Maria Yu. Perminova
Candidate of Science in Engineering, Assistant Professor,
Department of e-Learning Technology (ELT),
Faculty of Distance Learning (DL) TUSUR
40, Lenin pr., Tomsk, Russia, 634050
Phone: +7 (382-2) 70-15-52
Email: pmy@2i.tusur.ru
