ИНСТРУМЕНТАЛЬНАЯ СИСТЕМА АНАЛИЗА И ОЦЕНИВАНИЯ УЧЕБНОГО КОНТЕНТА Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004.4'2

А.В. Городович, И.А. Кречетов, В.В. Кручинин, М.Ю. Перминова

Инструментальная система анализа и оценивания учебного контента

Рассматриваются вопросы построения инструментальной системы анализа и оценивания учебного контента вуза. Выявлены требования к такой системе, предложены алгоритмы анализа. Определены критерии оценивания контента двух типов: автоматические, значения которых устанавливаются на основе алгоритмов анализа, и получаемые в ходе экспертного опроса. Все критерии содержатся в базе знаний. Предложена оригинальная структура инструментальной системы, включающая базу знаний, базу электронных образовательных ресурсов, модули построения процедуры оценки, анализа, обработки, оценивания и планирования модернизации электронного учебного ресурса.

Ключевые слова: инструментальная система, электронный образовательный ресурс, критерий, база знаний, база данных, структура, процедура оценивания. doi: 10.21293/1818-0442-2020-23-2-81-88

Технологии электронного обучения становятся важнейшей составляющей организации учебного процесса. В настоящее время наблюдается взрывной рост числа разнообразных онлайн-курсов и электронных образовательных ресурсов (ЭОР). Накопленный таким образом большой объем электронных учебных ресурсов потребует оценки и, соответственно, модернизации.

В Томском университете систем управления и радиоэлектроники (ТУСУР) имеется более чем 20-летний опыт организации и применения дистанционных технологий обучения [1]. Так, например, на факультете дистанционного обучения (ФДО) ТУСУР в настоящее время имеется свыше 2 400 различных учебно-методических материалов (учебных и учебно-методических пособий, курсов лекций, методических указаний и т.п.), представленных в электронной форме [2], общее число ЭОР (с учетом электронных курсов и тестовых заданий) превышает 5 000. Анализ такого объема ЭОР показывает огромное их разнообразие, что существенно затрудняет построение единого инструмента оценивания качества отдельных единиц. С другой стороны, наличие большого числа методов оценивания качества затрудняет методику выбора средств оценивания. Кроме того, ускоренное изменение требований к электронному учебно-методическому комплексу дисциплины (ЭУМКД) с одновременным развитием информационных технологий привело к ситуации качественного отставания практикуемых методов оценивания ЭУМКД [3].

Одним из возможных решений данной проблемы является создание инструментальной системы построения процедур оценки качества ЭУМКД. Основной идеей такой системы является построение процедуры оценивания на основе базы знаний критериев оценивания, которая может быть расширена за счет ввода новых или модификации имеющихся критериев оценивания.

Рассмотрим основные требования, предъявляемые к инструментальной системе построения про-

цедуры оценивания ЭУМКД, основанные на проведении системного анализа предметной области [4].

Система должна:

• формировать и использовать базу данных ЭУМКД;

• иметь базу знаний по критериям с возможностью включать и модернизировать критерии оценки;

• иметь возможность формировать процедуру вычисления матрицы оценок путем включения или удаления критериев оценки из базы знаний;

• манипулировать матрицей оценок элементов ЭУМКД;

• формировать вектор обобщённых оценок ЭУМКД;

• манипулировать матрицей предпочтений критериев и формировать вектор весовых коэффициентов (коэффициент значимости критерия);

• вычислять итоговую оценку конкретного ЭУМКД и множества ЭУМКД;

• представлять рейтинг, вектор обобщенных оценок, вектор коэффициентов предпочтений и матрицу оценок в удобочитаемой форме;

• формировать интерактивные формы для работы экспертов по оценке элементов ЭУМКД;

• формировать отчеты по работе экспертов и своевременно сообщать о проблемах лицу, осуществляющему мониторинг работы системы;

• формировать и использовать базу данных по экспертам ЭУМКД, а также историю проведенных ими экспертиз;

• формировать базу данных истории рейтинга ЭУМКД.

Рассмотрим систему критериев, построенную на основе анализа множества ЭУМКД ФДО ТУСУР. Были выявлены следующие базовые элементы оценивания [5]:

• учебный текст;

• креолизованный учебный текст;

• иллюстрация;

• видеофайл;

• аудиофайл;

• тестовые задания;

• организация навигации, поиска и справочной информации.

Учебный текст является основой представления учебной информации, поэтому его качество является важной характеристикой (показателем). Существует огромное число параметров текста, используемых при его оценке. В ходе исследования ЭУМКД ФДО ТУСУР были выделены следующие показатели качества текста: информационная насыщенность; абстрактность; удобочитаемость; водность; плотность ключевых слов [6].

Часто авторы пособий для улучшения восприятия и понимания текста используют разнообразные невербальные средства, такие как изменение параметров шрифта, использование различного цвета фона, подчеркивание, пиктограммы, выделение текста рамками и др. Такое представление учебного текста называется «креолизованный текст» [7]. Для оценки качества креолизованного текста предложена следующая модель [7]:

1. Определяются классы креолизации текста:

• Выделение текста цветом фона, начертанием (курсив, жирность) или другим шрифтом.

• Выделение текста в виде фигуры, например текст в рамке.

• Использование пиктограммы для некоторого указания.

• Использование гиперссылки (на ресурс).

2. Для каждой единицы текста (абзац, параграф, раздел) выявляется общее число слов (словосочетаний) заданного класса. В результате получится матрица п*т:

Класс=1 Класс=2 Класс = т

Блок № 1 кц к\,2 к1,т

Блок № 2 &2,1 к2,2 к2,т

Блок № п Кп,1 к,2 Кп,т

3. Вычисляется среднее по каждому столбцу Ух, VI, ..., У].

4. Вычисляется среднеквадратическое отклонение, которое показывает равномерность распределения креолизованного текста:

= п £ - V )2,

п1=0

где п - число единиц (блоков) текста.

5. Вычисляется коэффициент степени креолизации ]-го класса:

С

} V

где С) - объем креолизованного текста класса ], У -общий объем текста.

6. Вычисляется суммарный коэффициент степени креолизации учебного текста:

т

а = £у1 а' ¡=0

где Wi - коэффициент значимости данного класса креолизации, т - число классов.

Рассмотрим выявление критериев оценки для иллюстраций. В учебной литературе иллюстрации разделяются на три вида: раскрывающие содержание, т.е. способные заменить основной текст; равнозначные тексту и обслуживающие текст. Первый вид иллюстраций используется в учебных изданиях, когда визуальная информация более содержательна, чем вербальная. Второй вид иллюстраций предполагает, что текст и иллюстрации будут взаимно дополнять друг друга и в то же время каждый нести отдельную информационную нагрузку. Иллюстрации третьего вида - издательские иллюстрации, призванные создать положительный эмоциональный фон у читателя. Создание иллюстраций носит сугубо творческий характер и формализации практически не поддается, поэтому качество иллюстраций можно оценить на основе экспертной процедуры [8]. Оценку качества иллюстраций можно произвести и с технической стороны, в особенности это касается качества изображений.

Существуют исследования, посвященные качеству изображений в растровых графических форматах. Например, в работе [9] предлагаются следующие критерии и методы укрупненной оценки качества изображений для растровых графических форматов: оценка яркости изображения, оценка контрастности изображения, оценка преобладающего тона и тоновой насыщенности, оценка резкости изображения.

Другими важными критериями являются параметры соотношения иллюстраций и текста. Здесь можно опираться на исследования, позволяющие формализовать процесс получения оценки соотношения иллюстраций в учебном тексте. Так, в работах И.В. Кротовой предлагаются следующие параметры [10-11]:

• доля наглядности в тексте;

• средний объем одной иллюстрации;

• среднее число иллюстраций, приходящихся на одну страницу;

• максимальный объем иллюстраций;

• минимальный объем иллюстраций;

• разница между максимальным и минимальным объемом иллюстраций;

• цветность иллюстрации;

• доля разных видов наглядности в тексте.

В книгоиздании существуют рекомендации, определяющие отношение площади иллюстрации к площади набора. Для учебных изданий этот процент имеет границу 10-40%, например, для формата издания 60^90 1/16 это будет выглядеть примерно так: 5-12 иллюстраций на 1 уч.-изд. лист [8]. Однако многие издательства вводят свои соотношения площади текста и иллюстраций, и эти цифры также весьма условны. Фактическое количество иллюстраций уточняется в зависимости от читательского назначения издания и определяется индивидуально [8].

Предлагается ввести следующие критерии:

1. Доля наглядности в тексте, вычисляемая по формуле

£Н = — х100%,

Н V 'о

где Уи - объем иллюстраций в тексте, Уо - общий объем текста.

2. Распределение иллюстраций в тексте.

3. Средняя оценка качества изображений для графических форматов.

Еще одним базовым элементом оценивания ЭУМКД является видеофайл. На ФДО ТУСУР широко используются видеолекции. Основные критерии оценки учебного видео:

1. Оценка технической составляющей видео (качество записи, формат записи и др.).

2. Оценка дидактики видео (тип, длительность и сложность видео, наличие сценария, использование интерактивного текста).

Подобные критерии можно предложить и для аудиофайлов.

Важным элементом ЭУМКД являются оценочные материалы, которые представляют собой банк тестовых заданий для промежуточного и итогового контроля знаний по дисциплине. Сюда же можно отнести и тестовые задания для самопроверки (у студентов имеется возможность посмотреть правильные ответы).

Тестовые задания для самопроверки могут оцениваться по следующим критериям:

1. Наличие классификации заданий по сложности (имеется шкала).

2. Наличие ответов или решений заданий (и/или ссылок на решения).

3. Оценка текста заданий (по критериям оценки учебного и креолизованного текста).

Для оценки банка тестовых заданий для промежуточного и итогового контроля знаний можно предложить следующие критерии:

1. Объем банка (количество заданий).

2. Наличие системы оценивания (сколько и каких заданий необходимо выполнить для получения заданной оценки).

3. Возможность генерации исходных данных для заданий.

4. Использование технологий тестирования (простое, адаптивное и др.).

5. Наличие кодификатора (позволяет установить связь между методическим обеспечением, по которому составлено тестовое задание, и самим заданием).

6. Степень распределения заданий по темам и разделам курса.

7. Анализ текста заданий (по критериям оценки учебного и креолизованного текста).

Для оценки организации поиска и навигации в ЭУМКД необходимо иметь некоторый аппарат, который основан на применении разнообразных указателей. Перечислим основные из них:

• глоссарий;

• предметный указатель;

• именной указатель;

• географический указатель;

• хронологический указатель;

• список иллюстраций;

• список таблиц;

• список сокращений;

• среда ссылок на разделы, страницы, таблицы, рисунки (иллюстрации), формулы, литературу.

Здесь критериями могут выступать наличие, полнота и объем соответствующего указателя.

Оценка соответствия ЭУМКД нормативно-правовому обеспечению организации учебного процесса производится на основе экспертного опроса и соответствует инструкциям стандартной экспертизы учебно-методического обеспечения. Для каждого элемента ЭУМКД формируется анкета для опроса эксперта.

Пример критериев для учебного пособия:

• Степень соответствия объема пособия общей трудоемкости дисциплины.

• Степень соответствия содержания пособия целям и задачам дисциплины.

• Степень соответствия содержания пособия компетенциям.

• Степень соответствия содержания пособия формируемым знаниям, умениям и навыкам и обеспечения их преемственности с получаемыми при изучении предшествующих и последующих дисциплин.

• Степень соответствия названия глав пособия названиям разделов дисциплины.

• Степень соответствия объема глав пособия часам, отведенным на их изучение.

Таким образом, в базе знаний содержатся два типа критериев: автоматический, значение которого определяется на основе некоторого алгоритма вычисления, и полученный на основе опроса экспертов.

Структура инструментальной системы представлена на рис. 1. Она состоит из следующих основных модулей и подсистем.

Модуль управления базой ЭУМКД обеспечивает ведение базы ЭУМКД и осуществляет входной контроль:

1) проверка на соответствие форматов файлов;

2) предварительный анализ ЭУМКД;

3) проверка на соответствие стандарта ЭУМКД;

4) ввод новых ЭУМКД;

5) замена устаревших ЭУМКД;

6) выполнение статистических запросов и формирование сводных таблиц по кафедрам, специальностям и др.

База ЭУМКД содержит:

1) ЭУМКД, оформленные в ИТМЬ-формате;

2) Ф.И.О. и должности авторов;

3) название и коды дисциплины;

4) ссылку на учебный план;

5) название кафедры.

Модуль управления базой знаний обеспечивает формирование и редактирование базы знаний по критериям оценивания. В основу базы знаний оценивания положена онтологическая модель всех элементов и критериев оценивания [12] Основными элементами этой базы являются:

1. Критерий.

2. Шкала.

3. Элемент оценивания ЭУМКД (текст, иллюстрация, видео, вопрос и т.д.).

4. Алгоритм получения элемента ЭУМКД.

5. Процедура выбора эксперта.

6. Алгоритм оценивания или процедура проведения экспертизы.

7. Дата включения критерия в базу.

База знаний

Модуль управления базой знаний

Модуль построения процедуры

Модуль управления базой ЭУМКД

База ЭУМКД

Модуль ведения рейтинга

База рейтингов

1

Модуль планирования

1 г

План модернизации

Рис. 1. Структура инструментальной системы построения процедуры оценивания и ее проведения

В базу знаний включено 32 автоматических критерия.

База экспертов хранит следующие сведения об эксперте:

• персональные данные;

• электронную почту;

• элементы ЭУМКД, для которых они могут проводить экспертизу;

• опыт проведения экспертиз.

Модуль построения процедуры оценивания предназначен для формирования процедуры оценивания. Процедура оценивания содержит множество автоматических критериев и опросных анкет для экспертов. Процесс построения процедуры начинается с ввода имени процедуры и выбора автоматических критериев оценивания (см. экранную форму рис. 2). Далее производится ввод опросных анкет для опроса экспертов. Для анкетирования экспертов используется инструмент сервиса Google Forms. Выбор данного инструмента объясняется следующим [13, 14]:

1) простой и интуитивно ясный интерфейс;

2) возможность создания разного вида вопросов, а также перемешивания их между собой;

3) автоматический анализ ответов;

4) формирование отчетов в виде таблиц;

5) возможность отправить опрос по почте или опубликовать в социальных сетях;

6) интеграция с другими сервисами Google;

7) возможность интеграции с программными продуктами сторонних разработчиков через API;

8) успешное использование данного инструмента в схожих проектах [15].

После того как была построена процедура оценивания (см. экранную форму рис. 3), необходимо запустить модуль анализа. Этот модуль требует ввода множества ЭУМКД из базы данных и запускает соответствующие программы вычисления автоматических критериев для каждого выявленного элемента ЭУМКД. В тех случаях, когда требуется запустить анкету опроса экспертов, формируются запросы проведения анкетирования. Результаты вычислений и опросов экспертов заносятся в сводную таблицу.

Оценки ЭУМКД

К1 К2 К3 Кп

Э1 Z11 Z12 Z13 Zik

Э2 Z21 Z22 Z23 Z2k

Э3 Z31 Z32 Z33 Z3k

Э* Zn1 Zn2 Zn3 Znk

Здесь К/ - множество критериев, Э/ - множество элементов ЭУМКД, 2/] - значение /-го критерия для ]-го элемента. Элемент ЭУМКД = < идентификатор, тип, контент, локация (размещение) >.

Результат работы модуля анализа ЭУМКД (экранная форма оценок ЭУМКД) приведен на рис. 4.

ния важности критериев (методом предпочтения, последовательного сравнения, расстановки приоритетов).

Для вычисления коэффициентов значимости критериев создается группа экспертов, которые, используя анкеты, формируют данные или оценки, используемые для дальнейшей обработки. Вычисление рейтинга ЭУМКД определяется на основе формулы

Модуль обработки результатов анализа обеспечивает вычисление обобщённых показателей оценок ЭУМКД. Вычисляются среднее значение

V =11Ь, ]

и среднеквадратическое отклонение

Далее производится нормализация на основе формулы

УТ у

Затем определяются коэффициенты значимости критериев на основе процедуры (метода) определе-

Название процедуры

R

4 £

ЭУМКД -- ^ а]У], п у'еог<1(')

где п - длина вектора обобщенных значений оценок; а/ - коэффициент значимости для /-го критерия; У] -нормализованные значения критерия.

Procedure

Автоматические показатели Экспертные показатели

№

О

о

Название показателя

Абстрактность

Описание показателя

+ Доля слов в тексте, обозначающих

абстрактные смысловые объекты, то есть такие, которые недоступны непосредственному чувственному восприятию.

2 О Среднее число иллюстраций на странице + Отношение числа изображений на странице к числу страниц.

3 О Выделение фоновым цветом + Выделение единицы текста путем добавление цвета заднего фона.

Равномерность распределения выделения фоновым цветом

+ Среднеквадратичное отклонение от среднего количества единиц текста, выделенных цветом фона.

Рис. 2. Выбор автоматических критериев из базы знаний для процедуры

Система анализа электронных курсов

Название # процедуры

Название формы

Название таблицы ответов

+ Добавить процедуру

Изменить процедуру

Удалить процедуру

1 Procedurel F Procedurel s SProcedurel 0 Ш

2 Procedure2 FProcedure2 s SProcedurei 0 Ш

3 Procedure^ FProcedure3 S SProcedure3 0 Ш

4 123а 123a_f / 123a_ans 0 Ш

5 рту рту # рту 0 Ш

Рис. 3. Выбор процедуры оценивания

А В С D Е F G

1__ Оценка качества текста

2 3 Отметка времени 25.06.2020 14:11:20 Идентификатор курса 4 Абстрактность 24,97 Информационна я насыщенность 13,51 Плотность ключевых слов 31,53 Удобо ч ита е м ость 6,84 Водность 3,58

4 26.06.2020 16:40:25 34 25,7 5,76 43,81 8,83 1.4

5 25.06.2020 16:16:05 40 26,83 15,32 37,52 6,49 1,59

6 25.06.2020 16:58:18 46 25,64 3,87 33,14 8,16 2,12

7 25.06.2020 16:42:31 52 22,52 15,48 33,21 6,15 3,11

8 25.06.2020 16:08:44 74 22,02 11,75 33,5 5,42 6,18

9 25.06.2020 16:02:52 75 28,28 2,3 40.1 7,33 1,32

10 25.06.2020 14:49:29 77 25,72 5,78 24,58 7,78 3,73

11 25.06.2020 14:10:19 89 27,42 16,36 40,63 9,52 2,35

12 25.06.2020 15:59:27 95 21.44 27,41 25,26 5,4 5,08

13 25.06.2020 15:56:40 97 20,38 47,95 19,85 5,02 6

14 25.06.2020 14:55:24 106 25,18 14,69 44.01 8,58 1,66

15 25.06.2020 16:34:28 140 26,7 5,64 38,74 8,17 1,89

16 25.06.2020 16:24:04 153 22,22 15,25 26,72 4,95 4,72

Рис. 4. Результат работы модуля анализа

Возможность стандартного представления результатов анализа в виде Excel-таблицы позволяет подключать сторонние системы вычисления показателей качества, такие как, например, система СВИРЬ [16], 1000Minds, D-Sight CDM [17]. Это свойство инструментальной системы позволит строить разнообразные системы оценивания ЭУМКД.

Модуль ведения рейтинга обеспечивает манипуляцию и получение отчетов для директивных органов, а также ведение базы данных оценок различных классов ЭУМКД.

Модуль планирования обеспечивает формирование плана мероприятий по модернизации ЭУМКД в соответствии с полученными оценками множества ЭУМКД с алгоритмами, представленными в [18].

Инструментальная система представляет собой веб-сервис, реализованный по объектно-ориентированной методологии программирования на языке Python. Клиентская часть реализована с использованием фреймворка Bootstrap, серверная часть - с использованием фреймворка Django. Для работы с компонентами Google Docs используются программные интерфейсы Google Forms и Google Spreadsheets. Контент для автоматического анализа берётся из электронного курса, в котором опубликованы все компоненты соответствующего ЭУМКД. Для оптимизации скорости работы сервиса файлы всех электронных курсов предварительно были скачаны на сервер. Если в момент анализа ЭУМКД выясняется, что файлы на сервере отсутствуют, они автоматически будут скачаны и использованы во всех последующих запусках анализа данного ЭУМКД. Для пользователя реализован интерфейс, который позволит скачать файлы сразу из нескольких курсов, обновить уже скачанные ранее файлы или скачать файлы недавно созданных (новых) курсов. Для хранения форм и таблиц в виде файлов был создан корпоративный Google-аккаунт.

В настоящее время на ФДО ТУСУР проводится опытная эксплуатация разработанной инструментальной системы анализа и оценивания учебного контента, также рассматриваются варианты ее использования:

• для анализа ЭУМКД с целью выявления качества отдельных ЭОР;

• проведения разнообразных конкурсов авторов и кафедр вуза;

• определения общего уровня развития ЭУМКД на кафедрах, факультетах, в вузе в целом и определения направлений совершенствования;

• формирования плана мероприятий модернизации электронного контента ФДО.

Литература

1. Развитие программно-методического обеспечения технологий электронного обучения в ТУСУРе / А.В. Городович, О.Ю. Исакова, И.А. Кречетов, В.В. Кручинин, Ю.В. Морозова, В.В. Романенко, И.П. Черкашина // Доклады ТУСУР. - 2017. - № 3. - С. 62-69.

2. Текущее состояние и проблемы модернизации контента в системе электронного обучения ТУСУР /

A.В. Городович, В.В. Кручинин, М.Ю. Перминова // Современное образование: качество образования и актуальные проблемы современной высшей школы: матер. меж-дунар. науч.-метод. конф. - Томск, 2019. - С. 109-111.

3. Краснова Г.А. Электронное образование в эпоху цифровой трансформации / Г.А. Краснова, Г.В. Можаева. -Томск: ИД Том. гос. ун-та, 2019. - 200 с.

4. Тарасенко Ф.П. Прикладной системный анализ: учеб. пособие. - М.: КНОРУС, 2010. - 224 с.

5. Многокритериальное оценивание электронных учебно-методических комплексов / А.В. Городович,

B.В. Кручинин, М.Ю. Перминова, Ю.В. Морозова // Матер. Междунар. конф. по новым образовательным технологиям (EdCrunch Томск), Томск, 29-31 мая 2019 г. -Томск: ИД Том. гос. ун-та, 2019. - С. 103-112.

6. Морозова Ю.В. Методика анализа электронного учебного контента / Ю.В. Морозова, И.А. Уртамова // Открытое и дистанционное образование. - 2017. - № 4(68). -

C. 38-44.

7. Городович А.В. Метод определения степени крео-лизации учебного текста в электронных системах обучения / А.В. Городович, В.В. Кручинин, М.Ю. Перминова // Современные тенденции развития непрерывного образования: вызовы цифровой экономики: матер. междунар. науч.-метод. конф. - Томск: Изд-во Том. ун-та систем упр. и радиоэлектроники, 2020. - С. 74-75.

8. Рябинина Н.З. Технология редакционно-издатель-ского процесса: учеб. пособие. - М.: Логос, 2012. - 255 с.

9. Ердяков С.В. Критерии и методы укрупнённой оценки качества изображений в растровых графических форматах [Электронный ресурс]. - URL: http://www.aiportal.ru/articles/other/evaluation-of-image-quality.html, свободный (дата обращения: 19.06.2019).

10. Кротова И.В. Возможности системно-параметрического анализа совместимости наглядности в учебной литературе [Электронный ресурс] / И.В. Кротова // Вестн. Том. гос. ун-та. - 2008. - № 314. - С. 177-183.

11. Кротова И.В. Системно-параметрический анализ совместимости наглядности школьных учебников [Электронный ресурс] / И.В. Кротова // Сибирский педагогический журнал. - 2008. - № 11. - URL: https://cyberleninka. ru/article/n/sistemno -parametricheskiy-analiz-sovmestimosti-naglyadnosti-shkolnyh-uchebnikov, свободный (дата обращения: 19.06.2019).

12. Кручинин В.В. Онтологическая модель системы оценивания электронного учебного контента вуза /

B.В. Кручинин, А.В. Городович, М.Ю. Перминова // Открытое и дистанционное образование. - 2019. - № 3 (75). -

C. 36-41.

13. Vasantha Raju N., Harinarayana N.S. Online survey tools: A case study of Google Forms [Электронный ресурс]. -URL: https://www.researchgate.net/publication/326831738_ Online_survey_tools_A_case_study_of_Google_Forms, свободный (дата обращения: 19.06.2019).

14. Kumar Kishore, Naik Lokesha. How to create an online survey by using Google forms // International Journal of Library and Information Studies. - 2016. - № 6(3). -P. 118-126 [Электронный ресурс]. - URL: https://www.researchgate.net/publication/333369585_HOW_T O_CREATE_AN_ONLINE_SURVEY_BY_USING_GOOGL E_FORMS, свободный (дата обращения: 19.06.2019).

15. Mondal H., Mondal S., Ghosal T., Mondal S. Using Google Forms for Medical Survey: A Technical Note // International Journal of Clinical and Experimental Physiology. 2019. - № 5(4). - Р. 216-218 [Электронный ресурс]. - URL: https://doi.org/10.5530/ijcep.2018.5.4.26, свободный (дата обращения: 19.06.2019).

16. Микони С.В. Инструментальная система для решения задач многокритериального выбора / С.В. Микони, Д.П. Бураков, М.И. Гарина // Программные продукты и системы. - 2009. - № 4 [Электронный ресурс]. - URL: https://cyberleninka.ru/article/n/instrumentalnaya-sistema-dlya-resheniya-zadach-mnogokriterialnogo-vybora, свободный (дата обращения: 14.05.2020).

17. Decision Analysis Software Survey [Электронный ресурс]. - URL: informs.org/ORMS-Today/OR-MS-Today-Software-Surveys/Decision-Analysis-Software-Survey, свободный (дата обращения: 19.06.2019).

18. Городович А.В. Задача и алгоритмы формирования плана мероприятий модернизации учебного контента / А.В. Городович, В.В. Кручинин, С.П. Сущенко // Доклады ТУСУР. - Томск, 2019. - Т. 22, № 4. - С. 69-74. - DOI: 10.21293/1818-0442-2019-22-4-69-74

Городович Андрей Викторович

И.о. директора Института инноватики (ИИ) Томского государственного ун-та систем управления и радиоэлектроники (ТУСУР),

ассистент каф. технологий электронного обучения (ТЭО) факультета дистанционного обучения (ФДО) ИИ ТУСУР Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: +7 (382-2) 90-01-88 Эл. почта: gaw@2i.tusur.ru

Кречетов Иван Анатольевич

Зав. лаб. инструментальных систем моделирования обучения (ЛИСМО) научного управления (НУ) ИИ Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: +7 (382-2) 70-15-54 Эл. почта: kia@2i.tusur.ru

Кручинин Владимир Викторович

Д-р техн. наук, доцент, зав. каф. ТЭО ФДО ИИ ТУСУР Ленина пр-т, д. 40, г. Томск, Россия, 634050 ORCID: 0000-0001-5564-2797 Тел.: +7 (382-2) 70-15-52 Эл. почта: kru@2i.tusur.ru

Перминова Мария Юрьевна

Канд. техн. наук, нач. учебно-методического отдела ФДО ИИ, доцент каф. ТЭО ФДО ИИ ТУСУР Ленина пр-т, д. 40, г. Томск, Россия, 634050 Тел.: +7 (382-2) 70-15-53 Эл. почта: pmy@2i.tusur.ru

Gorodovich A.V., Krechetov I.A., Kruchinin V.V., Perminova M.Yu.

Tool system for analysis and evaluation of learning content

The paper discusses the issues of developing a tool system for analysis and evaluation of learning content of a university. It identifies requirements for such a system and proposes analysis algorithms. The paper defines two types of criteria for content evaluation: automatic, with their values set based on analysis algorithms, and expert criteria that are based on a survey. All criteria are put in the knowledge base. The paper proposes an original tool system structure that includes a knowledge base, e-learning resource base, modules for the procedure of assessment, analysis, processing, review and planning of e-learning resource modernization.

Keywords: tool system, e-learning resource, criterion, knowledge base, structure, assessment procedure. doi: 10.21293/1818-0442-2020-23-2-81 -88

References

1. Gorodovich A.V., Isakova O.Yu., Krechetov I.A., Kruchinin V.V., Morozova Yu.V., Romanenko V.V., Cher-kashina I.P. [Evolution of technical and didactic solutions for e-learning technologies in TUSUR]. Proceedings of TUSUR University, 2017, no. 3, pp. 62-69 (in Russ.).

2. Gorodovich A.V., Kruchinin V.V., Perminova M.Yu. Tekushchee sostoyanie i problemy modernizacii kontenta v sisteme elektronnogo obucheniya TUSUR [Current state and problems of content modernization in the e-learning system of TUSUR University]. Sovremennoye obrazovaniye: kachestvo obrazovaniya i aktual'nyye problemy sovremennoy vysshey shkoly. Materialy mezhdunarodnoi nauchno-metodicheskoy konferentsii [Modern education: the quality of education and current problems of modern higher education. Proc. of the International scientific and methodological conference]. Tomsk, TUSUR Publ., 2019. Pp. 109-111 (in Russ.).

3. Krasnova G.A., Mozhaeva G.V. Elektronnoye obra-zovaniye v epokhu tsifrovoy transformatsii [E-education in the era of digital transformation]. Tomsk, Tomsk State University Publ., 2019. 200 p. (in Russ.).

4. Tarasenko F.P. Prikladnoy sistemnyy analiz [Applied system analysis]. Moscow, KNORUS Publ., 2010. 224 p. (in Russ.).

5. Gorodovich A.V., Kruchinin V.V., Perminova M.Yu., Morozova Yu.V. Mnogokriterial'noe ocenivanie elektronnyh

uchebno-metodicheskih kompleksov [Multi-criteria evaluation of electronic study complexes]. Materialy mezhdunarodnoi konferentsii po novym obrazovatel'nym tekhnologiyam [Proc. of the International conference on new educational technologies] (EdCrunch Tomsk). Tomsk, Tomsk State University Publ., 2019. Pp. 103-112 (in Russ.).

6. Morozova Yu.V., Urtamova I.A. [Metodology of analysis of electronic educational content]. Open and distance education, 2017, vol. 68, no 4, pp. 38-44 (in Russ.).

7. Gorodovich A.V., Kruchinin V.V., Perminova M.Yu. Metod opredeleniya stepeni kreolizacii uchebnogo teksta v elektronnyh sistemah obucheniya [Method for determining the extent of training text creolization in e-learning systems]. Sov-remennyye tendentsii razvitiya nepreryvnogo obrazovaniya: vyzovy tsifrovoy ekonomiki. Materialy mezhdunarodnoi nauchno-metodicheskoy konferentsii [Current Trends in Continuing Education: Challenges of the Digital Economy. Proc. of the International scientific and methodological conference]. Tomsk, TUSUR Publ., 2020. Pp. 74-75 (in Russ.).

8. Ryabinina N.Z. Tekhnologiya redaktsionno-izdatel'skogo protsessa [Publishing Process Technology]. Moscow, Logos Publ., 2012. 255 p. (in Russ.).

9. Erdyakov S.V. Kriterii i metody ukrupnennoi otsenki kachestva izobrazheniy v rastrovykh graficheskikh formatakh [Criteria and methods for broad assessment of image quality in raster graphics formats]. Available at: http://www.aiportal.ru/articles/other/evaluation-of-image-quality.html (Accessed: Jun 19, 2019).

10. Krotova I.V. [The possibilities of systemic-parametrical analysis of visualization in training literature compatibility]. Tomsk state university journal, no. 314, pp. 177-183 (in Russ.).

11. Krotova I.V. [System-parametric analysis of the compatibility of the visibility of school books]. Sibirskii peda-gogicheskii zhurnal, 2008, no. 11. Available at: https://cyberleninka.ru/article/n/sistemno-parametricheskiy-analiz-sovmestimosti-naglyadnosti-shkolnyh-uchebnikov. (Accessed: Jun 19, 2019).

12. Kruchinin V.V., Gorodovich A.V., Perminova M.Yu. [Ontological model of an e-learning content assessment system]. Open and distance education, 2019, vol. 75, no. 3, pp. 36-41.

13. Vasantha Raju N., Harinarayana N.S. Online survey tools: A case study of Google Forms. Available at: https://www.researchgate.net/publication/326831738_Online_ survey_tools_A_case_study_of_Google_Forms (Accessed: Jun 19, 2019).

14. Kumar, Kishore, Naik, Lokesha How to create an online survey by using Google forms. International Journal of Library and Information Studies, 2016, vol. 6, no. 3, pp. 118126. Available at: https://www.researchgate.net/publication/ 333369585_HOW_TO_CREATE_AN_ONLINE_SURVEY_ BY_USING_GOOGLE_FORMS. (Accessed: Jun 19, 2019).

15. Mondal H., Mondal S., Ghosal T., Mondal S. Using Google Forms for Medical Survey: A Technical Note. Interna-

tional Journal of Clinical and Experimental Physiology, 2019, vol. 4, no. 5, pp. 216-218. Available at: https://doi.org/ 10.5530/ijcep.2018.5.4.26. (Accessed: Jun 19, 2019).

16. Mikoni S.V. [Tool system for solving multi-criteria selection problems]. Programmnyye produkty i sistemy, 2009, no. 4. Available at: https://cyberleninka.ru/article/n/instru-mentalnaya-sistema-dlya-resheniya-zadach-mnogokriterialnogo-vybora. (Accessed: May 14, 2020).

17. Decision Analysis Software Survey. Available at: in-forms.org/ORMS-Today/OR-MS-Today-Software-Surveys/ Decision-Analysis-Software-Survey. (Accessed: June 19, 2019).

18. Gorodovich A.V., Kruchinin V.V., Suschenko S.P. [Task and algorithms to conceive an action plan for the updating of learning content]. Proceedings of TUSUR University, 2019, vol. 22, no. 4, pp. 69-74 (in Russ.).

Andrey V Gorodovich

Acting Director,

Institute of Innovations (II), Tomsk State University of

Control Systems and Radioelectronics (TUSUR)

Assistant, Department of e-learning technology (ELT),

Faculty of Distance Learning (DL), II, TUSUR

40, Lenin pr., Tomsk, Russia, 634050

Phone: +7 (382-2) 90-01-88

Email: gaw@2i.tusur.ru

Ivan A. Krechetov

Head, Laboratory of Instrumental Modelling and Learning

Systems, II, TUSUR

40, Lenin pr., Tomsk, Russia, 634050

Phone: +7 (382-2) 70-15-54

Email: kia@2i.tusur.ru

Vladimir V. Kruchinin

Doctor of Engineering Sciences, Assistant Professor, Head of Department, ELT Department, DL Faculty, II, TUSUR

40, Lenin pr., Tomsk, Russia, 634050 ORCID: 0000-0001-5564-2797 Phone: +7 (382-2) 70-15-52 Email: kru@2i.tusur.ru

Maria Yu. Perminova

Candidate of Engineering Sciences, Assistant Professor,

ELT Department, DL Faculty, II, TUSUR

Head of Division, Curriculum Support Office, DL Faculty, II,

TUSUR

40, Lenin pr., Tomsk, Russia, 634050 Phone: +7 (382-2) 70-15-53 Email: pmy@2i.tusur.ru