CC BY
3www.mai.ru/science/trudy/
Труды МАИ. Выпуск № 85
УДК 658.012.011.56
Логика автоматизированной системы статистического рейтингового оценивания качества успеваемости студентов
Гресс Е.С.*, Крылов С.С.**
Московский авиационный институт (национальный исследовательский университет), МАИ, Волоколамское шоссе, 4, Москва, A-80, ГСП-3, 125993, Россия *e-mail: seered@mail.ru **e-mail: krylov@mai.ru
Аннотация
В статье рассматривается модель логики автоматизированной системы статистического рейтингового оценивания качества успеваемости студентов. Предложены способы ускорения генерации отчетов за счет активного использования гибких механизмов агрегации данных. Описаны схемы хранения данных. Представлены результаты замеров времени выполнения запросов, подтверждающие применимость описанного подхода.
Ключевые слова: информационная система, архитектура баз данных, механизм агрегатов, рейтинговая система.
Введение
В современной системе высшего образования актуальными вопросами является оценка качества образования [1] и создание в ВУЗе соответствующих
систем оценивания [2].
Данные об успеваемости студента можно рассматривать как обратную связь об усвоении изучаемых дисциплин. Рейтинг студентов — как интегральную оценку их достижений на всём протяжении обучения в ВУЗе, который объединяет в себе большое число факторов, отображающих как учебный процесс, так и личностные характеристики студента [3, 4].
Для выполнения анализа качества обучения необходимо получение максимально точной, оперативной и объективной информации о ходе учебного процесса, быстродействие аналитических отчетов.
Специфика системы
На факультете «Прикладная математика и физика» задачу оценки эффективности образования решают с помощью специальной автоматизированной системы статистического рейтингового оценивания качества успеваемости студентов [5], разработанной на технологической платформе «1С:Предприятие 8.3». [6]. Диаграмма потоков данных с учетом интеграции с другими системами ВУЗа представлена на рис. 1. Далее опишем потоки данных более подробно.
Руководство ВУЗа устанавливает общую модель рейтинговой системы. Из других систем внутри ВУЗа подкачивается различная актуальная информация (например, данные о студенте как о физическом лице из системы учёта кадров).
Методисты в деканате разрабатывают учебные планы и определяют в
них веса семестров, дисциплин. Методисты на кафедрах составляют рабочие программы дисциплин, устанавливают в них веса контрольных точек.
Преподаватели вносят в систему информацию об успеваемости, посещаемости, бонусах и штрафах студентов по соответствующим дисциплинам.
Сотрудники деканата могут корректировать информацию об успеваемости, перезачётах, посещаемости, бонусах и штрафах студентов на основе дополнительной информации, которую студенты приносят в деканат (грамоты, справки о болезни, академические справки и т.п.).
Сотрудники деканата выдают преподавателям ведомости в бумажном виде на сессию, которые преподаватели заполняют и возвращают в деканат наряду с вводом электронных ведомостей в системе. В деканате ещё раз сверяют электронный эквивалент с бумажным, при необходимости в систему вносятся корректирующие изменения.
Системный администратор корректирует при необходимости информацию в системе.
Все пользователи имеют права получать из системы соответствующие аналитические отчеты об успеваемости, посещаемости, различных рейтингах, бонусах и штрафах студентов, согласно своим ролям.
Рис. 1. Верхний уровень диаграммы потоков данных системы статистического рейтингового оценивания качества успеваемости студентов. Более подробно функциональная модель системы описана в [7]. Реализованная система имеет клиент-серверную трёхуровневую архитектуру, которая представлена на рис. 2.
Тонкий клиент
Windows, Linux
Кластер серверов приложений 1С: предприятие 8.3
Рис.2. Клиент-серверная архитектура системы статистического
рейтингового оценивания качества успеваемости студентов.
Анализ использования агрегатов
В технологической платформе «1С:Предприятие» присутствует механизм агрегатов [8], но, к сожалению, он ограничен только операцией агрегации суммирования. В нашей системе для формирования рейтингов студентов используются взвешенные отметки студентов, а также учитываются веса контрольных точек, дисциплин, семестров, понижающие коэффициенты при пересдачах и т.п. [9]. Сессионный рейтинг студента определяется следующим образом:
■щ м = I у (ш%3„ м м+ш%„ (1)
где номер студента l =1, 2, ..., L, L — количество студентов в ВУЗе, обучающихся по одному учебному плану (без ограничения общности), ? — момент времени, в который пользователь системы запрашивает рейтинг студента, п = 1, 2, ..., N — номер контрольной точки в модуле сессионного контроля, N — количество контрольных точек по у-й дисциплине в модуле
сессионного контроля в ¡-м семестре 1-го студента, ^ — вес п-й контрольной
точки по у-й дисциплине в модуле сессионного контроля в ¡-м семестре, е [0.1], ) — отметка 1-го студента в модуле сессионного контроля в ь
м семестре по у-й дисциплине за п-ую контрольную точку в ¿-й момент времени, тщп (t) е [0;М], М — максимальная отметка в выбранной шкале
оценивания, (?) — понижающий коэффициент отметки 1-го студента,
зависящий от количества попыток сдачи п-й контрольной точки по у-й дисциплине в модуле сессионного контроля в ¡-м семестре в ¿-й момент
времени, (г) е (0;1], тщп (г) — дополнительные баллы в модуле сессионного
контроля 1-го студента, полученные им при пересдаче на повышенную отметку в ¡-м семестре поу-й дисциплине п-й контрольной точки в ¿-й момент времени.
Изначально планировалось увеличить быстродействие формируемых отчетов с помощью стандартных возможностей агрегатов платформы «1С:Предприятие» [10], разбивая составляющие рейтинга студента на не пересекающиеся суммы баллов.
В результате оказалось, что в данном случае эти механизмы не применимы, так как агрегаты платформы «1С:Предприятие» могут верно суммировать только разности изменения рейтинга, а представленной модели при пересдачи преподаватель ставит балл студенту по определённой шкале за определённую контрольную точку каждый раз заново, согласно продемонстрированным студентом навыкам и знаниям, а не разность изменения балла. Причем далее этот балл согласно формуле (1) умножается на соответствующий понижающий коэффициент и вес контрольной точки.
Таким образом, усложняется вычисление разности изменения рейтинга при каждой сдачи или пересдачи студента видов контроля в момент времени ¿: надо помнить предыдущий балл, умноженный на соответствующий ему понижающий коэффициент и вес контрольной точки (вг -1) и вычислить текущий балл, умноженный на соответствующий ему новый понижающий коэффициент и вес контрольной точки (вг), далее посчитать разность Вг - вг -1 и запомнить её в соответствующем ресурсе хранилища данных.
Такой подход требует делать лишние соединения в запросах, в отличие от предложенного подхода, в котором вычисляется и запоминается каждый раз только вг. В итоге были созданы новые агрегатные функции.
Промежуточным вычислением в ходе выполнения отчетов является получение запроса, рассчитывающего значение рейтинга по формуле (1). На платформе «1С:Предприятие» средством реализации задач хранения информации, развернутой в разрезе нескольких измерений, является использование регистров сведений [8, 11].
Базы данных разработанные с использованием технологий платформы «1С: Предприятия» относятся к гибридному типу (объектно-реляционному). Для операций изменения с данными используется объектный подход. При формировании запросов, отчетов — реляционный. Формирование схемы баз данных с помощью технологий платформы «1С:Предприятие» происходит следующим образом. В специальном режиме «Конфигуратор» объекты базы данных описываются метаданными. Далее кластер серверов «1С:Предприятия» по описанным правилам создаёт схему реальных таблиц в используемой СУБД [11].
Данные успеваемости студента хранятся с помощью регистра сведений «УспеваемостьСтудента». Поля «Студент», «Семестр», «РабочаяПрограмма», «ЭлементПрограммы», «ВидКонтроля», «Учебная группа» являются измерениями регистра. Все параметры измерений имеют объектную природу. Ресурсы: «Оценка» (Ссылочный тип), «НаповышеннуюОценку» (Булевский тип), «Преподаватель» (Ссылочный тип) (см. рис. 3). Данные об успеваемости
вносятся различными документами отображаемые изменения в траектории успеваемости или отметках студента (на рис. 3 «ВводУспеваемости», «РезультатыОбучения», «ТрекУспеваемости», «КонвертацияОценок»). Веса дисциплин с сессионными видами контроля хранятся в табличной части документов, соответствующих индивидуальным семестровым трекам успеваемости (на рис. 3 таблица «ДисциплиныТрекаУспеваемости»).
ТрекУспеваемости
GUID_ТрекУспеваемости ДисциплиныТрекаУспеваемости
С \ GUID_ДисциплиныТрекаУспеваемости (FK) |
Номер Дата ПометкаУдаления Проведен GUID УчебныйГод GUID_Плошадка GUID_Факультет GUID_Семестр
! » GUID_РабочаяПрограмма GUID_ЭлементПрограммы GUID_ВидКонтроля Вес
КоличествоЧасов АудиторныеЧасы ЧасыСамостоятельнойРаботы ^ А
GUID_ФормаОбучения GUID_УчебнаяГруппа GUID_УчебныйПлан GUID_Студент ВесСеместра КонвертацияОценок
УспеваемостьСтудента
GUID_ВводУспеваемости (FK) GШD_РезультатыОбучения (FK) GUID_КонвертацияОценок (FK) GUID_ТрекУспеваемости (FK)
Период НомерСтроки Активность Ресурсы Измерения
I
ВводУспеваемости
GUID_КонвертацияОценок
Номер Дата
ПометкаУдаления Проведен
GUID_ШкалаДоПеревода GUID_ШкалаПослеПеревода
GUID_ВводУспеваемости
Номер Дата
ПометкаУдаления
Проведен
GШD_УчебныйГод
GUID_Плошадка
GUID_Факультет
GUID_ФормаОбучения
GUID_УчебнаяГруппа
GUID_Студент
ПереводОценок GUID_КонвертацияОценок (FK)
GUID_Студент
GUID_УчебнаяГруппа
GUID_ВидКонтроля
РезультатыОбучения
т
Успеваемость
GUID_ВводУспеваемости (FK)
GUID_Дисциплина
GUID_Семестр
GUID_ВидКонтроля
GUID_Оценка
КоличествоЧасов
АудиторныеЧасы
ЧасыСамостоятельнойРаботы
ГрупповаяВедомость
GUID_РезультатыОбучения (FK)
GUID_Студент GUID_Оценка
GUID_РезультатыОбучения
Номер Дата
ПометкаУдаления
Проведен
GШD_УчебныйГод
GUID_Семестр
GШD_Плошэдка
GUID_Факультет
GUID_ФормаОбучения
GUID_УчебнаяГруппа
GUID_РабочаяПрограмма
GШD_ЭлементПрофаммы
GUID_ВидКонтроля
СдачаЗадолженности
НаПовышеннуюОценку
ТекущийКонтрольВСеместре
КоличествоЧасов
АудиторныеЧасы
ЧасыСамостоятельнойРаботы
УчетКачественныхХарактеристик
КачественнаяХарактеристика
GUID_Преподаватель
Рис. 3. Фрагмент схемы БД успеваемости студентов. Информация о параметрах состояния храниться в регистре сведений «СостояниеСтудента», имеющего следующую структуру (рис. 4). Поле
«Студент» является измерением. Этот параметр имеет объектную природу. Ресурсами является поля «УчебнаяГруппа» (Ссылочный тип), «Семестр» (Ссылочный тип), Статус (Тип перечисление), «Староста» (Булевский тип), «ПродлениеДо» (Тип Дата), «Стипендия» (Булевский тип), «Финансирование» (Тип перечисление), «Номер договора» (Строковый тип), «ТипПриёма» (Тип перечисление), «НомерЦелевогоДоговора» (Строковый тип), «НазваниеПредприятия» (Строковый тип), «НомерЗачетнойКнижки» (Строковый тип). Состояние студента меняется документами «ПриказыНаСтудентов», где в табличных частях данных документов (на рис. 4 «ИзменениеСостоянийСтудентов») отмечаются вносимые изменения.
ИзмениениеСостоянияСтудентов
(-\
GUDJ~lриказыНаСтудентов ^К)
GUD_Студент ИнформацияОбИзменениях
Рис. 4. Подсхема БД по состояниям студентов.
Правила понижающих коэффициентов хранятся с помощью регистра сведений «ПравилаПонижающихКоэффициентов», имеющего следующую структуру. Поля «ВидКонтроля», «Коэффициент», «МодельРейтинга» в качестве измерений. Все параметры измерений имеют объектную природу. Ресурсы числового типа: «МинимальноеКоличетвоПопыток»,
«МаксимальноеКоличествоПопыток». Регистр сведений
«ПравилаПонижающихКоэффициентов» является одним из регистров, отвечающих за хранение информации о настройках системы (рис. 5). К таким регистрам также относятся «Шкалы», «ПравилаБонусовИШтрафов», «МоделиРейтинга», которые подробно рассматриваться не будут, так как далее не участвуют в построении анализируемых запросов.
УстановкаШкал
Шкалы
СУЮ_УстановкаШкал (Р<)
Период
НомерСтроки
Активность
Измерения
Ресурсы
GUID_УстановкаШкал
Номер Дата ПометкаУдаления Проведен Шкала
GUID_Шкала
Г GUID_УстановкаШкал (Р<) Наименование
БонусыИШтрафы
НастройкаСистемы
СиЮ_НастройкаСистемы
Номер Дата
ПометкаУдаления Проведен
GUЮ_МодельРейтинговойСистемы МаксимальныйБаллПовышения
МоделиРейтинга
GUID_НастройкаСистемы (Р<)
Период
НомерСтроки
Активность
Измерения
Ресурсы
£
GUID_БонусыИШтрафы
GUID_НастройкаСистемы (Р<)
GUID_Характеристика
GUID_ТипХарактеристики
МинимальныйБалл
МаксимальныйБалл
ПонижающиеКоэффициенты
GUID_НастройкаСистемы (Р<) GUID_ВидКонтроля Коэффициент МинимальноеКоличествоПопыток МаксимальноеКоличествоПопыток
ПравилаБонусовИШтрафов
ПравилаПонижающихКоэ ффициентов
GUID_НастройкаСистемы (Р<)
Период
НомерСтроки
Активность
Измерения
Ресурсы
г GUID_НастройкаСистемы (Р<)
Период
НомерСтроки
Активность
Измерения
Ресурсы
Рис. 5. Схема хранения настроек моделирования. Далее схематично представим исследуемые запросы. В первоначальном варианте в отчете вычисление рейтинга по формуле (1) выполнялось с помощью пакетного запроса, содержащего два последовательных запроса,
включающих в себя соединения с регистрами сведений «УспеваемостьСтудента», «СостояниеСтудента»,
«ПравилаПонижающихКоэффициентов». Заметим, что в этом случае приходилось делать ещё два неявных соединений со справочником «Оценки», т.к. в регистре сведений «УспеваемостьСтудента» ресурсом была ссылка на оценку, а не её «Вес» (Числовой тип), на основе которого рассчитывается рейтинг, и со справочником «РабочиеПрограммы» для вывода информации о дисциплине, которая является родителем рабочей программы. На рис. 6 и 7 изображены схемы этих запросов. Вывод параметров состояния студентов необходим для получения более детальной характеристики студентов и составления динамических фильтров в запросе.
Для увеличения в отчете быстродействия вычисления рейтинга по формуле (1) в системе был введен регистр сведений «РейтингиСтудента» со следующей структурой. Поля «Студент», «Семестр», «Дисциплина», «РабочаяПрограмма», «ЭлементПрограммы», «ВидКонтроля», «Учебная группа» — измерения. Все параметры измерений имеют объектную природу. Формула (1) вычисляется суммированием агрегата, представленного ресурсом «ОтметкаПонижающийКоэффициентВесКонтрольнойТочки» числового типа по различным измерениям регистра сведений «РейтингиСтудента». Агрегат «ОтметкаПонижающийКоэффициентВесКонтрольнойТочки» представляет собой произведение числового балла отметки студента по соответствующему виду контроля, понижающего коэффициента и веса контрольной точки. В варианте с использованием агрегирующей функции выполняется только один
запрос, соответствующая ему схема изображена на рис. 8.
УспеваемостьСПопыткамиСдач
ВложенныйЗапро с
Ресурсы:
УспеваемостьСтудента
Оценка
НаПовышеннуюОценку ДокументРегистратор
Измерения:
УспеваемостьСтудента
Студент Семестр
РабочаяПрограмма ЭлементПрограммы ВидКонтроля УчебнаяГруппа
Фильтры
{ (х) = { (ДокументРегистратор НаПовытпеннуюОттенку)
Результат
Количество(Оценка) Как Попытки, Студент, Семестр, РабочаяПрограмма, ЭлементПрограммы, ВидКонтроля, УчебнаяГруппа
Ресурсы:
Успеваемость СтудентаСрезПоследних
Оценка
Измерения:
Студент Семестр
РабочаяПрограмма ЭлементПрограммы ВидКонтроля УчебнаяГруппа
Ресурсы:
СостояниеСтудентаСрезПоследних
Статус
Староста
ПродлениеДо
Стипендия
Финансирование
ТипПриема
НомерЗачетнойКнижки
Измерения:
Студент
Внутреннее соединение
2
3
2. Студент=3. Студент
2. Студент = 1. Студент И 2. Семестр = 1. Семестр И 2. РабочаяПрограмма =
1.РабочаяПрограмма И 2.ЭлементПрограммы = 1.ЭлементПрограммы И
2.ВидКонтроля = 1. ВидКонтроля И 2. УчебнаяГруппа = 1. УчебнаяГруппа
Результат
Студент, УспеваемостьСтудентаСрезПоследних.Оценка.Вес Как Отметка, ВложенныйЗапрос.Попытки КАК КоличествоПопыток, Семестр, РабочаяПрограмма, ЭлементПрограммы, ВидКонтроля, УчебнаяГруппа, Статус, Староста, ПродлениеДо, Стипендия, Финансирование, ТипПриема, НомерЗачетнойКнижки
1
Рис. 6. Схема первого запроса в пакетном запросе. Запрос, схема которого представлена на рис. 6, определяет для каждого
студента успеваемость с попытками сдач, а также выводит информацию о соответствующих параметрах состояния. Далее результат запроса передаётся во второй запрос с целью вычисления рейтингов студентов (см. рис. 7).
РейтингиСтудентов
УспеваемостьСПопыткамиСдач
Студент
Отметка,
КоличествоПопыток
Семестр
РабочаяПрограмма
ЭлементПрограммы
ВидКонтроля
УчебнаяГруппа
Статус
Староста
ПродлениеДо
Стипендия
Финансирование
ТипПриема
НомерЗачетнойКнижки
Внутреннее 1 1
ИндивидуальныйСеместровыйТрек УспеваемостиДисциплины
Ссылка Вес,
РабочаяПрограмма ВидКонтроля
Ресурсы:
ПравилаПонижающих КоэффициентовСрезПоследних
МинимальноеКоличествоПопыток МаксимальноеКоличествоПопыток
Измерения:
СостояниеСтудентаСрезПоследних
ВидКонтроля Коэффициент МодельРейтинга
соединение
1.Студент = 2.Ссылка.Студент И1.Семестр = 2.Ссылка.Семестр И1.РабочаяПрограмма = 2.РабочаяПрограмма И1.ВидКонтроля = 2.ВидКонтроля
Фильтры
/Xх) = //(КоличествоПопыток, МинимальноеКоличетвоПопыток, МаксимальноеКоличествоПопыток, ВидКонтроля) /2(х) = /2 (Студент, Семестр, Дисциплина, РабочаяПрограмма, ЭлементПрограммы, ВидКонтроля, УчебнаяГруппа, Статус, Староста, ПродлениеДо, Стипендия, Финансирование, ТипПриема, НомерЗачетнойКнижки)
Результат
(Отметка• Вес • Коэффициент) Как Рейтинг, Студент, Семестр, РабочаяПрограмма.Родитель Как Дисциплина, РабочаяПрограмма, ЭлементПрограммы, ВидКонтроля, УчебнаяГруппа, Статус, Староста, ПродлениеДо, Стипендия, Финансирование, ТипПриема, НомерЗачетнойКнижки
2
Рис. 7. Схема второго запроса в пакетном запросе. На рис. 7 второй запрос пакетного запроса рассчитывает итоговый
результат.
Запрос с использованием агрегирующей функции, вычисляющий тот же результат, что и изначальный пакет запросов, представлен на рис. 8.
Запрос с использованием агрегирующей функции
Ресурсы: Ресурсы:
РейтингиСтудентаСрезПоследних СостояниеСтудентаСрезПоследних
Рис. 8. Схема запроса с использованием агрегирующей функции. Апробация предложенных в работе подходов проводилась в рамках вычислительного эксперимента. В агрегирующей таблице присутствовало 5934 записи.
В таблице 1 указаны время замеров работы отчета для различных вариантов запросов.
Таблица 1
Замеры времени работы запросов в миллисекундах
Описание запросов и их условий выполнения 1 (мс)
Время исходного пакета запросов без влияния кеша 3,028126
Время исходного пакета запросов с учетом кеша 0,441366
Время запроса с агрегирующей функции и без влияния кеша 0,417400
Время запроса с агрегирующей функции с учетом кеша 0,117079
Запрос с использованием агрегирующей функции представленный на рис. 8 вычисляет тот же результат, что и изначальный пакет запросов, но делает это быстрее. В итоге применение агрегирующей функции дало выигрыш во времени без учёта влияния кеша ~ 7,25 раз, а с учётом влияния кеша в ~ 3,77 раз.
Заключение
Была разработана логика построения системы статистического рейтингового оценивания качества успеваемости студентов, автоматизирующей описанный в статье учебный процесс. Выявлена ограниченость механизмов агрегатов платформы «1С:Предриятие 8.3» для вычисления сесионного рейтинга студента, согласно представленной модели. Предложен способ улучшения быстродействия отчетов за счет введения использования новых агрегатов и продемонстрированы результаты временных замеров, подтвердившие уменьшение времени выполнения запросов.
Библиографический список
1. Гурьянова С.Ю. Качество образования в контексте модернизации высшей школы // Качество. Инновации. Образование. 2013. №1. С. 3-14.
2. Гресс Е.С., Крылов С.С. Методические аспекты комплексного оценивания компетенций студентов // Качество. Инновации. Образование. 2014. №4. С. 14-19.
3. Федеральные Государственные Образовательные Стандарты. URL: http://минобрнауки.рф/documents/336 (дата публикации 01.03.2012)
4. Босов А.В., Гресс Е.С., Крылов С.С. Оценивание объективного рейтинга // Материалы X Международной конференции по неравновесным процессам в соплах и струях (NPNJ'2014), Алушта, Крым, 25 - 31 мая 2014. C. 582583.
5. Гресс Е.С., Крылов С.С., Наумов А.В. Реализация модульно-рейтинговой системы МАИ // Материалы XVIII Международной конференции по вычислительной механике и современным прикладным программным системам (ВМСППС' 2013), Алушта, Крым, 22 - 31 мая 2013. C. 838-840.
6. 1С:Предриятие 8: Технологическая платформа [Электронный ресурс]: сайт. URL: http://v8.1c.ru/overview/Platform.htm (дата обращения 25.12.2015)
7. Гресс Е.С., Крылов С. С. Функциональная модель автоматизированной системы статистического рейтингового оценивания качества успеваемости // Известия Института инженерной физики. 2016. №1. С. 12-21.
8. Габец А.П., Козырев Д.В., Кухлевский Д.С., Хрусталева Е.Ю. Реализация прикладных задач в системе «1С:Предприятие 8.2». - М.: ООО «1С-Паблишинг», 2010. - 714 с.
9. Босов А.В., Гресс Е.С., Наумов А.В. Об одном подходе к автоматизации оценивания успеваемости студентов // Системы и средства информатики. 2015. Т. 25. № 2. С. 123-139.
10.Гресс Е.С., Крылов С.С. Задача применения агрегатов для улучшения производительности анализа сессионных рейтингов // Сборник научных трудов 15-й международной научно-практической конференции "Новые информационные технологии в образовании" (Применение технологий "1C" для формирования инновационной среды образования и бизнеса). Часть 1, Москва, 3 - 4 февраля 2015. С. 396-399.
11.Радченко М.Г., Хрусталева Е.Ю. Архитектура и работа с данными «1С:Предприятие 8.2». - М.: ООО «1С-Паблишинг», 2011. - 268 с.
