CC BY
51
ИНФОРМАЦИОННАЯ СИСТЕМА ИНДЕКСНО-РЕЙТИНГОВОЙ ОЦЕНКИ ДЕЯТЕЛЬНОСТИ СТУДЕНТОВ ВУЗА И РЕЗУЛЬТАТЫ ЕЕ ВНЕДРЕНИЯ*
К.В. Рочев
Лаборатория информационных систем в экономике Ухтинский государственный технический университет Ул. Первомайская, 13, Ухта, Республика Коми, Россия, 169300
В статье описывается информационная система индексно-рейтинговой оценки и материального стимулирования студентов вуза, приведен перечень показателей оценки студенческой деятельности, описаны некоторые особенности расчета и представлен анализ данных, полученных по итогам внедрения системы в Ухтинском государственном техническом университете.
Ключевые слова: рейтинг, индексная система, индексно-рейтинговая система, ИРС, учет активности студентов, оценка результатов деятельности.
В последние годы в сфере образования наблюдается тенденция к либерализации. Она выражается, например, в изменении подхода к выставлению оценок — в переходе к балльно-рейтинговой системе (БРС) [1], при которой студент может набирать баллы за активность в течение семестра, при этом оценка становится значительно гибче — на смену традиционной пятибалльной системе приходит стобалльная шкала. При распределении стипендий учитываются заслуги студентов во всех областях их деятельности [2]. Однако на данный момент в большинстве вузов стипендии и поощрительные выплаты студентам назначаются «дискретно». И если с традиционными стипендиями все понятно: успел сдать все экзамены к концу сессии без троек — стипендия есть, не успел — нет (эта дискретность мотивирует к своевременности сдачи экзаменов), то с распределением стипендий за внеучебные достижения все несколько субъективнее, так как выбор стипендиатов обычно ложится на плечи деканатов.
В Ухтинском государственном техническом университете разработана и внедрена в экспериментальную эксплуатацию система индексно-рейтинговой оценки и материального стимулирования студентов вуза — Индексно-рейтинговая система (ИРС) [3]. ИРС — это информационная система, которая, с одной стороны, позволяет облегчить выбор кандидатов на повышенные стипендии, с другой стороны, дает инструмент для гибкого («аналогового») распределения части стипендиального фонда пропорционально достижениям студентов за семестр, а также обеспечивающая накопление портфолио студентов для представления на корпоративные стипендии, стажировки и трудоустройство.
На рис. 1 представлен индекс-лист — основная отчетная форма, демонстрирующая список студентов, ранжированный по результатам деятельности: индексы по разделам — совокупный результат по каждому направлению деятельности.
* Исследование выполнено при поддержке Министерства образования и науки Российской Федерации, соглашение 14.132.21.1031 «Система индексно-рейтинговой оценки и материального стимулирования студентов вуза».
Показатели системы оценки деятельности студентов (учеба, наука, культура, спорт и другие разделы системы) представлены в табл. 1. Индекс лидерства демонстрирует результат по самому успешному направлению, индекс гармонии — степень сбалансированности деятельности студента, итоговый индекс — интегральный показатель результатов деятельности [4].
Сту
ЦЖ™
Ввод запрещен 01.09.2012 - 31.01.2013
Система материального стимулирования Студентов
Показатели (.1,11т гика Администрирование Документация справка Техническая поддеииаоБатеПь: иепЛкгмЬе*
№ ФИО Кафедра Итоговый индекс Индексы по разделам Индекс гармонии Индекс лидерства
1 г 3 4 5 6 7 1000 \ №4 -
600 687.5 583.33 1000 0 700 600
2 Типун и н А. С. ИСГ-08 961.9 1 2 3 4 5 6 7 889.11 1000 \ №7
1000 708.33 1000 0 0 0 1000
Калина М. В. ИСГ-08 596.3 1 2 3 4 5 6 7 719.07 733,33 \№1
3 733.33 41.67 583.33 100 0 341.03 400
4 Колесникова А. В. ИСГ-09 583.38 1 2 3 4 5 6 7 642.11 1000 \№1
1000 17.86 зз.зз 0 200 776.92 600
Кожевникова П. В. ИСТ-09 551.27 1 2 3 4 5 6 7 512.36 833,33 \№1
833.33 401.19 212.96 0 0 333.33 0
Артеев И. Б. ИСГ-08 513.63 1 2 3 4 5 6 7 730.01 366,67 \№1
866.67 187.5 0 500 200 84.62 800
7 Мельничук С. М. ИСГ-08 464.48 1 2 3 4 5 6 7 379.51 1000 \ №2
466.67 1000 0 108.51 О 7.69 0
МоданоаА. В. ИСТ-10 458.32 1 2 3 4 Б 6 7 1000 \ №1
1000 41.67 0 17.02 200 307.69 300
Ноггев А. С. ИСТ-10 430.05 1 2 3 4 5 6 7 443.96 азз,зз\№1
833.33 41.67 0 68.09 600 0 0
10 Гартман Е. В. ИСГ-08 394.24 1 2 3 4 5 6 7 510.47 366,67 \ МП
366.67 270.83 0 100 О 7.69 600
•
Рис. 1. Интерфейс системы
Таблица 1
Перечень показателей системы оценки деятельности студентов
Показатель Веса
1. УЧЕБНАЯ ДЕЯТЕЛЬНОСТЬ 0,200
Посещаемость 1
Результат БРС 5
Результат экзаменов и курсовых (для тех, у кого нет БРС) 5
2. ДОПОЛНИТЕЛЬНАЯ УЧЕБНАЯ ДЕЯТЕЛЬНОСТЬ 0,170
Участие в олимпиаде 1
Работа (проект, экспонат), представленная на конкурс (выставку) 2
Прохождение дополнительного обучения 3
Призовое место на олимпиаде 3
Работа (проект, экспонат), отмеченная на конкурсе (выставке) медалью/дипломом 3*2
Учебная работа (проект), внедренная на производстве 5*2
3. НАУЧНО-ИССЛЕДОВАТЕЛЬСКАЯ И ИННОВАЦИОННАЯ ДЕЯТЕЛЬНОСТЬ 0,250
Участие в НИРС (исследовательских кружках, группах) 1
Доклад на научном семинаре/научной конференции 2
Материалы, поданные в Федеральный институт промышленной собственности 3
Заявки на объекты промышленной собственности 3
Тезисы доклада, опубликованные по материалам научной конференции (семинара, симпозиума...) 4
Статья научного характера 6
Призовое место в конференции 7
Индекс цитирования 7
Вестник РУДН, серия Информатизация образования, 2013, № 2
Окончание
Показатель Веса
Научные публикации, изданные за рубежом 7*2
Премия/стипендия/грант, полученные от фондов/организаций за успехи в науке 7*2
Материалы, зарегистрированные в Федеральном институте пром. собственности 8*2
Монография научного характера 10*2
Патент 10*2
4. КУЛЬТУРНО-ТВОРЧЕСКАЯ ДЕЯТЕЛЬНОСТЬ 0,125
Посещение созвездия «умных» клубов 1
Участие в культурно-массовом мероприятии, в творческих мастерских 2
Публикация художественной литературы (стихи, проза) 3
Призовое место, занятое в культурно-массовом мероприятии 3
Выставка собственных достижений (художественных, литературных и т.д.) 3*2
5. СПОРТИВНАЯ ДЕЯТЕЛЬНОСТЬ 0,125
Посещение спортивных секций 1
Участие в спортивно-массовом мероприятии 1
Высокий результат, показанный в спортивном соревновании 2*2
Рекорд, показанный в спортивном соревновании 4*2
Присуждение спортивной квалификации 5*2
6. ОБЩЕСТВЕННАЯ ДЕЯТЕЛЬНОСТЬ 0,125
Участие в работе комиссий и т.п. 1
Участие в УВК (со стороны администрации вуза) 2
Участие в организации массового мероприятия 2
Статья (интервью, выступление и другие публикации) в СМИ 4
Участие в профориентационном мероприятии 5
Оценка работы профорга группы председателем профсоюза 5
Оценка работы заместителя старосты по ИРС заведующим кафедрой 5
Оценка работы старосты группы заместителем декана по УВР 8
Создание студенческого кружка, клуба, группы 8*2
Статья (интервью, выступление и другие публикации) в зарубежных СМИ 10*2
7. ТРУДОВАЯ И ПРОЧАЯ ДЕЯТЕЛЬНОСТЬ 0,005
Работа 1
ИРС сейчас содержит 7 разделов (см. табл. 1), каждый из которых имеет свой вес, сумма весов всех разделов равна 1 (раздел 7 — «Трудовая и прочая деятельность» введен в Систему для возможности составления более полного портфолио студентов и находится на обсуждении). Все показатели внутри разделов имеют свои относительные веса, для некоторых показателей около веса стоит «*2» — это означает, что показатель учитывается в двух семестрах при расчете индексов и вдвое весомее при построении рейтинга за весь период обучения. Кроме того, у многих показателей есть градации, например, количество страниц и уровень публикации статьи. Каждый семестр по всем студентам собираются и вносятся данные. Внесенные данные подтверждаются отсканированными документами и проверяются ответственными отделами вуза, заведующими кафедр, наблюдательным советом и специальным ответственным лицом — Супервайзером. В феврале и июле по результатам расчетов в ИРС за семестр студентам устанавливаются дополнительные поощрительные выплаты.
Краткое описание алгоритма. Каждому студенту по каждому показателю ставится в соответствие его так называемый частный индекс, представляющий собой количественное значение (объем) показателя (с учетом градаций и их весов, например, для статей учитывается уровень публикации и количество страниц),
нормированное его максимальным среди всех студентов значением. Частный индекс по каждому разделу вычисляется как линейная свертка его частных индексов по всем показателям данного раздела, нормированная максимумом среди всех студентов. И, наконец, итоговый индекс студента есть линейная свертка его частных индексов по всем разделам, нормированная максимальным итоговым индексом среди всех студентов. Получаемые таким образом числа (все они меньше или равны 1) умножаются на 1000, так что лидер по какому-то показателю, разделу или по всей системе всегда получает частный индекс, равный 1000 по соответствующему показателю (разделу) или итоговый индекс, равный 1000, по всей системе. Таким образом, все результаты по показателям и разделам в ИРС подлежат нормированию.
Плюсы и минусы нормирования максимумом. Положительные стороны нормирования:
— возможность распределения фиксированного поощрительного фонда;
— облегчение задачи назначения весов показателям, их независимость от показателей из других разделов и, как следствие, гибкость и расширяемость системы;
— создание соревновательной среды;
— получение положения студента относительно всех остальных в вузе (на факультете, в группе);
— автоматическое поощрение участия в наименее «заселенных» разделах и показателях — привлечение к гармоничному развитию.
Отрицательные стороны нормирования максимумом:
— возможность сговора;
— возможность «подавления» одним членом коллектива всех остальных по определенному показателю или разделу.
При этом возможность сговора минимальна, так как студенты разделены на достаточно мало взаимодействующие между собой группы, потоки и т.п., а нормирование производится по всему вузу. С подавлением несколько сложнее — например, если кто-то напишет 10 статей за семестр, для всех остальных весомость одной статьи будет в 10 раз меньше (пример упрощенный, так, с учетом весов градаций, ваковская статья «весит» в 3 раза больше публикации в материалах конференции, а еще учитывается и количество страниц). Однозначного решения здесь нет, так как нормирование средним (суммой), как и отсутствие нормирования, имеют свои минусы. К тому же нельзя считать этот недостаток очень крупным, так как, если кто-то вырвался вперед по одному из показателей, его всегда можно обойти по другому показателю или разделу.
Алгоритм ИРС предусматривает возможность любой корректировки и модификации набора разделов, показателей и их весов, которые могут потребоваться в ходе эксплуатации.
Пример особого расчета по одному из показателей ИРС. Некоторые показатели системы требуют особого расчета, что реализуется с помощью специального шаблона стратегий [5].
Например, при расчете индекса по показателю «Результат экзаменов» в ходе исследования был рассмотрен ряд альтернативных вариантов:
— сумма всех оценок нормируется максимумом по всем группам — при этом, чем больше экзаменов и курсовых проектов на определенном курсе, тем больше индекс можно получить; плюсы: учитывается дополнительная нагрузка при большом количестве экзаменов, минусы: максимальный индекс по данному показателю может получить только студент в группе, сдающей в текущем семестре большое число экзаменов;
— вычисляется средний балл по студенту и нормируется максимумом; плюсы: понятность, минусы: не учитывается количество сданных экзаменов — достаточно сдать один экзамен на оценку «пять» (не сдав остальные) для получения максимального балла;
— сумма всех оценок, делится на количество экзаменов и курсовых для каждой группы, а уже после этого нормируются максимумом среди всех; плюсы: максимум получает студент, сдавший вовремя на отлично все курсовые и экзамены вне зависимости от их количества — этот вариант выбран, как наиболее адекватный.
Во всех вариантах рассматривается взвешенная сумма оценок, то есть вместо оценки при расчете подставляется ее вес (веса сейчас следующие: «5» = 15, «4» = 5, «3» = 1). Можно было, конечно, учитывать только отличников или отличников и хорошистов (то есть установить веса «5» = 1, «4» = 0, «3» = 0), но для полноты сведений было решено учитывать все сданные экзамены.
Анализ результатов расчета индексов ИРС. Кроме всего прочего система позволяет производить анализ результатов деятельности студентов и, следовательно, предоставляет статистику для повышения эффективности учебной работы вуза в целом. Далее приведены некоторые результаты анализа студенческой активности за осенний семестр 2012 г. На данный момент ИРС внедрена на кафедре информационных систем и технологий (ИСТ) Ухтинского государственного технического университета. Всего на экспериментальном этапе в расчете индексов участвовало 83 студента специальности ИСТ (табл. 2), при этом не учитывались студенты, имеющие нулевой индекс за семестр.
Таблица 2
Количество участников расчетов по группам и их средний итоговый индекс
Курс Группа Количество участников ИРС Средний итоговый индекс
5 ИСТ-08 19 316
4 ИСТ-09 17 227
3 ИСТ-10 14 174
2 ИСТ-11 18 148
1 ИСТ-12 15 158
Итого 83 209
Представители старших (4—5) курсов (рис. 2) показывают большие результаты, причем не только по итоговому индексу, но и по индексам лидерства и гармонии, поскольку у них есть уже некоторая база умений и проектов, больше осведомленность и уверенность в своих силах.
I ИСТ-08 ■ ИСТ-09 ИИСТ-10 I ИСТ-11 ■ ИСТ-12 Рис. 2. Распределение агрегированных индексов по курсам
Если посмотреть более детально, по отдельным разделам (рис. 3), то становится видно, что с увеличением курса растет участие в дополнительной учебной (Р2) и научной (Р3), деятельности, а также количество трудоустроенных студентов (Р7). При этом активность участия в спортивной (Р5) и общественной (Р6) деятельности практически не изменяется.
1ИСТ-08 ■ ИСТ-09 ИИСТ-Ю ■ ИСТ11 ■ ИСТ-12 Рис. 3. Распределение частных индексов по курсам
Результаты учебной деятельности зависят больше от сложности сдачи экзаменов (2 и 3 курс), а культурная деятельность, в рассмотренном случае, — от группы в целом, а не от ее пребывания на том или ином курсе, поэтому по данным разделам заметных трендов нет.
Общее распределение итогового индекса имеет картину, близкую к экспоненциальной, характерной для индексов профессорско-преподавательского со-
става [6]. При этом по первому разделу (учебной деятельности), имеющему наибольший средний индекс, распределение близко к равномерному. Именно эта компонента делает распределение итогового индекса столь «пологим» (рис. 4).
1 11 21 31 41 51 61 71 81
номер студента
» ' ^оговый индекс ■■■■■■ Индекс гармонии ■ Инденс лидерстза
Рис. 4. Распределение агрегированных индексов
Более интересную информацию может дать анализ взаимозависимостей частных индексов по разделам (табл. 3).
Таблица 3
Корреляции между частными индексами по разделам (%)
Раздел: сфера деятельности Р1 Р2 Р3 Р4 Р5 Р6 Р7
Р1: Учебная 21 29 15 13 12 33
Р2: Доп. учебная 53 46 -11 15 36
Р3: Научная 38 -8 23 48
Р4: Культурно-творческая 0 37 35
Р5: Спортивная -2 3
Р6: Общественная 10
Р7:Трудовая
Индекс гармонии 32 56 64 58 21 42 65
Индекс лидерства 90 37 30 27 27 33 34
Итоговый индекс 77 61 69 53 19 44 60
Здесь были получены некоторые довольно неожиданные результаты.
1. Студенты, работавшие в течение семестра, имеют в среднем большие индексы по многим разделам ИРС (в том числе по результатам экзаменов). Это, конечно, можно объяснить тем, что совмещают работу с учебой старшекурсники, а у них достижений больше. Но, если учесть тот факт, что для старшекурсников, взятых отдельно от всех остальных, картина сохраняется, объяснением тут, скорее, служит зависимость, как наличия трудоустройства, так и успехов по всем разделам ИРС от активности жизненной позиции.
2. Никак не связанными с успехами в остальных сферах оказались результаты по разделу 5 «Спортивная деятельность» (единственный раздел, для которого вы-
явлены отрицательные, хотя и незначительные, взаимосвязи с остальными). Тут можно привести несколько предположений, наиболее логичное из них, что спортивная деятельность требует много времени, сил, а также применения другого «ресурса» (в большей степени физического, в то время как для всех остальных сфер деятельности требуется интеллектуальный ресурс).
3. Самая значительная взаимосвязь наблюдается у разделов 2 и 3 — дополнительная учебная и научная деятельности, что скорее свидетельствует о схожести самих разделов, необходимости пересмотра их показателей или, возможно, объединения их в один раздел. Также эти разделы довольно сильно коррелированы с культурной деятельностью (Р4).
Значимость оценок составляет 95% по критерию Стьюдента при корреляции больше 22% (см. табл. 3), однако испытание проводилось в рамках одной кафедры и, следовательно, отражает специфику именно ее функционирования.
При внедрении ИРС в рамках всего вуза она позволит любому доверенному лицу охватить «единым взглядом» результаты деятельности всех студентов, кафедр, факультетов и вуза в целом.
ЛИТЕРАТУРА
[1] Каточков В.М., Сафронова М.А. Внедрение кредитно-модульной и балльно-рейтинговой систем в образовательный процесс университета // Вестник Южно-Уральского государственного университета. Серия: Образование. Педагогические науки. — 2009. — № 24 (157). — С. 37—42.
[2] Постановление Правительства Российской Федерации от 18.11.2011 № 945 «О порядке совершенствования стипендиального обеспечения обучающихся в федеральных государственных образовательных учреждениях профессионального образования».
[3] Рочев К.В. Индексно-рейтинговая система сравнительной оценки деятельности и стимулирования студентов вуза // Управление экономическими системами: Электронный научный журнал. — 2013. — № 1.
[4] Данилов Г.В. Применение обобщенных характеристик деятельности преподавателя для формирования конкурентной среды в университете // Университетское управление: практика и анализ». — 2007. — № 1. — С. 22—25.
[5] Рочев К.В. Расширение области применения информационной системы материального стимулирования — общий и программный аспекты // Всероссийский конкурс научно-исследовательских работ студентов и аспирантов «Инновационные технологии в образовательном процессе» (или «Технологии электронного обучения в образовательном процессе»): Сб. научн. работ. — Белгород, 2011. — Т. 1. — С. 455—457.
[6] Рочев К.В. Анализ результатов работы профессорско-преподавательского состава // Социологические исследования. — 2012. — № 11. — С. 134—140.
LITERATURA
[1] Katochkov V.M., Safronova M.A. Vnedrenie kreditno-modul'noj i ball'no-rejtingovoj sistem v obrazovatel'nyj process universiteta // Vestnik Juzhno-Ural'skogo gosudarstvennogo uni-versiteta. Serija: Obrazovanie. Pedagogicheskie nauki. — 2009. — № 24 (157). — S. 37—42.
[2] Postanovlenie Pravitel'stva Rossijskoj Federacii ot 18.11.2011 № 945 «O porjadke sovershen-stvovanija stipendial'nogo obespechenija obuchajushhihsja v federal'nyh gosudarstvennyh obrazovatel'nyh uchrezhdenijah professional'nogo obrazovanija».
[3] Rochev K.V. Indeksno-rejtingovaja sistema sravnitel'noj ocenki dejatel'nosti i stimulirovanija studentov vuza // Upravlenie jekonomicheskimi sistemami: jelektronnyj nauchnyj zhurnal. — 2013. — № 1.
[4] Danilov G. V. Primenenie obobshhennyh harakteristik dejatel'nosti prepodavatelja dlja formi-rovanija konkurentnoj sredy v universitete // Universitetskoe upravlenie: praktika i analiz. — 2007. — № 1. — S. 22—25.
[5] Rochev K.V. Rasshirenie oblasti primenenija informacionnoj sistemy material'nogo stimulirovanija — obshhij i programmnyj aspekty // Vserossijskij konkurs nauchno-issledovatel'skih rabot studentov i aspirantov «Innovacionnye tehnologii v obrazovatel'nom processe» (ili «Tehno-logii jelektronnogo obuchenija v obrazovatel'nom processe»): sb. nauchn. rabot. — Belgorod, 2011. — T. 1. — S. 455—457.
[6] Rochev K.V. Analiz rezul'tatov raboty professorsko-prepodavatel'skogo sostava // Sociologi-cheskie issledovanija. — 2012. — № 11. — S. 134—140.
INFORMATION SYSTEM OF INDEX-RATING EVALUATION OF HIGHER SCHOOL STUDENTS AND THE RESULT IN ITS IMPLEMENTATION
K.V. Rochev
Laboratory of information systems in economy Ukhta state technical university Pervomayskaya str., 13, Ukhta, Komi Republic, Russia, 169300
This paper describes the information system of index-rating evaluation and financial incentives of university students, a list of indicators to measure the student's activities, features of the calculation and analysis of data on the results of implementing the system in Ukhta State Technical University.
Key words: rating, index system, index-rating system, IRS, students activity, performance evaluation.
