CC BY
67УДК
Ivan M. Kharitonov, Elena G. Krushel, Oleg O. Privalov, Ilya V. Stepanchenko, Olga V. Stepanchenko
HIGHER SCHOOL EDUCATION QUALITY FORECASTING BY REGRESSION ANALYSIS METHODS
Kamyshin technological institute (branch) of Volgograd state technical university, Lenina st., 6a, Kamyshin, 403874, Volgograd region, Russian Federation e-mail: asoiu@kti.ru
In addition to the career guidance measures, the computer-aided faciiities are proposed to assist secondary school graduates in choosing the appropriate direction of higher school speciality and in the estimation of the perspectives of the future education process achievements. The facilities are based on the multivariate linear regression model used for forecasting the education quality at senior years of a higher school. The model is based on a vector of predictor factors; the components of that vector are the data of secondary school education results in the disciplines, which are essential for successful study at the chosen speciality, and the data of characteristic marks of a candidate's general abHities level and diligence. The education quality index is formed as the middle value of the expert estimations assigned by the lecturers for each senior university year student in accordance wtth the accepted mark scale. An approach efficiency example is presented for the forecasting of the successful study of the computer science disciplines.
Keywords: education quality, predictors, multidimensional linear regression, identification, stationary estimation, natural sciences.
001 10.36807/1998-9849-2021-56-82-72-80
Введение
Реформирование системы образования привело к переводу российских вузов на двухуровневую «степенную» систему высшего образования, позволяющую студентам получать степени бакалавра и магистра. Главной особенностью такого перехода является перенесение акцентов с содержания образования на результаты обучения, а также разграничение студентов, которые нацелены либо на научную деятельность, либо на получение навыков, которые необходимы для дальнейшей работы в промышленной сфере [1, 2].
Основной задачей вузов является подготовка квалифицированных специалистов. Исследования российских и зарубежных ученых показывают, что на становление специалиста влияет ряд факторов:
34.42
Харитонов И.М., Крушель Е.Г., Привалов О.О., Степанченко И.В., Степанченко О. В.
ПРОГНОЗИРОВАНИЕ КАЧЕСТВА ОБУЧЕНИЯ В ВУЗЕ С ПОМОЩЬЮ МЕТОДОВ РЕГРЕССИОННОГО АНАЛИЗА
Камышинский технологический институт (филиал) Волгоградского государственного технического университета, ул.Ленина, 6а, г.Камышин, 403874, Волгоградская обл., Россия. e-mail: asoiu@kti.ru
В дополнение к комплексу мероприятий по профориентации предлагаются компьютерные средства помощи выпускникам средних школ в вы/боре подходящего направления обучения в вузе и в оценке перспектив успешного освоения учебной программы/. Основой разработки является многомерная линейная регрессионная модель прогнозирования качества обучения на старших курсах вуза на базе вектора факторов-предикторов, компонентами которого являются данные как об успеваемости абитуриента по предметам, формирующим способности в освоении профильны/х дисциплин выбранного направления обучения, так и о балльной характеристике общего уровня способностей и трудолюбия абитуриента. Оценка качества обучения рассчитывается усреднением экспертных оценок, присваиваемых преподавателями для каждого студента старшего курса в соответствии с принятой балльной шкалой. Приводится пример разработки модели для оценки перспектив успешного освоения в вузе по направлению «Информатика и вы/числительная техника».
Ключевые слова: качество обучения, предикторы, многомерная линейная регрессия, идентификация, оценка стационарности, естественнонаучные дисциплины.
Дата поступления -13 октября 2020 года
особенности учебного процесса (квалификация преподавателей, доступность современных технических средств и др.), личностные характеристики обучающихся (подготовленность к восприятию знаний), профессиональная
направленность (творческий интерес, который проявляют студенты к выбранной специальности) и т.д. [3-5]. Всесторонний учет указанных факторов в образовательном процессе обычно невозможен из-за его высокой трудоемкости. При этом, к сожалению, в рядовых вузах часто происходит резкое расслоение студенческой группы по успеваемости, причем численность студентов, не проявляющих интереса к обучению, может достичь на старших курсах вузов технического профиля 50 %. Необходимо отметить, что это явление влияет также на качество
преподавания, т.к. преподаватель вынужден снижать наукоемкость дисциплины для того, чтобы обеспечить удовлетворительное усвоение знаний всеми студентами.
Выделим одну из причин этого нежелательного явления. Выбор будущей специальности, осуществляемый выпускником средней школы, не всегда является следствием его увлечённости будущим направлением работы. В ряде случаев такой выбор происходит под влиянием родителей, моды, пропаганды профессии в средствах массовой информации и т.п. Если этот выбор не согласуется с показателями качества школьной подготовки, и/или с внутренними (не всегда осознаваемыми) интересами абитуриента, то, скорее всего, его обучение в вузе будет неэффективным. Финансирование обучения в вузе является «подушевым», поэтому преподаватели заинтересованы в сохранении студенческого контингента и не настаивают на пересмотре решения о выборе специальности даже для слабоуспевающих студентов, при этом отказаться от выбранного направления которого после 3-4 лет обучения очень трудно. В результате - нелюбимая профессия, поверхностные знания, непрестижная работа, низкая востребованность на рынке труда [6].
Поэтому актуальной является задача создания компьютерных средств помощи выпускникам средних школ в выборе подходящего направления обучения в вузе, позволяющих выявить способности и внутренние интересы выпускника к профессии. Такие компьютерные средства не требуются для школьников, интересы которых определились и подкреплены реальными достижениями (олимпиадами, кружками и пр.). Для выпускника, не имеющего четкой профессиональной ориентации, такие компьютерные средства могут предоставить оценку ожидаемой эффективности процесса получения высшего образования. Точную оценку получить невозможно, выпускник школы сможет сравнить показатели ожидаемой эффективности освоения различных специальностей и сделать выбор направления обучения в вузе более осознанным и неэмоциональным [7].
Цель работы и постановка
задачи
Цель работы состоит в повышении эффективности выбора направления обучения абитуриентами и в снижении риска низкой успеваемости во время обучения в вузе. В дополнение к комплексу мероприятий по профориентации, направленных на достижение этой цели, предлагаются компьютерные средства помощи выпускникам средних школ в выборе подходящего направления обучения в вузе (далее для предлагаемых компьютерных средств используется сокращенное наименование «Прогноз»). Основой разработки является модель прогнозирования качества обучения на старших курсах вуза на основе массива данных об успеваемости абитуриента по предметам, формирующим способности в освоении профильных дисциплин выбранного направления обучения. Далее для компонентов этого массива используется термин «предикторы». Предлагаемая модель основана на методах анализа статистических данных (в частности, использованы методы
многомерного регрессионного и кластерного анализа) [8].
Для достижения цели решены следующие задачи:
1) выбор показателя качества обучения;
2) выбор состава факторов-предикторов;
3) сбор статистического материала по составу предикторов;
4) получение количественных оценок показателей качества обучения каждого студента;
5) разработка математической модели для компьютерных средств «Прогноз», позволяющей прогнозировать показатель качества обучения конкретного абитуриента по значениям предикторов;
6) идентификация модели и оценка ее статистических характеристик;
7) оценка эффективности прогноза качества обучения.
В качестве модели связи предикторов с показателем качества обучения выбрана многомерная линейная регрессионная модель, для которой определялся как поиск эффективных независимых переменных (предикторов) для объяснения значений зависимой (критериальной) переменной, так и вектор параметров, определяющих вклад каждого предиктора в получаемое значение зависимой (критериальной) переменной [9].
Предполагается нахождение зависимости между несколькими предикторами, характеризующими качество успешности обучения абитуриентов до вуза, с одной стороны, и зависимой (критериальной) переменной, которая характеризуется показателем качества успешности обучения студентов в вузе, с другой стороны. Более подробно сведения об исходных данных для конкретного направления обучения приводятся в разделе «Результаты решения задачи прогноза показателя успешности обучения».
Проблема прогнозирования будущей успеваемости описывается в работах [3, 10-17]. В представляемой работе имеются следующие элементы отличий от цитируемых:
1. Постановка задачи основана на применении модульно-компетентностного подхода [18], разработанного для учета требований современной реформы высшего образования.
2. Согласно этому подходу в учебных программах изучаемых дисциплин выделены модули, устойчивые остаточные знания по которым необходимы выпускнику для будущей востребованности в промышленной сфере, согласно социальному заказу местного рынка труда. Поэтому прогноз успеваемости ориентируется на успешное освоение именно этих модулей (в отличие от этого в цитированных работах речь идет о прогнозировании академической успеваемости в среднем по всем изучаемым предметам), а прогноз ориентирован на оценку успешности обучения только на старших курсах. Следует отметить, что результаты не относятся к успеваемости одаренных студентов, для которых предметом будущей деятельности является научная работа и проектирование (к сожалению, в рядовых вузах таких студентов немного, и их обучение организуется по индивидуальным планам).
3. Для прогноза привлекаются не только оценочные характеристики результатов школьного образования (например, средний балл ЕГЭ [11, 17],
аттестата [12] и др. [16]), но и качественные сведения об общей подготовленности выпускника к получению высшего образования (в частности, мнение классного руководителя).
4. Произведен отказ от универсализации модели прогноза успеваемости в пользу создания множества специализированных моделей, учитывающих особенности учебных программ различных направлений обучения. Эти различия особенно заметны для вузов политехнического профиля в связи с разнообразием прикладной деятельности выпускников (разработанная модель ориентируется именно на такой класс вузов). Согласно этому положению, к участию в экспертной оценке успешности обучения привлекаются ведущие преподаватели только выпускающих кафедр.
5. Для повышения эффективности прогноза успеваемости производится выделение кластеров студентов, учитывающих индивидуальные особенности каждого выпускника школы и влияние внешних причин на получение школьных оценок. Определение принадлежности абитуриента к одному из выделенных кластеров позволяет с большей точностью предсказать успешность освоения им компетенций, необходимых в будущей профессиональной деятельности.
Информационное обеспечение
разработки
Информационное обеспечение разработки компьютерных средств «Прогноз» составили данные, относящиеся к студентам старших курсов. Студенты, показатели которых использованы для идентификации модели и проверки ее стационарности, были разделены на две группы. Данные о первой (далее используется термин «идентификационная группа>) использованы для выбора состава предикторов, а также формы и параметров модели связи показателей обучения в школе с оценкой успешности обучения в вузе. Данные о второй (далее используется термин «контрольная группа>) использованы для проверки гипотезы о стационарности этой связи.
Структура информационного обеспечения:
1. п х к -мерный массив
Хда = {х®,Х^,..., Х(£ } показателей качества обучения в средней школе идентификационной группы студентов (далее используется термин «массив
предикторов»); здесь X
п-мерный вектор, /-и
компонент которого х® представляет собой значение
/'-го показателя качества обучения в школе для /-го студента; ' = 1,...,к, у = 1,...,п, п - число студентов, входящих в идентификационную группу. Источник информации о массиве Хю: архив приемной комиссии вуза, в котором хранятся копии аттестатов об окончании средней школы студентов, проходящих в настоящее время обучение в вузе.
2. п х 1 -мерный вектор эффективности обучения в вузе (далее используется термин «вектор успеваемости») Ую, /й компонент которого ую
представляет экспертную оценку качество обучения /го студента (у = 1,...,п ), рассчитанную усреднением
экспертных оценок, которые выставлены всеми преподавателями выпускающей кафедры в принятой балльной шкале.
3. т х к -мерный массив предикторов Хс с
элементами х), аналогичными х^ , и т-мерный
вектор успеваемости Ус с элементами ус ,
аналогичными уж , ' = 1,...,к, у = 1,...,т, т - число
студентов, входящих в контрольную группу.
Моделью связи значений между массивом предикторов и вектором оценки успеваемости выбрана многомерная линейная регрессионная модель, параметры которой рассчитаны по данным о студентах идентификационной группы:
Ую_^т (Ь, а) = Ь • ) + (ат • ХЮ )т С1)
В (1) оценка успеваемости ую ^ (Ь, а) (п-
мерный вектор) записана в форме зависимости от скалярного параметра Ь (трактуется как оценка успеваемости при нулевых значениях предикторов) и А-мерного вектора параметров регрессии (1). сИа%(ЕПАп) - диагональ единичной п х п матрицы,
введенная для согласования размерностей в (1); Т означает операцию транспонирования.
Параметры (Ьа)* в (1) рассчитываются из условия минимума критерия наименьших квадратов:
(Ь,а)'= ащштУ -Гю ^(Ь,а)} [гш -Гю ^(Ь,а)])
Ь,а
(2)
Далее значения (Ь,а)* используются в (1) в качестве параметров (Ь,а) , при которых обеспечивается минимальное значение среднего квадратического отклонения показателя успеваемости Ую от его оценки ую (Ь, а), рассчитанной
согласно значениям массива предикторов.
Попутно рассчитываются показатели, характеризующие статистические свойства регрессии (1) и параметров (Ь, а) (перечислены ниже в примере расчета).
Оценка Д(Ь, а) стационарности (1)
рассчитывается по данным о студентах контрольной группы и параметрах (Ь, а) , найденных при минимизации (2), как среднее квадратическое отклонение вектора успеваемости у от его оценки:
Д(Ь, а) = ([Ус - Ус _ ^ (Ь, а)МУс - Ус ^ (Ь, а)])/п (3) Ус (Ь, а) = Ь^(ЕхЯ) + (атХт )т (4) Регрессионную модель с параметрами (Ь, а) считаем квазистационарной, если множественный коэффициент корреляции между У и массивом
предикторов Х останется значимым с заданным
уровнем вероятности, несмотря на то, что параметры регрессии рассчитаны без использования данных об
Ус-
Разработка модели содержала 2 фазы. Фаза 1 состояла в оценке состава предикторов и расчете параметров линейной многомерной регрессии на основе ретроспективных данных о показателях обучения в школе для идентификационной студенческой группы, проходящей обучение на 3-м курсе. Настройка параметров регрессии осуществлялась с использованием вектора
успеваемости , который предполагался известным. Фаза 2 состояла в оценке возможности прогноза вектора успеваемости (естественно, неизвестного на момент принятия решения о выборе направления абитуриентом) на основе регрессионной модели с параметрами, рассчитанными на фазе 1. Для студентов контрольной группы, показатели которых не использовались на фазе 1, имитировался прогноз вектора успеваемости ус (Ь, а) на основе значений
предикторов без корректировки параметров регрессионной модели, а затем результат прогноза сопоставлялся со значениями Ус для этой группы студентов, заданной преподавателями.
Результаты решения задачи прогноза показателя успешности
обучения
В качестве примера для проведения исследований были выбраны данные об успеваемости студентов-бакалавров технического направления «Информатика и вычислительная техника» (ИВТ).
Использовался следующий состав предикторов:
1) группа показателей, характеризующих школьную подготовку по предметам, необходимым для освоения программы вуза (для направления ИВТ -оценки по естественнонаучным дисциплинам аттестата об окончании средней школы (алгебра, геометрия, физика), оценки единого государственного экзамена (ЕГЭ) по профильной математике и физике);
2) группа факторов, характеризующих общий уровень способностей и трудолюбия выпускника школы (средний балл аттестата абитуриента и экспертная оценка способностей абитуриента в баллах, сделанная его классным руководителем).
Похожие исследования, проводимые для экономических специальностей [12, 13, 15, 17, 19] показали эффективность применения оценок ЕГЭ и среднего балла аттестата в качестве данных для
прогнозирования успеваемости в вузе. Отличие выбранного состава предикторов от использованного в сходных работах [12, 13] объясняется различием между техническими и гуманитарными направлениями обучения. В частности, для технических профилей перечень школьных предметов, подходящих для анализа более узок, чем для гуманитарных (см. группу 1). В то же время набор предикторов из группы 2 для технических профилей шире, чем для гуманитарных. Поэтому для технических профилей важно получение экспертной оценки способностей абитуриента, сделанной его классным руководителем.
В качестве зависимой (критериальной) переменной в модели взята средняя экспертная оценка, сделанная преподавателями выпускающей кафедры (АСОИУ), учитывающая успешность освоения выбранными студентами профилирующих дисциплин, программа изучения которых осуществлялась в соответствии с современным модульно-компетентностным подходом [18]. Эксперты определили состав модулей, необходимых для компетентного будущего специалиста промышленной сферы на местном рынке труда, и выставили каждому студенту оценку в 100-балльной системе, в соответствии со степенью усвоения требуемого объема знаний.
Поскольку исходные данные, выраженные в рейтинговых оценках, приводятся в разных балльных системах (оценки по школьным предметам в 5-балльной, а остальные оценки в 100-балльной), то перед построением модели была проведена их нормализация путем приведения к единой шкале 0..1.
Результаты расчетов, выполненных для фаз 1 и 2, приведены ниже.
Фаза 1. Оценка состава предикторов и расчет параметров линейной многомерной регрессии на основе ретроспективных данных о показателях обучения в школе для идентификационной студенческой группы (табл. 1).
Обозначение параметра Рассчитанное значение Доверительные границы оценки параметров модели Комментарии и трактовка параметра
Нижняя Верхняя
Ь -0.7 -1.2 -0.1 Значение скалярного параметра в (1)
Э1 1.4 0.9 1.8 Вес предиктора х1 «Оценка классного руководителя».
32 -0.4 -1.1 0.3 Вес предиктора х «Средний балл аттестата».
аз 0.4 -0.2 1.0 Вес предиктора х3 «Оценка по алгебре в аттестате об окончании средней школы».
Э4 -0.1 -0.6 0.5 Вес предиктора х «Оценка по геометрии в аттестате об окончании средней школы».
аз 0.1 -0.4 0.5 Вес предиктора х5 «Оценка по физике аттестате об окончании средней школы».
а6 0.2 -0.3 0.7 Вес предиктора х «Оценка единого государственного экзамена (ЕГЭ) по физике».
а7 0.1 -0.2 0.5 Вес предиктора х7 «Оценка (ЕГЭ) по математике».
Анализ коэффициентов переменных регрессии показал, что самую высокую значимость имеет предиктор, отвечающий за оценку классного руководителя о потенциальных способностях абитуриента в выбранном направлении обучения. Малые значения коэффициентов имеют предикторы, отвечающие за оценки по школьным предметам «геометрия» и «физика», что говорит о слабом влиянии этих данных на прогноз эффективности
обучения в вузе по направлению ИВТ, что, возможно, обуславливается низким уровнем применения преподавателями выпускающей кафедры знаний из данных предметов при изложении материала по профилирующим дисциплинам.
Расчеты показали, что, значения стандартных ошибок коэффициентов регрессии существенно меньше значений самих коэффициентов, поэтому
можно утверждать об удовлетворительной точности их расчета.
Значимость каждого коэффициента регрессии подтверждена процедурой проверки статистических гипотез (использован критерий Стьюдента с уровнем значимости 0.05). В таблице 1 приведены также результаты оценки границ доверительных интервалов для каждого из коэффициентов регрессионной модели.
Приведем для примера формулу расчета ожидаемой эффективности обучения абитуриента с использованием параметров модели из таблицы 1: у(х]) = -0.7 + 1.4■ X - 0.4■ X + 0.4■ X - 0.1-X + 0.1-X + °-2■ X + 0.1- X
(5)
где у(х) - компонент зависимой (критериальной) переменной (ожидаемая оценка успешности обучения конкретного абитуриента на старших курсах вуза); х1..х7 - предикторы (обозначения перечислены в правом столбце таблицы 1).
Из (5) видно, что прогнозируемая оценка качества обучения на старших курсах у абитуриентов с явными признаками предпочтения предметов, влияющих на освоение программы вуза по выбираемой специальности, выше, чем у так называемых «круглых отличников» (конечно, этот вывод не относится к одаренным выпускникам, для которых предлагаемые средства компьютерной помощи не нужны). Предикторы х2 и х4 (соответственно средний балл аттестата об окончании школы и оценка по геометрии в аттестате) входят в (5) в форме обратной линейной зависимости со следующей трактовкой: перенесение внимания рядового учащегося на любимые предметы позволяет освоить их лучше, чем те, кто уделяет равное внимание всем изучаемым дисциплинам. Мы подтвердили этот вывод по данным о школьной успеваемости лучших студентов направления ИВТ как идентификационной, так и контрольной групп.
Также с помощью (5) можно оценить максимально возможное значение оценки успешности обучения каждого абитуриента (для этого достаточно присвоить максимальное значения предикторам, входящим в (5) в форме прямой линейной зависимости, и положить значения предикторов х2 и х4 на минимальном уровне, необходимом для получения аттестата об окончании школы). Эти данные могут быть полезными для классного руководителя выпускного класса для советов учащимся по распределению учебного времени. Также эти данные могут пригодиться деканату и выпускающим кафедрам вуза для формирования учебных групп и привлечения студентов младших курсов к дополнительным учебным и развивающим мероприятиям.
Сравнение расчетной и фактической зависимых (критериальных) функций (рис. 1) иллюстрирует хорошую точность регрессионной модели.
о.оо
1 5 10 15 20 25 30 35 40 45
— Средняя нормированная оценка преподавателей
— ■ Прогноз успеваемости
Рис. 1. График прогноза успеваемости, рассчитанного по регрессионной модели
Приведем данные о показателях качества регрессионной модели (т.е. данные регрессионной статистики) [20].
1) Нормированный коэффициент множественной корреляции между зависимой и независимыми переменными, показывающий степень взаимосвязи между предикторами и зависимой (критериальной) функцией, в рассматриваемом примере равен 0.87, что говорит о высокой степени связи между предикторами и оценкой качества обучения в вузе. Естественно, высокое значение коэффициента корреляции, рассчитанное на тех же исходных данных, которые были использованы для оценки параметров регрессии, не может быть использовано для утверждения о полезности модели (поскольку предметом интереса ее использования является период принятия решения о выборе специальности абитуриентом, когда зависимая (критериальная) функция неизвестна).
2) Для оценки возможности использования модели при отсутствии данных о значении критериальной функции (что соответствует существу рассматриваемой задачи) использован коэффициент детерминации (квадрат коэффициента множественной корреляции). В рассматриваемом примере коэффициент детерминации равен 0.76. Согласно известной трактовке коэффициента детерминации можно ожидать, что в 76 % случаев построенная регрессионная модель объясняет зависимости между результатами обучения в школе и оценкой успешности освоения программы вуза. Значение 76 % позволяет характеризовать разработанную модель как удовлетворительную и рекомендовать для приближенного прогноза значений зависимой (критериальной) функции.
3) Коэффициент вариации (т.е. отношение стандартного отклонения зависимой (критериальной) функции к ее среднему значению) равен 0.26, что подтверждает удовлетворительное качество регрессионной модели.
4) Выполнен дисперсионный анализ, позволивший разделить общую вариацию зависимой (критериальной) функции на две составляющие: объяснимую значениями предикторов и случайную (не зависящую от значений предикторов). Как видно из полученных значений, 75 % приходится на объяснимую вариацию, следовательно, в большинстве случаев построенная модель объясняет взаимосвязь между предикторами и зависимой (критериальной) функцией.
Фаза 2. Оценка возможности прогноза вектора успеваемости на примере студентов контрольной группы представлена ниже.
На рис. 2 показан результат расчета контрольного примера. Имитировалось получение прогноза значений зависимой (критериальной) функции с параметрами по таблице 1, но с предикторами, полученными для группы выпускников школы (ныне - студентов 4-го курса), данные о которых не использовались для расчета параметров модели. «Экзаменационная» зависимая
(критериальная) функция, сформированная преподавателями для этой группы студентов, в расчетах параметров модели не использовалась и служила только для ее сравнения с прогнозом.
Рис. 2. График прогноза значений зависимой (критерильной) функции для контрольной группы
Оценка коэффициента множественной корреляции между прогнозируемой зависимой (критериальной) функцией и «экзаменационной» незначимо отличается от рассчитанной для идентификационной группы, что подтверждает приемлемость предложенной модели.
Для оценки чувствительности модели к исходным данным рассчитывались параметры модели для студентов контрольной группы. Естественно, значения коэффициентов получились иными, но эти значения входят в границы доверительных интервалов, рассчитанных для идентификационной группы студентов (таблица 2). Аналогично коэффициенты исходной модели входят в границы доверительных интервалов, рассчитанных по данным о студентах контрольной группы.
Таблица 2. Сравнение результатов расчета параметров _регрессионной модели
Модель по данным студентов
Модель по данным студентов контрольной группы
Обоз начен ие Рас счи тан ное Доверительные границы оценки параметров Обо зна чен ие Рас счи тан ное Доверительные границы оценки параметров модели
пара зна модели пар зна
метра чен Нижн Верхн аме чен Нижн Верхня
ие яя яя тра ие яя я
Ь -0.7 -1.2 -0.1 Ь -1.0 -1.8 -0.2
а1 1.4 0.9 1.8 а1 1.3 0.5 2.0
а2 -0.4 -1.1 0.3 а? -0.4 -2.2 1.4
аз 0.4 -0.2 1.0 а3 0.5 -0.7 1.7
а4 -0.1 -0.6 0.5 а4 -0.2 -1.0 0.6
ав 0.1 -0.4 0.5 а5 0.4 -0.7 1.6
а6 0.2 -0.3 0.7 а6 0.4 -0.4 1.1
ау 0.1 -0.2 0.5 ау 0.1 -0.4 0.4
Таблица 3. Зависимость коэффициента детерминации от
Состав предикторов Коэффициент детерминации
1. Балл ЕГЭ по профильной математике 0.2582
2. Балл ЕГЭ по физике 0.0220
3. Средний балл аттестата 0.1449
4. Оценка аттестата по алгебре 0.3110
5. Оценка аттестата по геометрии 0.1640
6. Оценка аттестата по физике 0.2815
7. Оценка способностей и трудолюбия 0.7182
выпускника
8. Предикторы п.2 и п.5 0.1676
9. Предикторы п.3 и п.6 0.2913
10. Предикторы п.4 и п.7 0.7325
11. Предикторы п.1 и п.7 0.7369
12. Предикторы п.1, п.7 и п.6 0.7380
13. Предикторы п.1, п.7 и п.4 0.7480
14. Предикторы п.1, п.7, п.4 и п.6 0.7480
15. Предикторы п.1, п.7, п.4 и п.3 0.7533
16. Предикторы п.1, п.7, п.4, п.3 и п.2 0.7581
17. Предикторы п.1, п.7, п.4, п.3, п.2 и п.6 0.7585
18. Полный состав предикторов 0.7588
Адекватность выбора предикторов оценивалась сравнением коэффициентов детерминации для моделей, размерность которых была меньше, чем исходная, состав предикторов для которых определялся перебором из состава, принятого для исходной модели. Результаты представлены в таблице 3. Там же показан результат исключения предиктора, имеющего самый малый коэффициент корреляции с критериальной функцией.
Данные таблицы 3 показывают, что исключение предиктора, даже слабо коррелированного с критериальной функцией, нецелесообразно, т.к. приводит к заметному уменьшению коэффициента детерминации.
Анализ статистических характеристик полученной модели установил значимость регрессии и ее параметров. Проверка, выполненная для направления обучения иВт, показала, что модель способна с вероятностью не ниже 75 % верно предсказать абитуриенту, насколько успешным будет его обучение в вузе. Аналогичные модели могут быть созданы и для других направлений. Оценки перспектив успешного освоения программы вуза по различным направлениям могут оказаться полезными абитуриенту в принятии решения о выборе специальности накануне поступления в вуз.
Повышение эффективности прогноза качества обучения
Описанная выше регрессионная модель в текущем виде позволяет осуществлять прогноз качества обучения абитуриента, но для повышения эффективности прогноза необходимо привлечь другие методы многомерного анализа.
Поскольку построение регрессионной модели проводится для отдельно взятой общей группы студентов, то индивидуальные особенности каждого студента и влияние внешних причин на получение школьных оценок не учитываются. К таким особенностям можно отнести: эмоциональный стресс при сдаче ЕГЭ, возможное непонимание с учителем-предметником, возможное завышение оценок в школах с общим невысоким уровнем преподавания и т.д. Для улучшения точности модели мы используем методы кластерного анализа, позволяющего выявлять в общей совокупности студентов уменьшенные группы (кластеры), объединяющие учащихся по определенному внутреннему признаку. Для этого в работе использовался метод невзвешенного попарного среднего [21].
В результате проведения кластерного анализа общая совокупность студентов разделилась на 4 примерно равных по численности подгруппы. Подгруппу «А» образовали студенты, имеющие высокие школьные оценки и высокие оценки в вузе. Подгруппу «В» составили студенты, которые имели хорошие школьные оценки, но по ряду личных причин в вузе их успеваемость оказалась низкой. В подгруппу «С» вошли студенты, имеющие высокий средний балл аттестата, но невысокие оценки по естественнонаучным школьным дисциплинам. В этой группе - студенты, сделавшие, скорее всего, неверный выбор специальности высшего образования. В заключительной подгруппе «О» оказались все оставшиеся студенты («случайная составляющая»),
которые недостаточно успешно учились как в школе, так и в вузе.
Для каждого сформированного кластера студентов построена своя многомерная линейная регрессионная модель, имеющая тот же массив предикторов и вектор успеваемости, что и модель, описанная выше. Как показали результаты анализа полученной регрессионной статистики, значения коэффициентов детерминации для всех кластеризованных наборов данных оказались заметно выше (соответственно 0.91, 0.83, 0.95 и 0.8 соответственно) по сравнению со значением этого же коэффициента для общей совокупности студентов (0.76), а вклады предикторных коэффициентов регрессии в зависимую (критериальную) переменную у всех регрессионных моделей распределились более равномерно, что говорит о значимости каждого предиктора для всей регрессионной модели. Выполненные расчеты подтверждают эффективность использования кластеризации для повышения точности прогноза успешности обучения в вузе.
К сожалению, информационное обеспечение описанной процедуры кластеризации проблематично из-за принципиальной недостаточности информации о будущей успешности обучения в вузе. Возможно улучшение точности прогнозирования благодаря частичной кластеризации (например, для выделения выпускников школ из подгруппы «С», информационное обеспечение которой доступно, и для того, чтобы предупредить их о риске ошибочного выбора специальности).
Выводы и перспективы дальнейшей работы
1) Разработаны компьютерные средства помощи выпускникам средних школ в выборе подходящего направления обучения в вузе.
2) Рассмотрен пример использования модели для прогноза успешности освоения программы вуза по направлению обучения «Информатика и вычислительная техника». Для условий этого примера разработана линейная многомерная регрессионная модель, с вероятностью более 75 %, отражающая наличие линейной зависимости между уровнем успешности усвоения знаний, получаемых в результате изучения естественнонаучных школьных дисциплин и уровнем успешности получения умений и навыков, приобретаемых в процессе обучения по профилирующим дисциплинам направления ИВТ в вузе.
3) Применение методов кластерного анализа позволило разделить студентов по внутреннему признаку на кластеры, частично учитывающие предысторию получения ими школьных оценок. Благодаря этому удалось повысить точность прогноза успешности обучения в вузе для построенной регрессионной модели до 87%.
Ближайшей перспективой работы является привлечение более сложных аналитических методов [22, 23], в частности методов искусственного интеллекта (нейронных сетей) [10, 24]. Также планируется проверка возможности использования регрессионных моделей на исходных данных студентов других технических направлений обучения.
Литература
1. Антонова О.Г., Дыльнова З.М. К вопросу о тенденциях развития Российского высшего образования // Известия высших учебных заведений. Поволжский регион. Общественные науки. 2017. №4 (44). С. 127-135.
2. Костюкевич С.В. Современные тенденции в сфере высшего образования и его классические ценности: актуальность баланса // Вестник высшей школы. 2013. №4. С. 11-19.
3. Исаева Е.Р., Тюсова О.В., Тишков А.В., Шапоров А.М., Павлова О.В., Ефимов Д.А., Власов Т.Д. Поиск прогностических критериев академической успеваемости студентов // Университетское управление: практика и анализ. 2017. Т. 21 № 2 (108). С. 163-175.
4. Strenze /.Intelligence and Socioeconomic Success: A Metaanalytic Review of Longitudinal Research // Intelligence. 2007. № 35 (5). P. 401-426.
5. Zhu D, Hodgkinson I, Wang Q. Academic performance and financial forecasting performance: A survey study // Journal of Behavioral and Experimental Finance, 2018. Vol. 20.
6. KrushelE.G., StepanchenkoI.V., PanfilovA.E., Haritonov I.M, Berisheva E.D. Forecasting Model of Small City Depopulation Processes and Possibilities of Their Prevention. // Kravets A., Shcherbakov M, Kuttsova M, Iijima T (eds) Knowledge-Based Software Engineering. JCKBSE 2014. Communications in Computer and Information Science. 2014. Vol 466. Springer, Cham
7. Kharitonov I.M, Krushel E.G., Panfilov A.E., Stepanchenko I.V. Trend forecasting model of quality of university graduates training on the example of Kamyshin technological institute (branch) of Volgograd state technical university // Journal of Advanced Research in Dynamical and Control Systems. 2018. Vol. 10. № 7 (Special Issue). P. 1846-1852.
8. Draper N.R., Smith H. Applied Regression Analysis, 3rd Edition // John Wiley & sons, Inc. 1998. 736 p.
9. Burnham K.P, Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. // N.Y.: Springer-Verlag. 2002. 496 p.
10. Oladokun V.O., Adebanjo AT, Charles-Owaba O.E. Predicting Students' Academic Performance using Artificial Neural Network: A Case Study of an Engineering Course // The Pacific Journal of Science and Technology. 2008. Vol. 9 № 1. P. 72-79.
11. Zamkov O, Peresetsky A. Russian Unified National Exams (UNE) and academic performance of ICEF HSE students // Sinergia Press. 2013. № 30 (2). P. 93-114.
12. Ляликова В.И, Хацкевич Г.А. Прогнозирование успешности обучения студентов в вузе на основании данных вступительных испытаний // Вестник Гродненского государственного университета имени Янки Купалы. Серия 2. Математика. Физика. Информатика, вычислительная техника и управление. 2014. № 2 (177). С. 70-73.
13. Польдин О.В. Прогнозирование успеваемости в вузе по результатам ЕГЭ // Прикладная эконометрика. 2011. №1 (21). С. 56-69.
14. Breiter A, Stauke E. Assessment information systems for decision support in schools a case study from Hungary // Knowledge Management for Educational Innovation. 2006. Vol. 230. P. 9-17.
15. Богомолов А.И, Деркаченко В.Н, Арюткина Т.А. Прогнозирование успеваемости обучающихся по специальным дисциплинам на основе регрессионных уравнений // Известия высших учебных заведений. Поволжский регион. Гуманитарные науки. 2009. №1 (9). С. 124-132.
16. Гранков М.В., Аль-Габри В.М. Регрессионная модель успеваемости учебных групп вуза // Инженерный вестник Дона. 2017. №1.
17. Erguven M. Comparison of the efficiency of principal component analysis and multiple linear regression to determine students' academic achievement // Application of Information and Communication Technologies. 6th International Conference. 2012. P. 1-5.
18. Харитонов И.М. Моделирование процесса построения учебного плана на основе формализованного представления учебной дисциплины // Открытое образование. 2011. № 2-1. С. 21-32.
19. Орлова И.В, Турундаевский В.Б. Многомерный статистический анализ при исследовании экономических процессов. монография изд. М.: МЭСИ, 2014. 190 с.
20. Alexopoulos E. Introduction to Multivariate Regression Analysis // Hippokratia. 2010. № 14. P. 8-23.
21. Тюрин А.Г, Зуев И.О. Кластерный анализ, методы и алгоритмы кластеризации // Вестник МГТУ МИРЭА. 2014. №2 (3). С. 86-97.
22. Brijesh K, Saurabh P. Mining Educational Data to Analyze Students Performance // International Journal of Advanced Computer Science and Applications. 2011. Vol. 2, №. 6. P. 63-69.
23. Lubna M. Prediction of Student's performance by modelling small dataset size // International Journal of Educational Technology in Higher Education. 2019. Vol. 16, P. 27.
24. Dao Nam Anh, Nguyen Van Quang, Le Xuan Thuy Academic Performance Forecast for Student Success // XIX National Conference: Some Selected Issues of Information Technology and Communication: Hanoi, Oct 1-2/2016. P. 31-36.
References
1. Antonova O.G, Dyl'nova Z.M. On the issue of development trends of Russian higher education // Izvestija vysshih uchebnyh zavedenij. Povolzhskij region. Obshhestvennye nauki. 2017. No. 4 (44). P. 127-135 (in Russian).
2. Kostyukevich S.V. Current tendencies in higher education and its classical values: the relevance of the balance // Vestnik vysshey shkoly. 2013. No. 4. P. 11-19 (in Russian).
3. Isaeva E.R, Toussova O.V., Tishkov A.V., Shaporov A.M., Pavlova O.V., Efimov D.A, Vlasov T.D. Searching for prognostic criteria of students' academic success // Universitetskoe upravlenie: praktika i analiz. 2017. Vol. 21 No. 2 (108). P. 163-175 (in Russian).
4. Strenze T Intelligence and Socioeconomic Success: A Metaanalytic Review of Longitudinal Research // Intelligence. 2007. № 35 (5). P. 401-426.
5. Zhu D, Hodgkinson I, Wang Q. Academic performance and financial forecasting performance: A survey study // Journal of Behavioral and Experimental Finance, 2018. Vol. 20.
6. KrushelE.G., StepanchenkoI.V., PanfílovA.E, Haritonov I.M., Berisheva E.D. Forecasting Model of Small
City Depopulation Processes and Possibilities of Their Prevention. // Kravets A, Shcherbakov M, Kultsova M, Iijima T (eds) Knowledge-Based Software Engineering. JCKBSE 2014. Communications in Computer and Information Science. 2014. Vol 466. Springer, Cham
7. Kharitonov I.M, Krushel E.G., Panfllov A.E, Stepanchenko I.V. Trend forecasting model of quality of university graduates training on the example of Kamyshin technological institute (branch) of Volgograd state technical university // Journal of Advanced Research in Dynamical and Control Systems. 2018. Vol. 10. № 7 (Special Issue). P. 1846-1852.
8. Draper N.R., Smith H. Applied Regression Analysis, 3rd Edition. John Wiley & sons, Inc. 1998. 736 p.
9. Burnham K.P, Anderson D.R. Model selection and multimodel inference: a practical information-theoretic approach. N.Y.: Springer-Verlag. 2002. 496 p.
10. Oladokun V.O., Adebanjo A.T, Charles-Owaba O.E. Predicting Students' Academic Performance using Artificial Neural Network: A Case Study of an Engineering Course // The Pacific Journal of Science and Technology. 2008. Vol. 9 № 1. P. 72-79.
11. Zamkov O, Peresetsky A. Russian Unified National Exams (UNE) and academic performance of ICEF HSE students // Sinergia Press. 2013. № 30 (2). P. 93-114.
12. Lialkkova V.I, Khatskevich G.A. Forecasting of students' learning success at the university based on data from entrance exams // Vestnik Grodnenskogo gosudarstvennogo universiteta imeni Janki Kupaly. Serija 2. Ma-tematika. Fizika. Informatika, vychislitel'naja tehnika i upravlenie. 2014. no. 2 (177). P. 70-73 (in Russian).
13. Poldin O.V. Predicting success in college on the basis of the results of unified national exam // Prikladnaja jekonometrika. 2011. No. 1 (21). P. 56-69 (in Russian).
14. Breiter A, Stauke E. Assessment information systems for decision support in schools a case study from Hungary // Knowledge Management for Educational Innovation. 2006. Vol. 230. P. 9-17.
15. Bogomolov A.I, Derkachenko V.N, Aryutkina TA.Forecasting of students' performance in special disciplines based on regression equations // Izvestija vysshih uchebnyh zavedenij. Povolzhskij region. Gumanitarnye nauki. 2009. No. 1 (9). P. 124-132 (in Russian).
16. Grankov M.V, Al-Gabri W.M. Regression model of the performance of student's groups in higher education institution // Inzhenernyj vestnik Dona. 2017. No. 1 (in Russian).
17. Erguven M. Comparison of the efficiency of principal component analysis and multiple linear regression to determine students' academic achievement // Application of Information and Communication Technologies. 6th International Conference. 2012. P. 1-5.
18. Kharitonov I.M. Modeling process of building curriculum based on formal presentation of academic discipline // Otkrytoe obrazovanie. 2011. No. 2-1. pp. 2132 (in Russian).
19. Orlova I.V, Turundaevsky V.B. Multivariate statistical analysis in the economic processes study. Monograph. ed. Moscow.: MESI, 2014. 190 p (in Russian).
20. Alexopoulos E. Introduction to Multivariate Regression Analysis // Hippokratia. 2010. № 14. P. 8-23.
21. Tyurin A.G, Zuyev I.O. Cluster analysis, methods and algorithms of the clustering // Vestnik MGTU MIRJeA. 2014. No. 2 (3). P. 86-97 (in Russian).
22. Brijesh K., Saurabh P. Mining Educational Data to Analyze Students Performance // International Journal of Advanced Computer Science and Applications. 2011. Vol. 2, №. 6. P. 63-69.
23. Lubna M. Prediction of Student's performance by modelling small dataset size // International Journal of Educational Technology in Higher Education. 2019. Vol. 16, P. 27.
24. Dao Nam Anh, Nguyen Van Quang, Le Xuan Thuy Academic Performance Forecast for Student Success // XIX National Conference: Some Selected Issues of Information Technology and Communication: Hanoi, Oct 1-2/2016. P. 31-36.
Сведения об авторах
Харитонов Иван Михайлович, канд. техн. наук, доцент каф. АСОИУ; Ivan M. Kharitonov, Associate Professor at the Department of ASIPC, wisdom_monk@mail.ru
Крушель Елена Георгиевна, канд. техн. наук, профессор каф. АСОИУ, Elena G. Krushe| Professor at the Department of ASIPC, elena-krushel@yandex.ru
Привалов Олег Олегович, канд. техн. наук, доцент каф. АСОИУ, Oleg O. Privalov, Associate Professor at the Department of ASIPC, galva@mail.ru
Степанченко Илья Викторович, д-р техн. наук, зав. каф. АСОИУ, Ilya V. Stepanchenko, Head of the Department of ASIPC, stilvi@mail.ru
Степанченко Ольга Владимировна, канд. техн. наук, доцент каф. АСОИУ, Olga V. Stepanchenko, Associate Professor at the Department of ASIPC, ovste@mail.ru
