CC BY
41№1(21)2011
М. к. Исакин, Г. В. Теплых
Исследование качества высшего инженерного образования по данным анкетирования студентов с помощью метода нелинейных главных компонент (МЬРСА)
Вработе исследуется целесообразность оценки качества высшего образования с позиции самих студентов и проводится анализ результатов анкетирования студентов инженерных специальностей в вузах Перми. В качестве инструмента обработки данных используется нелинейный метод главных компонент (ЫЬРСА) в понимании системы Гифи, который учитывает неоднородную статистическую природу опросных показателей. Метод может быть весьма перспективен для различных социально-экономических исследований.
Ключевые слова: качество высшего образования, инженерное образование, анкетирование, метод главных компонент, нелинейный метод главных компонент, ЫЬРСА, система Гифи.
1. Введение
Одним из серьезных негативных последствий переходного периода в России является снижение качества образования относительно мировых стандартов и потребностей развития страны. На фоне приоритетов модернизации экономики особенно актуальной и сложной эта проблема оказывается в сфере инженерного образования.
Советское высшее инженерное образование нередко считалось одним из самых лучших в мире. Однако ряд устойчивых негативных факторов в последние десятилетия способствовал постепенному снижению качества подготовки специалистов. К ним можно отнести: сокращение роли ВПК в экономике страны, снижение конкурентоспособности отечественной промышленной продукции вследствие открытия границ и притока более качественных и дешевых импортных товаров, политику, допустившую сильный перекос в отраслевой структуре экономики в сторону ТЭК и т.д. Помимо экзогенного сокращения спроса на квалифицированных инженеров, стоит отметить ряд тенденций и в сфере высшего образования, также обусловивших ухудшение качества образования на технических специальностях. Массовость высшего образования и усиление спроса на дипломы, а также коммерциализация высшего образования, стимулировали вузы увеличивать контингент студентов, нередко в ущерб качеству обучения. Стоит также отметить неспособность и/или нежелание вузов менять учебные программы и приводить их в соответствие с реальными потребностями экономики и мировыми образовательными стандартами. Помимо этого, на снижение качества инженерного образования оказало влияние сокращение финансирования университетов, выразившееся в снижении заработной платы профессорско-преподавательского состава, стипендий и материальной поддержки студентам, ограниченном финансировании материально-технической базы.
№1(21)2011
В последние годы российские органы власти усилили внимание к повышению качества й
высшего образования. Это подтверждается наличием ряда проектов и программ, реали- |
зуемых на федеральном и региональном уровнях, увеличением финансирования высшего „^
образования. В то же время для изменения сложившейся ситуации в сфере инженерно- С
го образования необходим целый комплекс институциональных реформ и существенное |
увеличение финансирования университетов (Известия науки, 2010). В ходе дискуссии Ц о качестве образования важными являются вопросы о том, как определить категорию качества образования, какие существуют способы ее измерения и какие из них целесообразно использовать.
2. Измерение качества высшего образования
Качество высшего образования является сложной и многогранной категорией, не имеющей единого общепринятого определения (Harvey, Green, 1993). Понятийный плюрализм обусловлен целым рядом факторов, среди которых множественность целей высшего образования, большое число бенефициаров высших учебных заведений, неоднородность образовательных программ, институциональная комплексность системы. Однако можно выделить основные концепции качества высшего образования на основе классических подходов к определению качества товара или услуги:
• «традиционная» концепция качества, связанная с уровнем и характеристиками услуги, дающей определенный статус ее получателю;
• соответствие определенным стандартам;
• пригодность для достижения определенных целей;
• эффективность достижения институциональных целей, т. е. стратегических целей в рамках миссии, которые организация сама ставит перед собой;
• соответствие заявленным и подразумеваемым требованиям заказчика.
Множество подходов к определению качества высшего образования приводит к существованию принципиально различных методов оценки этой категории. Не существует и лучшего пути для измерения качества образования (Clewes, 2003), и в большинстве работ по этой теме оценки качества также являются комплексными и/или интегральными. Качество образования может измеряться объективными показателями, такими как доля выпускников, трудоустроившихся по специальности, или средний уровень оплаты труда выпускника. В то же время его можно оценить и субъективно, с помощью опросных показателей, отражающих удовлетворенность студентов образовательной программой или оценку работодателями уровня подготовки выпускников.
Студенты являются одним из важнейших стейкхолдеров системы образования, хотя их значимость на разных уровнях и программах обучения различна. В целом, децентрализация финансирования образования, вхождение в Болонский процесс, в частности, введение двухуровневой системы обучения бакалавриат/магистратура способствует тому, что современные университеты вынуждены все больше учитывать оценки удовлетворенности студентов образовательными программами (Voss et al., 2007). Например, опыт свидетельствует о том, что привлечение новых студентов в магистратуру обходится университетам существенно дороже, чем удержание выпускников бакалавриата (Joseph et al., 2005). Одновременно, позитивное восприятие качества обучения может вести к удовлетворению сту-
№1(21)2011
дентов и их продолжению обучения в этом же вузе, а также способствовать привлечению новых студентов (Marzo-Navarro et al., 2005).
Качество услуг, оцениваемое потребителем, как правило, рассматривается в контексте его априорных ожиданий. Так, О'Нейл и Палмер определяют качество высшего образования как разницу между тем, что студент желает получить, и его восприятием реально полученной услуги (O'Neill, Palmer, 2004). В то же время одним из основных детерминантов воспринимаемого качества образовательной программы для студентов является качество лекторов (Clewes, 2003). При этом ожидания студентов на различных образовательных программах (в бакалавриате, магистратуре, аспирантуре, MBA, PhD) относительно лекторов могут существенно различаться. Так, например, в бакалавриате ключевыми факторами являются коммуникационные навыки и умение доступно объяснять, а в бизнес-образовании — владение эффективными методами обучения, собственный опыт решения практических задач. Результаты интервьюирования студентов показали, что немногие студенты достигают высокого уровня абстракции в построении логической цепочки между качеством преподавателей и конечной выгодой от обучения (Voss et al., 2007). В целом, можно сделать вывод о необходимости анализа оценок
0 качества образования с позиции студентов. При этом необходимо понимать, что такой анализ t имеет ограниченный смысл и дает лишь отдельный аспект в понимании сути явления.
1
о
2
* 3. Результаты анкетирования студентов в университетах города Перми
Щ
0 &
£ В 2009 году в рамках международного проекта «Сравнительный анализ качества высше-
1 го образования в глобальной экономике знаний», инициированного Школой образователь-§ ных исследований Стэнфордского университета (Stanford University School of Education — ! SUSE), направленного на изучение процессов инженерного образования в высших учебных
4 заведениях в странах БРИК (Бразилия, Россия, Индия, Китай), в ряде российских городов Üj было проведено комплексное исследование. Оно включало в себя анкетирование студентов I и выпускников инженерных специальностей вузов, а также интервьюирование руководи-о телей этих вузов и работодателей, использующих труд инженеров. В настоящей статье про-а водится анализ результатов анкетирования студентов двух университетов Перми — Перм-£ ского государственного технического университета (ПГТУ) и Пермского государственного
0 университета (ПГУ). В ходе исследования анкетировались студенты четырех факультетов & ПГТУ: аэрокосмического (АКФ), механико-технологического (МТФ), электротехническо-^ го (ЭТФ), прикладной математики и механики (ФПММ); и двух факультетов ПГУ: меха-is нико-математического (ММФ) и физического (ФФ). Анкетирование охватывало студентов fe четвертого курса бакалавриата, четвертого и пятого курсов специалитета и обоих курсов
1 магистратуры. На этом этапе студенты начинают активно включаться в профессиональную ™ деятельность по специальности (работа в реальном секторе, преподавательская или научно-
5 исследовательская деятельность), поэтому анализ такой выборки позволяет оценить качест-I во образовательных программ с точки зрения их востребованности на рынке труда.
* В ходе проведения исследования было проанкетировано 339 студентов. Для сравнения
* можно отметить, что в других исследованиях, использующих предлагаемый в данной статье I метод, число объектов наблюдения было намного меньше ста (Michailidis, De Leeuw, 1998; I Lagona, Padovano, 2007). Необходимо указать, что неполное заполнение анкет несколько s снижает полноту выборки и при анализе требует учета пропущенных данных.
№1(21)2011
Анкета студента включала около 250 вопросных пунктов, сгруппированных по следующим блокам: обучение в школе; поступление; оплата обучения; финансовая поддержка со стороны университета; досуг; процесс обучения на факультете; планы по продолжению образования; учебная практика; работа во время обучения; планы по будущему месту работы; приобретенные навыки и способности; общение с однокурсниками; информация о респонденте и семье. Анкета содержала вопросы различных типов: множественный выбор (как правило, из 4-5 вариантов), открытые вопросы, субъективная оценка по шкале от 1 до 5. Для целей дальнейшего анализа можно выделить следующие типы показателей:
• количественные (numerical), например, «сколько времени студент уделяет на учебу» или «средняя ожидаемая заработная плата»;
• порядковые или ординальные (ordinal), например, «как вы оцениваете по пятибалльной шкале свою готовность к профессиональной деятельности?»;
• номинальные (nominal), например, «сфера работы отца/матери» с указанием вариантов;
• открытые вопросы, например, «что означает, на ваш взгляд, быть хорошим инженером?».
В качестве предварительного анализа предлагается рассмотреть некоторые результаты анкетирования и оценить наиболее заметные зависимости между факторами, характеризующими качество образовательных программ. Прежде всего, необходимо отметить существенную положительную зависимость между результатами ЕГЭ1 по отдельным предметам (в частности, коэффициент ранговой корреляции Спирмена между оценками по математике и экзамену по выбору равен 0.48), т. е. при окончании школы не наблюдается «специализация» выпускников. В то же время в полученных результатах анкетирования имеется зависимость между тем, какой предмет по выбору сдавался, и фактом работы студента по специальности.
Существуют значительные тендерные различия в распределениях успеваемости студентов (рис. 1). Хотя мода распределений одинаковая и соответствует ответу «В основном хорошо и отлично», распределение успеваемости девушек более равномерно и имеет сравнительно высокую плотность в сегментах высоких и отличных оценок.
g § Д
CQ
С
I I
30-
н
u—I ° 20-
10-
0
J_I_I_I_I_L
Female
H-1-1-1-1-1
1 2 3 4 5 6
1 2 3 4 5 6 _l_I_I_I_I_I_
Male
Grades
□
~l-1-1-1-1-Г
Рис. 1. Гистограммы успеваемости по тендерному признаку
В анкете указывались результаты ЕГЭ по русскому языку, математике и предмету по выбору.
\
73
№1(21)2011
Щ
в »
ф I?
о §
»
га о
0
1 I
л »
га Ч о
15 §
»
га о
о
и
га
£ о
0 »
а
ф »
1
5
ф
■3 о
о
ф §
си $
»
га о
о §
о 5
Подготовка к профессиональной деятельности
Выбор той же специальности
В качестве одной из оценок студентом качества образовательной программы можно использовать абстрактный показатель, отражающий желание студента выбрать ту же программу, если бы такой выбор представился снова. Этот показатель значимо коррелирует с оценкой студентом уровня подготовки к профессиональной деятельности (коэффициент ранговой корреляции Спирмена равен 0.38). Распределение студентов по возможным категориям этих показателей отражено на рисунке 2.
100 90 80 70 60 50 40 30 20 10
Рис. 2. Гистограммы распределения студентов при оценке по пятибалльной шкале уровня своей профессиональной подготовки и желания выбрать ту же программу
Распределение желания выбрать ту же программу существенно меняется для различных уровней успеваемости и, что примечательно, имеет похожий вид для самого низкого (1) и самого высокого (6) уровней успеваемости (рис. 3).
Если проанализировать данные о занятости студентов, можно отметить, что наличие работы по специальности изменяет распределение успеваемости2 студентов в целом в лучшую сторону, однако «круглых отличников» становится при этом сравнительно меньше (рис. 4).
Одновременно с этим работа по специальности в целом положительно сказывается на оценке студентом качества программы в смысле желания выбрать ее снова. Эта зависимость представлена на рисунке 5. При этом размер сферы на рисунке определяет количество студентов, имеющих соответствующие значения показателей.
Можно отметить, что наличие курсов по выбору практически не влияет на оценку студентом качества образовательной программы. Присутствие нескольких элективов на старших курсах не оценивается студентом как механизм, позволяющий сформировать индивидуальную образовательную траекторию, поэтому не приносит существенной добавленной полезности студенту. Исходя из результатов анкетирования, гипотеза о совпадении медиан оценки удовлетворенности программой при наличии/отсутствии элективов не может быть отвергнута на основании критерия Краскела-Уоллиса (табл. 1).
2 Успеваемость измеряется по шкале от 1 до 6, при этом «1» соответствует наличию существенного числа неудовлетворительных оценок и пересдач, а «6» — отличной успеваемости по всем предметам.
0
№1(21)2011
50403020100
J_I_I_I_L
Q
ал
д
1 2 3 4 5 J_I_I_I_L
XL
J_I_I_I_L
n
a
50 40 30 20 10 0
g
£ <o С
I I
1 I I I Г~1 I I I Г~1 I I I г 12345 12345
8аше.Ма]ог
Рис. 3. Гистограммы удовлетворенности студентов в разрезе по уровням успеваемости
40
30
20
10
J_I_I_I_I_L
Employed
1 2 3 4 5 6 _l_I_I_I_I_I_
Unemployed
-1-1-1-1-1--1-1-1-1-1-Г
1 2 3 4 5 6
Grades
Рис. 4. Гистограммы успеваемости для работающих / не работающих
по специальности
Таблица 1. Результаты теста Краскела-Уоллиса
Краскела-Уоллиса (хи-квадрат) тест
Степени свободы
Р-значение
1.5238 1
0.2170
\
75
4
5
6
2
3
0
№1(21)2011
Ё?
щ
л ч
и *
Есть
Нет
0
В
1
ф
I?
0 §
1
га о
0
1 I
л I I
га Ч
0
15 §
1
га о
о
и
га
£ о
0
1
а ф I
I
ф
Э
о
Работа по специальности
Рис. 5. Связь удовлетворенности программой и наличия работы по специальности
Ряд вопросов анкеты были направлены на оценку по пятибалльной шкале навыков и способностей, полученных в ходе обучения в университете. В таблице 2 представлены ранговые коэффициенты корреляции Спирмена между некоторыми ординальными переменными. Желание студента выбрать ту же программу довольно тесно коррелирует с оценкой возможности работать за рубежом и слабо связано с показателем «Обучение носило довольно общий характер».
Таблица 2. Матрица коэффициентов корреляции Спирмена между показателями
1 2 3 4 5 6 7 8
1 1.00 -0.24 -0.20 0.00 -0.12 -0.13 -0.16 -0.09
2 -0.24 1.00 0.35 0.13 0.07 0.12 0.26 0.19
3 -0.20 0.35 1.00 0.38 0.26 0.19 0.26 0.29
4 0.00 0.13 0.38 1.00 0.42 0.18 0.11 0.15
5 -0.12 0.07 0.26 0.42 1.00 0.23 0.18 0.17
6 -0.13 0.12 0.19 0.18 0.23 1.00 0.60 0.28
7 -0.16 0.26 0.26 0.11 0.18 0.60 1.00 0.36
8 -0.09 0.19 0.29 0.15 0.17 0.28 0.36 1.00
0 ф
^
си $
1
га о
о §
о 5
1 — Обучение носило довольно общий характер
2 — Обучение было направлено на развитие практических навыков
3 — Оценка подготовки к профессиональной деятельности
4 — Желание выбрать ту же специальность, если бы такой выбор представился снова
5 — Студент имеет возможность работать как в России, так и за рубежом
6 — С момента поступления улучшились общие теоретические знания по специальности
7 — С момента поступления улучшились практические навыки по специальности
8 — С момента поступления улучшилось умение решать профессиональные задачи
6
5
4
3
2
0
№1(21)2011
4. Использование статистического инструментария снижения размерности
со
Результаты анкетирования содержат большое число показателей, позволяющих решать С разнообразные задачи, связанные с оценкой качества образовательных программ. Можно | предположить, что есть небольшое число латентных интегральных свойств, которые харак- Ц теризуют наиболее существенные аспекты оценки студентами качества образования. Такие свойства могут быть выражены в виде интегральных индикаторов, представляющих собой ^ определенного вида свертку исходных показателей, и которые более удобно использовать для дальнейшего сравнительного анализа качества образования.
Относительно простым способом построения интегральных индексов является расчет взвешенных средних исходных показателей. Не вдаваясь в подробности построения индексов такого рода, можно отметить ряд сложностей, с которыми сталкивается исследователь:
• необходимость обоснованного отбора входящих в сводный индекс показателей;
• определение способа расчета индекса и учета взаимного влияния факторов;
• объективное определение весов показателей;
• необходимость квантификации качественных данных.
Решение всех этих задач привносит значительную долю субъективизма в подобные интегральные индексы. На практике этот подход осуществляется, как правило, с использованием экспертных оценок нескольких специалистов, имеющих большой опыт аналитической работы в своей области. Другой подход к построению латентных интегральных характеристик апеллирует к инструментарию многомерного факторного анализа. Ключевым аргументом в пользу использования этих методов является то, что построенные индексы в определенном смысле включают в себя максимум информации, содержащейся в исходных данных. Стоит отметить, что применение наиболее распространенного метода многомерного факторного анализа — метода главных компонент — для анализа результатов анкетирования не вполне корректно в силу различной природы исходных показателей анкет. Кроме того, наличие ординальных и номинальных показателей в общем случае требует решения параллельной задачи квантификации («оцифровки») их категорий.
Нелинейное отображение многомерных данных в пространство низкой размерности не является принципиально новой идеей. Для количественных показателей можно осуществить подобное отображение, например, по критерию типа стресса или с помощью опорных точек (Айвазян и др., 1983). Для неколичественных типов данных также разработан ряд методов, позволяющих переводить их в пространство меньшей размерности, в частности, многомерное неметрическое шкалирование (для ординальных факторов), множественный анализ соответствий или дискриминантный анализ (Айвазян и др., 1989). При этом задача оцифровки исходных качественных переменных может ставиться как самостоятельно, так и включаться в процедуру решения общей задачи снижения размерности.
Недостатком вышеупомянутых методов является то, что они в основном рассчитаны на работу с конкретным типом переменных. Одним из немногих статистических инструментов, позволяющих снизить размерность пространства разнородных данных, является метод нелинейных главных компонент (НМГК) — Nonlinear Principal Components Analysis (NLPCA) — описанный в рамках систем Альберта Гифи. Реализация этого метода параллельно осуществляет квантификацию всех качественных переменных.
5. Нелинейный метод главных компонент в системах Гифи
Следует заметить, что в исследовательских кругах не сложилось однозначной дефиниции для метода нелинейных главных компонент. Широкую популярность имеет понимание NLPCA и его воплощение на основе нейронных сетей. Оно находит место в естественных науках — биологии, медицине, географии (Friston et al., 2000; Hsieh, 2001; Scholz et al., 2008). Салинелли просто рассматривает нелинейную трансформацию непрерывных переменных (Salinelli, 1998). Все подобные подходы и разработанные в их рамках инструменты небезосновательно считаются методами NLPCA. Системы Гифи нацелены на работу с категориальными переменными и могут одновременно осуществлять их квантификацию. Кроме этого, системы Гифи допускают анализ количественных типов данных, рассматривая их как частный случай категориальных. Поэтому NLPCA именно в этой терминологии наиболее удачно подходит для описания результатов анкетирования.
Истоки метода уходят в середину XX века. Группа исследователей университета Лейдена с 1968 года занимается проектом «Нелинейный многомерный анализ». Квинтэссенция их pari боты представлена в работе «Nonlinear Multivariate Analysis», написанной под псевдонимом * Альберт Гифи (De Leeuw, 1990). Поэтому многие научные идеи и прикладной статистический инструментарий, разработанные в рамках этого коллектива, часто относят к «системам Гифи». NLPCA в системах Гифи является по сути анализом однородности с ограничениями
о §
■с на значения качественных переменных. Достаточно полно и сжато описание NLPCA пред
о ставлено в работе Михаилидиса и Леева (МкЬаШШв, Бе Ьееи№, 1998). Задача минимизации целевой функции имеет вид:
I а(X;¥„..., Yj) = J-1 JSSQ(X - Gft) =J(X - GY)'(X - GY) - min, (1)
t w 4 о 15
s
о
j=1 j=1
| где SSQ(H) — сумма квадратов элементов матрицы Н.
о X— матрица размерности N X р , содержащая координаты N объектов вр-мерном про-
(1 странстве Rp. Это — матрица интегральных характеристик.
\о
£ У— матрица размерности Ь у X р переменной/, содержащая координаты всех Ь у ее ка-
¡5 тегорий вр-мерном пространстве, у Е 3 . Матрицы У у содержат квантификации всех 3
® исходных показателей, которые принимают Ьу различных значений. Их количественные
^ выражения априори неизвестны, т. к. показатели носят качественный характер.
Л GJ — матрица смежности (или матрица индикаторов) размерности N X Ьу для исходной
!б переменной/, у Е 3. Элемент матрицы GJ (/,Iу) = 1, если объект г относится к категории Iу,
| и G: а,I .) = 0 в противном случае, 7 Е N, I . Е Ь..
^ У У У У Щ
(л
С целью исключения тривиального и не несущего аналитической ценности решения
| X = 0, У = 0, у Е 3, на матрицу конечных индикаторов X накладываются условия цен-
* трированности и ортонормированности: s t
W Щ
о
!? §
£ X'X = N1. (3)
unX = 0, (2)
№1(21)2011
Другими словами, интегральные индикаторы имеют нулевое среднее, единичное среднеквадратичное отклонение и независимы друг от друга. |
Решение задачи (1) с учетом ограничений (2) и (3) требует одновременной оптимизации
<о
как матриц у, так иХ На практике это осуществляется с помощью итерационной процеду- С
I
Последовательный расчет матриц Yj иХ осуществляется по формулам: Ц
ры Homals, предполагающей поэтапный пересчет матриц при фиксированных остальных.
Yj = Dj'GjX,jB J , (4)
j
X = J"1, (5)
j=i
где Dj = GjGj — вспомогательная матрица размерности L. X L., по основной диагонали которой расположены относительные частоты категорий переменной/.
Для выполнения ограничений (2) и (3) необходимы дополнительные операции по центрированию столбцов матрицыХ, а после этого осуществляется ортонормализация матрицы с помощью процедуры Грама-Шмидта:
W = X - un«-X / N), (6)
X = VN X GRAM(W). (7)
Формулы (4)-(7) определяют этапы процедуры Homals, которые повторяются до достижения удовлетворительной сходимости результатов.
Анализ однородности удобен в применении для множественных номинальных (multiple nominal) переменных. Множественность означает, что матрицы Yj невырожденные и их столбцы могут быть линейно независимы — это приводит к тому, что качественные переменные могут иметь различные квантификации для каждого измерения^. Для расширения возможностей анализа однородности на другие типы исходных данных требуется ввести дополнительные требования на переменные.
Нелинейный метод главных компонент в системах Гифи находится как решение оптимизационной задачи (1)с ограничениями первого ранга на исходные переменные:
Yj = qj0 j ,j е J, (8)
где вектор-столбец qj (L. строк) содержит значения квантификации переменнойу, вектор-столбец fij (p строк) отражает веса (загрузки компонент), с которыми пoкaзaтeльj входит в расчет разных главных компонент. Матрицы Yj имеют единичный ранг, их столбцы пропорциональны друг другу. Таким образом, введение ограничений (8) позволяет существовать многомерному решению с единственной квантификацией (оптимальное шкалирование) категорий номинальных переменных (single nominal). Также оно позволяет ввести в анализ другие типы переменных (ordinal, numerical), что невозможно в рамках множественной квантификации.
Наличие ограничений позволяет преобразовать задачу (1)к виду:
j
0 = ^tr (q^'j. -Yj У Dj (qjfi'j-Yj) - min. (9)
j=i
№1(21)2011
Оптимизация (9) осуществляется последовательно — вначале по векторам [3. при фиксированных векторах qJ, после чего по qj при фиксированных (3.:
3. = (Г3В3)/(?;взд..), у е 3, (10)
[, = (9, ь, )/($,Ь,), уе 3. (11)
Разные типы исходных показателей требуют соблюдения различных правил квантифика-ции. Для ординальных переменных каждая следующая по порядку категория должна иметь не меньшее значение, чем предыдущая. Количественные переменные требуют прямой зависимости между исходной ^^ и конечной (д^ квалификацией:
(1) < (2) < ),уе (12)
На практике эти ограничения учитываются после предварительной оценки векторов кван-о тификаций После этого вектора [ пересчитываются с учетом ограничений (9) и (10) с по-| мощью обычной регрессии для количественных переменных либо монотонной взвешенной
регрессии для ординальных переменных. £ Простые номинальные переменные не требуют наложения ограничений на вектор кван-| тификаций. Кроме этого, МЬРСА допускает наличие среди исходных показателей множе-
0 ственных номинальных переменных — в этом случае на соответствующие им матрицы У
1 - У
■о
не накладываются ограничения единичного ранга (8). | Оптимизация функции потерь (1) с учетом ограничений на матрицу конечных показателей (2), (3), матрицы исходных переменных (8), категории квантификаций (12) и (13) coll ставляет задачу нелинейного метода главных компонент. Способом ее решения является ч итерационный алгоритм Princals или CatPCA (Categorical Principal Component Analysis), ¡j Алгоритм Princals включает следующие этапы:
I 0. Инициализация исходной матрицыХ, удовлетворяющей условиям (2) и (3).
О хч
g 1. Оценкамножестваквантификацийкатегорий Yj = D~lG'iХ, j Е. J.
a ^ ^ J J
0 2. Оценка вектора нагрузки компонент ¡3j = (Y'jDj4j)l (4jDj4j), j E J.
¡3 3. Оценка единичных квантификаций категорий qj = (Yjbj)/ (fijbj), j E J,
® 4. Пересчет значений векторов квантификаций q с помощью монотонной или линейной
1
регрессии в зависимости от типа переменных.
s 5. Обновлениемножественныхматрицквантификации, Yj = qjb'jJ.
6. Оценкаматрицыинтегральныхпоказателей, X = 3_1 ^^С.У. .
7. Центрирование и ортонормализация матрицы X .=1
8. Проверка критерия сходимости.
Этапы 1-7 повторяются до сходимости результатов. При этом осуществляется два цикла — внутренний (на этапах 2-5), и внешний (на этапах 1-7). Внешний цикл, как и алгоритм Нотак, оптимизирует матрицыХ и У.\ внутренний цикл позволяет учесть ограничения, свя-о занные с типом переменных. Внутренний цикл может сводиться и к единичному выполне-| нию этапов 2-5, что достаточно для сходимости функции потерь к минимуму (МкЬаШШв, з; Ое Ьееи'№, 1998). Можно отметить, что Рппсак обобщает Нотак, а для случая, когда все
№1(21)2011
переменные являются количественными, процедура сводится к обычному методу главных й компонент. Таким образом, МЬРСА обобщает довольно широкий класс задач снижения раз- § мерности пространства данных. ^
Инструментарий, основанный на системах Гифи, довольно редко встречается в социаль- С но-экономических исследованиях. Из работ, применяющих МЬРСА, можно отметить ста- | тью (Lagona, Раёоуапо, 2007) по систематизации и описанию бюджетных систем стран Ев- Ц росоюза и работу (ТЫеззеп, 2007) по тендерным различиям уровня развития человеческого капитала. По всей видимости, в его применении к описанию социально-экономических ^ процессов в стране или регионе на макроэкономическом уровне нет особого преимущества, т. к. используемые при этом на практике показатели имеют, в основном, естественную количественную природу и могут быть обработаны более простыми методами. С другой стороны, инструментарий систем Гифи, в частности, МЬРСА, может обладать большим нераскрытым потенциалом применения в микроэкономических исследованиях, в частности, при обработке результатов анкетирования. Сопутствующий им анализ часто встречает затруднения в измерении свойств отдельных объектов.
Метод нелинейных главных компонент в системах Гифи позволяет заметно упростить обработку результатов анкетирования в силу следующих причин:
• Вопросы в анкете могут быть связаны между собой, носить субъективный характер; весь комплекс вопросов может быть недостаточно грамотно сформирован. Сокращение размерности пространства исходных данных до относительно небольшого числа интегральных индикаторов позволяет в заметной степени элиминировать негативное влияние этих факторов.
• Применение подхода дает однозначный вид зависимости интегральных показателей от исходных факторов, который имеет четкое математическое обоснование и не зависит от субъективного мнения исследователей.
• Конечные интегральные индексы (главные компоненты) наиболее сжато отражают суть объектов исследования и их основные дифференцирующие свойства. Интерпретация главных компонент позволит выделить наиболее глубинные и устойчивые из таких свойств.
• Обеспечивается снижение влияния субъективного фактора, связанного как с разработкой структуры анкеты, так и с ответами респондентов.
• МЬРСА допускает нелинейную трансформацию значений переменных, что позволяет учесть в анализе не только количественные, но и качественные исходные показатели. Это важно, т. к. ординальные и номинальные переменные часто составляют основную массу вопросов в анкете.
• Одним из результатов МЬРСА является квантификация качественных переменных, что несет дополнительную аналитическую ценность. Числовые значения позволяют количественно оценить степень проявления основного сущностного признака таких переменных по всех их категориям.
• Гибкость решения проблемы недостающих данных. Метод позволяет, в частности, воспринимать отсутствующую информацию по какой-либо из переменных как самостоятельную категорию или как отдельное для каждого объекта значение и включать поиск этих неизвестных в процесс оптимизации.
Достоинства МЬРСА и доступность реализации вычислительных процедур обусловили его выбор для обработки результатов анкет в настоящем исследовании. Главные компоненты могут быть интерпретированы как оценки качества высшего инженерного образования с позиции студентов. Неоднозначность оценок, связанная с наличием нескольких главных
компонент, не является существенным недостатком выводов, поскольку само понятие «качество высшего образования» весьма сложно и многогранно. Более того, анализ, интерпретация и сравнение этих компонент могут ответить на вопрос, какие именно стороны в качестве высшего образования имеют с точки зрения студентов наибольшую значимость.
6. Измерение качества инженерного образования в вузах Перми с помощью NLPCA. Построение и интерпретация главных компонент
Применение метода для анализа результатов анкетирования студентов требует некоторой переработки исходной информации. Во-первых, большое число вопросов в анкетах позволяет сформулировать не меньшее количество показателей для анализа процессов инженерного образования. Во-вторых, ряд вопросов не связан с оценкой качества образования. В-третьих, некоторые вопросы требуют примерно один и тот же ответ и могут быть объединены. Упрощение результатов анкетирования и самостоятельный отбор показателей, исходя о из неких априорных представлений, не являются объективной процедурой и, вообще гово-t ря, требуют наличие определенных обоснований. Однако в данном случае подобная мера оправдывается небольшим (по сравнению с числом вопросов в анкете) количеством объек-£ тов наблюдения, а также стремлением к простоте интерпретации результатов анализа. | Для дальнейшего анализа было выбрано 37 показателей. Некоторые из них полностью о отождествлены с исходными вопросами анкеты, другие составлены на основе нескольких
5 вопросов. Показатели сгруппированы по трем группам:
| 1. Студенческая активность и успешность. Эта группа показателей отражает в целом § объективные характеристики студентов, связанные с их успеваемостью, академической ! и общественной активностью и т. п.
4 2. Отношение к образовательным процессам в вузе. Показатели носят субъективный ха-¡jj рактер и отражают общее отношение студента к месту обучения. Можно сказать, что они | прямо отвечают на вопрос «Насколько качественное образование дают мои специальность, о факультет, вуз?».
а 3. Оценка изменения навыков и умений за время обучения в вузе. Вопросы отражают £ субъективные ощущения студентов о полученном образовании. Они, как и во второй груп-
0 пе, отражают субъективную оценку студентами качества высшего образования, но делают
6 это менее явно.
^ Выделенная классификация весьма условна. Она сформулирована на основе некоторых
1 априорных представлений о свойствах объекта исследования, структуре анкет3 и фактиче-fe ской полноте их заполнения. Несмотря на то, что эта классификация может недостаточно | объективно и полно выявлять различные аспекты выборки студентов, она облегчает интер™ претацию главных компонент в ходе анализа их связи с исходными показателями. Пере-
5 чень и систематизация отобранных для дальнейшего анализа показателей, их тип измере-
| ния и возможные значения представлены в таблице 3. *
tu
s -
je
о 3 Интервьюеры отметили частое возникновение ситуаций, когда респонденты в связи с ограниченностью
5J времени заполняли анкеты только по отдельным блокам, как правило, наиболее понятным для них и простым
<3 для ответов. Блоки анкеты с вопросами по оценке своего факультета и по оценке изменения навыков и умений
S студента за период обучения были самыми часто и полно заполняемыми.
(21)2011
Таблица 3. Исходные показатели оценки качества высшего инженерного образования в вузах города Перми, результат отбора
Показатель Тип Возможные значения
I. Успешность и студенческая активность студента
AI Получал ли студент стипендию в прошлом году Ordinal «0» (Нет) или «1» (Да)
А2 Получал ли студент повышенную стипендию
A3 Работает ли студент
A4 Учебная успеваемость студентов От «1» (были пересдачи) до «6» (только отлично)
А5 Учебные планы на будущее, максимальное образование, которое студент планирует получить От «1» (только высшее образование) до «4» (PhD)
А6 Время, уделяемое на учебу (только занятия в вузе) Numerical Число часов в неделю, уделяемое
А7 Время, уделяемое на общественную деятельность на разные виды деятельности
А8 Время, уделяемое на студенческую активность студентов
А9 Время, уделяемое на рабочую деятельность
А10 Семинар/курс по развитию прикладных навыков Nominal «1» — Участвовал
All Семинар/курс по научно-исследовательской работе «2» — Нет, в вузе не было «3» — Нет, не было интереса
А12 Участие в вузовских исследовательских проектах «4» — Нет, не было времени или
А13 Программа по развитию управленческих навыков возможности
А14 Дополнительное изучение иностранного языка
II. Оценка студентом своего вуза и качества полученного образования в целом
Ml «Работодатели знают наш факультет» Ordinal От «1» (категорически не согласен)
М2 Факультет известен научными исследованиями до «5» (полностью согласен).
МЗ Готовность к профессиональной деятельности
М4 «Если бы пришлось выбирать, я бы снова выбрал эту же специальность»
М5 «Я смогу работать в России и за рубежом»
Мб Обучение носило общий характер
М7 Обучение было узкоспециализированным
М8 Обучение было направлено на развитие практических навыков
III. Оценка студентом изменения знаний и навыков за время обучения
S1 Теоретические знания по специальности Ordinal от «1» (не стали лучше)
S2 Практические навыки работы по специальности до «3» (стали гораздо лучше)
S3 Навыки исследовательской работы
S4 Знание новейших методик и технологий
S5 Представление об отрасли, где он будет работать
S6 Навыки выступлений и профессионального общения
S7 Умение решать профессиональные задачи
S8 Умение работать в команде
S9 Представление о применимости знаний
S10 Умение структурировать информацию
Sil Умение комбинировать факты и элементы
S12 Умение быстро находить информацию
S13 Владение иностранным языком Ordinal от «1» (стали хуже)
S14 Навыки письменной речи до «4» (стали гораздо лучше)
S15 Умение планировать рабочее время
§
й CQ
С
I I
№1(21)2011
Щ
в
t
ф
g
о §
w
Щ
0
1 I
4 t t w ч
0
15 §
1
<0 Щ
о
<0
£ о
0
1
а ф I
1
S
2 ф
Э
о
0 ф
1 S
tu s t <o
QQ О
!? §
о S
По номинальным показателям было решено использовать не множественный, а единственный тип, что отражает стремление к простоте интерпретации. Предполагалось, что каждый вопрос выявляет конкретную сторону оценки качества высшего образования, и соответствующая ему квантифицированная переменная имеет ясную однозначную трактовку.
По некоторым вариантам ответов на вопросы наблюдалась очень низкая частота выбора, что снижает статистическую устойчивость результатов, прежде всего в части квалификации переменных. Для повышения стабильности расчетов некоторые варианты ответов были объединены в одну категорию. Ряд авторов, занимавшихся сходными исследованиями, использовали бутстрап для оценки устойчивости многомерных нелинейных методов. По обобщению полученных ими результатов тестирования, минимальная частота, необходимая для обеспечения достаточной устойчивости доверительных интервалов оценок, составляет порядка 8 наблюдений. Таким образом, слияние категорий не только улучшает результаты с позиции репрезентативности, но и порой необходимо для их статистической устойчивости (МкЬаШШз, Бе Ьееи'№, 1998). Таким образом, 8 наблюдений было использовано в данной работе как минимальная частота для одной категории качественных переменных.
Дальнейшая обработка информации была осуществлена в соответствии с процедурой Рппсак (Са1РСА). Расчет нелинейных главных компонент проводился отдельно по трем группам показателей и учитывал тип каждой переменной. Опции расчета включали заполнение пропущенной информации по моде для каждой переменной. Результаты применения МЬРСА представлены в таблице 4.
Таблица 4. Результаты расчета нелинейных главных компонент
№ Объяснимая дисперсия, °А Кумулятивная Обозначение ) дисперсия, % Интерпретация
I. Успешность и студенческая активность студента
1 16.20 16.20 ГК1.1 Общая вузовская активность студента
2 12.38 28.57 ГК 1.2 Учебная активность и успеваемость
3 10.61 39.18 ГК1.3 Активность в общественной деятельности
4 9.08 48.27 ГК 1.4 Рабочая активность
II. Оценка студентом своего вуза и качества полученного образования в целом
1 29.03 29.03 ГК 2.1 Оценка факультета и качества образования с позиции востребованности на рынке труда
2 19.69 48.71 ГК 2.2 Акцент внимания на специализированное™ и практической направленности образования
III. Оценка студентом изменения знаний и навыков за время обучения
1 39.73 39.73 ГК3.1 Общая оценка изменения своих знаний, навыков и умений за период обучения
2 9.05 48.78 ГК 3.2 Насколько обучение было направлено на развитие конкретных профессиональных знаний и навыков
Анализ включал компоненты, объясняющие порядка половины дисперсии исходных показателей. Следует отметить, что, в отличие от обычного МГК, результаты расчета МЬРСА зависят от размерности нового пространства. Таким образом, добавление новых нелиней-
(21)2011
ных компонент может не так сильно увеличивать качество описания исходной информации, й как в случае обычных главных компонент. |
Интересен тот факт, что в первой группе для объяснения половины дисперсии пона- ^ добилось четыре компоненты, в то время как во второй и третьей группе всего лишь две. С При этом они в целом сопоставимы по количеству исходных показателей. Подобное явле- | ние можно объяснить тем, что вторая и третья группа отражают субъективные ощущения | студентов. Оценивая качество образования, студент может акцентировать внимание лишь на нескольких самых важных для него аспектах, что проявляется во всей анкете независи- ^ мо от числа вопросов. Первая группа содержала объективные свойства объектов наблюдения. Возможно, что здесь просто нет эффекта реакции со стороны студентов, связанного с их общим отношением к качеству образования.
Интерпретация интегральных индикаторов качества образования следует из значений элементов матриц нагрузок, отражающих корреляцию между квантифицированными исходными переменными и главными компонентами. Рисунки 6-48 содержат основные результаты применения МЬРСА— матрицы нагрузок, квантификации исходных факторов и разброс объектов наблюдения в пространстве главных компонент.
Применение МЬРСА позволило успешно дифференцированно квантифицировать исходные переменные различного типа в соответствии с налагаемыми на них ограничениями. Стоит отдельно проанализировать значения номинальных показателей (А10-А14), поскольку их априори трудно интерпретировать. Эти показатели отражают участие студентов
Dimension 1 Dimension 2 Dimension 3 Dimension 4
Рис. 6. Координаты матрицы нагрузок в свернутом пространстве по первой группе
№1(21)2011
_ 2
с 1
о 1
и с 0
Л-1
о
В »
ф I?
о §
»
га о
0 *
1
л »
га Ч
0
15 §
1
га о
о
и
га
£ о
0
1
а ф I
I
ф
Э
о
0 ф
§
си $
1
га о
о §
о 5
-2 -1 0 1 2
Бшепйюп 1
-2 -1 0 1 2
Бшепйюп 2
-2 -1 0 1 2
Бшепйюп 3
-2 -1 0 1 2
Бшепйюп 4
Рис. 7. Разброс объектов наблюдения в свернутом пространстве по первой группе
в дополнительных учебных и иных проектах, проводимых в вузе, и их категории имеют сопоставимые по номерам значения. Можно отметить, что в основном по этим переменным соблюдается следующее соотношение между категориями:
«1» (участвовал») > «4» (не было времени или возможности, но вуз давал эту возможность) > «3» (не было интереса, но вуз давал возможность) > «2» (не было в вузе).
Подобное соотношение имеет вполне логичное объяснение. Эти переменные отражают активность участия студента в необязательных программах вуза. Наиболее активные студенты в них участвуют, менее активные хотели бы участвовать, но заняты иными делами, еще менее активные не имеют подобного желания. Самые пассивные студенты просто не знают о том, что вуз вообще предоставляет подобную возможность.
Первая компонента ГК 1.1 тесно коррелирует с номинальными показателями А10-А14, отражающими участие студента в необязательных вузовских программах, курсах и семинарах. Кроме того, она связана с получением стипендии, особенно повышенной (А1 и А2) и чуть слабее с занятостью в учебной и общественной деятельности (А5-А7). Можно предположить, что ГК 1.1 в основном отражает общую вузовскую активность студента.
Вторая компонента ГК 1.2 имеет прямую связь с показателями вовлеченности студентов в учебный процесс — наличие стипендий (А1 и А2), успеваемость (А4), время, уделяемое на учебу (А6), планы повышения образования (А5). При этом она имеет обратную связь с занятостью работой или иной деятельностью (АЗ, А9-А11, А12). Таким образом, компонента в целом показывает усилия студента, направленные на учебу.
86
(21)2011
'Ü 2 ' § 0 •
Transformation: A1
Scaling Level: Ordinal.
Transformation: A6
Transformation: A2
Transformation: A3
Transformation: A4
Transformation: A5
Optimal Scaling Level: Numerical. Variable Principal Normalization.
. 17. 25 . . . . 45 . Categories
Transformation: A7
4 5 6 Categories
Scaling Level: Ordinal.
Transformation: A8
Optimal Scaling Level: Numerical. Variable Principal Normalization.
.56 Categories
Transformation: A9
3 -ions 2
J 1 -
ant 0
Optimal Scaling Level: Numerical. Variable Principal Normalization. a
4 10 16 22 28 .
Categories
g §
£ CQ
С
I 8 s
Transformation: A10
Transformation: A11
Transformation: A12
Transformation: A13
Transformation: A14
Categories Optimal Scaling Level: Nominal. Variable Principal Normalization.
Categories Optimal Scaling Level: Nominal. Variable Principal Normalization.
Categories Optimal Scaling Level: Nominal. Variable Principal Normalization.
Categories Optimal Scaling Level: Nominal. Variable Principal Normalization.
Categories Optimal Scaling Level: Nominal. Variable Principal Normalization.
Рис. 8-21. Квантификация переменных первой группы
S 1
3 4
Categories
25
40
15
23
78
9 10
9 10
Третья компонента ГК 1.3 наиболее тесно связана с занятостью студенческой (А7) и общественной (А8) деятельностью. Кроме того, она имеет слабую прямую связь с наличием стипендии (А1 и А2) и участием в программе по развитию управленческих навыков (А13). В целом третья компонента определяет социальную активность студента.
Четвертая компонента ГК 1.4 сильно коррелированна с показателями рабочей занятости (АЗ, А9), слабее — с участием в программе развития управленческих навыков (А13) и обратно связана с учебной загрузкой (А6) студента. Компонента в целом отражает рабочую активность студентов. Интересно отметить, что она также прямо зависит от успеваемости студента (А1, А4) и его учебных планов на будущее (А5). Это может быть связано с тем, что часть анкетируемых успешно сочетает работу и учебу. К ним можно отнести наиболее талантливых студентов, имеющих хорошие перспективы академической карьеры, которые могут привлекаться на старших курсах к работе в вузе в качестве преподавателей и научных сотрудников.
Сложно сделать подробные качественные выводы о распределении объектов наблюдения по главным компонентам в 4-хмерном пространстве (рис. 7). Однако можно отметить, что, в целом, большинство студентов расположены близко к центру координат, и их плотность примерно одинаково уменьшается с отклонением в ту или другую сторону по каждой из компонент, образуя на графике своеобразный шар. Исключением выглядит третья компонента — по ней объекты сконцентрированы в центре координат, но при этом наблюдаются сильные выбросы в обе стороны. Иными словами, социальная активность не сильно различает студентов по своему профилю. Уникальных студентов в этом плане гораздо меньше, а подавляющее их большинство не выделяется из общей массы.
\JL
№1(21)2011
Component Loadings
Object Points Labeled by Casenumbers
M7
/ M8
// M1
М3
M2
/M6 M4
-.4
В t
Ф g
О g
t
w
0 &
1
4
I I
<o
0
IS §
1
w
QQ О
n w
£ о
0 t a ф t
1
s
S
ф
Э
о
.2 0.0 .2 Dimension 1
Variable Principal Normalization.
208 32
Dimension 1
Variable Principal Normalization.
Рис. 22-23. Координаты матрицы нагрузок и разброс объектов наблюдения в пространстве главных компонент по второй группе факторов
Transformation: M1
Transformation: M2
Transformation: M3
Transformation: M4
12 3 4
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization
Transformation: M5
12 3 4
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: M6
12 3 4
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: M7
1234
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: M8
123
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
1 2 3
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
123
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
12 3 4
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Рис. 24-31. Квантификации переменных по второй группе
0 ф
1 *
tu
s t
w
QQ О
s? g
о S
Первая компонента ГК 2.1 имеет большие положительные парные коэффициенты корреляции в размере 50-70% с большинством показателей и обратную связь с оценкой того, насколько обучение носило общий характер (Мб). Наиболее тесно с компонентой связаны факторы М1 (известность факультета у работодателей), М2 (известность научных исследований факультета) и МЗ (готовность к профессиональной деятельности). Можно сказать, что ГК 2.1 в целом отражает оценку студентом образования с позиции качества профессиональной подготовки и востребованности на рынке труда.
88
№1(21)2011
Вторая компонента ГК 2.2 имеет прямую связь с оценкой студентов, насколько обучение было узкоспециализированным (М7), направленным на развитие практических навыков | (М8), и обратную от оценки, насколько обучение носило общий характер (Мб). Кроме того, „^ есть обратная связь с желанием повторного выбора специальности (М5), оценкой возможно- С сти работать за рубежом (М4) и исследовательской известностью факультета (М2). Вторая | компонента может быть охарактеризована как акцент внимания студента на специализиро- Ц ванности своего обучения. Меньшее значение ГК 2.2 означает, что студент ценит в своем факультете нечто иное, например, научную деятельность (М2), приятное времяпровожде- ^ ние в условиях простоты обучения (частично отражается в М4 и Мб), или разносторонний характер обучения, дающий широкие возможности работы, в том числе за рубежом (факторы М5 и Мб).
В распределении объектов наблюдения по главным компонентам не выделяются явно крупные кластеры (рис. 23). Большая часть объектов имеет положительную вторую компоненту и сконцентрирована в верхней части графика, но отклонения вниз более сильные. Стоит отметить, что, чем меньше значение ГК 2.2, тем больше разброс значений ГК 2.1. Это означает, что те студенты, которые акцентируют внимание на узости специализации и прикладной направленности обучения, оценивают профессиональную подготовку примерно одинаково — на среднем уровне. Студенты, выделяющие в своем факультете другие положительные стороны, сильнее разнятся в оценках качества подготовки.
Component Loadings
Object Points Labeled by Casenumbers
103 □ 46
234. D
3255 63
150 □
□as11?, S4® ЗР
Ч08° g2l4§7'
□3 22 37 8p □ □ □
142 69 □
125 □
38
171 □ 237 ы
2272941 6 4
203
a 196
88
17
11732 □
187 □
Dimension 1
Variable Principal Normalization.
Dimension 1
Variable Principal Normalization.
3
2
79
0
0
2
3
Рис. 32-33. Координаты матрицы нагрузок и объектов наблюдения в пространстве главных компонент по третьей группе факторов
Первая главная компонента ГК 3.1 положительно и довольно сильно коррелирует со всеми факторами, особенно с 87, 810, 811 и 812. Она отражает оценку студентом общего изменения своих навыков и умений за период обучения. Вторая компонента ГК 3.2 прямо связана
№1(21)2011
Transformation: S1
Transformation: S2
Transformation: S3
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S4
Transformation: S5
Transformation: S6
со
в t
<u g
о g
t
w
0 &
1
4
I I
<o
0
IS §
1
w
QQ О
n w
£ о
0 t a ф t
1
s
S
ф
Э
о
0 ф
1
S
tu S t
w
QQ О
s? g
о S
Categories
Categories
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S7
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S10
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S13
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S8
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S11
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S14
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S9
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S12
Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Transformation: S15
1 2 Categories
Optimal Scaling Level: Ordinal. Variable Principal Normalization.
Рис. 34-48. Квантификации переменных по третьей группе
90
№1(21)2011
с оценкой изменения теоретических знаний (81) и практических навыков (82). С остальными й факторами корреляция слабее, но можно отметить, что положительная связь наблюдается, | в основном, с оценкой профессиональной стороны обучения (знание об отрасли, иностран- ^ ный язык), а отрицательная — с оценкой развития общих личностных навыков (умение ра- С ботать с информацией, планировать время, работать в команде и т. п.). Можно сформулиро- | вать смысл ГК 3.2 как «.. .насколько процесс обучения был направлен на развитие не общих, Ц а конкретных профессиональных знаний, навыков и умений».
В распределении объектов по компонентам не наблюдается явной кластерной структуры, ^ хотя можно выделить ряд скоплений по 10-20 человек (рис. 33). Большая часть студентов имеет отрицательную ГК 3.1 и сосредоточена в левой части графика, но выбросы вправо сильнее. Таким образом, большинство студентов оценивает изменение знаний и навыков за период обучения примерно одинаково и не очень высоко. Студентов, лучше оценивающих изменения, меньше, но они имеют более уникальный профиль.
Квантификации всех переменных из третьей группы все более резко возрастают по категориям (рис. 34-48). Можно сказать, что истинная оценка респондентами характеристик качества образования имеет нелинейную усиливающуюся связь от оценки изменения своих навыков и умений. Студенты, лучше оценивающие эти изменения в процессе своего обучения, заметнее отличаются по своему статистическому профилю от своих сокурсников.
7. Анализ качества высшего инженерного образования в пермских вузах
Целесообразно провести дополнительный анализ, сопоставив полученные интегральные индикаторы качества высшего образования в пермских вузах с экзогенными характеристиками студентов. Было выбрано несколько факторов, которые весьма актуальны в современных исследованиях по текущей тематике, в частности, при анализе детерминант качества образования. Эти относительно самостоятельные показатели, включенные в анкеты, но не входящие в процедуру расчета главных компонент. В таблице 5 представлен анализ студентов по этим показателям. Для номинальных факторов определены средние значения компонент по каждой из возможных категорий. Для количественных показателей рассчитаны коэффициенты корреляции с главными компонентами.
В разрезе по уровню получаемого образования студенты заметно различаются между собой. Магистры имеют высокий уровень учебной активности и успеваемости (ГК 1.2), а бакалавры заметно отстают от магистров и специалистов по рабочей активности (ГК 1.4). Студенты более высокой ступени образования в целом хуже оценивают качество профессиональной подготовки на факультете (ГК 2.1). При этом бакалавры и магистры в заметно меньшей степени акцентируют внимание на практической направленности своей подготовки (ГК 2.2). Бакалавры, несмотря на самый короткий период обучения, в целом лучше остальных оценивают изменение своих знаний, навыков и умений (ГК 3.1).
Студенты, обучающиеся на коммерческой основе, менее активны и успешны в учебе, чем бюджетные студенты (ГК 1.1-1.4). Они лучше оценивают качество профессионального образования на своем факультете (ГК 2.1), но при этом хуже оценивают общее изменение своих знаний и навыков за период учебы (ГК 3.1).
№1(21)2011
Таблица 5. Связь главных компонент с экзогенными характеристиками студентов
Щ
В »
ф ¡?
о §
»
га о
0
1 I
л »
га Ч о
15 §
»
га о
о
и
га
£ о
0 »
а
ф »
1
5
ф
Э
о
ГК. 1.1 ГК. 1.2 ГК. 1.3 ГК. 1.4 ГК. 2.1 ГК. 2.2 ГК. 3.1 ГК. 3.2
Среднее значение главных компонент по факультетам
АКФ/ПГТУ -0.015 -0.082 0.266 0.217 -0.197 0.389 0.031 -0.361
МТФ/ПГТУ -0.481 -0.201 -0.188 -0.436 -0.234 0.307 -0.422 0.116
ФПММ/ПГТУ 0.036 0.480 -0.072 0.193 0.098 -0.273 0.112 0.342
ЭТФ/ПГТУ -0.215 -0.197 0.147 -0.081 -0.235 0.112 -0.578 -0.036
ММФ/ПГУ 0.064 -0.050 -0.268 -0.140 0.315 -0.370 0.132 0.220
ФФ/ПГУ 0.413 0.221 -0.031 -0.110 0.049 -0.224 0.345 0.092
Среднее значение главных компонент в зависимости отуровня получаемого образования
Бакалавр 0.092 0.117 -0.105 -0.407 0.302 -0.671 0.231 0.099
Специалист -0.014 -0.127 0.028 0.063 -0.021 0.145 -0.070 -0.026
Магистр -0.079 0.836 -0.017 0.041 -0.364 -0.486 0.001 -0.008
Группировка студентов по отношению к оплате обучения и средний уровень главных компонент
Бюджетная 0.119 0.179 0.062 0.039 -0.025 0.070 0.058 -0.012
основа
Платная основа -0.450 -0.662 -0.152 -0.106 0.170 -0.273 -0.168 0.018
Группировка студентов по критериюработы по специальности (если работает) и среднее значение ГК
Работа -0.025 -0.035 -0.134 0.405 0.285 -0.026 0.078 -0.086
по специальности
Работа не по 0.073 -0.124 -0.125 0.500 -0.240 0.042 0.088 -0.066
специальности
Гендерные группы студентов и среднийуровень главных компонент
Мужской пол -0.003 -0.111 -0.070 0.081 -0.023 0.003 0.024 -0.062
Женский пол 0.002 0.225 0.177 -0.176 0.044 -0.005 0.007 0.133
Группировка студентов по месячному доходу семьи и среднее значение главных компонент
1. До 10 тыс. 0.085 0.007 0.342 0.430 0.270 -0.145 0.471 -0.038
в месяц
2. 10-25 тыс. -0.036 0.248 0.004 -0.116 -0.161 -0.357 -0.060 0.120
в месяц
3. 25-50 тыс. -0.017 -0.052 -0.220 -0.083 -0.033 0.071 -0.085 0.029
в месяц
4. Свыше 50 тыс. 0.210 -0.034 0.504 -0.118 0.204 0.260 -0.144 -0.123
в месяц
Корреляция отдельных характеристик студентов с главными компонентами
Год поступления 0.021 -0.019 -0.020 -0.140 0.014 -0.072 -0.163 -0.044
Балл ЕГЭ 0.146 0.158 -0.116 -0.002 0.193 -0.104 0.156 0.029
по русскому
Балл ЕГЭ 0.171 0.162 -0.099 0.041 0.069 -0.088 0.138 0.046
по математике
Средняя зарплата -0.119 -0.241 -0.047 0.437 0.041 0.020 0.025 -0.226
студента
Образование 0.178 0.046 0.037 -0.231 0.038 0.137 -0.006 -0.101
отца4
Образование 0.138 0.001 0.019 -0.073 -0.045 0.079 -0.150 -0.043
матери
Количество 0.132 0.067 -0.054 0.027 0.013 -0.136 0.065 -0.028
братьев и сестер
4 Образование оценивается по экспертной 9-балльной шкале. Несмотря на ординальный тип фактора, в дан-
5 ном случае считается простой коэффициент корреляции, как для количественных переменных.
№1(21)2011
Факт работы студентов по специальности никак не связан с оценкой ими качества обра- й зования. Это может быть обусловлено тем, что для них не имеет значение место работы — | стаж и опыт работы по специальности они планируют приобретать только после окончания ^ вуза. Кроме того, зачастую студенты и не планируют работать по специальности, и получе- С ние диплома имеет для них только формальное значение. |
Пол оказывает слабое влияние только на характер активности студентов — юноши бо- Ц лее активны в работе, а девушки — в учебе и общественной деятельности (ГК 1.2-1.4). В то же время результаты анкетирования показали, что тендерный фактор практически ни- ¡5 как не влияет на субъективную оценку студентами качества образования в различных ее аспектах (главные компоненты 2.1, 2.2, 3.1, 3.2).
Средняя заработная плата студентов прямо коррелирует с их рабочей занятостью и обратно — с другими видами активности. Она не оказывает заметного влияния на оценку студентами качества образования. Однако больше зарабатывающие студенты склонны отмечать, что образование дало им больше в плане развития общих знаний и навыков, чем в конкретном профессиональном плане (ГК 3.2). Это явление можно объяснить тем, что многие студенты из-за более высокой оплаты работают не по инженерной специальности.
Уровень довузовской подготовки коррелирует с интегральными индикаторами качества образования в меньшей степени, чем другие показатели. Есть прямая связь результатов ЕГЭ с общей вузовской и учебной активностью и обратная — с общественной активностью. Студенты, лучше сдавшие ЕГЭ, несколько лучше оценивают свой факультет (ГК 2.1) и степень улучшения своих знаний и навыков за период обучения (ГК 3.1), при этом особенно заметна корреляция с результатами экзамена по русскому языку.
Анализ результатов анкетирования показал, что отношение студента к качеству высшего образования в заметной степени зависит от семейных факторов. Чем больше братьев и сестер у студента, тем выше его общая вузовская активность и меньше внимание к практической составляющей обучения на факультете (ГК 2.2). Более существенный фактор — уровень образования родителей, который прямо влияет на общую активность и обратно — на рабочую активность студента. Последний факт можно объяснить тем, что образование родителей определяет уровень доходов семьи и потребность студента в дополнительных источниках дохода.
Самым существенным из семейных факторов является общий уровень доходов семьи. Исследование предполагало классификацию семей на четыре группы по доходам. Как показали результаты, студенты, относящиеся к разным группам, характеризуются различным отношением к высшему образованию. Наиболее сильно отличаются от других студенты, относящиеся к крайним группам — первой (беднейшие семьи) и четвертой (самые богатые семьи). В плане общей активности выделяются студенты четвертой группы, общественной активности — первой и четвертой групп, рабочей активности — первой группы. Последний факт вполне логичен, т. к. многие студенты из бедных семей вынуждены работать. Интересно отметить, что в плане учебной активности и успеваемости выделяются студенты второй группы — из семей не самых бедных, но с доходами ниже среднего регионального уровня. Студенты из самых бедных и богатых семей в целом выше оценивают качество подготовки на факультете (ГК 2.1). Студенты из самых бедных семей заметно лучше других оценивают изменение своих знаний и навыков за время учебы (ГК 3.1). Можно также отметить закономерность — студенты из семей с большим уровнем дохода в целом сильнее акцентируют внимание на прикладной специализированной направленности подготовки на факультете (ГК 2.2).
Первые главные компоненты удобно использовать для рейтингования социально-экономических объектов (Айвазян, 1998). В настоящем исследовании интерес может представлять рейтинг отдельных факультетов или специальностей. В условиях современной экономики факультеты, в той степени, насколько позволяет их образовательная специфика, конкурируют между собой за абитуриентов, студентов и места работодателей. Рейтинг позволяет взглянуть на оценку факультетов «изнутри», понять в целом преимущества и недостатки места обучения со стороны самих студентов. Компоненты 2.1 и 3.1 представляются в наибольшей степени применимыми в качестве некого интегрального индекса оценки студентами качества образования на своем факультете. Для построения рейтинга рассчитаны средние значения компонент по студентам факультетов. Результаты расчета и рейтинг факультетов приведены в таблице 6.
Таблица 6. Рейтинг инженерных факультетов пермских вузов по качеству образования с позиции оценки студентами
Рейтинг по оценке студентами общего уровня Рейтинг по оценке студентами
профессиональной подготовки на факультете общего развития своих навыков и умений
Факультет/Вуз Среднее значение ГК 2.1 Факультет/Вуз Среднее значение ГК 3.1
ММФ/ПГУ 0.315 ФФ/ПГУ 0.345
ФПММ/ПГТУ 0.098 ММФ/ПГУ 0.132
ФФ/ПГУ 0.049 ФПММ/ПГТУ 0.112
АКФ/ПГТУ -0.197 АКФ/ПГТУ 0.031
МТФ/ПГТУ -0.234 МТФ/ПГТУ -0.422
ЭТФ/ПГТУ -0.235 ЭТФ/ПГТУ -0.578
В целом, оба рейтинга не вполне согласуются с оценкой качества образования на факультетах с позиции других стейкхолдеров, в частности, работодателей и абитуриентов. В качестве примера можно отметить высокие места Физического факультета (ФФ) ПГУ и последние места Электротехнического факультета (ЭТФ) ПГТУ. Многие специальности ФФ являются далеко не самыми престижными для абитуриентов, что выражается в относительно низких проходных баллах и невысоком конкурсе при поступлении. В то же время выпускники ЭТФ очень высоко котируются на пермском рынке труда, что было подтверждено в ходе параллельного опроса работодателей в рамках текущего исследования. Таким образом, эти результаты показывают, что оценка студентами качества образования на факультете является вполне самостоятельной категорией.
Следует отметить интересную закономерность. Первые три места в рейтингах занимают факультеты, дающие сильную общетеоретическую физико-математическую подготовку. На последних местах располагаются факультеты, специальности которых имеют прикладную техническую направленность. Можно предположить, что эта связь не случайна, однако ее причины могут быть неоднозначны. В частности, она может объясняться тем, что студенты с более общей подготовкой обладают большей свободой в выборе места работы, как в отраслевом, так и в территориальном плане. Кроме того, на мнение студентов прикладных специальностей может оказывать негативное влияние несоответствие содержания образовательных программ, уровня технической оснащенности и инновационной активности
№1(21)2011
большинства предприятий края новейшим технологиям ведущих зарубежных производителей и требованиям современной мировой экономики. Студенты общих теоретических спе- § циальностей просто в силу специфики своих знаний могут позволить себе быть в большей ^ степени независимыми от текущей региональной экономики и поэтому более благосклон- С ными в оценках качества получаемого инженерного образования. |
I
8. Заключение ^
В статье рассмотрена возможность количественного измерения качества высшего образования с позиции оценки студентов с помощью инструментария многомерного статистического анализа. Базой для анализа послужили результаты анкетирования студентов инженерных специальностей, проведенного в 2009 году в двух университетах Перми в рамках комплексного исследования Стэнфордского университета. В качестве инструмента анализа использовался метод нелинейных главных компонент (МЬРСА) в системах Гифи. Его преимуществом является то, что он позволяет параллельно осуществлять расчет интегральных индикаторов на основе разнородных данных и квантификацию категориальных факторов в соответствии с их природой. Это свойство делает метод удобным для различного рода социологических и микроэкономических исследований, оценивающих субъективное мнение людей, которое сложно описать количественно.
Реализация МЬРСА позволила построить 8 главных компонент, вбирающих в себя около 50% исходной информации о пермских студентах по трем классам факторов:
• общая вузовская активность и успеваемость студентов;
• оценка своего факультета и общего качества образования;
• оценка изменения знаний и навыков за период обучения.
Анализ главных компонент и их связи с другими характеристиками студентов позволили сделать ряд интересных выводов об их отношении к качеству получаемого инженерного образования, основными из которых являются следующие:
• Для описания активности и успеваемости студентов, наиболее полным и качественным дифференцирующим признаком является общая вузовская активность, которая может проявляться в различных формах. На втором месте идет отношение студентов к учебе, на третьем — их общественная активность. Работа находится всего лишь на четвертом по значимости месте.
• Оценивая качество образования, студенты уделяют большое внимание тому, насколько факультет дает специализированную подготовку, направленную на развитие конкретных профессиональных навыков. Этот момент стоит для студентов на втором месте после общей оценки качества образования.
• На успеваемость, активность студентов и их оценку качества образования оказывают заметное влияние внешние факторы, в том числе уровень получаемого образования, влияние семьи и довузовская подготовка. При этом пол и работа являются довольно слабо значимыми факторами.
• Студенты вузов, обучающиеся на факультетах с уклоном в сторону прикладной технической подготовки, склонны хуже оценивать качество своего образования. Это может быть связано как с меньшей гибкостью в выборе места работы, так и со спецификой получаемых знаний.
№1(21)2011
m
л
о
Список литературы
Айвазян С. А., Мхитарян В. С. (1998). Прикладная статистика и основы эконометрики. М.:
юнити.
Айвазян С. А., Бухштабер В. М., Енюков И. С., Мешалкин Л. Д. (1989). Прикладная статистика: Классификация и снижениеразмерности. М.: Финансы и статистика.
Айвазян С. А., Енюков И. С., Мешалкин Л. Д. (1983). Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика.
Известия науки. Интернет-портал. «Проблемы и перспективы инженерного образования». 11.03.2010. http://www.inauka.ru/education/article99711.
Clewes D. (2003). A Student-centred conceptual model of service quality in higher education. Quality in HigherEducation, 9 (1), 69-85.
De Leeuw J. (1990). Nonlinear multivariate analysis. American Journal ofEvaluation, 11 (2), 155-157. De Leeuw J. (2005). Nonlinear principal component analysis and related techniques. UC Los Angeles. UCLA. Department of Statistics. Department of Statistics Papers. ¡S Friston K., Phillips J., Chawla D., Buchel C. (2000). Nonlinear PCA: Characterizing interactions between ® modes ofbrain activity. Philosophical Transactions: Biological Sciences, 355 (1393), 135-146. ¡3 Green D. (1994). What is quality in higher education? London. Society for Research into Higher Edu-
•s cation, Ltd. i
I Harvey L., Green D. (1993). «Defining quality». Assessment & Evaluation in Higher Education. 18 (1),
! 9-34.
I Hsieh W. W. (2001). Nonlinear principal component analysis by neural networks. Tellus, 53A, 599-615.
tn
Joseph M., Yakhou M., Stone G. (2005). An educational institution's quest for service quality: Custom-| ers' perspective. Quality Assurance in Education, 13 (1), 66-82.
ч Lagona F., Padovano F. (2007). A nonlinear principal component analysis of the relationship between budget rules and fiscal performance in the European Union. Public Choice, 130, 401-436.
Marzo-Navarro M., Pedraja-Iglesias M., Rivera-Torres M. P. (2005). Measuring customer satisfaction in summer courses. Quality Assurance in Education, 13 (1), 53-65.
Michailidis G., De Leeuw J. (1998). The Gifi system of descriptive multivariate analysis. Statistical Science, 13 (4), 307-336.
* O'Neil M., Palmer A. (2004). Importance-performance analysis: A useful tool for directing continuous
| quality improvement in higher education. Quality Assurance in Education, 12 (1), 39-52.
■t Salinelli E. (1998). Nonlinear principal components I. Absolutely continuous random variables with
g positive bounded densities. The Annals ofStatistics, 26 (2), 596-616. <u
§ Scholz M., Fraunholz M., Selbig J. (2008). Nonlinear principal component analysis: Neural network models and applications. Principal Manifolds for Data Visualization and Dimension Reduction. Lecture Notes in ComputationalScienceandEngineering, 58, 44-67.
Thiessen V. (2007). Performance and perception: Exploring gender gaps in human capital skills. The
Canadian Journal ofSociology / Cahiers canadiens de sociologie, 32 (2), 145-176.
<u
* Voss R., Gruber Т., Szmigin I. (2007). Service quality in higher education: The role of student expecta-
o tions. Journal ofBusiness Research, 60, 949-959. §
о S
