CC BY
124
УДК 681.518
О.Ю. ЧЕРЕДНИЧЕНКО, Н.В. ЗОЛОТЬКО
ОЦЕНКА КАЧЕСТВА ОБРАЗОВАНИЯ НА ОСНОВЕ КВАЛИМЕТРИЧЕСКОЙ ОЦЕНКИ ВЫПУСКНИКОВ
Рассматриваются вопросы оценки качества образования на уровне ВУЗа, а также основные принципы квалиметрии. Для оценки качества выпускников предлагается использовать упрощенный метод квалиметрии. Описываются все этапы предлагаемой методики оценки качества выпускников, приводятся примеры показателей качества, рассматривается подход к определению коэффициентов важности показателей.
1. Введение
Уровень развития науки, техники, технологий во всех сферах жизнедеятельности государства требует наличия высококвалифицированного персонала. Сформировавшиеся в настоящее время рыночные механизмы хозяйствования в нашей стране, а также мировые тенденции развития экономики свидетельствуют о непрерывном росте требований, предъявляемых к квалификации специалистов, особенно специалистов с высшим образованием. Обеспечение высокого качества профессиональной подготовки специалистов по различным направлениям и специальностям для нужд экономики страны - основная задача национальной системы образования. Разработка, внедрение и использование современных достижений науки и техники невозможны без непрерывного улучшения качества системы образования в целом и особенно высшего образования.
В современных условиях принципиальное значение приобретает повышение эффективности организации и управления ВУЗами в области измерения результатов образовательной деятельности и качества образования. Это является достаточным основанием для активных поисков и повсеместного внедрения эффективных методов повышения качества высшего образования.
Определяющим фактором качества образования является уровень качества образовательных учреждений, а точнее - уровень качества оказываемых ими образовательных услуг. Для эффективного управления качеством образования, прежде всего, необходимо осуществить его оценку. В работе [1] отмечено, что основными объектами мониторинга применительно к системе высшего образования на уровне конкретного ВУЗа являются: выпускники, процесс предоставления образовательных услуг, ВУЗ в целом. Все эти объекты взаимосвязаны. При этом мониторинг ВУЗа в целом должен опираться на результаты мониторинга качества предоставления образовательных услуг, который, в свою очередь, должен учитывать результаты мониторинга качества выпускников. Данное исследование посвящено вопросам оценки качества выпускников.
Таким образом, целью данного исследования является повышение эффективности процесса управления качеством высшего образования.
Для достижения поставленной цели необходимо решить ряд взаимосвязанных задач:
1) анализ возможностей теоретической квалиметрии применительно к оценке качества выпускников;
2) разработка принципов оценки качества выпускников на основе одного из методов квалиметрии;
3) разработка дерева свойств выпускника ВУЗа, выбор показателей оценки;
4) разработка моделей и алгоритмов экспертного оценивания свойств выпускника;
5) разработка и реализация информационной технологии оценивания качества выпускника ВУЗа.
2. Принципы квалиметрической оценки качества
Для определения качества товаров или услуг в квалиметрии предлагается подход, который позволяет произвести количественную оценку показателей качества. В этом подходе предполагается, что в основе комплексной количественной оценки качества лежат следующие принципы [2]:
1) качество трактуется как совокупность свойств, которые классифицируются;
2) любые простые и некоторые сложные свойства, формирующие качество, могут быть измерены с помощью так называемого абсолютного показателя;
3) для графического выражения взаимосвязи различных свойств и качества в целом может быть использована иерархическая структура - дерево свойств;
4) помимо абсолютного показателя, для количественного выражения любого свойства, формирующего качество, используется и относительный показатель;
5) для характеристики любого из включенных в дерево свойств показателей используется также коэффициент важности свойства;
6) свойства надежности учитываются, главным образом, с помощью показателя сохранения эффективности;
7) комплексный показатель качества определяется функцией, которая может выражаться средними величинами разного вида.
В качестве методики оценки качества выпускников предлагается использовать упрощенную методику квалиметрической оценки. Процедура оценивания качества в рамках данной методики состоит из двух этапов [2, 3]:
1) разработка методики оценивания качества (определение ситуации оценивания, построение дерева свойств, определение эталонных и браковочных значений показателей, определение значений коэффициентов важности показателей);
2) использование методики оценивания качества (определение абсолютных значений показателей свойств, определение относительных значений показателей свойств, определение значения комплексного показателя качества).
При определении ситуации оценивания должны быть получены ответы на три группы вопросов [3, 4, 5]:
1) применение объектов оцениваемого типа;
2) использование вычислительных оценок качества;
3) технологии разработки методики оценивания качества.
На этапе построения дерева свойств определяется набор показателей, по которым оценивается качество. К набору показателей предъявляются строгие требования: он должен быть однозначно представлен (стандартизирован) и упорядочен (декомпозирован) в некоторую иерархическую структуру (дерево свойств) [6].
После определения ситуации оценивания и построения дерева свойств, каждому свойству, приведенному в дереве свойств, необходимо поставить в соответствие показатель, с помощью которого это свойство будет оценено [6]. Кроме того, необходимо определить единицы измерения и диапазон возможных значений, в пределах которого можно найти значения для каждого показателя.
На этапе определения показателей свойств определяются эталонные и браковочные значения. Вычисление эталонного значения заключается в том, чтобы выбрать такое значение показателя, которое на момент оценки качества является самым лучшим в мире. А браковочное значение определяется как такое, которое является ближайшим, но худшим (по отношению к допустимому) значением показателя. При этом допустимым принимается такое самое плохое значение, которое присутствует хотя бы у одного оцениваемого объекта.
Способы определения весомости свойств в квалиметрии делятся на стоимостные, вероятностные и экспертные [6]. Стоимостной способ предполагает определение весомости свойства на основе расчета денежных или трудовых затрат, необходимых для обеспечения существования этого свойства. Вероятностный способ исходит из предположения, что приближение показателя каждого свойства к эталонному значению для важных свойств больше, чем для свойств, имеющих меньшее значение. В этом случае степень приближения к эталону может рассматриваться как мера важности каждого свойства. Экспертный способ измерения важности свойств представлен следующими методами [6]: метод предпочтения; метод ранга; метод долей. Частным случаем метода долей является метод попарной оценки, который предлагается использовать в данной работе.
Способы измерения абсолютных значений показателей делятся на метрологические и экспертные. Измерения в метрологии осуществляются посредством технических средств. Экспертная оценка осуществляется на основе решения, принимаемого экспертами.
Известно, что у разных экспертов в соответствии с их вкусом, характером, спецификой знаний могут быть различные мнения по поводу одного и того же объекта оценивания, поэтому необходимо привлекать к оценке качества группу экспертов.
Точность групповой экспертной оценки во многом зависит от числа экспертов в группе. Поэтому возникает необходимость определения оптимального их числа. Важной задачей также является выбор экспертов.
На последнем этапе определяется комплексная оценка качества, которая характеризует связь между свойствами объекта и дает возможность объединить оценки отдельных свойств. Для обеспечения сопоставимости значений абсолютных показателей предварительно следует произвести их перевод в относительные. Основными способами расчета комплексной оценки являются методы среднего геометрического, среднего взвешенного, средней гармонической [6].
3. Методика оценки качества выпускников
Описание ситуации оценивания. В качестве объекта оценивания в данной работе рассматривается выпускник ВУЗа. После окончания ВУЗа выпускники занимаются поиском работы и устраиваются на различные предприятия и организации. Также выпускники могут продолжить свое образование и заниматься научной деятельностью, поступив в магистратуру или аспирантуру. Можно выделить следующие группы людей, которые необходимо учитывать при оценивании качества выпускников:
1) выпускники ВУЗов;
2) предприятия и организации, принимающие на работу выпускников;
3) преподаватели и другие работники ВУЗа;
4) абитуриенты.
Оценка качества выпускника позволит ему определить свой уровень среди других выпускников и оценить свои шансы при устройстве на работу, т. е. выпускник может произвести самооценку и увидеть результаты своего обучения в ВУЗе.
Работодатели могут использовать оценку качества выпускников ВУЗа при подборе работников на вакантные должности. Если для работодателей будет доступна информация об оценках выпускников ВУЗов, то они могут определить для себя, выпускников каких именно ВУЗов они бы хотели видеть на собеседованиях при приеме на работу. Или по оценкам они могли бы осуществить выбор между несколькими претендентами на вакантные должности.
ВУЗ может использовать оценку для обеспечения функционирования системы менеджмента качества. Оценка качества выпускников конкретного ВУЗа может значительно повлиять на его репутацию. А репутация ВУЗа в свою очередь важна и для администрации, преподавателей и других работников ВУЗа, поскольку он является местом их работы. Именно эта группа людей может непосредственно повлиять на качество выпускников.
Для абитуриентов и их родственников также важно знать оценки выпускников ВУЗов, поскольку они могли бы руководствоваться этой оценкой при выборе места обучения.
Оценка качества выпускника производится с условием того, что может оцениваться любой выпускник любого ВУЗа вне зависимости от факультета, кафедры, специальности и страны, в которой находится ВУЗ. При этом оценивание качества выпускников должно проводиться без учета затрат на его обучение. В методике предполагается, что будет производиться интегральная оценка качества выпускников.
С точки зрения погрешности, с которой определяются результаты количественного оценивания качества выпускников ВУЗа, используется упрощенный метод квалиметрии. Этот метод характеризуется максимально допустимой величиной погрешности и минимально допустимой величиной надежности итоговых результатов. В упрощенном методе предполагается, что значения показателя свойства принимаются как точечные без какого-либо суммирования или интегрирования. Упрощенный метод является менее трудоемким и более быстрым для получения результата, чем точный и приближенный методы [2].
Сопоставимость показателей качества выпускника должна быть функциональной и временной. Функциональная сопоставимость позволяет сравнивать значения показателей качества выпускников с показателями качества абитуриентов или студентов. Кроме того, результаты этих сравнений будут получены в единой шкале и в результате применения единых принципов получения значений показателей. А временная сопоставимость позволяет определить, как будет изменяться во времени значение показателя качества выпускника [4].
Комплексный показатель качества выпускников должен быть получен в шкале отношений, потому что оценки качества, выраженные в шкале отношений, позволяют определить, во сколько раз качество одного объекта выше (или ниже) качества другого [4, 7].
Методика оценки может использоваться многократно, потому что ее можно будет применять для оценки качества выпускников разных ВУЗов или структурных единиц (факультетов, кафедр). Поэтому технология вычисления значения показателя качества машинная.
Построение дерева свойств. Все свойства выпускника можно объединить в три основные группы: личностные качества, компетенции, профессиональные качества. Личностные качества отражают те свойства выпускника, которые должны быть присущи любому человеку. Компетенции представляют собой личную способность выпускника решать определенный класс профессиональных задач [8]. А профессиональные качества отражают те свойства выпускника, которые необходимы ему как специалисту.
В таблице приведено дерево свойств, по которому может быть осуществлена оценка качества выпускника.
Правомерность использования данного дерева свойств выпускника может быть обоснована тем, что при его построении были учтены правила его построения, приведенные в [3].
Дерево свойств выпускника
Уровень классификации
0 1 2 3 4
Общая грамотность
л н Научная грамотность
о к н Технологическая грамотность
о 5! Экономическая грамотность
л и Мультикультурная грамотность
Вербализация знаний
Гибкость
и К К Самоорганизация
« 1 й т Любознательность
о и (г1 Творчество
¡Г 3 Высокое мышление Умение анализировать
т о 3 К Умение сравнивать
т н с о О Умение интерпретировать
р к и Работа в команде
К К и Сотрудничество
ю О Коммуникабельность
Ответственность
л н о Навыки установления приоритетов
о к т К Навыки в распределении времени
Й £ Навыки работоспособности
£ Навыки самокритичности
Уровень классификации
0 1 2 3 4
Инициативность
и се 3 « С амостоятельность
1 ^ £ § Решительность
Целеустремленность
Настойчивость
Умение находить и использовать
Общенаучные необходимую информацию
Умение постоянного обновления знаний
и Навыки участника исследований
К Л Инструментальные Навыки исполнительской дисциплины
ч се Навыки планирования
к Л и Навыки использования оборудования
к я и К Владение языками как средством
н е ^ коммуникации
<и К Социально-личностные Здоровый образ жизни
£ о « Собственная позиция
Самосовершенствование
Законопослушность
Должностные Спектр должностей
и 3 Знание должностных инструкций
К А Ч а К о и Целеполагание
Кросс-функциональные Формирование профессиональных отношений
о е Развитие взаимоотношений с коллегами
о Л с Способность применять инновации
Профильные Способность к анализу результатов работы
Ориентация на постоянное повышение квалификации
и 3 « к н Общетеоретическая подготовка
л 3 ^ и е н со Знание базовых предметов специальности
о 5 ие о ^ О се ек « э Умение диагностировать чрезвычайные ситуации
ик
О р С ^ к Умение использовать знания на практике
На основе дерева свойств определяются показатели, с помощью которых можно оценить свойства выпускника.
Поскольку процесс определения самого лучшего и худшего в мире значения какого-либо показателя свойства выпускника является затруднительным, предполагается получать эталонные и браковочные значения путем экспертного опроса.
Определение значений весовых коэффициентов важности показателей. Каждому показателю присваивается коэффициент важности, равный весомости соответствующего свойства. Процедуру определения важности свойств можно представить в три этапа:
1) построение иерархии дерева свойств, формирование анкет и проведение экспертного опроса;
2) построение матриц парных сравнений и расчет локальных приоритетов, проверка согласованности матриц;
3) синтез глобальних приоритетов и проверка согласованности всей иерархии.
При определении важности свойств необходимо, чтобы эксперт попарно оценил все свойства относительно их влияния на общее для них свойство. Для проведения парных
сравнений в работе [9] рассматривается шкала, в соответствии с которой если элемент важнее, то в матрицу заносится целое положительное число от 1 до 9, в противном случае -обратное число (дробь). Равнозначные элементы получают оценку, равную 1.
После формирования матриц парных сравнений можно определить локальные приоритеты свойств, используя вычислительную процедуру метода анализа иерархий [9, 10].
Сначала определяются оценки компонент собственного вектора по следующей форму-
ле: х? = тл1 П аП , где х^ - оценка 1-й компоненты (1 = 1,тпк ) собственного вектора
V Н _
матрицы парных сравнений к-й группы элементов (к = 1,кп ) на п-м уровне дерева свойств
(п = 1,Ю; N - количество уровней иерархии; кп - количество групп п-го уровня; тпк -
к« „ пк «
-й группы п-го уровня; а^ - элементы матрицы парных сравнений.
, х"к
На следующем этапе определяются оценки вектора приоритетов: Р = —1—, где
1 тпк ,
Е х-*
Р1пк , 1 = 1, т пк - локальные приоритеты свойств к-й группы п-го уровня.
Для проверки согласованности матриц парных сравнений необходимо оценить максимальное собственное значение матрицы Хк^ : Хтах = Е
^ тпк , ^
Е апк
. р.пк.
ч
Далее нужно рассчитать индекс согласованности (18 ) и отношение согласованности (08пк). Величина 08 должна быть порядка 10% или меньше, иначе данные будут считаться не согласованными:
^пк тс
!£пк = Хтах - тпк 08пк =
т . — 1 ' 88т '
шпк тпк
где 888тпк - статистическая согласованность, которая зависит от размера матрицы (а^).
Величины88тпк приведены в работах [10, 11].
Данные расчеты необходимо произвести для всех уровней и всех групп дерева свойств. Зная все локальные приоритеты, можно определить глобальные приоритеты (важность) свойств по формуле:
= рпк^рЛ, ^ е1,тпк, к = п е
здесь W1nk - глобальный приоритет i-го свойства, которое входит в к-ю группу п-го уровня дерева свойств; р1пк - локальный приоритет свойства, общий для всех свойств к-й группы на п-м уровне.
Важность 01(1 е т) показателя свойств выпускника определяется на основе глобальных приоритетов свойств из множества ^пк :1 е 1,тпк,ке 1,кп пе2^].
В дальнейшем предполагается, что показатели отображают конечные свойства из дерева свойств, а их важность приравнивается к интегральной важности соответствующего свойства.
Применение методики оценивания качества. Для определения абсолютных значений показателей свойств выпускников используются экспертные оценки. При этом оценку может производить как один, так и несколько экспертов. Абсолютные значения показателей качества выпускника могут быть также получены в результате тестирования по специально разработанным тестам.
Относительные значения показателей определяются по формуле
к —
г1 = -г—-Л , 1 е Ь
иГ—чП
т
где i е i - номер показателя; и q®6 - соответственно эталонное и браковочное значение показателя; т и qi - относительное и абсолютное значения показателя.
Простейший способ расчета комплексной оценки с учетом важности показателей -метод среднего взвешенного [12, 13]:
K = £ Gj • т
ieI '
где ri - относительное значение /-го показателя; Gi- весомость 7-го показателя.
Таким образом, с помощью данной методики можно оценить качество выпускников любого ВУЗа вне зависимости от факультета, кафедры и специальности. А на основе этой оценки можно оценить качество ВУЗа, его подразделений и высшего образования в целом.
4. Выводы
1) В качестве основного показателя деятельности ВУЗа рассматривается качество образования.
2) В качестве объекта мониторинга качества образования предлагается рассматривать выпускников ВУЗа.
3) Разработана методика оценки качества выпускников, основанная на принципах теоретической квалиметрии.
4) Предлагаемый пример реализации методики может быть использован для оценки качества образования как на уровне ВУЗа, так и на уровне его подразделений (факультет, кафедра).
5) Получаемые оценки выпускников могут широко применяться для целей управления ВУЗом, поскольку позволяют сравнивать различные ВУЗы, а также обеспечивают временную и функциональную сопоставимость.
6) Оценки выпускников могут быть использованы потенциальными работодателями как для составления рейтинга ВУЗов по определенным специальностям, так и для принятия решений о приеме на работу.
7) Реализация предлагаемой методики в информационной компьютерной технологии поддержки принятия решений позволит существенно повысить эффективность управления качеством образовани на уровне ВУЗа.
Список литературы: 1. КачаловВ.А. Возможности применения стандартов ИСО серии 9000 для квали-метрического мониторинга вузов // Проблемы управления качеством в вузах. 2000. №11. С. 82-91. 2. АзгальдовГ.Г. Общие сведения о методологии квалиметрии // Стандарты и качество. 1994. № 11. С. 1016. 3. Азгальдов Г.Г. Практическая квалиметрия в системе качества: ошибки и заблуждения // Стандарты и качество.1996. № 9. C. 2-5. 4. Азгальдов Г.Г. Определение ситуации оценивания качества // Стандарты и качество. 1995. № 12. С.14-16. 5. Афанасьева Т.В. К вопросу о внутренней оценке качества выпускников // http://www.nmk.ulstu.ru/ (15.08.08) 6. Литвинова А.В. Управление качеством продукции. Учебное пособие. Волгоград: Издательство Волгоградского государственного университета, 2001. 100 с. 7. АзгальдовГ.Г. Квалиметрия для менеджеров. М., 1996. 203с. 8. Ильченко О.А. Компетен-тностный подход к формированию стандартов профессионального образования // Открытое образование. 2004. №4. С.4-8. 9. Саати Т.Л. Принятие решений: метод анализа иерархий. М., 1993. 314 с. 10. Саати Т.Л., Кернс К.П. Аналитическое планирование. Организация систем. Москва. Радио и связь. 1991. 224 с. 11. ЕвлановЛ.Г., КутузовВ.А. Экспертные оценки в управлении. М., 1978. 133 с. 12. Тавер Е. И. Экспертный метод потребительской оценки качества продукции // Стандарты и качество. 1998. № 11. С. 44-46.
Поступила в редколлегию 12.10.2009 Чередниченко Ольга Юрьевна, канд. техн. наук, доц. каф. АСУ НТУ «ХПИ». Научные интересы: управление развитием социально-экономических систем, менеджмент качества образования. Адрес: Украина, 61002, Харьков, ул. Фрунзе, 21, контактные телефоны: (057) 7076474, (067) 7547944, email: [email protected].
Золотько Наталия Валериевна, выпускница НТУ «ХПИ». Научные интересы - управление качеством в системе высшего образования. Увлечение: разработка web-сайтов. Адрес: Украина, 61000, Харьков, пр. Ленина, 63, кв. 43, тел. 80662488087, email:[email protected].
