CC BY
63
УДК 378.11
КВАЛИМЕТРИЧЕСКИЕ ПОДХОДЫ К ОЦЕНКЕ КАЧЕСТВА ПОДГОТОВКИ СПЕЦИАЛИСТА
Г.В. Попов, Т.В. Забегалина, Л.И. Назина
Кафедра «Управление качеством и машиностроительные технологии»,
ГОУВПО «Воронежская государственная технологическая академия»;
Та1уапа_2аЬе§аН @шш1. ги
Представлена членом редколлегии профессором В.И. Коноваловым
Ключевые слова и фразы: качество; компетентность; степень формирования; тестирование; уровень качества.
Аннотация: Предложена методика оценки качества подготовки специалиста на основе компетентностного подхода, основанная на анализе результатов тестирования с помощью стандартного модуля TrammgWare и построения квалификационной модели выпускника, включающая в себя комплекс тестовых заданий, позволяющих определить уровень овладения студентами компетенциями в соответствии с требованиями профессиональной подготовки, а также совокупность приемов статистической обработки полученных данных.
В настоящее время в системе высшего образования существуют различные подходы к оценке качества подготовки выпускника работодателем и вузом. Данный подход в вузе представляет собой балльную систему оценок знаний студентов по различным дисциплинам, полученных в ходе учебного процесса при сдаче коллоквиумов, экзаменов и т.д. Однако работодатель оценивает качество подготовки специалиста на основе полученных профессиональных, инструментальных, социально-личностных и др. компетенций. Таким образом, разработка единого подхода к оценке качества подготовки выпускника, является актуальной задачей.
Требования работодателей могут быть определены экспертным методом посредством анкетирования и выявления наиболее значимых компетенций. В данном случае используется шкала интервалов, по которой определяются различные уровни формирования отдельных компетенций у выпускников. Новизна предлагаемого подхода заключается в том, что оценку степени формирования различных компетенций, нормируемых в государственном образовательном стандарте, предлагается производить посредством тестирования студентов по соответствующим учебным дисциплинам и дидактическим единицам, в ходе изучения которых формируются соответствующие компетенции [1].
Задачей данного этапа исследования является разработка единого показателя, позволяющего производить сравнительный анализ характеристик, полученных в ходе оценки качества подготовки специалистов как вузом, так и работодателем.
В ГОУ ВПО «ВГТА» для студентов, обучающихся по специальности 200503 «Стандартизация и сертификация», были разработаны тестовые задания по дисциплинам основной образовательной программы, обеспечивающим формирование компетенций в соответствии с требованиями профессиональной подготовки выпускников. Была произведена оценка и получены следующие результаты, представленные в виде лепестковой диаграммы на рис. 1, а [1].
Однако для оценки качества подготовки специалистов работодателем были использованы различные формы анкет, разработанные на базе рекомендаций Национального аккредитационного агентства в сфере образования. Результаты, полученные в ходе анкетирования руководителей различных предприятий Центрально-Черноземного региона, представлены на рис. 1, б - г и оценены по шкале, приведенной в табл. 1.
1 1
10 15
в) г)
Рис. 1. Результаты оценки (диаграммы) соответствующих профессиональных компетенций:
а - 1-20; б - 1-15 (форма 1); в - 1-18 (форма 2); г - 1-28 (форма 3)
Таблица 1
Шкала для оценки
Степень формирования компетенции Значение показателя
Очень хорошо 1-0,9
Хорошо 0,8-0,6
Удовлетворительно 0,5-0,3
Плохо 0,2-0,1
Для оценки достоверности и однородности полученных результатов проведен их статистический анализ.
Предварительно были определены параметры законов распределения показателей, характеризующих компетенции выпускников, в отдельности для каждого из используемых подходов оценки качества подготовки специалистов и показано, что рассмотренные законы распределения близки к нормальному.
Для проверки гипотезы об однородности дисперсий был применен критерий Бартлета, так как используемые подходы оценки качества подготовки специалистов характеризуются различным количеством компетенций (объемом выборки). Получено, что совокупности данных оценки компетенций вузом и работодателями являются однородными, то есть принадлежат одной генеральной совокупности.
Сводные результаты расчетов приведены в табл. 2.
Поскольку рассмотренные представления о качестве подготовки специалистов могут быть использованы для их сравнения, был введен единый количественный показатель, характеризующий отклонение оцениваемого параметра от базового. Предложенный показатель представляет собой уровень качества, равный
5о
q =
(1)
баз
где £оц - оцениваемое значение показателя качества; 5'баз - базовое значение показателя.
Показатели качества подготовки специалистов при использовании различных подходов включают неравное количество компетенций, поэтому в качестве оцениваемого значения показателя £оц предложено использовать площадь многоугольника (см. рис. 1), вершины которого представляют собой результаты количественной оценки степени формирования отдельных компетенций (табл. 3). Тогда базовое значение показателя - площадь многоугольника, вершины которого соответствуют идеальному значению каждого показателя, то есть равного 1.
Значения показателей £оц и 5баз определяются как сумма площадей треугольников, на которые разбивают соответствующие многоугольники оси координат
(п-1 \
е 1 • 2я
S =— sin — 2 n
X xixi+1 + xnx1
v i=1
(2)
где п - число компетенций, взятых для оценки; хI - количественная оценка степени формирования компетенций.
Сводные результаты статистических расчетов
Т аблица 2
Подход к оценке качества выпускников Количество компетенций (объем выборки) Среднее значение Хср Дисперсия 2 О Расчетный критерий Пирсона c расч Расчетный критерий Бартлетта В
1 20 0,69 0,06 0
2 15 0,65 0,08 3,45 6,35
3 18 0,77 0,11 3,64
4 28 0,74 0,07 7,58
Примечание . Критическое значение критерия Пирсона ср
2,71; крити-
ческое значение критерия для проверки гипотезы об однородности дисперсий Храсч = 7,8
Другим вариантом оценки оцениваемых и базовых значений показателей качества подготовки выпускников является представление данных в виде гистограмм, высота столбцов которых соответствует показателю, характеризующему степени формирования компетенций (рис. 2).
Оцениваемый показатель качества £оц в данном случае равен сумме площадей прямоугольников, высота которых равна количественному значению показателя, а ширина условно принята равной у,. Таким образом
П
Боц = XХ‘У‘ , (3)
;=1
где у, - ширина столбца гистограммы, равная у, = N/п; N - общая ширина каждой гистограммы, п - число компетенций.
Таблица 3
Результаты расчета
Подход к оценке качества выпускников Оцениваемое значение показателя качества 5оц Базовое значение показателя качества 5баз Уровень качества q
1 1,48 2,78 0,53
2 1,29 2,50 0,50
3 1,80 3,08 0,59
4 1,77 3,14 0,56
а)
1
0,9 0,8 0,7 0,6 0,5 0,4 -0,3 -0,2 0,1 -0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 в)
б)
1
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
0,1
0
1 3 5 7 9 11 13 15 17 19 21 23 25 27
г)
Рис. 1. Результаты оценки (гистограммы) соответствующих профессиональных компетенций:
а - 1-20; б - 1-15 (форма 1); в - 1-18 (форма 2); г - 1-28 (форма 3)
С учетом вышесказанного
S -Nv,
^оц / /
П
i-1
Аналогично базовое значение показателя равно
S6a3 xiyi ИЛИ ^633 1' N .
1 =1
Следовательно, уровень качества q определится как
£о
q =
S,
(5)
(6)
Результаты расчетов по предложенным выражениям представлены в табл. 4.
Следовательно, уровни качества подготовки специалистов, полученные при оценке степени формирования компетенций посредством тестирования студентов и опроса работодателей, достаточно близки, однако, их величины существенно отличаются от соответствующих базовых значений.
Для предложенных подходов была оценена погрешность результатов определения уровня качества по формуле
Dy — / Dxidy / dx
(7)
i—1
где Ъу/Ъх, - передаточное отношение (коэффициент влияния) параметра х,; Ах, -погрешность.
Расчет погрешности методики определения уровня качества с использованием площадей треугольников производится по формуле
( п-1 А
2треуг
/(xi_1 + x,+1 )dxi + (x2 + xn )dx1 + (x1 + xn-1 )dxn
V i—2
(8)
где Аqтреyг - суммарная погрешность методики оценки уровня качества с использованием площадей треугольников; Ъх1 - выборочное стандартное отклонение.
Расчет погрешности методики определения уровня качества с использованием площадей прямоугольников производится по формуле
Dq
прям
— 8х,-
(9)
Т аблица 4 Оценка уровня качества
суммарная погрешность
Подход к оценке качества выпускников Уровень качества q
1 0,69
2 0,71
3 0,77
4 0,75
где ^прям методики оценки уровня качества с использованием площадей прямоугольников.
Результаты расчетов суммарных погрешностей методик определения уровней качества подготовки специалиста представлены в табл. 5.
Из табл. 5 следует, что методика определения уровня качества подготовки специалиста с использованием площадей прямоугольников дает наимень-
Т аблица 5
Результаты оценки суммарной погрешности
Подход к оценке качества выпускников Количество компетенций (объем выборки) Суммарная погрешность по методу
треугольников прямоугольников
1 20 0,03818 0,01196
2 15 0,05643 0,02255
3 18 0,0840 0,02522
4 28 0,0411 0,01
шую погрешность, чем методика оценки уровня качества с использованием площадей треугольников. Таким образом, разработана методика оценки качества подготовки выпускников на основе компетентностного подхода, включающая в себя комплекс тестовых заданий, позволяющих определить уровень овладения студентами компетенциями в соответствии с требованиями профессиональной подготовки, а также совокупность приемов статистической обработки полученных данных. Кроме того, она позволит сравнить результаты, полученные в вузе посредством тестирования, с результатами экспертной оценки работодателей. Рассчитанная величина уровня качества позволит определить меру близости к базовым значениям показателей качества и, в случае их существенного различия, нацелит сотрудников высшей школы на детальный анализ образовательного процесса и разработку комплекса корректирующих и предупреждающих мероприятий.
Список литературы
1. Попов, Г. В. Оценка профессиональных компетенций / Г.В. Попов, Т.В. За-бегалина, Л.И. Назина // Методы менеджмента качества. - 2007. - № 6. - С. 40-43.
2. Попов, Г. В. Статистические методы в системах менеджмента качества образования / Г.В. Попов, Т.В. Забегалина, Л.И. Назина // Стандарты и качество. - 2008. -№ 1. - С. 60-63.
3. Гмурман, В.Е. Введение в теорию вероятностей и математическую статистику : учеб. для вузов / В.Е. Гмурман - М. : Высшая школа, 1966. - 379 с.
Qualimetric Approaches to Quality Evaluation of Specialist Training
G.V. Popov, T.V. Zabegalina, L.I. Nazina
Department “Quality Management and Engineering Technologies ”,
Voronezh State Technological Academy;
Tatyanazabegali @mail. ru
Key words and phrases: competence; formation degree; quality; quality level.
Abstract: The paper proposes the technique for quality evaluation of specialist training on the basis of competence approach which involves the testing results analysis via standard module TrainingWare and designing graduate qualification model. It
includes the set of testing tasks enabling to determine the level of students’ mastering of competences in accordance with the requirements of professional training as well as the combination of techniques for statistic processing of the produced data.
Qualimetrische Einstellungen zur Einschatzung der Qualitat der Fachmannvorbereitung
Zusammenfassung: Es ist die Methodik der Einschatzung der der Qualitat der Fachmannvorbereitung auf Grund der Kompetenteneinstellung vorgeschlagen. Diese Methodik grundet sich auf die Analyse der Testenresultate mit Hilfe des Standartmoduls TrainingWare und des Aufbaus des Qualifikationsmodells des Absolventen. Sie besteht aus dem Komplex der Testenaufgaben, die sowohl das Niveau der Beherrschung von den Studenten von Kompetenzen gemafl den Forderungen der professionelen Vorbereitung, als auch die Gesamtheit der Verfahren der statistischen Bearbeitung der erhaltenen Angaben zu bestimmen erlauben.
Approches qualimetriques envers devaluation de la qualite de la formation d’un specialiste
Resume: Est proposee la methode de revaluation de la qualite de la formation d’un specialiste fondee sur l’analyse des resultats des tests a l’aide du module standartise TrainingWare et la conception du modele qualificatif du diplome. Il comprend un complexe des tests permettant de determiner le niveau de la possession des competences par les etudiants conformement aux exigences de la formation professionnelle ainsi que l’ensemble des moyens du traitement statistique des donnees obtenues.
Авторы: Попов Геннадий Васильевич -доктор технических наук, профессор, заведующий кафедрой управления качеством и машиностроительных технологий; Забегалина Татьяна Викторовна - аспирант кафедры управления качеством и машиностроительных технологий, инженер Центра управления качеством образования; Назина Людмила Ивановна - кандидат технических наук, доцент кафедры управления качеством и машиностроительных технологий, ГОУ ВПО «ВГТА».
Рецензент: Пономарев Сергей Васильевич - доктор технических наук, профессор, заместитель заведующего кафедрой «Автоматизированные системы и приборы» ГОУ ВПО «ТГТУ».
