CC BY
106
УДК 681.3.01
ИСПОЛЬЗОВАНИЕ РЕЗУЛЬТАТОВ ЭКСПЕРТНОГО ОЦЕНИВАНИЯ ДЛЯ ИЗМЕРЕНИЯ КОМПЕТЕНТНОСТИ СТУДЕНТОВ И ВЫПУСКНИКОВ ТЕХНИЧЕСКИХ УНИВЕРСИТЕТОВ
О.Г. Берестнева, О.В. Марухина, Г.Е. Шевелев, Л.И. Миненко, Д.О. Щербаков
Томский политехнический университет E-mail: ogb@am.tpu.ru
По результатам экспериментального исследования на базе Томского политехнического университета проанализированы возможности оценки и анализа компонентов компетентности. Показано, что это позволило выделить важные особенности в структуре предметно-деятельностной компетентности студентов технического университета. Разработан алгоритм для определения обобщенного мнения экспертов с учетом типа измерительной шкалы. Представлены результаты применения разработанного алгоритма для решения двух прикладных задач
Ключевые слова:
Экспертное оценивание, статистические методы, компетенции специалистов. Key words:
Expert estimation, statistical methods, expert competence.
На сегодняшний день одним из наиболее актуальных способов построения новой образовательной парадигмы является компетентностный подход. Если ранее подготовка специалиста сводилась к усвоению им более или менее стандартного набора знаний, умений и навыков, то компетентност-ный подход предполагает развитие в нем способности ориентироваться в разнообразии возникающих ситуаций, иметь представления о последствиях своей деятельности, а также нести за них ответственность. При реализации компетентностного подхода в учебную программу изучаемой дисциплины закладываются параметры описания того, что студент будет знать и уметь после завершения данного образовательного цикла.
Для системы образования реализация компетентностного подхода означает тенденцию, утверждающую ценность и достоинство человека, лич-ностно-ориентированную технологию обучения и воспитания, нацеленную на раскрытие индивидуальных способностей каждого студента, самовоспитание личности [1, 2]. Развитие компетентности студента становится одной из основных задач любого учебного заведения.
Большинство известных нам работ, посвященных проблеме компетентностного подхода в образовании, направлено на решение задач обновления содержания учебного процесса (учебных планов, рабочих программ, рейтинг-листов, методических указаний, пособий). При этом проблеме оценки уровня компетентности студентов и выпускников не уделяется должного внимания. А там, где эти вопросы рассматривается, возникающая проблема оценки компетентности должным образом не стандартизована, что является очень важным при количественном определении уровня обладания студентом требуемыми компетенциями.
В статье рассматриваются алгоритмы и их реализация для решения задач измерения элементов и компонентов компетентности на основе результатов экспертного оценивания.
Как известно, экспертиза представляет собой мощное средство переработки слабо формализованных данных, которое позволяет выделить наиболее обоснованные утверждения специалистов-экспертов и использовать их, в конечном счете, для подготовки различных решений [3].
Одним из существенных условий повышения надежности экспертных оценок социальных объектов является научно обоснованный отбор и формирование экспертной группы. Известно, что точность групповой оценки экспертов зависит от численности экспертной группы: уменьшение числа экспертов ведет к снижению точности оценок, так как оценка каждого эксперта приобретает больший вес, увеличивается роль субъективного фактора. Однако при большом количестве участников экспертизы усложняется обработка их суждений, становится сложным выявить согласованность их мнений.
При разработке оценочных средств для измерения компонентов и элементов компетентности на основе экспертного оценивания нами использовались три группы экспертных оценок: точечные, ранговые и качественные.
В основном применялись преимущественно ранговые экспертные оценки. Для оценки согласованности ранговых экспертных оценок брались ранговые коэффициенты корреляции [3, 4] или частоты максимально возможных оценок, полученных некоторым качеством.
Основными характеристиками при групповом экспертном оценивании являются: обобщенное мнение группы экспертов, компетентность экспертов, степень согласованности мнений экспертов [5].
На рисунке представлена технология анализа и обработки результатов экспертного оценивания в задачах оценки компетентности студентов и выпускников университета. В качестве экспертов могут выступать студенты, выпускники вуза, потенциальные работодатели и преподаватели. Заполне-
Рисунок. Технология анализа результатов экспертного оценивания
ние анкет экспертами может осуществляться как традиционным способом, так и посредством сети Internet. В последнем случае результаты анкетирования автоматически заносятся в базу данных и обрабатываются.
Показатели обобщенного мнения экспертов. В качестве показателей обобщенного мнения экспертов в случае, если каждое из свойств (качеств) оценивается отдельно, используется одна из мер центральной тенденции (мода, медиана или среднее). Каждая из мер центральной тенденции обладает характеристиками, которые делают ее ценной в определенных условиях [6].
В случае если экспертные оценки представлены в номинальной шкале, то в качестве меры центральной тенденции используется мода.
Оценки важности выражены в баллах и могут принимать значения от 0 до 10. Введем следующие обозначения исходных данных:
m - количество экспертов, г=1,2,...,т;
n - количество качеств, предложенных для оценки, j=1,2,...,n;
mj - количество экспертов, оценивших j-е качество;
mj - количество максимально возможных оценок, полученных j-м качеством;
Cj — оценка относительной важности (в баллах) г-м экспертом j-го качества;
Mj - среднее арифметическое значение величины оценки определенного направления исследования (в баллах), которое определяется по формуле
1 "'
т
У " *
Среднее арифметическое значение Му определяется для каждого из качества и может принимать значения в пределах от 0 до 10 баллов. Нижний предел соответствует случаю, когда все эксперты дали минимально возможную оценку важности, а верхний предел - случаю, когда все эксперты дали максимально возможную оценку важности данному качеству.
Одним из показателей обобщенного мнения экспертов является частота Щ максимально возможных оценок (10 баллов), полученных у-м качеством
I т У
к=—•
ту
Частота Щ максимально возможных оценок определяется для каждого из у качеств и может принимать значения в пределах от 0 до 1. Нижний предел соответствует случаю, когда среди оценок, полученных у-м качеством, отсутствуют максимально возможные оценки, а верхний - случаю, когда все оценки, полученные у-м качеством, являются максимально возможными. Важность развития у-ого качества возрастает при изменении Ку от 0 до 1. Показатель Щ следует рассматривать как дополнительный к показателю важности М. Щ характеризует важность у-го качества с точки зрения количества присужденных ему «первых мест».
Коэффициент компетентности экспертов. Компетентность эксперта определяется структурой аргументов, послуживших ему основанием для ответа, а также степенью его знакомства с рассматриваемым вопросом. Структура аргументов, послуживших ему основанием для произведенной им оценки, учитывается коэффициентом аргументированности Щ Этот коэффициент определяется путем оценки источников аргументации и учета степени влияния источника и суммирования соответствующих численных значений. Значениям К=1 соответствует высокая степень влияния источника на мнение эксперта, К=0,8 - средняя степень влияния, К=0,5 - низкая.
Степень знакомства эксперта с обсуждаемой проблемой учитывается коэффициентом знакомства Кз, который определяется путем нормирования значения соответствующей оценки, проставленной экспертом, т. е. умножением ее на 0,1. Эксперт отмечает степень своего знакомства на шкале, табл. 1.
Таблица 1. Шкала степени знакомства экспертов с проблемой
№ 1 2 3 4 5 6 7 8 9 10 11
Степень знакомства 0 1 2 3 4 5 6 7 8 9 10
Коэффициент компетентности КК определяется как среднее арифметическое коэффициентов степени знакомства и аргументированности: К + К
Кк =-
2
Показатели степени согласованности мнений экспертов. Коэффициент вариации определяется для каждого качества и характеризует степень согласованности мнении экспертов об относительной важности у-го качества. Чем меньше значение V, тем выше степень согласованности мнений экспертов об относительной важностиу-го качества.
Для характеристики степени согласованности двух любых ранжировок, назначенных двумя индивидуумами определенному количеству объектов по степени выраженности некоторого качества, в математической статистике используется ранговый коэффициент корреляции. Этот показатель целесообразно применить и для определения степени согласованности мнений экспертов. Чаще всего используют коэффициент корреляции рангов К. Спирмена.
Для характеристики согласованности группы индивидуальных ранжировок наиболее часто применяют коэффициент конкордации Ж. Коэффициент конкордации меняется в пределах от 0 (полная несогласованность) до 1 (полная согласованность). Согласованность группы считают высокой при Ж>0,8. Но чаще Ж применяется для поиска экспертов, предложивших ранжировки, наиболее отличающиеся от групповых («еретиков»). При этом Ж вычисляют для всей группы экспертов в целом, а затем - для группы, из которой один эксперт исключен. Если при этом Ж повышается, то это означает, что исключенная ранжировка «разрыхляла» группу. Исключая поочередно каждого эксперта, находим эксперта, ранжировка которого наиболее сильно разрыхляла группу и, следовательно, в наибольшей степени отличалась от групповых оценок.
Для оценки согласованности мнений экспертов в случае, когда экспертные оценки измерены в номинальной шкале, нами предлагается исследовать коэффициент взаимной сопряженности
K2 =
I
N ^(nx -1) • (ny-1) рх -1) • (ny -1)
где К - коэффициент взаимной сопряженности
-1 - величина, в
/2
J xy
Чупрова [12], ф2 = L v , v f
которой fxy обозначает частоты в клетках многопольной корреляционной таблицы, а Sfx и Sf -суммы частот по строкам и столбцам той же таблицы, nx и ny - численность групп по строкам и столбцам многопольной таблицы, N - объем выборки. Нулевую гипотезу отвергают, если Х<2=Щ2>х2 для принятого уровня значимости и заданного числа степеней свободы.
Таким образом, использование того или иного показателя обобщенного мнения обусловлено типом измерительной шкалы имеющихся экспертных оценок.
Для определения компонентов и элементов компетентностной модели студента технического университета, наряду с анализом литературных данных был использован и алгоритм формирования обобщенных экспертных оценок.
Продемонстрируем применение данного подхода на примере двух задач.
1. Определение психологических и личностных качеств, необходимых для формирования специальной компетентности
Здесь решалась задача выявления компонентов специальной компетентности (профессионально важных качеств) для студентов специальностей факультета автоматики и вычислительной техники (АВТФ) Томского политехнического университета. С целью получения экспериментального материала было проведено анкетирование экспертов (преподавателей факультета) [8].
Экспертные анкеты были составлены таким образом, чтобы обеспечить получение: 1) количественно определенных ответов на предлагаемые эксперту вопросы; 2) формализованных сведений о характере источников аргументации, а также о степени влияния каждого из источников на ответ эксперта; 3) количественно определенной оценки степени знакомства эксперта с областью, к которой относится предлагаемый ему вопрос.
Преподавателям было предложено оценить 32 личностных качества, входящих в состав профессионально важных качеств для инженерно-технических специальностей.
Анализ полученных результатов показал, что эксперты считают наиболее важными для обучения на АВТФ: умение сосредоточиться; логическое мышление, добросовестность, способность точно оценить ситуацию, аналитический склад ума, склонность к технике, изобретательность, способность руководить людьми, способность к математике, способность решать проблемы; хорошую память, высокий коэффициент интеллекта, гуманистическую ориентацию, способность к анализу, креативность (творческие способности), умение проектировать.
Кроме того, на основе факторного анализа было выделено пять факторов (латентных переменных) [9]:
• творческих способностей, включающий в себя такие качества, как способность предвидеть, творческое решение задач, умение проектировать, широкий кругозор;
• личностных особенностей - добросовестность, трудолюбие, эмоциональная устойчивость;
• интеллектуальных способностей - гибкость мышления, абстрактное и логическое мышление, аналитический склад ума;
• технических способностей - пространственное воображение, склонность к технике, изобретательность, умение проектировать;
• гуманитарных способностей - эстетический вкус, знание иностранного языка, гуманистическая ориентация, творческое воображение. Анализ матрицы факторных нагрузок для
объектов (экспертов) показал, что мнения преподавателей относительно важности того или иного фактора для успешности обучения на АВТФ можно разделить на три группы (табл. 2).
Таблица 2. Распределение мнений экспертов (преподавателей) относительно значимости того или иного фактора
Группа Кол-во % от общего Краткая характеристика
экспертов числа экспертов мнения экспертов
1 32 47,76 Все факторы являются одинаково важными
2 30 44,78 Наиболее важен фактор технических способностей
3 5 7,46 Наиболее важен фактор личностных качеств
Отсюда видно, что большая часть преподавателей оценили предлагаемые качества, не ориентируясь на профессиональную модель будущего специалиста. Вместе с тем полученные результаты согласуются с данными российских и зарубежных исследователей [15-17].
2. Определение требований к компетентности молодых специалистов со стороны работодателей
Конкурентноспособность молодых специалистов представляет собой степень развития комплекса используемых в процессе трудовой деятельности способностей индивидов, их квалификации и показывает, в какой мере их возрастные, профессионально-квалификационные, физиологические и социально-бытовые характеристики соответствуют условиям найма рабочей силы на рынке труда [7].
Молодые специалисты, как правило, отличаются хорошими показателями здоровья и работоспособности, мобильности, владеют новыми профессиями и специальностями, соответствующими требованиям научно-технического прогресса. Но на рынке труда они оказываются менее конкурентно-способными по сравнению с другими группами трудовых ресурсов. Для того чтобы понять причины низкой конкурентоспособности молодежи, необходимо рассмотреть внешние и внутренние (в том числе психологические) факторы, оказывающие влияние на ее формирование.
Перечислим внешние факторы, приведенные в [8].
1. Противоречивые требования работодателей к молодым специалистам: молодой работник со стажем не менее 3-х лет.
2. Нежелание работодателей принимать на работу выпускников вузов в силу следующих психоло-
гических причин, связанных с молодыми специалистами: слабая профессиональная ориентация; переоценка знаний, возможностей, умений и сил; нереалистичные представления о содержании, методах и приемах работы в компании, об отношениях в рамках формальных организаций; предъявление высоких претензий по части заработной платы; легкомысленное отношение к работе; непредсказуемость в поведении и развитии; мобильность и способность перейти в конкурентную компанию.
3. Нежелание работодателей нести финансовые и организационные расходы, связанные с профессиональным обучением молодых работников, предоставлять им льготы, предусмотренные КЗОТом РФ.
4. Дискриминация молодых специалистов со стороны работодателей, включающая незаконные штрафы, увольнения, работу в неблагоприятных условиях или связанную с криминалом. Эти факторы негативно влияют на конкурентоспособность молодых специалистов, что приводит к увеличению низкостатусных групп среди молодежи.
В результате проведенных исследований были получены результаты экспертного оценивания специалистов 29 фирм [9], среди которых широко известные фирмы Томска и области: Waterloo Hydro-geologic (создание программного обеспечения), Игрем (продажа и сервисное обслуживание компьютерной техники), ЗАО НПФ «Сибнефтекарт» (разработка программно-аппаратных комплексов), Контек (разработка и внедрение программного обеспечения), Гранит (сборка компьютеров, настройка программного обеспечения) и др.
Основной целью анкетирования было выявление основных требований к специалисту в области компьютерных технологий по 3 блокам профессионально значимых качеств [9-12]:
1. Общие требования (пол; стаж работы; образование; опыт работы).
2. Специальные требования: знание языков программирования и прикладных пакетов; знание системного программного обеспечения.
3. Личностные качества: исполнительность, самостоятельность в работе, коммуникабельность, творческий подход к делу, стремление к профессиональному росту, работоспособность, безупречное знание программного обеспечения и языков программирования, физическая выносливость, устойчивость психики, дисциплинированность, инициативность, способность предлагать и внедрять новые идеи, преданность фирме.
Для определения достоверности различий долей положительных и отрицательных ответов экспертов был использован критерий ф - угловое преобразование Фишера.
Таблица 3. Выявленные группы экспертов-руководителей
Группа % от общего числа экспертов Описание
1 41 Требования к качествам молодого специалиста определяются фактором 1. Эта группа руководителей «ждет» от специалиста безупречного знания своего дела, высокой работоспособности, устойчивости психики; творческого подхода к делу, преданности фирме.
2 23 Требования к личностным качествам молодого специалиста определяются фактором 3. Для таких руководителей важно, чтобы молодой специалист стремился к профессиональному росту и был способен к самостоятельной работе.
3 17 Требования к личностным качествам молодого специалиста определяются фактором 1 и фактором 3. Сочетание этих качеств характеризуют «идеального» работника.
4 11 Требования к личностным качествам молодого специалиста высокими положительными значениями по фактору 1 и высокими отрицательными значениями по факторам 2 и 3. Представители данной группы - это авторитарный тип руководителя.
5 8 Эти руководители не смогли определить наиболее важные приемлемые личностные качества молодого специалиста для работы на своем предприятии.
Для определения обобщенных профессионально значимых качеств специалиста-выпускника
АВТФ с точки зрения руководителей предприятий
и организаций был проведен факторный анализ.
СПИСОК ЛИТЕРАТУРЫ
1. Боев О.В., Коростелева Е.Н., Чучалин А.И. Проектирование магистерских программ на основе планирования компетенций специалистов. - Томск: Изд-во ТПУ, 2007. - 68 с.
2. Шевелев Г.Е., Гальченко В.Г. Использование личностно-ори-ентированного подхода для подготовки инновационно-активных специалистов // Современное образование: вызовам времени - новые подходы: Матер. междунар. научно-метод. конф. - Томск: Изд-во ТУСУР, 2008. - С. 54-55.
3. Сидельников Ю.В. Моделирование поведения и интеллекта: экспертология - новая научная дисциплина // Автоматика и телемеханика. - 2000. - № 2. - С. 107-111.
4. Загоруйко Н.Г. Вычислительные системы. Экспертные системы и анализ данных: Сб. научных трудов / Под ред. Н.Г. Загоруйко. - Новосибирск: Изд-во НГТУ, 1991. - 177 с.
5. Экспертные оценки в научно-техническом прогнозировании / Отв. ред. В.С. Михалевич. - Киев: Наукова думка, 1974. -С. 67-95.
6. Гласс Дж., Стенли Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 495 с.
7. Кельчевская Н.Р. Мониторинг требований студентов вуза и работодателей к результатам образовательной деятельности вуза // Качество образования: менеджмент, достижения, проблемы:
Анализ значений выявленных факторов для каждого из экспертов-руководителей показал, что их можно разделить на 5 групп (табл. 3) в соответствии с требованиями, предъявляемыми к молодым специалистам.
Анализ результатов экспертного оценивания показал, что большая часть работодателей оценили предлагаемые качества, ориентируясь на профессиональную модель будущего специалиста. Прослеживается также тенденция в универсальном подходе подготовки специалиста, ориентированном на наличие личностных качеств выпускников, способствующих профессиональной самореализации.
Выводы
Исследованы возможности оценки и анализа компонентов компетентности по результатам экспериментального исследования на базе Томского политехнического университета. Выделены особенности в структуре предметно-деятельностной компетентности студентов технического университета.
Разработан алгоритм для определения обобщенного мнения экспертов с учетом типа измерительной шкалы.
Продемонстрирована эффективность применения разработанного алгоритма на примере прикладных задач определения:
• психологических и личностных качеств абитуриентов, необходимых для формирования компетентности;
• требований к компетентности молодых специалистов со стороны работодателей.
Матер. VI Междунар. научно-методич. конф. - Новосибирск: Изд-во НГТУ, 2005. - С. 297-300.
8. Чегринцова С.В. Психологические факторы, определяющие конкурентоспособность молодых специалистов // Социальная психология XXI столетия: Матер. Междунар. симпозиума. Т. 2. - Ярославль, 2003. - С. 320-323.
9. Берестнева О.Г. Качество обучения студентов в техническом вузе. - Томск: Изд-во ТПУ, 2004. - 202 с.
10. Берестнева О.Г., Марухина О.В. Критерии качества обучения в высшей школе // Стандарты и качество. - 2004. - № 8. -С. 84-86.
11. Берестнева О.Г., Марухина О.В. Проблемы оценки качества образования в техническом вузе // Компьютерные технологии в науке, производстве, социальных и экономических процессах: Матер. II Междунар. научно-практ. конф. - Новочеркасск: ООО НПО «ТЕМП», 2001. - Ч. 3. - С. 11-13.
12. Марухина О.В, Берестнева О.Г. Информационная технология для задач оценивания качества обучения студентов вуза на основе экспертно-статистических методов // Вестник Томского государственного университета. - 2004. - № 284. - С. 10-14.
Поступила 20.10.2009 г.
