Об использовании метода парных сравнений для принятия решений при оценивании уровня профессиональных компетенций*обучаемых Текст научной статьи по специальности «Науки об образовании»

УДК 004; 37.022

ОБ ИСПОЛЬЗОВАНИИ МЕТОДА ПАРНЫХ СРАВНЕНИЙ ДЛЯ ПРИНЯТИЯ РЕШЕНИЙ ПРИ ОЦЕНИВАНИИ УРОВНЯ ПРОФЕССИОНАЛЬНЫХ КОМПЕТЕНЦИЙОБУЧАЕМЫХ

Е.Г. ЖИЛЯКОВ С.В. ИГРУНОВА С.Н. ДЕВИЦЫНА Н.П. ПУТИВЦЕВА'

С.В. МЕДИНЦЕВА Ю Г. ЧАШИН

1)Белгородский государственный университет

e-mail: Zhilyakov@bsu.edu.ru

2)Белгородский государственный университет

e-mail: igrunova@bsu.edu.ru

3)Белгородский государственный университет

e-mail: devitsyna@bsu.edu.ru

4)Белгородский государственный университет

В статье для оценивания уровня профессиональных компетенций студентов предлагается использовать метод парных сравнений, причём именно испытуемый выступает в качестве эксперта, оценивающего степень «истинности» предлагаемых вариантов ответов (альтернатив) на заданный вопрос из сферы профессиональной подготовки.

Для достижения структурированности области профессиональных компетенций в статье они характеризуются с позиций конкурентоспособности, приводится описание уровней конкурентоспособности и направлений профессиональной деятельности в области ИКТ.

Результаты отбора у студентов экспертной информации и полученные на основе её обработки ранги сравниваемых альтернативных ответов сравниваются с проведенными предварительно расчётами на основе данных, полученных от преподавателей, которые считаются эталонными.

Рассматривается вариант автоматизации описанной процедуры с использованием разработанной программной поддержки.

Ключевые слова: системы поддержки принятия решений, метод парных сравнений, информационные технологии оценки профессиональных компетенций.

Важнейшей характеристикой специалиста является уровень его профессиональных компетенций, позволяющий выполнять работы по созданию и внедрению инноваций, включая процессы освоения уже имеющихся разработок, пригодных для использования в соответствующей профессиональной сфере.

Конкурентоспособностью специалиста будем называть его способность удовлетворять свои личные потребности за счёт деятельности в профессиональной сфере в условиях конкуренции с другими претендентами на предложения рынка труда по выполнению тех или иных видов работ для создания и внедрения инноваций.

Профессиональная компетенция специалиста это то, что определяет на рынке труда его конкурентоспособность, которая зависит от степени владения следующими инструментами:

• Умения находить партнёров и взаимодействовать с ними для создания и внедрения инноваций, включая их потребителей (инструментарий организатора создания и внедрения инноваций);

• Умения анализировать состояние и прогнозировать развитие рынка продукции предметной области и на этой основе разрабатывать обоснованные предложения по созданию и внедрению инноваций (инструментарий постановщика задач);

• Знания научных основ и принципов создания продукции в соответствующей предметной области (фундаментальный интеллектуальный инструментарий);

• Знаний способов и умений использования фундаментального интеллектуального инструментария при создании продукции в предметной области (прикладной интеллектуальный инструментарий);

• Навыки, полученные в результате систематизации опыта создания продукции в предметной области (прикладной инструментарий реализации фундаментальных и прикладных знаний).

* Работа выполнена при поддержке гранта РФФИ 07-07-oo2o6a.

В зависимости от масштабов востребованности тех или иных граней деятельности в профессиональной сфере, можно выделить следующие ниши рынка труда:

1. Глобальный уровень конкурентоспособности - специалист, владеющий инструментарием организатора создания и внедрения инноваций, и, прежде всего умеющий находить партнёров и взаимодействовать с ними для создания и внедрения инноваций, включая их потребителей.

Следует отметить, что степень успешности такой деятельности специалиста, прежде всего, зависит от того, насколько гармонично он владеет следующими инструментами:

• анализ состояния и прогноз развития рынка продукции предметной области и разработка на этой основе обоснованных предложений по созданию и внедрению инноваций (инструментарий постановщика задач, как для потребителя инноваций, так и для создаваемой команды специалистов);

• навыки, полученные в результате систематизации опыта создания продукции в предметной области (прикладной инструментарий, позволяющий обоснованно спланировать ход создания и реализацию инноваций);

• способы и умения использования фундаментальных основ технологий создания продукции в предметной области (прикладной интеллектуальный инструментарий);

• знания научных основ и принципов создания продукции в соответствующей предметной области (фундаментальный интеллектуальный инструментарий, позволяющий, в том числе осуществлять заказ на получение командой исполнителей новых знаний).

2. Уровень исполнителя, владеющего знаниями, умениями и навыками реализации конкретных процедур деятельности при создании продукции в профессиональной сфере. Основными инструментами такой деятельности являются:

• навыки, полученные в результате систематизации опыта создания продукции в предметной области (прикладной инструментарий создания и реализации инноваций);

• способы и умения использования фундаментальных основ технологий создания продукции в предметной области (прикладной интеллектуальный инструментарий);

• знания научных основ и принципов создания продукции в соответствующей предметной области (фундаментальный интеллектуальный инструментарий, позволяющий, взаимодействовать с другими членами команды и, прежде всего с руководителем при уяснении заданий на разработку).

3. Уровень постановщика профессиональных задач специалистам по созданию и внедрению инноваций в предметной области. Основными инструментами такой деятельности являются:

• умения разрабатывать обоснованные предложения по созданию и внедрению инноваций на основе анализа состояния и прогнозирования развития рынка продукции предметной области (инструментарий постановщика задач);

• знания научных основ и принципов создания продукции в соответствующей предметной области (фундаментальный интеллектуальный инструментарий);

• знания способов и умений использования фундаментального интеллектуального инструментария при создании продукции в предметной области (прикладной интеллектуальный инструментарий).

4. Уровень теоретика-специалиста по научным основам и принципам создания инноваций в предметной области. Основными инструментами такой деятельности являются:

• знания существующих научных основ и принципов создания продукции в соответствующей предметной области (фундаментальный интеллектуальный инструментарий);

• знания способов и умений использования фундаментального интеллектуального инструментария при создании продукции в предметной области (прикладной интеллектуальный инструментарий);

• умений разрабатывать новые научные основы и принципы, позволяющие создавать инновации в предметной области;

• умения формулировать предложения по разработке новых научных основ и принципов создания инноваций с учётом специфики предметной области.

Как правило, имеется несколько претендентов на заполнение вакансий в нишах рынка труда. Иными словами, между специалистами возникает конкуренция. Это приводит к необходимости повышать конкурентоспособность.

Деятельность профессиональной группы преподавателей по созданию и внедрению инноваций при реализации учебного процесса предусматривает выполнение следующих действий:

1. Формулировка требований к уровню знаний и умений студентов в рамках освоения изучаемой дисциплины (внедряемой инновации).

2. Разработка механизма для достижения студентами поставленной цели, включая виды занятий, курсовое и дипломное проектирование, работу с информационными ресурсами в библиотеке и сети Интернет, порядок проведения консультаций и т.п.

3. Выработка критериев для оценки уровня знаний и способы его реализации (например, посредством тестирования), в том числе с привлечением экспертов с соответствующими компетенциями.

В соответствии с изложенными выше требованиями к формированию конкурентоспособного специалиста нами на примере четырёх специальностей факультета компьютерных наук и телекоммуникаций Белгородского государственного университета были сформированы базовые требования к профессиональным компетенциям выпускников в сфере информационно- коммуникационных технологий (ИКТ), которые должны формироваться в процессе изучения различных дисциплин учебных планов. Нам представляется целесообразным выделить семь направлений профессиональной деятельности специалиста по ИКТ, в соответствии с которыми формируются требования к содержанию дисциплин учебных планов.

Самое общее требование заключается в том, что в учебные планы должны быть включены дисциплины в полной мере отражающие все аспекты ИКТ сбора, хранения, обработки, передачи и выдачи в удобном для пользователя виде информации в информационно- телекоммуникационных систем (ИТС). При этом профессиональные компетенции должны формироваться на основе групп дисциплин, которые отражают следующие аспекты деятельности специалиста.

1. Дисциплины, содержание которых отражает основные аспекты собственно компьютерных технологий, которые служат платформой, обеспечивающей целостное представление о современной сфере ИКТ и областью пересечения профессиональных компетенций специалистов их разных направлений деятельности в области ИКТ;

2. Дисциплины, содержание которых отражает проблемы создания информационных хранилищ, включая распределенные базы данных.

3. Дисциплины, содержание которых отражает проблемы обеспечения информационной безопасности;

4. Дисциплины, содержание которых отражает проблемы передачи информации в ИТС.

5. Дисциплины, изучение которых позволяет осуществить анализ потребностей рынка труда в секторе преимущественной деятельности выпускника, включая возможности воздействий на него на основе учёта общественных потребностей в по-

вышении эффективности соответствующих ИКТ (создание новых направлений развития ИКТ);

6. Дисциплины, изучение которых позволяет выполнять теоретические разработки ИКТ в соответствии с выбранной специальностью (направлением образования);

7. Дисциплины, изучение которых позволяет выполнять прикладные разработки

по использованию имеющихся средств ИКТ (масштабирование) в секторе преимущественной деятельности выпускника.

С целью определения уровня профессиональных компетенций выпускника были разработаны комплекты тестовых заданий, отражающие уровни конкурентоспособности. Были сформулированы контрольные вопросы, в контексте с требованиями к ИКТ-компетенциям и основными разделами дисциплин учебного плана, отражающими основные аспекты компьютерных технологий (1. КТ-платформа)1, проблемы создания информационных хранилищ (2. БД, РБД), проблемы обеспечения информационной безопасности (3. Инф. безопасность), проблемы передачи информации в ИТС (4. ПИ), анализа потребностей рынка (5. Рынок), создания потенциала для осуществления теоретических разработок ИКТ (6. Теор. разработки) и потенциала для осуществления прикладных разработок по использованию имеющихся средств ИКТ (7. Прикл. разработки). На основании каждого контрольного вопроса были разработаны тестовые задания. Таким образом, по каждой специальности создан комплект тестовых заданий для оценки профессиональных компетенций выпускников факультета Компьютерных наук и телекоммуникаций БелГУ.

Для определения профессиональных компетенций разработан прототип программной поддержки тестирования. Опрашиваемому предлагается вопрос из области профессиональной деятельности и несколько вариантов ответов, которые содержат в себе элементы верного ответа, а один из них является наиболее близким к истине. Далее заполняется матрица парных сравнений (МПС) со степенной калибровкой, которая затем обрабатывается с тем, чтобы были вычислены весомости ответов[2].

Процедура выявления знаний в автоматизированном режиме реализуется в 2 этапа: на первом этапе осуществляется формирование теста для студентов (из комплекта тестовых заданий), на втором этапе студенты проходят тестирование и получают отметку по 5-балльной шкале.

Первый этап состоит из двух частей:

1. Эксперты оценивают относительную важность вопроса и соответствующих ему ответов. База вопросов теста формируется экспертом, определяется весомость вопросов, а также весомость ответов, которые предлагаются для ответа на тот или иной вопрос. Подразумевается, что число ответов не меняется от вопроса к вопросу и число ответов должно быть не менее четырех. При этом вопросы, с которыми работает эксперт, уникальны, то есть не повторяются.

2. Создается «пользовательский» тест.

После создания базы вопросов для теста разработчики теста создают «пользовательский» тест, на который отвечают студенты. В этом тесте вопросы повторяются, но ответы в повторяющихся вопросах от вопроса к вопросу меняются местами.

Иерархически процедуру выявления знаний можно представить следующим образом.

Уровень 1. Цель.

Уровень 2. Критерии.

Уровень 3. Вопросы.

Уровень 4. Ответы.

При создании базы вопросов разработчики тестирования (для повышения объективности на этом этапе могут быть приглашены эксперты в данной области) определяют ОВ каждого вопроса в данной области знаний, заполняя матрицы парных

1 В скобках приведены сокращения, используемые в программном комплекте тестирования.

сравнений (МПС), которые затем обрабатываются с использованием вышеуказанного адаптивного метода. В случае участия нескольких экспертов в оценке весов результирующая ОВ каждого ответа вычисляется как среднее геометрическое относительных важностей, определенных этому вопросу каждым из приглашенных экспертов.

На втором уровне иерархии критерии сравниваются друг с другом для определения их предпочтительности по отношению к цели — процессу выявления знаний, в результате получаем локальные приоритеты критериев .

На третьем уровне иерархии обрабатываем МПС, получая при этом приоритеты вопросов по отношению к заданным критериям - V .

В итоге «вес» каждого вопроса получаем с использованием линейной свертки

N

2=1

В программном комплекте формирование базы вопросов и создание «пользовательского» теста осуществляется в режиме администратора.

Форма, представленная на рисунке 1, предоставляет возможность создания иерархии для оценивания вопросов и ответов, ввода результатов парных сравнений и расчета весов вопросов.

Оцениваниевопросов

Уровень 1 ИКТ-комт

Уровень 2 1 .КТ-платф 2-БД, РБД З.Инф безоп 4.ПИ 5 .Рыноб.Теор 7 Лрик

Уровень 3 Информатр СП БД ОССО ВСС АВСКССУБД

Строк

|б

Столбцов:

Инициализировать иерархию

Рассчитать веса

Вопросы

2.БД,РБД И нформати СПБД ОССО ВСС АВС КС СУІ

И нформати 0,2 0.33 0.25 0.25 0,14

СП БД 5 1 2 1 1 0,5

ОССО 3 0.5 1 0.5 0.5 о.з:

ВСС 4 1 2 1 1 0.32

АВС КС Ч 1 2 1 1 о.з:

СУБД 7 2 3 3 3 і

0,03947 ■ 0,1 77940,096220,1 60240,1 60240,36590-

Информатика

С П БД

ОССО

ВСС

АВС КС

СУБД

□

ИС = 1 ,719 %

у ОК

Рис. 1. Форма, демонстрирующая выбор тестовых вопросов, соответствующих второму уровню

На рисунке 1 показано, что основная функция теста — определить сформировавшиеся ИКТ-компетенции выпускника по каждому из семи направлений. Так как компетенции по выделенному направлению могут быть получены студентом в процессе изучения определенных дисциплин, преподавателем формулируются основные вопросы, экспертом (экспертами) определяется вес каждой дисциплины, т.е. ее «вклад» в формирование знаний, умений, навыков, способов решения проблем и т.д.

Форма позволяет оценить ответы теста. В верхней части формы располагаются таблицы вопросов и ответов. В нижней части — указатели ответов.

При щелчке мышью на определенном вопросе автоматически изменяется содержимое таблицы ответов — выводятся ответы текущего вопроса, а в нижней части формы отображаются компоненты для указания предпочтений пользователя (указатели ответов). Если вопрос имеет п ответов, то в нижней части формы выводится п*(п-1)/2 указателей ответов. При перемещении указателя ответа по горизонтальной оси автоматически пересчитываются веса ответов и индекс согласованности. Синий цвет шрифта, которым выводится значения индекса согласованности, говорит о его приемлемом значении, красный — о выходе за допустимую границу.

Второй этап выявления знаний — проверка знаний студента в автоматизированном режиме.

В верхней части формы для проверки знаний студентов выводятся вопросы. При нажатии кнопки «Далее» осуществляется переход к следующему вопросу. Кнопка «Далее» является недоступной для нажатия, если индекс согласованности превышает допустимое значение. Кнопка «Далее» при первоначальном открытии формы имеет надпись «Начать тестирование», а при ответе на последний вопрос имеет надпись «Получить результат».

В средней части формы располагаются указатели ответов. Изменяя положение указателей, студент выражает свои предпочтения.

В нижней части формы располагается таблица ответов. Веса ответов автоматически пересчитываются при изменении положения указателей ответов.

Процедура оценивания результатов тестирования по пятибалльной шкале следующая.

Так как в основе тестирования заложен принцип нескольких правильных ответов на вопрос, то для каждого вопроса не менее п/2 ответов (п/2 + 1 для нечетного количества ответов) будут очень близки к правильному, и если студент не очень четко знает материал, то не сможет адекватно определить весомости близких ответов.

угтах —, соответствующее наиболее правильному и точному ответу на і-й вопрос,

угтах - максимальное значение истинной весомости оставшихся ответов после выбора Vimax

уг2тах - максимальное значение истинной весомости оставшихся ответов после

Соответственно, составляем тройку из значений весомостей испытуемого, стоящих на тех же позициях, что и выбранные максимальные значения из вектора ис-

Пусть

выб°ра V тах и К

і тах

тинных

і тах

Далее по каждому вопросу вычисляем соответственно

і тах

и

V = и V* =

7 = (/1

Пусть Уг} Вычисляем

V,' 1, і=1,2 N.

- вектор относительных важностей ответов.

N N

Ё / ‘ V и Ё ‘ ^

і=1 і=1

соответственно.

і=1

N

Принимаем следующие градации для отметок:

N Г N N ~

Ё / • V*є 09 Ё / • V; Ё / ^ о "5"

і=1 |_ і=1 і =1 _

N Г N N

Ё /■ • ^ Є 075 Ё / • V ;0-89 Ё ./і- • V* 0 "4"

і=1 і=1

N N

0.6Ё/і • V, ;0.74 Ё/ • vi

Ё /

і=1

N ё /

=1

=1

^ N

0; 0.6 Ё /

=1

=1

о "3"

о "2".

Ё ./і- •v'

В соответствии с попаданием значения =1 ставляем тестируемому отметку.

Блок схема данной процедуры представлена ниже на рисунке 2.

в тот или иной интервал, вы-

V

Рис. 2. Блок-схема процедуры оценивания результатов тестирования по пятибалльной шкале

Результаты прохождения тестирования сохраняются в файле протокола. Файл протокола тестирования создается программой автоматически после ответа студента на последний вопрос пользовательского теста. Файл создается в каталоге программы. Файл получает имя: Протокол <Фамилия студента> <Текущая дата>ЛХ:.

В файле протокола тестирования выводятся данные о каждом вопросе пользовательского теста: номер вопроса пользовательского теста, номер соответствующего вопроса теста, оценка ответов, оценка эталонных ответов, вес вопроса.

В конце файла протокола выводятся сводные данные о суммарной оценке ответов, суммарной оценке эталонных ответов и об итоговой оценке.

Пример файла протокола:

1

1

Оценка ответов 0.926

Оценка эталонных ответов 0.949

Вес вопроса 0.373

Суммарная оценка ответов 0.589

Суммарная оценка эталонных ответов 0.660

Оценка: Хорошо

Таким образом, в работе предложен новый подход к построению системы поддержки принятия решений при определении уровня профессиональных компетенций специалистов в области ИКТ. Основу этого подхода составляют аналитические разработки проблемы формирования профессиональных компетенций при обучении в Вузе и прежде всего выделение основных направлений профессиональной деятельности. Это позволило структурировать дисциплины учебного плана и осуществлять оценивание профессиональных компетенций в соответствии с указанными направлениями деятельности.

Новым также является подход к реализации процедур тестирования знаний и умений на основе метода парных сравнений предлагаемых альтернативных вариантов ответов, которые в той или иной мере содержат истину. В результате обработки матриц парных сравнений эти ответы ранжируются по важности с точки зрения близости к истинному ответу.

Результаты ранжирования в текущей проверке сравниваются с «эталонным» ранжированием специалистом из числа преподавателей.

Таким образом, испытуемый выступает в качестве эксперта, а его знания оцениваются на системном уровне.

В статье описан также прототип программной поддержки информационной технологии для автоматизированной системы поддержки принятия решений при оценивании уровня профессиональных компетенций, сформированных у студентов в процессе изучения дисциплин учебного плана.

Литература

1. Давыденко, Т.М. О кластерном подходе к формированию профессиональных компетенций [Текст] / Т.М. Давыденко, Е.Г. Жиляков // Высшее образование в России. - 2008. -№7. - С. 69 - 75.

2. Жиляков, Е.Г. Адаптивное определение относительных важностей объектов на основе качественных парных сравнений. [Текст] / Е.Г. Жиляков // Экономика и математические методы, 2006, том 42, № 2, с. 111-122.

ABOUT THE USE OF METHOD OF PAIR COMPARISONS FOR MAKING DECISION AT EVALUATION OF LEVEL OF PROFESSIONAL COMPETENCES OF TAUGHT

E.G. ZHILYAKOV1 S.V. IGRUNOVA2)

S.N. DEVITSYNA3)

N.P. PUTIVZEVA4)

S.V. MEDINTSEVA5)

U.G. CHASHIN6)

1) Belgorod state university e-mail: Zhilyakov@bsu.edu.ru

2) Belgorod state university e-mail: igrunova@bsu.edu.ru

3) Belgorod state university

e-mail: devitsyna@bsu.edu.ru

In the article for the evaluation of level of professional competences of students it is suggested to use the method of pair comparisons, thus a preeminently examinee comes forward as an expert, estimating the degree of «truth» of the offered variants of answers (alternatives) for put question from the sphere of professional preparation.

For achievement of structured of area of professional competences in the article they are characterized from positions of competitiveness, description over of levels of competitiveness and directions professional activity is brought in area of ICT.

The results of selection for the students of expert information and grades of the compared alternative answers got on the basis of its treatment are compared to conducted preliminary calculations on the basis of information, got from teachers which are considered standard.

The variant of automation of the described procedure is examined with the use of the developed software support.

Key words: systems of support of making decision, method of pair comparisons, information technologies of estimation of professional competences.