Разработка процедуры обработки информации при оценивании уровня профессиональных знаний в сфере ИКТ на основе парных сравнений Текст научной статьи по специальности «Науки об образовании»

УДК 004; 37.022

РАЗРАБОТКА ПРОЦЕДУРЫ ОБРАБОТКИ ИНФОРМАЦИИ ПРИ ОЦЕНИВАНИИ УРОВНЯ ПРОФЕССИОНАЛЬНЫХ ЗНАНИЙ В СФЕРЕ ИКТ НА ОСНОВЕ ПАРНЫХ СРАВНЕНИЙ

В статье представлена системная процедура оценки уровня профессиональных знаний специалистов в сфере ИКТ на основе парных сравнений, позволяющая оценить не только уровень профессиональных знаний специалистов, но и стабильность их знаний, а также выявить соотношение между разными аспектами того или иного направления профессиональной деятельности и распределить ответы по важности (весомости), соответствующей направлению профессиональных знаний.

Ключевые слова: метод парных сравнений, системная модель профессиональных знаний в области ИКТ, системная процедура оценки уровня профессиональных знаний.

Поскольку понятие профессионального знания является многоаспектным, иерархическим, составляющие его элементы неодинаковы, неравноценны по своей важности для профессиональной деятельности в области ИКТ, то в связи с этим необходима системная методика оценивания профессиональных знаний в области ИКТ.

Принцип оценки знаний, заложенный в существующих системах тестирования, заключается в следующем: испытуемому на каждый заданный вопрос предлагается несколько вариантов ответов, из которых ему нужно выбрать один или несколько. В большинстве систем ответы предварительно ранжированы, поэтому количество назначенных баллов зависит от выбранного ответа. Данные системы, наряду с положительными характеристиками, имеют недостатки, в частности, связанные с косвенностью оценки системности знаний, т.к. тестируемые, как правило, не оценивают относительные важности того или иного аспекта для профессиональной сферы.

Системная методика оценивания уровня профессиональных знаний специалистов в области ИКТ с использованием тестирования как метода отбора профессиональной информации, предполагает формирование тестового вопроса, относительно объекта профессиональных знаний, и набора ответов, которые характеризуют этот объект с разных точек зрения профессиональной деятельности, а также использование метода парных сравнений для вычисления относительных важностей каждого из предложенных вариантов ответов для данной профессиональной сферы.

Для реализации системного подхода к оцениванию профессиональных знаний в сфере ИКТ предлагается иерархическая процедура метода парных сравнений для отбора и обработки информации, характеризующей уровень профессиональных знаний.

Для оценивания профессиональных знаний в сфере ИКТ используется следующая иерархия Уровень профессиональных знаний в сфере ИКТ (1-й уровень - Цель) Направления деятельности в сфере ИКТ (2-й уровень - Критерии)

Тестовые вопросы для оценки уровня профессиональных знаний в сфере ИКТ (3-й уровень - Альтернативы)

Ответы на тестовые вопросы

Предварительно формируется база общих понятий, соответствующих обобщенным направлениям профессиональной деятельности. Каждому понятию ставится в соответствие набор трактовок (вариантов ответа), сущность которых соответствует особенностям направления профессиональной деятельности. В зависимости от выбора варианта и весомости данных ответов, испытуемому присваивается соответствующая категория профессиональной деятельности, либо выдается рекомендация по выбору должности в области профессиональной деятельности.

Н. П. ПУТИВЦЕВА

Белгородский

государственный

национальный

исследовательский

университет

e-mail:

putivzeva@bsu.edu.ru

Критерии

(Направления профессиональной деятельности в сфере И КТ)

{(

I

¡V

■ ■ ■

Рис. 1. Иерархия оценки профессиональных знаний в сфере ИКТ

Первый этап процедуры - определение эталонных весомостей ответов на вопросы теста и интегральных весомостей вопросов теста. Для этих целей привлекаются эксперты и проводится групповая экспертиза.

Эксперты оценивают иерархию, представленную выше.

На втором уровне иерархии экспертами оценивается значимость каждого из сформулированных в статье [1] направлений деятельности для формирования профессиональных знаний в сфере ИКТ.

В указанной статье были выделены пять направлений профессиональной деятельности специалиста по ИКТ, в соответствии с которыми формируются требования к профессиональным знаниям специалиста. При оценке уровня профессиональных знаний должны проверяться:

5. Знания, отражающие основные аспекты собственно компьютерных технологий (Собственно КТ).

6. Знания, отражающие проблемы создания информационных хранилищ (ИХ).

7. Знания, отражающие проблемы обеспечения информационной безопасности (Инф. Безопасность).

8. Знания, отражающие проблемы передачи информации в ИТС (Передача).

9. Знания, позволяющие осуществить анализ потребностей рынка труда в секторе профессиональной деятельности (Рынок рабочей силы).

Экспертам предлагается заполнить матрицы парных сравнений направлений профессиональной деятельности в сфере ИКТ по степени их важности для специалистов в сфере ИКТ. Эксперты заполняют матрицы номерами суждений.

Таблица 1

Матрица парных сравнений (МПС) направлений деятельности в сфере ИКТ,

заполняемая экспертами

Знания в сфере ИКТ Собственно КТ ИХ Инф безопасность Передача инф Рынок труда

Собственно КТ 1 Xk Xm Xv

ИХ 1

Инф безопасность 1

Передача инф 1

Рынок труда 1

В результате обработки матриц с использованием вариационного метода парных сравнений без предварительного формирования вербальных экспертных суждений и количественных выражений их силы превосходства или проигрыша, описанного в работе

[2], получают весомости направлений деятельности .

После сравнения направлений деятельности эксперты заполняют по 5 матриц парных сравнений (по количеству критериев - направлений деятельности), сравнивая попарно вопросы теста по степени их важности для каждого из направлений профессиональной деятельности в сфере ИКТ.

Таблица 2

МПС сравнения вопросов по отношению к направлению деятельности Собственно Компьютерные Технологии

Собственно КТ Вопрос 1 Вопрос 2 Вопрос 3 Вопрос 4 Вопрос m

Вопрос 1 1 Xi xj

Вопрос 2 1

Вопрос 3 1

Вопрос 4 1

Вопрос т 1

После обработки каждой из матриц с использованием вариационного метода по-

V-

лучают весомости вопросов 11 по каждому из направлений деятельности в сфере ИКТ, где і - номер направления (критерия), j - номер вопроса.

Обрабатывая всю оцененную экспертами иерархию, аналогично процедуре синтеза глобальных приоритетов Саати: матрица, состоящая из векторов приоритетов альтернатив по каждому из критериев сравнения, умножается на локальный вектор приоритетов критериев

:/і

[ V12 V!3 - ••

1-[ Г21 f22 en •• V2m

г31 V32 V33 - •• У1я

В □ J

Ч Кг V„2 V„3 . .. V nm

: □ □ □ пЛ

□ °2а

□

UD

□ □ □ □

□ - □

■' D„ ■■

(1)

Л ’ к 1’ т - вектор приоритетов критериев

Vik - вес ьтой альтернативы с точки зрения к-того критерия сравнений,

на основе линеинои свертки получают интегральные весомости вопросов

N

□, □ □./;■ і] - ас., □!.

/□і

(2)

где

Согласованность всей иерархии вычисляется по формуле

п

CEI ПСЕ Г С.Е, П /,

Крит 1 I—I к J к ?

(3)

¿□1

CE,,

крит - оценка согласованности МПС критериев по отношению к цели;

СЕк , к . 1, п - оценка согласованности каждой из МПС альтернатив по каждому из критериев

/кк □ 1, п - весомости критериев.

После вычисления интегральных весомостей вопросов экспертам предлагается тест. Ответы на вопрос теста организованы таким образом, что каждый ответ соответствует какому-то одному из 5 направлений. Вопросы теста не повторяются. Эксперты заполняют матрицы парных сравнений, сравнивая попарно ответы на вопрос по степени их близости к правильному ответу. В результате обработки МПС экспертов вычисляются эталонные весомости ответов.

Второй этап процедуры - создается «пользовательский» тест, на вопросы которого отвечает испытуемый. Вопросы пользовательского теста повторяются с другим порядком расположения ответов. Это дает возможность проверки еще и воспроизводимости оценок.

После получения эталонных весомостей экспертов испытуемый отвечает на вопросы теста, заполняет матрицы парных сравнений, сравнивая ответы.

Процедура оценивания результатов тестирования по пятибалльной шкале (интегральная оценка) осуществляется следующим образом.

В качестве меры близости весомостей ответов испытуемого к эталонным весомостям берем относительное отклонение (ОО) его ответов от эталонных (вычисляется для каждого вопроса):

□ □

k'U.zk2 і і і

(4)

п

i I

и коэффициент корреляции:

И П У, Z, j

Г -----------

jj

, I ; 1

п(п 1 )SyS,

Sy □ .

1

n 1

/□I

□

n 1

n

□

j ,2-

/□ 1

1 n 1 П

у □- [ ]у/ Jb - EU

11 Ш1 w il I

(5)

где п - количество ответов,

yi - эталонные весомости,

Zi -весомости испытуемого,

^, Sz - стандартные отклонения.

i - номер тестового вопроса, i=l, ..., п

j - номер направления деятельности, j=l,..., 5

Коэффициент корреляции находится в диапазоне [-1;1].

После вычисления по каждому из вопросов теста коэффициента корреляции проверяем его статистическую значимость с использованием ^критерия Стьюдента:

1 R2

-П 2 :

(6)

где R2=r2 - коэффициент детерминации (квадрат коэффициента корреляции)

Градации для отметок за вопрос в пятибалльной шкале предлагаются следующие:

А □ СО: 0.2 II □ "5"

n

n

n

п

1

z

А □ По.21; 0.39 □ I I "4"

А П110.40; 0.590 □ "3"

ЛйП0.60;Ш "2"

Если относительное отклонение А больше 0.60, коэффициент корреляции находится в диапазоне [-1;0.7] и статистически значим, то у тестируемого нет сложившегося

знания о понятии (объекте определения), отраженном в соответствующем вопросе, и, со-

ответственно, недостаточен уровень знаний соответствующего направления профессиональной деятельности, к которой относится данное понятие.

Для получения интегральной оценки вычисляем отношение числа ответов, для которых А<0,2, к общему числу вопросов теста, и для полученного отношения задаем следующие градации его перевода в оценку:

Если (отношение числа ответов, для которых А < 0,2, к общему числу вопросов теста > 0.85 и нет вопросов, для которых А > о,6о) 5 .

Если (отношение числа ответов, для которых А < 0,2, к общему числу вопросов теста 0,70; 0,85) и количество вопросов, для которых А > о,6о, 0,1 п) 4 .

Если (отношение числа ответов, для которых А < 0,2, к общему числу вопросов теста 0,50; 0,70) и количество вопросов, для которых А > о,6о, 0,4 п) 3 .

Если (отношение числа ответов, для которых А < 0,2, к общему числу вопросов

теста < 0.50) I [ 2 .

Помимо интегральной оценки уровня сформированности профессиональных знаний определяется, насколько компетентен специалист в сформулированных выше направлениях профессиональной деятельности в сфере ИКТ.

Для этого вычисляем векторы размерности n (по количеству вопросов теста) с использованием среднеквадратического отклонения (СКО), вектор si соответствует j-му направлению профессиональной деятельности в сфере ИКТ, каждая координата вектора sj -

si - соответствующее СКО между эталонными весомостями ответов, соответствующих j-му направлению, и соответствующими ответами тестируемого.

s1 □ К } □ (4 j □ 1,5,

У,?.2,. (7)

v n

Устанавливаем пороговое значение для СКО, равное 0,1*среднее геометрическое из значений эталонных весомостей всех ответов теста для соответствующего из направлений деятельности и находим отношение количества вопросов, где СКО меньше порогового значения, к общему числу вопросов, обозначим это отношение через U.

Градации оценки сформированности каждого из направлений предлагаются следующие:

U □ D0,85; 1 ZI □

"5"

£/□170,70; 0,84 Dü „4"

£/□□0,55; 0,69 HD "3"

U 10;0,54II "2"

Если получилась оценка «5» - тестируемый обладает высоким уровнем знаний аспектов соответствующего направления деятельности.

Если получилась оценка «4» - тестируемый обладает достаточно хорошим уровнем знаний аспектов соответствующего направления деятельности, уровень выше среднего, есть небольшие пробелы.

Если получилась оценка «3» - у тестируемого имеются достаточно серьезные пробелы в знании аспектов направления деятельности.

Если получилась оценка «2» - тестируемый обладает низким уровнем знаний аспектов соответствующего направления деятельности.

По результатам обработки следуют общие выводы и рекомендации: тестируемому необходимо повышать уровень профессиональных знаний по тем направлениям деятельности, по которым получены оценки «2» и «3».

Для определения уровня стабильности знаний тестируемого находим относительное отклонение между весомостями ответов, соответствующих одному какому-то направлению деятельности в повторяющихся вопросах теста, и средним арифметическим этих весомостей.

Обозначим z*\ , z*23 ,■■■, - весомости ответов тестируемого, соответствующих j-му

- ]

направлению деятельности, в повторяющихся вопросах теста, а z* - среднее значение этих весомостей.

Символ «*» показывает, что используются повторяющиеся вопросы теста с различным порядком расположения ответов, d - количество повторяющихся вопросов в серии, q - количество серий.

По каждому направлению деятельности вычисляем среднее значение весомостей ответов тестируемого, соответствующих j-му направлению деятельности, в повторяющихся вопросах теста, и относительное отклонение каждой весомости соответствующего ответа от их среднего арифметического.

ó, fr

(8)

Z

В результате для каждого направления деятельности получаем вектор

о} □ {d, } □ (6, ,d2,...,6d),j □ 1,5. (9)

По каждому из направлений деятельности определяем компоненту вектора с максимальным значением °l max .

□ □ 0, 2 , то уровень стабильности высокий

Если о/тах | | С 0,2; 0, то уровень стабильности средний (ю)

тЗХ 4D* '

П[0 0,4 , то уровень стабильности низкий.

Высокий уровень стабильности говорит о том, что тестируемый стабилен в своих суждениях относительно весомости данного ответа на вопрос теста при его неоднократном предъявлении с различным порядком ответов.

Для вычисления уровня стабильности в целом по серии из одного повторяющегося вопроса теста определяем максимальную компоненту вектора о:

°maxD i°LJJ G U (И)

Для значения данной компоненты задаем такие же градации - по формуле (10).

Аналогичную процедуру проводим для всех серий повторяющихся вопросов в тесте.

В результате вычислений получаем вектор 70 ( °nax , ° max ,***° max ) .

Далее определяем интегральный уровень стабильности знаний.

Для этого считаем отношение числа компонент вектора io, меньших порогового значения 0,2, к общему числу серий из повторяющихся вопросов.

Если это отношение >=0,8, то уровень стабильности знаний тестируемого высокий, если отношение находится в интервале [0,6;0,8), то уровень стабильности знаний средний, если это отношение <0,6, то уровень стабильности низкий.

Для апробации разработанной методики было проведено тестирование 30 студентов 5 курса специальности «Прикладная информатика».

Фрагмент теста с ответами

Вопрос 1. Протокол - это...

1) набор правил и соглашений, обеспечивающий максимально возможную скорость и наименьшее число ошибок при связи компьютеров друг с другом и с периферийными устройствами. (КТ)

2) набор правил и соглашений, управляющий передачей данных файлов, включая параметры и сигналы рукопожатия и определяющий способы передачи сообщений между станциями ЛВС. (ПИ)

3) набор правил и соглашений, обеспечивающий доступ к файлам, хранящимся на удаленном компьютере (ИХ)

4) набор правил и соглашений, представляющий собой попытку упростить сложный процесс связи между компьютерами разных моделей и производителей. (Рынок труда)

5) набор правил и соглашений, управляющий методами кодирования данных (для обеспечения информационной безопасности). (ИБ)

Таблица 3

Пример заполнения МПС ответов на вопрос теста

Протокол - это Ответ 1 02 03 04 05 Вектор локальных приоритетов

Ответ 1 1 4 1 2 4 0,333333

Ответ 2 1/4 1 1/4 1/2 1 0,083333

Ответ 3 1 4 1 2 4 0,333333

Ответ 4 1/2 2 1/2 1 2 0,166667

Ответ 5 1/4 1 1/4 1/2 1 0,083333

Результаты обработки тестов участвовавших студентов, их оценки и уровень стабильности их знаний представлены ниже в табл. 4.

Таблица 4

Определение уровня профессиональных знаний и их стабильности

№ п/п Интегральная оценка Оценка по направлению 1 Оценка по направлению 2 Оценка по направлению 3 Оценка по направлению 4 Оценка по направлению 5 Уровень стабильности знаний

Студент 1 5 5 5 4 5 5 Высокий

Студент 2 5 4 5 5 5 5 Высокий

Студент 3 4 4 5 3 4 4 Средний

Студент 4 4 4 3 5 4 4 Средний

Студент 5 3 3 3 4 3 5 Низкий

Студент 6 5 5 5 5 5 5 Высокий

Студент 7 5 4 5 5 5 5 Средний

Студент 8 4 4 4 5 4 3 Средний

Студент 9 3 3 3 4 4 3 Низкий

Студент 10 5 4 5 5 5 5 Высокий

Студент 11 5 5 4 5 5 5 Высокий

Студент 12 4 4 5 4 3 4 Средний

Студент 13 4 5 3 3 4 4 Средний

Студент 14 5 5 5 4 5 5 Высокий

Студент 15 4 5 4 4 3 4 Средний

Студент 16 5 5 5 5 4 5 Высокий

Студент 17 4 4 4 3 4 5 Средний

Студент 18 3 3 3 4 3 3 Низкий

Студент 19 4 3 4 5 4 4 Средний

Студент 20 5 5 5 5 5 4 Высокий

Студент 21 4 4 4 5 4 3 Средний

Студент 22 3 3 3 4 4 3 Низкий

Студент 23 5 4 5 5 5 5 Высокий

Студент 24 5 5 4 5 5 5 Высокий

Студент 25 4 4 5 4 3 4 Средний

Студент 26 5 4 5 5 5 5 Высокий

Студент 27 4 4 5 3 4 4 Средний

Студент 28 4 4 3 5 4 4 Средний

Студент 29 3 3 3 4 3 5 Низкий

Студент 30 5 5 5 5 5 5 Высокий

НАУЧНЫЕ ВЕДОМОСТИ Серия История. Политология. Экономика. Информатика. 159

2011. 7(102). Выпуск 18/1

Серия История. Политология. зКОІнЬлМИк^.їЙЯ^^оІіМіІІМІЇйа!8/1

Литература

1. Жиляков, Е.Г. Об использовании метода парных сравнений для принятия решений при оценивании уровня профессиональных компетенций обучаемых [Текст] / Е.Г. Жиляков,

С.В. Игрунова, С.Н. Девицына, Н.П. Путивцева, С.В. Мединцева, Ю.Г. Чашин // Научные ведомости БелГУ. Сер. История. Политология. Экономика. Информатика. - 2008. - № 10 (50). Вып. 8/1. - С. 65-73.

2. Жиляков, Е.Г. Адаптивное определение относительных важностей объектов на основе качественных парных сравнений. [Текст] / Е.Г. Жиляков // Экономика и математические методы, 2006, том 42, № 2, с. 111-122.

THE ELABORATION OF PROCEDURE FOR IFORMATION HANDLING FOR THE EVALUATION OF THE LEVEL OF PROFESSIONAL KNOWLEDGE IN THE FIELD OF ICT ON THE BASIS OF PAIRED COMPARISONS

N. P. PUTIVZEVA

BelgorodNational

Research University

e-mail:

putivzeva@bsu.edu.ru

The article presents a systematic procedure to assess the level of professional expertise of specialists in the field of ICT, based on pair- wise comparisons that provide the estimate not only the level of pro- fessional expertise of specialists, but also the stability of their know- ledge and to identify the relationship between different aspects of a relevant professional activities and to assess responses to im- portance (weight), corresponding to the direction of professional knowledge.

НАУЧНЫЕ ВЕДОМОСТИ

Key words: method of paired comparisons, the system model of professional knowledge in the field of ICT, the system procedure of estimation of the level of professional knowledge.