CC BY
139
Оценка коммуникативных компетенций студентов на основе политомических моделей И.Н. Елисеев, И.И. Елисеев, Т.Н. Ларина, Н.В. Кривошеев
В основу Федеральных образовательных стандартов (ФГОС) Российской Федерации нового поколения положен компетентностный подход, позволяющий оценить качество подготовки выпускника степенью владения компетенциями. В связи с этим остро встала проблема формализации оценивания уровня сформированности компетенций студентов, для решения которой необходимо выбрать подходы к диагностике компетенций, теоретически обосновать и реализовать необходимый для этого методический инструментарий.
Существует ряд подходов к решению подобных задач, использующих, например, имитационное моделирование процессов в гуманитарной сфере [1, 2]. Но в подавляющем большинстве случаев применяют современные подходы к оценке учебных достижений обучаемых, базирующиеся на использовании теории латентных переменных (Item Response Theory) [3 - 6], основу которой составляют вероятностные политомические модели. Важным преимуществом теории этих моделей является независимость вычисляемых значений латентного параметра «уровень подготовки» студентов 9t от «уровня
трудности» заданий в диагностических средств. Поскольку при оценке
результатов обучения важно обеспечить объективность получаемых данных, использование политомических моделей для оценки компетенций является весьма перспективным [5, 6].
На готовность специалиста к эффективному выполнению работы существенное влияние оказывают социально - личностные компетенции. Необходимый уровень их сформированности обеспечивается за счёт формирования в процессе обучения личностных качеств студента, которые
являются скрытыми (латентными) параметрами. Для их оценивания необходимо иметь качественные диагностические средства. Ввиду отсутствия на данный момент таких средств, оценить степень выраженности личностных качеств можно с помощью применяемых в социологии и психодиагностике тестов-опросников и тестов-анкет [6]. Исследуя таким образом личностные качества студентов, можно судить о наличии признаков сформированности у них соответствующих компетенций. Примером реализации такого подхода являются результаты работ [7, 8], в которых с помощью опросника Л.П. Калининского «Профиль личности» и опросника Т. Лири для исследования межличностных отношений в студенческой среде показано, как оцениваются общекультурные компетенции.
Одним из важных блоков социально-личностных компетенций студента - будущего выпускника, определяющего его готовность к успешной профессиональной деятельности, являются коммуникативные компетенции. Потенциальный уровень сформированности их у студентов может быть выявлен с помощью опросника «Коммуникативная толерантность» Бойко В.В.
[9].
Опросник состоит из 45 индикаторных переменных, которые варьируются на четырех уровнях: 0, 1, 2 и 3. При этом цифрой 0 оценивается вариант ответа «совсем неверно», цифрой 1- вариант ответа «верно в некоторой степени», цифрой 2 - вариант ответа «верно в значительной степени», цифрой 3 - «верно в высшей степени». Индикаторы опросника разделены на 9 шкал (по 5 индикаторов на каждую шкалу), которые позволяют проверить: 1- умение понимать или принимать индивидуальность других людей; 2 - возможность оценивать людей, исходя из собственного «Я»; 3 - категоричность оценки окружающих; 4 - умение скрывать или сглаживать неприятные впечатления при столкновении с некоммуникабельными качествами людей; 5 - склонность переделывать и перевоспитывать партнера; 6 - степень склонности подгонять партнёра под
себя; 7- тенденцию к обидчивости; 8 - степень терпимости во взаимодействии с людьми; 9 - степень уступчивости партнёру.
Максимальное количество баллов, которое может набрать респондент, составляет 135. Чем ниже набранное количество баллов, тем человек терпимее относится ко многим типам партнеров во многих ситуациях, т.е. тем он толерантнее. И наоборот, высокий балл является свидетельством нетерпимости личности к окружающим (свидетельством интолерантности).
Целью данной работы является исследование возможности использования политомических моделей и опросника В.В. Бойко «Коммуникативная толерантность» для оценки уровня сформированности общекультурных компетенций обучаемых.
Исследования проводились на основе анкетирования студентов 1-3 курсов Южно-Российского государственного университета экономики и сервиса и Ростовского государственного строительного университета. Общий объём выборки составил 95 человек. По результатам анкетирования формировался один общий prn-файл, представляющий собой политомическую матрицу ответов размером 95*45, и девять prn-файлов по октантам. Для обработки результатов анкетирования использовалась зарубежная диалоговая система RUM2030 [10], работа которой базируется на использовании политомических моделей частичного доверия и рейтинговой шкалы. В процессе обработки рассчитывались и представлялись в шкале логитов оценки
* * трудности индикаторов ßj и оценки 6t уровня выраженности коммуникативной толерантности (или её составляющей) в участнике
**
анкетирования, строились гистограммы распределения величин 6t и ßj, рассчитывались характеристические кривые индикаторов и вероятностные кривые для их градаций.
На первом этапе исследования с использованием известных критериев и показателей [5, 6] оценивались качество индикаторов опросника В.В. Бойко, соответствие опросника понятию «тест» и его пригодность для исследования коммуникативной толерантности выбранного контингента студентов. На
рисунке 1 приведены совмещенные гистограммы распределения величин 0* и в, позволяющие судить о нормативности используемой выборки и валидности индикаторов по отношению к выборке студентов.
Person-Item Location Distribution
(Grouping Set to Interval Length of 0,25 making 12 Groups)
25
20 -■
n 10 -■ с У
CTo. Mean SD Total [95] -0,165 0г43б
ITEMS 0 F c
26,3%
■- 21,1%
■- 10,5%
5,3%
LWWW///// WWW -2 -1 /S S / fS WWW ////// I www ////// •1
: в ш ш,. ш
0,0%
1 Location (logits) 0,0%
Рис. 1. - Гистограммы распределения значений оценок уровня
сформированности коммуникативной толерантности анкетируемых 0* и
трудности индикаторов в*
Из рисунка видно, что выборку студентов можно считать нормативной.
Кроме того, диапазон изменения латентного параметра в почти полностью соответствует интервалу варьирования латентного параметра 0, что является свидетельством удовлетворительной валидности используемого опросника по отношению к исследуемой выборке студентов.
Исследование показателей качества опросника: коэффициента
дифференциации тестируемых и коэффициента надёжности аКг , рассчитанного по формуле Кронбаха показало, что их значения для общего файла превышают 0,85, что позволяет оценить надёжность опросника и его разрешающую способность как хорошие. Значения этих же коэффициентов почти для всех октантов меньше порогового значения 0,7, что объясняется малым числом (всего 5) индикаторов октантов. С помощью критерия Пирсона показано, что гипотеза об адекватности результатов анкетирования
используемой в качестве модели измерения политомической модели допустима.
Значение бисериального коэффициента для всех индикаторов всех девяти октантов составляет не менее 0,4, и лишь для отдельных индикаторов общего файла принимает значение 0,2. Это свидетельствует о хорошей валидности индикаторов опросника. Оценка качества градаций индикаторов показала, что в целом почти все они работоспособны.
Таким образом, опросник В.В. Бойко для исследования коммуникативной компетентности имеет удовлетворительные показатели качества и может быть использован для оценки личностных качеств студентов, характеризующих их компетенции.
Каждое из этих качеств, диагностируемое с помощью индикаторов соответствующего октанта, описывалось индивидуальным баллом х{ и
соответствующим ему значением латентного параметра 0{. Значение параметра
0 оценивается в логитах, и именно оно определяет уровень сформированности
соответствующего личностного свойства. Первичный балл х{ используется для
установления принадлежности величины 0 к категории О уровня
сформированности качества, которая определялась на основании таблицы 1 [9].
Таблица 1
Деление студентов на категории G по степени выраженности личностного
качества
Интервал изменения х Категории выраженности качества ^) Номер категории
VI VI высокая G1
46 < XI < 84 средняя G2
85 < х1 < 124 низкая G3
125 < х1 < 135 очень низкая (полное неприятие других) G4
Данные обработки результатов анкетирования по каждому из 9 октантов представлены в таблице 2.
Из таблицы видно, что большинство составляющих коммуникативной толерантности выражены в исследуемой выборке студентов в высокой и средней степени, что можно расценивать как признак сформированности у студентов соответствующих компетенций. Например, сформированность на уровне G1 и G2 таких составляющих, как «Умение понимать или принимать индивидуальность других людей» (74 %), «Умение скрывать или сглаживать неприятные впечатления при столкновении с некоммуникабельными качествами людей» (60 %), «Степень терпимости во взаимодействии с людьми» (64 %), «Степень уступчивости партнёру» (65 %)», «Возможность оценивать людей, исходя из собственного «Я» (73 %) можно расценивать как признак сформированности у анкетируемых выборки компетенций ОК 3 «Способность (готовность) к кооперации с коллегами, работе в коллективе», ОК 17 «Терпимо (толерантно) воспринимать социальные и культурные различия», ОК 9 «С терпимостью относиться к национальным, расовым, конфессиональным различиям».
Таблица 2
Распределение студентов выборки по категориям уровня сформированности
коммуникативной толерантности
Номер октанта Личностное свойство Доля студентов (%)
G1 G2 G3 G4
1 Умение понимать или принимать индивидуальность других людей 15 59 24 2
2 Возможность оценивать людей, исходя из собственного «Я» 19 54 24 3
3 Категоричность оценки окружающих 9 35 44 12
4 Умение скрывать или сглаживать неприятные впечатления при столкновении с некоммуникабельными качествами людей 9 51 33 7
5 Склонность переделывать и перевоспитывать партнера 20 54 19 7
6 Степень склонности подгонять партнёра под себя 14 39 35 12
7 Тенденция к обидчивости 7 59 32 2
8 Степень терпимости во взаимодействии 14 50 31 5
с людьми
9 Степень уступчивости партнёру 12 53 31 4
Коммуникативная толерантность в целом 12 53 31 4
Подтверждением этого можно также считать сравнительно невысокую долю анкетируемых категории G2 с такими составляющими коммуникативной толерантности как «Категоричность оценки окружающих» (35 %) и «Степень склонности подгонять партнёра под себя» (39 %).
Таким образом, использование политомических моделей и опросника В.В. Бойко для исследования коммуникативной толерантности обучаемых позволяет оценить признаки сформированности общекультурных компетенций студентов, получить их формализованные оценки и оценить соответствие заданным требованиям.
Литература:
1. Свечкарев, В.П. Интеграция имитационных моделей при проведении исследований в гуманитарной сфере [Электронный ресурс] // «Инженерный вестник Дона», 2010, №3. - Режим доступа:
http://www.ivdon.ru/magazine/archive/n3y2010/213 (доступ свободный) - Загл. с экрана. - Яз. рус.
2. Мощенко, И.Н. Имитационное моделирование этнополитической
ситуации ЮГА РОССИИ на основе теории динамических систем [Электронный ресурс] // «Инженерный вестник Дона», 2010, №3. - Режим доступа: http://www.ivdon.ru/magazine/archive/n3y2010/216 (доступ
свободный) - Загл. с экрана. - Яз. рус.
3. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 pp.
4. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206 pp.
5. Елисеев, И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования: монография / И.Н. Елисеев. -2 изд., перераб. и доп. -Новочеркасск: Лик, 2013. -285 с.
6. Елисеев, И.Н. Методология оценки уровня компетенций студента / И.Н. Елисеев // Информатика и образование. - 2012. - №4. - С. 80-85.
7. Елисеев И.Н. Диагностика индивидуальных свойств личности в
студенческой среде на основе модели Раша. // Стандарты и мониторинг в образовании. - 2009, № 3. С.35-38
8. Ларина Т.Н., Елисеев И.Н. Оценка уровня компетенции студента на основе модели Раша [Электронный ресурс] // «Инженерный вестник Дона», 2012, №4 (часть 1). - Режим доступа:
http://www.ivdon.ru/magazine/archive/n4p1y2012/1093 (доступ свободный) -Загл. с экрана. - Яз. рус.
9. Степанов П.В. Воспитание толерантности у школьников: теория,
методика, диагностика. - М.: АПК и ПРО, 2003. -84с.
10. Руководство пользователя диалоговой системой RUMM 2030
[Электронный ресурс], RUMM Laboratory Pty Ltd, 2010. URL:
http://www.rummlab.com.au/demo/marmgetstart.pdf. (Дата обращения 18.04.2010).
