CC BY
102
Оценка уровня компетенций студента на основе модели Раша Т.Н. Ларина, И.Н. Елисеев
Ростовский государственный строительный университет, г. Ростов-на-Дону, Южно-Российский госуниверситет экономики и сервиса, г. Шахты;
В соответствии с требованиями ФГОС при оценке качества подготовки студентов высших учебных заведений в настоящее время используется компетентностный подход. Чем точнее оценены компетенции, тем объективнее определяются профессиональные качества выпускника и его готовность к профессиональной деятельности. На готовность специалиста к эффективному выполнению работы существенное влияние оказывают социально - личностные компетенции. Необходимый уровень владения ими обеспечивается за счёт формирования в процессе обучения личностных качеств студента.
Компетенция студента является скрытым (латентным) параметром, поэтому весьма заманчивым представляется использовать для её измерения методы теории латентных переменных (Item Response Theory) [1,2]. Применение их обеспечивает проведение объективного количественного сопоставления оцениваемого параметра -компетенции выпускника с некоторым эталоном, принятым в качестве единицы измерения.
Целью данной работы является разработка методических основ диагностики социально-личностных компетенций студентов в процессе обучения на основе однопараметрической модели Раша, которая широко используется для измерения латентных переменных [1, 2].
Диагностика проводилась на основе результатов анкетирования студентов с помощью опросника Калининского «Профиль личности», направленного на выявление организаторских и коммуникативных способностей. Опросник включает в себя 150 индикаторов и шкалу проверки достоверности ответов, которая представлена индикаторами с 151 по 160. 150 индикаторов разбиты на десять октантов, с помощью которых по результатам анкетирования оцениваются 10 компетенций каждого из его участников: целеустремлённость, деловитость, лидерство, уверенность в себе,
требовательность, настойчивость, уступчивость, зависимость, комфорность, отзывчивость. Для интерпретации степени выраженности каждой из компетенций используется 4 зоны: номинальная (0-4 балла) - качество отсутствует; потенциальная (5-8 баллов) - качество есть, но развито слабо; перспективная (9-12 баллов) - качество развито оптимально; суперзона (13-15 баллов) - чрезмерная выраженность качества, являющаяся признаком трудности социальной адаптации.
Анкетирование проводилось со студентами 1-3 курсов ЮРГУЭС и РГСУ. Общий объём выборки составил 179 человек.
Данные анкетирования по самооценке студентов были сгруппированы в один общий файл и в 10 файлов по октантам, обработка которых проводилась с помощью программного комплекса RILP-1M [3, 4]. В процессе обработки рассчитывались и представлялись в одной логарифмической шкале (шкале логитов) оценки приемлемости индикаторов в) и оценки 6i уровня выраженности соответствующей компетенции в участнике анкетирования, строились гистограммы распределения величин 6j и в) , рассчитывались характеристические кривые индикаторов и информационная функция опросника. На основе анализа полученных данных оценивались возможности использования индикаторов и опросника для исследования
ОК исследуемого контингента студентов. Строились личностные профили участников анкетирования с использованием шкалы логитов.
Анализ результатов анкетирования начинался с исследования ответов студентов на индикаторы шкалы достоверности. Это позволило выявить 4 участников, результаты которых согласно принятой для опросника Калининского методики обработки и интерпретации результатов нельзя считать правдивыми. Из дальнейшей обработки они были исключены. На первом этапе исследования оценивались качество индикаторов опросника Калининского, его характеристики, соответствие опросника понятию «тест» и его пригодность для исследования психологических качеств студентов. Обработка общего файла показала, что значения оценок приемлемости индикаторов изменяется в пределах от минус 3,728 логит до 3,064 логит, а выраженность интегрального латентного параметра для блока социально - личностных компетенций находится в диапазоне от минус 2,251 логит до 1,555 логит (рисунок 1).
Рисунок 1 - Г истограммы латентных переменных вг * и в* (нижняя часть) Поскольку диапазон изменения индикаторной переменной существенно перекрывает интервал варьирования латентной переменой анкетируемых, набор индикаторов опросника Калининского пригоден для целей измерения последней.
Обработка файлов для каждого из десяти октантов и корреляционный анализ полученных результатов по октантам показал, что средние значения коэффициентов интеркорреляции большинства индикаторов изменяются от 0,1 до 0,2. Это свидетельствует о приемлемых системообразующих свойствах индикаторов. Точечно-бисериальный коэффициент корреляции большинства индикаторов всех октантов находится в интервале от 0,2 до 0,6. Это позволяет сделать вывод об удовлетворительной корреляции индикаторов с индивидуальными баллами всех участников анкетирования, то есть, о их удовлетворительной валидности [5]. В целом данные корреляционного анализа свидетельствуют о том, что опросник Калининского можно классифицировать как своеобразный диагностический тест, представленный системой индикаторов различной приемлемости и пригодный для измерения социально-личностных компетенций студентов. Тест имеет достаточно высокую надёжность (коэффициент а Кронбаха равен 0,911) и хорошо дифференцирует участников анкетирования [5] (коэффициент дифференциации равен 0,91).
Оценка соответствия полученных для индикаторов характеристических кривых модели Раша показывает, что в целом его можно считать удовлетворительным. Не адекватными модели измерения оказалось 18 % индикаторов. Большая часть из них (по 5) приходится на октанты № 2 «Деловитость», № 3 «Лидерство» и № 8 «Зависимость». По 3 неадекватных индикатора относятся к октантам № 5 «Требовательность» и № 6 «Настойчивость». Как показывает анализ характеристических кривых этих индикаторов в большинстве случаев неадекватность можно объяснить слишком низким (индикатор ¡96) или слишком высоким (индикаторы ¡134, ¡146 и др.) значением их дифференцирующей способности. К несколько неожиданным результатам исследования можно отнести аномальный характер изменения характеристической кривой для индикатора ¡61 «Властный»: с ростом уровня выраженности компетенции вг- студента вероятность правильного ответа на этот индикатор уменьшается. Причиной аномальности может явиться недостаточный объём выборки [6] и недопонимание содержания индикаторов студентами, результатом чего явилось искажение данной ими информации.
На втором этапе исследований по значениям латентного параметра вдля каждого из 10 октантов были построены личностные профили участников анкетирования. В качестве примера на рисунке 1 представлен личностный профиль участника анкетирования под № 167. Качества «Целеустремлённость», «Деловитость», «Настойчивость» развиты у него оптимально, поскольку находятся в перспективной зоне. «Лидерство», «Уверенность в себе», «Требовательность» развиты недостаточно. Чрезмерно выраженными (находятся в суперзоне) оказались качества «Зависимость», «Конформизм» и «Отзывчивость».
Участник 16 ",
1, Целеустремленность 2- Деловитость 3. Лидерство 4- Увср емкость в себе 5. Требовательность
6. Настойчивость ". Уступчивость 3. 'Завис цім ость
9. Конформизм
10. Отзывчивость
Рисунок 2 - Личностный профиль участника анкетирования
Высокие значения этих качеств являются признаком дезадаптивного поведения, которое выражается в пассивной подчиняемости, излишней мягкости и жертвенности.
Таким образом, опросник Калининского можно считать тестом, пригодным для измерения определяющих ОК личностных параметров студентов, на основе использования однопараметрической модели Раша [7]. Это позволяет применять для обработки результатов анкетирования современные программные средства и наряду с получением точных значений параметров компетенций существенно снизить затраты труда и времени на обработку и анализ данных.
Литература
1. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206pp.
2. Нейман Ю.М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей; 2000. - 169 с.: ил.
3. Елисеев И.Н., Елисеев И.И., Фисунов А.В. Программный комплекс RTLP-1. // Программные продукты и системы. - 2009. - № 2. - С. 178-181.
4. Елисеев И.Н. Теоретические основы алгоритма расчёта латентных переменных программным комплексом RTLP-1M // Программные продукты и системы. - 2011.- №2.
- С. 67-71.
5. Елисеев И.Н. Методология оценки уровня компетенций студента // Информатика и образование. - 2012. - №4. - С.80-85.
6. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша. // Стандарты и мониторинг в образовании. - 2009. - № 3.
- С.35-38.
7. Елисеев И.Н., Ларина Т.Н., Литвиненко Л.Ю. Диагностика коммуникативных компетенций студентов на основе политомической модели Раша.//«Современное образование: содержание, технологии, качество» Материалы XVTT международной научно-методической конференции. - Санкт-Петербург.: СПбГЭТУ (ЛЭТИ ), 2011. -
С. 7-9.
