CC BY
66
Анализ качества диагностического средства для оценки социально-
правовой компетенции студентов
112 2 И.И. Елисеев , И.И. Елисеев , Т.Н. Ларина , Н.В. Кривошеев
1 Институт сферы обслуживания и предпринимательства (филиал) Донского государственного технического университета 2Ростовский государственный строительный университет
Аннотация: В статье обосновывается возможность использования политомических моделей для оценки личностных качеств, влияющих на социально-правовые компетенции студентов. В работе используются входные данные, полученные с помощью анкет «Социально-правовая компетентность». Рассчитаны характеристики участников анкетирования и индикаторов анкет, оценена их пригодность для оценки уровня сформированности социально-правовой компетенции. Даны рекомендации по доработке анкеты.
Ключевые слова: уровень подготовки студента, латентные переменные, политомическая модель, индикатор, диагностический тест, социально-правовая компетенция .
В настоящее время наиболее продуктивным в практике профессионального образования признан и поддержан на государственном уровне введением новых образовательных стандартов компетентностный подход. Компетенция как сложное и объемное качество личности является скрытым (латентным) параметром и непосредственной оценке с помощью традиционных средств и способов контроля уровня подготовки обучаемых -предметных зачётов и экзаменов - не поддаётся [1-4]. По этой же причине для формализованной оценки уровня сформированности компетенций не могут быть использованы методы имитационного моделирования процессов, применяемые в гуманитарной сфере [5, 6].
Как показано в работах [1-4, 7-15], для измерения латентных параметров обучаемых наиболее перспективно применение теории латентных переменных, использующей вероятностные модели Раша. Оценивание с помощью этой теории уровня сформированности компетенций
обучаемых позволяет не только в полной мере учесть вероятностный характер найденных оценок, но и получить информацию о качестве диагностических средств [6]. Это позволяет повысить объективность получаемых данных [3, 7-10].
В качестве диагностических средств, обеспечивающих получение входных данных об уровне сформированности компетенции, используется набор индикаторных переменных и дескрипторов, раскрывающих содержание компетенции. Примером таких средств диагностики являются исследованные нами ранее опросники для оценки уровня сформированности общекультурных компетенций [1, 4, 10, 11].
Целью статьи является исследование уровня сформированности социально-правовой компетенции студентов на основе политомической модели Раша и качества анкеты «Социально-правовая компетентность».
Для исследования признаков сформированности социально-правовой компетенции студентов-бакалавров была использована анкета, разработанная в Псковском государственном педагогическом университете [16]. Она состоит из 22 политомических индикаторов. Каждая индикаторная переменная варьируется на пяти уровнях: 0, 1, 2, 3 и 4. При этом цифрой 4 оценивается вариант ответа «да», цифрой 3- вариант ответа «скорее «да», чем «нет»», цифрой 2- вариант ответа «затрудняюсь ответить», цифрой 1 -вариант ответа «скорее «нет», чем «да»», цифрой 0 - вариант ответа «нет». Все индикаторы являются индикаторами прямого направления действия.
При обработке данных анкетирования баллы, полученные за выполнение каждого индикатора, суммируются. Чем больше индивидуальный балл респондента, тем выше его социально-правовая компетентность. Максимальное значение индивидуального балла составляет 88.
:
Для расчёта характеристик анкеты использовалась выборка студентов Южно-Российского государственного университета экономики и сервиса и Ростовского государственного строительного университета. Общий объём выборки составил 509 человек. Результаты анкетирования были представлены одним рт-файлом, представляющим собой политомическую матрицу ответов размером 509*22. Обработка результатов анкетирования производилась диалоговой системой ЯЦМ2030 [17]. Анализ полученных результатов показал, что распределение значений оценок латентных параметров 9] не противоречит гипотезе о нормальном законе распределения, поэтому выборку можно считать нормативной [4, 15]. На рисунке 1 приведены совмещенные гистограммы распределения оценок величин «уровень подготовки» студентов 0 и «уровень трудности» заданий в, позволяющие судить о валидности используемой анкеты.
Рис.1 - Гистограммы распределения значений оценок уровня сформированности социально-правовой компетенции тестируемых 99 и трудности индикаторов в*]
Из рис. 1 видно, что диапазон изменения латентного параметра в в целом соответствует интервалу варьирования латентного параметра 0. Поэтому можно говорить об удовлетворительной валидности используемой анкеты по отношению к исследуемой выборке студентов.
Результаты расчёта оценок трудности индикаторов анкеты ¡в,
стандартной погрешности их расчёта а* и значения вероятности рх2
соответствия характеристик каждого из индикаторов модели Раша для исходной матрицы ответов приведены в столбцах 1-3 таблицы 1. В столбцах 4-6 указаны значения этих же величин, полученные после чистки матрицы.
Таблица № 1
*
Оценки трудности индикаторов Ру анкеты «Социально-правовая
компетентность»
} Для исходной матрицы Для "очищенной" матрицы
в* (логит) * (логит) Рх2 в* 0 (логит) * а 0 (логит) Р0
1 -0,629 0,052 0,106 -0,568 0,065 0,888
2 0,546 0,030 0,000
3 0,488 0,038 0,855 0,793 0,043 0,515
4 -0,029 0,040 0,731 0,231 0,045 0,116
5 0,818 0,034 0,014 1,145 0,038 0,045
6 0,469 0,039 0,799 0,768 0,044 0,428
7 0,504 0,038 0,581 0,832 0,043 0,316
8 0,064 0,041 0,369 0,291 0,046 0,541
9 -0,661 0,053 0,094 -0,657 0,065 0,733
10 -0,416 0,046 0,013 -0,279 0,054 0,222
11 -0,028 0,040 0,101 0,158 0,046 0,163
12 -0,045 0,038 0,248
13 -0,142 0,045 0,058 0,001 0,052 0,740
14 0,107 0,038 0,445 0,296 0,043 0,225
15 0,479 0,037 0,427 0,744 0,041 0,230
16 0,615 0,035 0,113 0,907 0,039 0,021
17 0,399 0,038 0,387 0,631 0,043 0,689
18 -0,582 0,054 0,772 -2,315 0,112 0,804
19 -0,799 0,063 0,107 -2,157 0,113 0,476
20 -0,404 0,047 0,627 -0,318 0,058 0,740
21 -0,558 0,051 0,528 -0,428 0,061 0,232
22 -0,194 0,041 0,305 -0,076 0,050 0,238
0,000165 0,140264
га 0,80296 0,78108
а Кг 0,77118 0,76725
Объем выборки 509 Объем выборки 416
участников участников
Для проверки адекватности всех индикаторов в целом политомической модели Раша в программном обеспечении диалоговой системы ЯиММ 2030 используется критерий % Пирсона. Согласно этому критерию значение вероятности р соответствия всех индикаторов в целом модели Раша
составило 0,00016 (см. столбец 1 строки 23 таблицы 1), что намного меньше допустимого значения р х 2 = 0,05. Кроме того, недопустимо низкой оказалась
/С
совместимость некоторых индикаторов, в частности, индикатора под номером 2. Поэтому гипотеза об адекватности индикаторов модели измерения была отвергнута, и исходная матрица ответов была подвергнута
:
чистке по методике, изложенной в работах [4, 14]. Было удалено 93 участника анкетирования и два индикатора: второй «Знаю права студента» и двенадцатый «Готов к сотрудничеству с людьми иной расы, национальности, религии». За счёт этого удалось повысить величину р до значения 0,14
(см. столбец 2 строки 23 таблицы 1), что позволило считать допустимым принятие гипотезы об адекватности индикаторов модели Раша.
После чистки улучшилась совместимость индикаторов: практически все 20 оставшихся индикаторов стали совместимыми (шестой столбец таблицы 1). Несколько снизилась валидность анкеты исследуемой выборке студентов, о чём свидетельствует рисунок 2. Интервал изменения трудности индикаторов стал уже, чем был до чистки. Данное обстоятельство свидетельствует о необходимости добавления в анкету новых индикаторов с в> 1,25 логит. Их общее число должно быть не менее 30 [18].
Рис. 2 - Гистограммы распределения значений оценок уровня сформированности социально-правовой компетенции тестируемых в* и
трудности индикаторов в после чистки матрицы ответов
В последних трёх строках таблицы 1 указаны значения показателей качества анкеты: коэффициента дифференциации анкетируемых га и коэффициента надёжности аКг , рассчитанного по формуле Кронбаха. Видно, что они близки к значению 0,8, что является признаком хорошего качества анкеты. Значения бисериального коэффициента корреляции Я ы для всех индикаторов составило не менее 0,3, поэтому все индикаторы можно считать валидными.
Оценка работоспособности дескрипторов индикаторов проводилась по их вероятностным кривым так же, как это делалось в работе [3]. Было установлено, что для большинства индикаторов свой диапазон действия имеют дескрипторы 0, 1, 3, 4, что говорит об их работоспособности. В качестве примера, подтверждающего данный вывод, на рис. 3 представлены вероятностные кривые дескрипторов индикатора 14. Как видно из рис.3, дескрипторы 0 - 2 работоспособны, дескриптор 2 «затрудняюсь ответить» не работает. Объяснить это можно, на наш взгляд, тем, что он дублируется дескрипторами 1 «скорее нет, чем да» и 3 «скорее да, чем нет». По нашему мнению, его присутствие в индикаторах ответов усложняет выбор соответствующего ответа студентами, т.е. дескриптор 2 является мешающим фактором, и его следует исключить из числа дескрипторов индикаторов. Это не только позволит повысить определённость в выборе ответа студентами, но и снизит трудоёмкость обработки и анализа результатов анкетирования. Распределение участников анкетирования по категориям О уровня сформированности компетенции [3, 4, 12] выполняется исходя из значения
индивидуального балла х^ (1 - номер анкетируемого) с помощью таблицы 2.
Рис. 3. - Вероятностные кривые дескрипторов индикатора 14 «Активно участвую в жизни группы»
Таблица № 2
Деление респондентов на категории О по степени сформированности социально-правовой компетенции
Х1 Категория О уровня сформированности компетенции
0 <х < 20 О1 - уровень низкий (компетенция сформирована недостаточно)
20 < х1 < 40 О2 - пороговый уровень (компетенция сформирована удовлетворительно)
40 < х1 < 60 О3 - средний уровень (компетенция сформирована оптимально)
60< х1 < 80 О4 - высокий уровень
Анализ полученных данных показал, что у 40 % анкетируемых уровень сформированности социально-правовой компетенции высокий, у 60% -средний, у 6 % пороговый. Студентов с низким уровнем сформированности социально-правовой компетенции нет.
Таким образом, анкета «Социально-правовая компетентность» имеет удовлетворительные показатели качества и после доработки может быть использована совместно с политомической моделью Раша для расчёта латентных параметров, характеризующих признаки сформированности социально-правовой компетенции, необходимой выпускнику вуза для решения профессиональных задач. Для повышения качества анкеты необходимо:
- исключить из анкеты индикатор 2 «Участвую в выборах в государственные органы власти» или снизить число его дескрипторов до 2.
- исключить дескриптор 2 «затрудняюсь ответить» из всех остальных индикаторов анкеты;
- за счёт добавления в анкету индикаторов с ßj > 1,25 логит увеличить
их число до 30 и более.
Литература
1. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша. // Стандарты и мониторинг в образовании. 2009. № 3. С. 35-38.
2. Елисеев И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ // Стандарты и мониторинг в образовании. 2010. № 1. С. 47-49.
3. Елисеев И.Н., Елисеев И.И., Ларина Т.Н., Кривошеев Н.В. Моделирование характеристик диагностических средств для оценки информационных компетенций студентов // Инженерный вестник Дона, 2014, №4 URL: ivdon.ru/ru/magazine/archive/n4y2014/2566.
4. Елисеев И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования. Новочеркасск: Лик, 2013. 285 с.
5. Свечкарев В.П. Интеграция имитационных моделей при проведении исследований в гуманитарной сфере // Инженерный вестник Дона, 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/213/.
6. Мощенко И.Н. Имитационное моделирование этнополитической ситуации ЮГА РОССИИ на основе теории динамических систем // Инженерный вестник Дона, 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/216/.
7. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 pp.
8. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206 pp.
9. Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 pp.
10. Елисеев И.Н. Методология оценки уровня компетенций студента // Информатика и образование. 2012. №4. С. 80-85.
11. Ларина Т.Н., Елисеев И.Н. Оценка уровня компетенции студента на основе модели Раша // Инженерный вестник Дона, 2012, №4 (часть 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.
12. И.Н. Елисеев, И.И. Елисеев, Т.Н.Ларина, Н.В. Кривошеев Оценка коммуникативных компетенций студентов на основе политомических моделей // Инженерный вестник Дона, 2014, №1 (часть 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.
13. Маслак А.А. Измерение латентных переменных в социальных системах. Славянск-на-Кубани: Издательский центр КубГУ, 2012. 432 с.
14. Елисеев И.Н. Экспертиза качества тестов по электротехническим дисциплинам // Известия высших учебных заведений. Электромеханика. 2011. №2. С. 75-80.
15. Елисеев И.Н. Модель дихотомической матрицы результатов тестирования // Программные продукты и системы. 2011. №3. С. 80-86.
16. Психологические тесты онлайн // URL:psytest.info.
17. Руководство пользователя диалоговой системой RUMM 2030 //RUMM Laboratory Pty Ltd, 2010. URL: rummlab.com.au/demo/marmgetstart.pdf.
18. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Логос, 2002. 432с.
References
1. Eliseev I.N. Standarty i monitoring v obrazovanii. 2009. № 3. pp. 35-38.
2. Eliseev I.N. Standarty i monitoring v obrazovanii. 2010. № 1. pp. 47-49.
3. I.N. Eliseev, I.I. Eliseev, T.N.Larina, N.V. Krivosheev Inzenernyj vestnik Dona (Rus), 2014, №4 URL: ivdon.ru/magazine/archive/n4y2014/2566/.
4. Eliseev, I.N. Metody, algoritmy i programmnye kompleksy dlya rascheta kharakteristik diagnosticheskikh sredstv nezavisimoy otsenki kachestva obrazovaniya [ Methods, algorithms and program complexes for the calculation of the characteristics of an independent diagnostic assessment of the quality of education]. Novocherkassk: Lik, 2013. 285p.
5. Svechkarev, V.P. Inzenernyj vestnik Dona (Rus), 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/213/.
6. Moshchenko, I.N. Inzenernyj vestnik Dona (Rus), 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/216/.
7. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 p.
8. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206 p.
9. Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 p.
10. Eliseev, I.N. Informatika i obrazovanie. 2012. №4. pp. 80-85.
11. Larina T.N., Eliseev I.N Inzenernyj vestnik Dona (Rus), 2012, №4 (chast' 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.
12. I.N. Eliseev, I.I. Eliseev, T.N.Larina, N.V. Krivosheev Inzenernyj vestnik Dona (Rus), 2014, №1 (chast' 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.
13. Maslak A.A. Izmerenie latentnykh peremennykh v sotsial'nykh sistemakh [The measurement of latent variables in social systems]. Slavyansk-na-Kubani: Izdatel'skiy tsentr KubGU, 2012. 432 p.
14. Eliseev I.N. Izvestiya vysshikh uchebnykh zavedeniy. Elektromekhanika. 2011. №2. pp. 75-80.
15. Eliseev, I.N. Programmnye produkty i sistemy. 2011. №3. pp. 80-86.
16. Psikhologicheskie testy onlayn [Psychological tests online ] URL:psytest.info.
17. Rukovodstvo pol'zovatelya dialogovoy sistemoy RUMM 2030 [Manual dialogue system RUMM 2030] URL: rummlab.com.au/demo/marmgetstart.pdf.
18. Chelyshkova M.B. Teorija i praktika konstruirovanija pedagogicheskih testov.[ Theory and practice of designing pedagogical tests. ] M.: Logos, 2002. 432p.
