CC BY
89
Моделирование характеристик диагностических средств для оценки информационных компетенций студентов
112 2 И.Н. Елисеев , И. И. Елисеев , Т.Н. Ларина , Н.В. Кривошеев
1 Институт сферы обслуживания и предпринимательства (филиал) Донского государственного технического университета 2Ростовский государственный строительный университет
Аннотация: В статье обосновывается возможность использования политомических моделей для оценки личностных качеств, влияющих на информационную компетенцию студентов, по входным данным, полученным с помощью анкеты «Информационная компетентность». Рассчитаны характеристики участников анкетирования и индикаторов анкеты, оценена их пригодность для оценки уровня сформированности информационной компетенции. Даны рекомендации по доработке анкеты.
Ключевые слова: уровень подготовки студента, латентные переменные, политомическая модель, индикатор, диагностический тест, информационная компетенция
Введение в профессиональное образование компетентностного подхода к оценке уровня подготовки обучаемых привело к возникновению противоречия между требованием формализованной оценки уровня сформированности компетенции и отсутствием необходимых для этого диагностических средств и методического обеспечения. Разрешение противоречия осложняется тем, что оцениваемый параметр является скрытым (латентным) и непосредственному количественному измерению с помощью физических измерительных средств не поддаётся [1-3]. В связи с этим традиционные средства и способы контроля уровня подготовки обучаемых становятся неэффективными. По этой же причине для формализованной оценки уровня сформированности компетенций не могут быть использованы методы имитационного моделирования процессов, применяемые в гуманитарной сфере [4, 5].
Как показывает зарубежный и отечественный опыт [6-12], для измерения латентных параметров исследуемых объектов наиболее перспективным является применение теории латентных переменных,
использующей вероятностные модели Раша. Оценивание с помощью этой теории уровня сформированности компетенций обучаемых позволяет в полной мере учесть вероятностный характер найденных оценок, а также получить информацию о качестве диагностических средств. Важным достоинством методов теории латентных переменных является также независимость вычисляемых значений латентного параметра «уровень подготовки» студентов вi от «уровня трудности» заданий /3]
диагностических средств, что позволяет обеспечить объективность получаемых данных [3, 9]. Всё это позволяет считать подход, использующий модели Раша и методы теории латентных переменных, перспективным для оценки компетенций.
В качестве диагностических средств, обеспечивающих получение входных данных об уровне сформированности компетенции, используется набор индикаторных переменных или дескрипторов, раскрывающих содержание компетенции. В частном случае для оценки признаков наличия личностно ориентированных общекультурных компетенций можно использовать диагностические тесты, опросники и анкеты, которые нашли применение в психологии и социологии для исследования личностных качеств студентов [3, 10, 11].
Целью статьи является исследование уровня сформированности информационной компетенции студентов на основе политомической модели Раша и анкеты «Информационная компетентность», оценка качества анкеты.
Для исследования признаков сформированности информационных компетенций была использована анкета, разработанная в Псковском педагогическом университете [13]. Она состоит из 25 индикаторов, которые распределены по четырём смысловым блокам (октантам). Каждая индикаторная переменная анкеты варьируется на пяти уровнях: 0, 1, 2, 3 и 4.
Цифрой 4 оценивается вариант ответа «да», цифрой 3 - вариант ответа «скорее «да», чем «нет»», цифрой 2- вариант ответа «затрудняюсь ответить», цифрой 1 - вариант ответа «скорее «нет», чем «да»», цифрой 0 -вариант ответа «нет». Анкета содержит индикаторы только прямого направления действия. Для получения входных данных (матриц ответов) использовался метод самооценки.
При обработке данных анкетирования баллы, полученные за выполнение каждого индикатора, суммируются. Чем больше индивидуальный балл респондента, тем выше уровень сформированности его информационной компетенции. Максимальное значение индивидуального балла х} составляет 100. Кроме того, по каждому октанту рассчитывается индивидуальный балл х^к, полученный при ответе на его индикаторы
каждым участником анкетирования. На основании полученной информации делается вывод об уровне сформированности информационной компетенции каждого из участников анкетирования, а также всех респондентов в целом. Содержание анкеты представлено в таблице 1.
Таблица №1
Анкета «Информационная компетентность»
Инструкция: Внимательно прочтите каждое утверждение (индикатор) и, оценив его применительно к себе, в бланке для ответов проставьте напротив номера соответствующего индикатора номер выбранного варианта ответа: 1) - нет; 2)- скорее нет, чем да; 3) - затрудняюсь ответить 4)- скорее да, чем нет; 5) да.
Умение работать с источниками информации
Я 1 с учебной литературой
н о ю cd Л н ч 2 с научной литературой
3 со справочной литературой, словарями
Л с о 4 с Интернетом
2 <D S 5 со средствами массовой информации
S 6 со специалистами
Готовность подготовить доклад, реферат по заданной теме
7 выбрать источники информации, соответствующие
поставленной задаче
8 отобрать информацию с учетом поставленной задачи,
предполагаемых слушателей и т.д.
« Q 9 сопоставить информацию из различных источников для
н о i-H определения собственной позиции
10 составить план, структурировать содержание
11 логично и аргументировано излагать информацию
12 составить список использованных источников по библиографическим правилам
Владение компьютером
13 текстовыми редакторами
14 графическими редакторами
2 <D 15 редактором презентаций (Power Point)
cd п PQ 16 электронной почтой
17 Интернетом
18 мультимедийными технологиями
19 Умею оценить степень достоверности источника
информации
Умение использовать различные формы представления информации
Умею 20 писать деловые письма
21 составлять тезисы
22 писать аннотации
23 писать и оформлять отчеты
24 подготовить эссе
25 Умею пользоваться библиотечными каталогами
Для расчёта характеристик анкеты использовалась выборка студентов Южно-Российского государственного университета экономики и сервиса и Ростовского государственного строительного университета. Общий объём выборки составил 452 человека. Результаты анкетирования были представлены одним рт-файлом, представляющим собой политомическую матрицу ответов размером 452*25. В процессе проведения экспертизы качества анкеты и её чистки по методике, описанной в работах [3, 14], удалялись и участники анкетирования, и индикаторы. Обработка результатов анкетирования производилась с помощью диалоговой системы ЯЦМ2030 [15]. Анализ полученных результатов показал, что распределение значений оценок латентных параметров 9* не противоречит гипотезе о нормальном законе распределения, поэтому выборку можно считать нормативной [3, 16]. На рисунке 4.7 приведены совмещенные гистограммы распределения величин 99 и в*, позволяющие судить о валидности используемой анкеты.
Рис. 1. - Гистограммы распределения значений оценок уровня сформированности информационной компетенции тестируемых 0* и
трудности индикаторов в*
По оси абсцисс откладываются значения латентного параметра 0 «уровень сформированности информационной компетенции», по оси ординат -«трудность индикатора» р. Из сравнения гистограмм видно, что диапазон изменения латентного параметра в уже интервала варьирования аналогичного параметра 0, что свидетельствует о низкой валидности используемой анкеты по отношению к исследуемой выборке студентов. Из-за этого в диапазоне от 0,9 до 4,0 логит погрешность расчёта латентного параметра, характеризующего сформированность информационной компетенции, будет выше, чем в интервале от минус 1,14 до 0,9 логит.
Оценки трудности индикаторов Р^ анкеты «Информационная компетентность» представлены в таблице 2. В заключительной части таблицы указаны значения показателей качества предтеста: коэффициента дифференциации тестируемых ^ и коэффициента надёжности аКг , рассчитанного по формуле Кронбаха. Из таблицы 2 видно, что они больше
и
значения 0,8, что является признаком хорошего качества анкеты. Низкие значения вероятности рх2^ является признаком низкой совместимости
индикаторов анкеты. Значение Р^-р остается неудовлетворительным даже
после удаления 27 участников анкетирования и 2 индикаторов (5, 16). Что же касается каждого индикатора, то условие адекватности модели Раша выполняется для всех оставшихся после чистки анкеты индикаторов, за исключением индикатора 7.
Таблица №2
Оценки трудности индикаторов анкеты «Информационная
компетентность»
} Для исходной матрицы Для "очищенной" матрицы
в* (логит) * е1 (логит) Рх2 * в* 0 (логит) * е10 (логит) Р0
1 -0,084 0,054 0,071 -0,087 0,056 0,080
2 0,32 0,047 0,948 0,33 0,048 0,777
3 -0,455 0,063 0,084 -0,501 0,064 0,124
4 -2,2 0,111 0,273 -2,241 0,12 0,192
5 0,019 0,051 0,005
6 0,623 0,048 0,228 0,634 0,048 0,098
7 -0,355 0,064 0,057 -0,352 0,065 0,024
8 -0,189 0,058 0,100 -0,179 0,059 0,171
9 -0,039 0,054 0,171 -0,022 0,054 0,370
10 -0,027 0,054 0,208 -0,011 0,055 0,192
11 0,021 0,057 0,387 0,042 0,058 0,521
12 0,234 0,049 0,340 0,22 0,05 0,443
13 -0,3 0,059 0,264 -0,374 0,064 0,160
14 -0,328 0,057 0,589 -0,351 0,058 0,205
15 -0,148 0,054 0,151 -0,169 0,057 0,582
16 -0,127 0,05 0,004
17 -1,232 0,092 0,199 -1,289 0,102 0,256
18 0,036 0,048 0,252 0,045 0,049 0,211
19 0,357 0,051 0,450 0,348 0,053 0,220
20 0,762 0,048 0,209 0,783 0,049 0,277
21 0,744 0,048 0,304 0,758 0,05 0,141
22 0,871 0,047 0,073 0,891 0,048 0,159
23 0,595 0,045 0,491 0,618 0,046 0,855
24 0,546 0,046 0,636 0,552 0,046 0,337
25 0,357 0,047 0,717 0,357 0,048 0,451
0,000374 0,006999
0,88531 0,86287
аКг 0,88904 0,87286
Объем выборки 452 участников Объем выборки 425 участников
*
Анализ оценок бисериального коэффициента корреляции Я ы показал, что для всех индикаторов он превышает величину 0,3. Это свидетельствует о хорошей валидности индикаторов анкеты.
Оценка вероятностных кривых дескрипторов индикаторов, по которым исследуется их работоспособность, показала, что для большинства индикаторов свой диапазон действия имеют дескрипторы 0, 1, 3, 4, что говорит об их работоспособности. В качестве примера, подтверждающего данный вывод, на рисунке 2 представлены вероятностные кривые
дескрипторов индикатора 2. Как видно из рисунка, дескриптор 2 «затрудняюсь ответить» не работает. Объяснить это можно, на наш взгляд, тем, что он дублируется дескрипторами 1 «скорее нет, чем да» и 3 «скорее да, чем нет». По нашему мнению, его присутствие в индикаторах ответов усложняет выбор соответствующего ответа студентами, т.е. дескриптор 2 является мешающим фактором, и его следует исключить из числа дескрипторов индикаторов. Это не только позволит повысить определённость в выборе ответа студентами, но и снизит трудоёмкость обработки и анализа результатов анкетирования.
Рис. 2. - Вероятностные кривые дескрипторов индикатора 2 «Имею опыт работы с научной литературой»
Распределение участников анкетирования по категориям О уровня сформированности компетенции [3, 11] выполняется исходя из значения
индивидуального балла х1 (1 - номер анкетируемого) с помощью таблицы 3.
Таблица №3
Деление респондентов на категории О по степени сформированности
информационной компетенции
х- Категория О уровня сформированности компетенции
0 < х1 < 25 О1 - уровень низкий (компетенция сформирована недостаточно)
25 < х1 < 50 О2 - пороговый уровень (компетенция сформирована удовлетворительно)
50 < х1 < 75 О3 - средний уровень (компетенция сформирована оптимально)
75< х< < 100 О4 - высокий уровень
Анализ полученных данных показал, что у 36 % анкетируемых уровень сформированности информативной компетенции высокий, у 57,5% - средний, у 6 % пороговый и лишь у 0,5 % - ниже порогового.
Таким образом, анкета «Информационная компетентность» имеет удовлетворительные показатели качества и после доработки может быть использована совместно с политомической моделью Раша для расчёта латентных параметров, характеризующих признаки сформированности компетенций, связанных с получением, обработкой и анализом информации при решении профессиональных задач. Для повышения качества анкеты необходимо:
- дополнить её новыми октантами, раскрывающими признаки сформированности информационной компетенции, например, октантом «Умение применять полученную информацию для решения профессиональных задач»;
- снизить число дескрипторов индикаторов до 4, исключив дескриптор 2 «затрудняюсь ответить»;
- за счёт добавления индикаторов с 0,9 < Pj < 4,0 логит увеличить их
число до 30 и более.
Литература
1. Елисеев И.Н. Диагностика индивидуальных свойств личности в студенческой среде на основе модели Раша // Стандарты и мониторинг в образовании. 2009. № 3. С. 35-38.
2. Елисеев И.Н. Оценка уровня подготовленности выпускников колледжа на основе измерения качества квалификационных работ // Стандарты и мониторинг в образовании. 2010. № 1. С. 47-49.
3. Елисеев, И.Н. Методы, алгоритмы и программные комплексы для расчёта характеристик диагностических средств независимой оценки качества образования. Новочеркасск: Лик, 2013. 285 с.
4. Свечкарев, В.П. Интеграция имитационных моделей при проведении исследований в гуманитарной сфере // «Инженерный вестник Дона», 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/213/.
5. Мощенко, И.Н. Имитационное моделирование этнополитической ситуации ЮГА РОССИИ на основе теории динамических систем // «Инженерный вестник Дона», 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/216/.
6. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 p.
7. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206p.
8. . Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 p.
9. Елисеев, И.Н. Методология оценки уровня компетенций студента / И.Н. Елисеев // Информатика и образование. 2012. №4. С. 80-85.
10. Ларина Т.Н., Елисеев И.Н. Оценка уровня компетенции студента на основе модели Раша // «Инженерный вестник Дона», 2012, №4 (часть 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.
11. И.Н. Елисеев, И.И. Елисеев, Т.Н.Ларина, Н.В. Кривошеев Оценка коммуникативных компетенций студентов на основе политомических моделей // «Инженерный вестник Дона», 2014, №1 (часть 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.
12. Маслак А.А. Измерение латентных переменных в социальных системах:: монография / А.А. Маслак. - Славянск-на-Кубани Издательский центр КубГУ, 2012. - 432с.
13. Психологические тесты онлайн // URL:psytest.info. (Дата обращения 02/12/11).
14. Елисеев И.Н. Экспертиза качества тестов по электротехническим дисциплинам // Известия высших учебных заведений. Электромеханика. 2011. №2. С. 75-80.
15. Руководство пользователя диалоговой системой RUMM 2030 //RUMM Laboratory Pty Ltd, 2010. URL: rummlab.com.au/demo/marmgetstart.pdf. (Дата обращения 18/04/10).
16. Елисеев, И.Н. Модель дихотомической матрицы результатов тестирования / И.Н. Елисеев // Программные продукты и системы. - 2011. -№3. С. 80-86.
References
1. Eliseev I.N. Standarty i monitoring v obrazovanii. 2009. № 3. pp. 35-38.
2. Eliseev I.N. Standarty i monitoring v obrazovanii. 2010. № 1. pp. 47-49.
3. Eliseev, I.N. Metody, algoritmy i programmnye kompleksy dlya rascheta kharakteristik diagnosticheskikh sredstv nezavisimoy otsenki kachestva obrazovaniya [ Methods, algorithms and program complexes for the calculation of the characteristics of an independent diagnostic assessment of the quality of education]. Novocherkassk: Lik, 2013. 285p.
4. Svechkarev, V.P. Inzenernyj vestnik Dona (Rus), 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/213/.
5. Moshchenko, I.N. Inzenernyj vestnik Dona (Rus), 2010, №3 URL: ivdon.ru/magazine/archive/n3y2010/216/.
6. Rasch G. Probabilistic models for some intelligence and attainment tests (Expanded edition, with foreword and afterword by Benjamin D. Wright).Chicago: University of Chicago Press, 1980. 199 p.
7. Wright, B.S., Masters, G.N. Rating Scale Analysis: Rasch Measurement, Chicago, MESA Press, 1982. 206 p.
8. Andrich D. Advanced Social and Educational Measurement. - Perth: Murdoch University, 2001. 128 p.
9. Eliseev, I.N. Informatika i obrazovanie. 2012. №4. pp. 80-85.
10. Larina T.N., Eliseev I.N Inzenernyj vestnik Dona (Rus), 2012, №4 (chast' 1) URL: ivdon.ru/magazine/archive/n4p1y2012/1093/.
11. I.N. Eliseev, I.I. Eliseev, T.N.Larina, N.V. Krivosheev Inzenernyj vestnik Dona (Rus), 2014, №1 (chast' 1) URL: ivdon.ru/magazine/archive/n1y2014/2302/.
12. Maslak A.A. Izmerenie latentnykh peremennykh v sotsial'nykh sistemakh [The measurement of latent variables in social systems]. Slavyansk-na-Kubani: Izdatel'skiy tsentr KubGU, 2012. 432 p.
13. Psikhologicheskie testy onlayn [Psychological tests online ] URL:psytest.info. (accessed 02/12/11).
14. Eliseev I.N. Izvestiya vysshikh uchebnykh zavedeniy. Elektromekhanika. 2011. №2. pp. 75-80.
15. Rukovodstvo pol'zovatelya dialogovoy sistemoy RUMM 2030 [Manual dialogue system RUMM 2030] url: rummlab.com.au/demo/marmgetstart.pdf. (accessed 18/04/10).
16. Eliseev, I.N. Programmnye produkty i sistemy. 2011. №3. pp. 80-86.
