Научная статья на тему 'Алгоритм информационного процесса формирования оценки уровня подготовленности индивидуального обучаемого'

Алгоритм информационного процесса формирования оценки уровня подготовленности индивидуального обучаемого Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
131
38
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ИНФОРМАЦИОННЫЕ ПРОЦЕССЫ / ОБУЧАЮЩАЯ СИСТЕМА / ПЕДАГОГИЧЕСКИЕ ИЗМЕРЕНИЯ / ЛОГИСТИЧЕСКАЯ МОДЕЛЬ РАША / INFORMATION PROCESSES / TRAINING SYSTEM / PEDAGOGICAL DIMENSION / LOGISTIC RASHA MODEL

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Сумин В. И., Кравченко А. С., Кузьменко Р. В., Ирхин В. П.

Рассматривается алгоритм перевода метрической шкалы педагогических измерений в рамках однопараметрической логистической модели Раша в порядковую шкалу с началом отсчета

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

ALGORITHM OF INFORMATIONAL PROCESS OF SHAPING OF THE ESTIMATION OF LEVEL OF READINESS OF THE INDIVIDUAL TRAINEE

The algorithm of transfer of a metric dial of pedagogical measurements within the limits of Rush's one-parameter logistics model in an ordinal dial with a reference mark is considered

Текст научной работы на тему «Алгоритм информационного процесса формирования оценки уровня подготовленности индивидуального обучаемого»

УДК 681.3

АЛГОРИТМ ИНФОРМАЦИОННОГО ПРОЦЕССА ФОРМИРОВАНИЯ ОЦЕНКИ УРОВНЯ ПОДГОТОВЛЕННОСТИ ИНДИВИДУАЛЬНОГО ОБУЧАЕМОГО В.И. Сумин, А.С. Кравченко, Р.В. Кузьменко, В.П. Ирхин

Рассматривается алгоритм перевода метрической шкалы педагогических измерений в рамках однопараметрической логистической модели Раша в порядковую шкалу с началом отсчета

Ключевые слова: информационные процессы, обучающая система, педагогические измерения, логистическая модель Раша

В рамках теории параметризации педагогических тестов, основываясь на

однопараметрической модели Раша [1,2,3] существует возможность построения не порядковой, а метрической шкалы оценочных баллов. Использование метрической шкалы позволяет осуществить переход от ранжирования участников тестирования к объективному измерению их уровня подготовленности.

Рассмотрим простейший алгоритм приведения порядковой шкалы к метрической в рамках модели Раша. Для проведения преобразования предположим

А

наличие такой матрицы ответов , в которой отсутствуют статистические основания отвергать гипотезу о параллельности различных вариантов используемого теста [2,5].

Тест, для обработки характеризуется следующим образом:

- количество вопросов - т;

- тесты содержат приближенно параллельные варианты вопросов;

- количество заданий теста - к;

- общее количество участников тестирования

- п

Из общего количества испытуемых П1 человек

выполняли задания I -го варианта, Е1 1 щ = п . Таким образом, получено т различных матриц ответов Л1, каждая из которых имеет размерность щ х к . В результате математической обработки матрицы ответов для каждого I -го варианта в рамках однопараметрической модели Раша получены оценки латентных параметров трудности заданий 3 ^ и

подготовленности испытуемых © I, а также оценки

Сумин Виктор Иванович - ВИФСИН, д-р техн. наук, профессор, тел. (473) 222-43-26

Кравченко Андрей Сергеевич - ВГПГК, преподаватель, тел. (473) 255-27-27

Кузьменко Роман Валентинович - ВИФСИН, д-р ест. наук ФРГ, д-р физ.-мат. наук, доцент, тел. (473) 222-43-26 Ирхин Валерий Петрович - ВИФСИН, профессор, тел. (473) 222-43-26

соответствующих среднеквадратичных ошибок °{3А } и с{©}1}.

По указанной информации требуется определенный балл Д , (целое число отрезка от 1 до 99), измеряющий уровень подготовленности тестируемых / е 1,2,...,п.

Латентные параметры 3^ ^, полученные

для каждого варианта с номером I. относятся к метрическим, но ее нормированным шкалам. По метрической шкале можно измерять расстояния между параметрами в определенных единицах (логитах), но нельзя измерять отстояния латентных параметров от начала отсчета. Отсчеты по метрическим шкалам можно без потери информации подвергнуть сдвигу.

Один из подходов к переносу латентных параметров, полученных по различным вариантам теста, на единую метрическую шкалу можно обосновать свойствами достаточных статистик.

В рамках модели Раша первичные баллы участников тестирования Ь1, I = 1,2,...,щ, и заданий с у, у = 1,2,..., к являются достаточными

статистиками, если варианты теста параллельны, то участники с равными первичными баллами получают одинаковые оценки подготовленности в логитах. Этот факт позволяет получить на единой метрической шкале в логитах к — 1 узловых точек вида

і т

®ъ = — Т®ы • пЬ1, Ь = 1,2,...,к -1 пъ1=1

(1)

Здесь ©Ь1 - оценка подготовленности участников тестирования, которые выполняли I -ый вариант и набрали Ь баллов; пы - количество таких

т

участников, пь = ^ пЬ1 . Достаточно иметь одно

I=1

узловое (то есть общее во всех вариантах) задание средней трудности. Пусть у - номер узлового

задания, а 3^ обозначает оценку его трудности,

полученную при обработке матрицы ответов I -го варианта.

Для организации метрической шкалы, единой для всех вариантов теста, рекомендуется следующая последовательность действий.

1. С помощью критериев согласия следует проверить статистические гипотезы о согласованности модели Раша с имеющимися эмпирическими данными и о параллельности вариантов теста.

2. Из оценок всех латентных параметров 3у/,

© I, полученных из обработки результатов

тестирования по каждому варианту с номером / (в том числе и из узловых значений), вычитается

значение

З® . Тем самым

задается условное начало

(ноль) метрической шкалы каждого варианта и 3® = 0 для V/.

3. Оценки подготовленности ©ь/,

соответствующие различным вариантам /, но одинаковому первичному баллу Ь, усредняются по формуле (1). Подсчитываются дисперсии значений ©ь/ для одного (любого) варианта,

1 т

Щ©Ь} =------7Е(©Ь/-©ь)2, Ь = 1,2,...,к -1, (2)

пь -1 ы

и дисперсия усредненного значения ©ъ

щ{©ъ } = 1 Щ{©ъ },

т

(3)

4. Числа ©ъ делят метрическую шкалу в к

логитах на ^ промежутков

(-да,©1 ),[©1,©2),...,[©к-1,+да), каждому из

которых приписывается определенный номер ъ = 1,2,...,к. Чтобы перенести на эту же шкалу трудность ЗуІ Ї -го задания (/ = 1,2,...,к ) в 1—м

варианте (I = 1,2,...,т), попадающую на промежуток

с номером ъ , можно воспользоваться просто

линейной интерполяцией :

* Уъ1 - Гъи -

З* = З}1 + Гъ-и + ©ъ ©-1 (Зп - ©ы) (4)

©ъ-©ъ-1

Здесь 3* - исправленная трудность,

Уы = ©Ь1 - ©ь - уклонение реально полученной оценки уровня подготовленности ©ы/ в / - м

варианте от усредненного значения ©ы .

Недостатком интерполяции является то, что она, образно говоря, копирует неизбежные

й Уы

погрешности узловых значений ь‘, игнорируя информацию об их точности.

Значения латентных параметров 3/ и ©ы для всех Ь = 1,2,...,к, у = 1,2,..., к , / = 1,2,...,т

отнесены к единой метрической шкале в логитах с условным началом отсчета.

Задание нуля на единой метрической шкале рекомендуется осуществлять на основе нормативной выборки участников тестирования [1,3,5]. Все

значения подготовленности ©ы испытуемых,

попавших в нормативную выборку, усредняются с учетом их среднеквадратических ошибок. Полученное средневзвешенное значение обозначим ©нв . Подсчитывается также соответствующая дисперсия подготовленности участников из нормативной выборки относительно ©нв Далее оценки всех латентных параметров, полученные в предыдущем разделе, смещаются на величину ©н в . Полученные значения 3,Ы1 - ©нв .и ©ы - ©нв . являются окончательными оценками латентных параметров трудности заданий и подготовленности участников на единой нормированной шкале.

Пересчет подготовленности участников

тестирования ©ы -©нв в логитах на любую другую

шкалу рекомендуется осуществлять с помощью только линейных преобразований, не нарушающих метричностъ шкалы. В частности, для пересчета на 100 - балльную шкалу можно пользоваться

следующей формулой

Д = 50 + -

50

©тах -©

=^(©,- -©«...)

(5)

Здесь в качестве ©нв можно взять средний уровень подготовленности участников тестирования в обрабатываемой выборке, а ©т,ах обозначает константу в логитах, которая выбирается так, чтобы регламентировать возможности получить высшие результаты. Экстремальные результаты (все задания выполнены верно или все задания выполнены неверно) без вычислений оцениваются как 100 или 0 баллов, соответственно.

Аналогичные баллы можно выставить и для трудности каждого задания теста и использовать их в качестве весов заданий.

Рассмотрим возможности повышения уровня дифференциации участников тестирования.

Первичные баллы Ь^, участников тестирования / = 1,2,..., п и первичные баллы заданий теста с у, у = 1,2,..., к в рамках модели Раша являются

статистиками достаточными, что на практике усложняет дифференциацию тестируемых по уровню подготовки. Статистические оценки уровней подготовленности участников тестирования,

набравших одинаковый первичный балл, совпадают вне зависимости от уровня трудности выполненных заданий теста, в силу того, что, являются равными функциями равных достаточных статистик.

Чтобы повысить по сравнению с классической теорией Раша степень дифференциации участников тестирования, можно учитывать не только

н.в

количество верно выполненных заданий теста, по и характеристики трудности этих заданий.

Для увеличения степени дифференциации можно воспользоваться следующим дополнением: по

полной аналогии с окончательными баллами В1 участников тестирования нужно определить окончательные баллы С/ для каждого задания теста

и использовать их в качестве коэффициентов веса заданий теста. Это позволяет упорядочить участников тестирования в зависимости от общей суммы баллов, умноженной на коэффициенты трудности соответствующих заданий.

Пусть В(Ь) окончательный балл тех испытуемых, которые набрали один и тот же первичный балл Ь, и пусть п, - количество таких испытуемых. Каждому Ь = 1,2,...,к -1 соответствует список участников тестирования, перенумерованных в порядке возрастания суммы баллов верно выполненных ими заданий. Таким образом первые номера списка будут отведены для участников тестирования, набравших

меньший балл, а с увеличением номера списка балл будет увеличиваться.

Литература

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

1. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 169 с.

2. Нейман Ю.М., Хлебников В.А. Педагогическое тестирование как измерение. - М.: Прометей, 2003. - 70 с

3. Зайцева Л.В., Новицкий Л.П., Грибкова В.А. Разработка и применение автоматизированных обучающих систем на базе ЭВМ. - Под ред. Л.В. Ницецкого. - Рига : “Зинатне”, 1989. - 174 с.

4. Зайцева Л.В. Некоторые аспекты контроля знаний в дистанционном обучении // Сборник научных трудов 4-й международной конференции ’’Образование и виртуальность - 2000” - Харьков - Севастополь : УАДО, 2000, - с. 126 - 131.

5. Касимов Р.Я., Зинченко В.Я., Грантберг И.И. Рейтинговый контроль // Высшее образование в России. -1994. - № 2 - с. 83-92.

Воронежский институт Федеральной службы исполнения наказаний России Воронежский государственный промышленно-гуманитарный колледж

ALGORITHM OF INFORMATIONAL PROCESS OF SHAPING OF THE ESTIMATION OF LEVEL OF READINESS OF THE INDIVIDUAL TRAINEE V.I. Sumin, А.Б. Kravchenko, R.V. Kuzmenko, V.P. Irkhin

The algorithm of transfer of a metric dial of pedagogical measurements within the limits of Rush's one-parameter logistics model in an ordinal dial with a reference mark is considered

Key words: information processes, training system, pedagogical dimension, logistic Rasha model

i Надоели баннеры? Вы всегда можете отключить рекламу.