CC BY
82
Современные тенденции развития профессионального образования
УДК / UDC 371.26 Б. В. Семкин,
доктор физико-математических наук, профессор, заведующий кафедрой естествознания и системного анализа Алтайского государственного технического университета им. И. И. Ползунова, Барнаул, Россия, ntsc@desert.secna.ru М. И. Стальная,
кандидат технических наук, профессор кафедры «Автоматизированный электропривод и электротехнологии» Алтайского государственного технического университета им. И. И. Ползунова, Барнаул, Россия, ntsc@desert.secna.ru А. В. Ведманкин,
аспирант кафедры «Автоматизированный электропривод и электротехнологии» Алтайского государственного технического университета им. И. И. Ползунова, Барнаул, Россия, ntsc@desert.secna.ru
Boris Semkin,
Professor, PhD in Physics and Mathematics, head of the Department of Science and System Analysis, Altai State Technical University named after
1.1. Polzunov, Barnaul, Russia, ntsc@desert.secna.ru Maya Stalnaya,
Professor, PhD in Technics, professor of the Department «Automated Electric Drive and Electric Technologies», Altai State Technical University named after I.I. Polzunov, Barnaul, Russia, ntsc@desert.secna.ru Alexandr Vedmankin,
postgraduate student of the Department «Automated Electric Drive and Electric Technologies», Altai State Technical University named after
1.1. Polzunov, Barnaul, Russia, ntsc@desert.secna.ru
ШКАЛИРОВАНИЕ РЕЗУЛЬТАТОВ ТЕСТИРОВАНИЯ УЧАЩИХСЯ. ИНФОРМАЦИОННО-ЭНТРОПИЙНЫЙ МЕТОД
SCALING STUDENTS' TESTS RESULTS. INFORMATIONAL AND ENTROPIC METHOD
В статье описаны проблемы, возникающие при оценке знаний студентов, изложен новый универсальный метод шкалирования на основе теории информации и теории вероятности, который был апробирован в Алтайском государственном техническом университете имени И. И. Ползунова и получил положительные рекомендации.
The work describes problems that arise when assessing students' knowledge. It also provides a new universal scaling method based on the information theory and probability theory, which was approved at the Altai State Technical University named after 1.1. Polzunov and received a positive recommendation.
Ключевые слова: равномерный закон распределения,энтропия, первый центральный момент, информационно-энтропийный интервал, энтропийный балл.
Keywords: uniform law of distribution, entropy, the first central moment, information - en-tropic interval, the entropy point.
В последние годы в России в сфере образования наблюдается стремительное усиление интереса к автоматизации различных видов учебной и административной деятельности. В процессе обучения это коснулось информатизации контроля результатов обучения учащихся [1]. Самым популярным видом такого контроля является тестирование, основанное на диалоге информационной системы с пользователем. Стремительный рост быстродействия технических средств, уменьшение цен на вычислительную технику, появление качественных и мощных систем программирования увеличили потребность в системах, позволяющих объективно, быстро и надежно оценивать знания учащихся, предлагая интересные формы взаимодействия
с ними. Наибольший интерес представляют работы Раша, Бирбаума и т. д. [2; 3]. Однако данные работы являются «громоздкими», требуют внедискурсионного интуитивного подхода закрепления точек отсчета. Поэтому авторы разработали новый метод шкалирования результатов, используя теорию информации Шеннона, цель которого - учесть распределение в выборке, объем выборки и рационально выбранные границы между оценками, поскольку эти оценки обязательны согласно закона РФ «Об образовании» , так и Положения о вузе [4].
Если предположить, что при оценке знаний учащихся плотность вероятности распределения различных значений случайной величины вдоль всей шкалы одинакова, то с точки зрения теории информации [5] наше знание значения случайной величины до определения оценок может быть представлено, например, графиком распределения плотности вероятности Р(х] вдоль шкалы значений хг соответствующей равномерному закону распределения (рис. 1).
Рис. 1. Распределение плотности вероятности
Так как полная вероятность полученного отсчета находится в пределах от х1 до Х2 и равна единице, то под значением Рх должна быть заключена площадь, равная единице. При рассмотренном распределении плотности вероятности это приводит к
Р(х) =------------------------1-. (1)
Х2 - х1
Таким образом, после проведения оценок знаний учащихся получается, что среднее значение измерений лежит, во-первых, в пределах х2 - х1 и, во-вторых, хср= ± Д. Тогда с точки зрения теории информации область неопределенности, которая простиралась от х2 до х1 и характеризовалась плотностью вероятности р(х) = х--х ■ сократилась до величины 2 Д и теперь хара 2те1 изуется как
Р( X) =
1
2A
[2)
Энтропия для такого распределения [6] в соответствии с формулой (2) будет определяться как
+Ю х2 1 1 +A 11
H(x) = - [P(x)lnP(x)dx = -[------------ln--------dx = - [—ln— = ln2A, [3)
x - x x - x 2A 2A
x2 - x2 x2 - x1
где Д - сжатая количественная характеристика вероятностного распределения измеряемой величины, которая определяется в соответствии с формулой (3)
A = ~ехР H (x).
[4)
Аналогичным образом при различных других законах распределения вероятностей Д будет являться количественной характеристикой, определяющей интервал существования наиболее часто встречающихся значений исследуемой величины при данном законе распределения. Так как этот интервал определяется через энтропию, то целесообразно его называть «информационно-энтропийный интервал» (ИЭИ). Тогда ИЭИ с учетом (4) определяется следующим образом
d • n
$
П (",)"
[5)
где d(const) - ширина интервала, в котором находятся п число человек, набравших одинаковое число правильных ответов. Так как оценки, получаемые учащимися, носят вероятностный характер с различными видами распределения и плотностью вероятности, целесообразно в разработанном методе применить ИЭИ для определения интервала наиболее часто встречающихся оценок, которые в общем случае характеризуют подготовленность учащихся. Поэтому следует использовать этот метод шкалирования оценок учащихся с учетом их различной подготовленности.
В разработанном методе при тестировании для универсальности предлагается количество всех испытуемых оценивать не в абсолютных числах, а в процентах, что позволяет мобильно работать как с большим (до нескольких тысяч), так и с малым числом испытуемых (15-20 человек), оценивая их в 100 %. Предлагается сырые (первичные) баллы также рассчитывать в процентах (для нормирования и проведения сопоставительного анализа), когда максимальное количество общих баллов за тест может составлять 17, 35, 86 и т. д. баллов (100 %.)
После того как проделана операция про-центирования, приступают к дальнейшим операциям нахождения ИЭИ. Во-первых, определяется первый центральный момент кривой распределения количества результатов тестирования относительно числа испытуемых по
n
"2
2
n
n
Современные тенденции развития профессионального образования
формуле
к1 • п1 + к2 • п2 +... + кг • пг
(6)
п
где Мц1 - первый центральный момент; а - число учащихся, решивших одинаковое количество заданий;
к - количество правильных ответов у каждого учащегося в %.
Во-вторых, рассчитывается ИЭИ с учетом формулы (5)
ё • п ё • п
= =-------------------Г. (7)
Д —
2 •
2
• I
2 • (п-
п п2П2 •... • п/)п
В-третьих, определяется расположение ИЭИ относительно математического (Мц1) распределения результатов тестирования, причем в обе стороны от среднего значения откладывается значение Д/2, так как Д является количественной характеристикой, определяющей интервал существования наиболее часто встречающихся значений исследуемой величины при данном законе распределения.
После расчета этих параметров проводится шкалирование результатов учащихся в балльной системе с учетом ИЭИ следующим образом. Вначале приводится шкала (рис. 2), где линейно распределены первичные (сырые) баллы. Затем эти результаты условно разбиваются на 3 зоны, причем границы этих зон определяются величиной информационно-энтропийного интервала (А2, А3), который, как уже отмечалось, в размере Д/2 откладывается симметрично в обе стороны от математического ожидания распределения результатов тестирования (Мц1). После этого (при условии, что используется стобалльная система определения оценок) шкала первичных результатов проецируется на шкалу вторичных (переведенных) баллов (рис. 2) таким образом, что оценка, равная 50 баллам, присваивается среднему значению. После чего оценку в 25 баллов присваивают левой границе энтропийного интервала (В2), а оценку в 75 баллов принимает
правая граница (В3) ИЭИ (рис. 2). При этом А1, А 4 - левая и правая граница линейной шкалы, равная 0 и 100 баллам, соответственно В1, В4 -значение границ энтропийной шкалы, равное 0 и 100 баллам. Так как вторичный (преобразованный) балл определяется при помощи ИЭИ, то целесообразно такой балл называть информационно-энтропийным.
На рис. 2 видно, что на всех трех участках (0-25, 25-75, 75-100) масштабы шкал разбиваются различным образом: на интервале 0-25 шкала разбивается на 25 равных промежутков с масштабом М1. На интервале 25-75 - на 50 равных промежутков с масштабом М2. На интервале 75-100 также разбивается на 25 равных промежутков, но с масштабом деления М3.
В результате проведенных исследований было выявлено, что для перевода первичного результата Qi в информационно-энтропийный балл Q'i необходимо воспользоваться формулой
в,+, - В,
Q;—(а - а, ) • /+1 ; + в,
7 , - а 7
(8)
где j=1 при условии, что 0 е [а-;А2], j=2 при условии, что е [а2;а], j=3 при условии, что я. е [аз;А4].
Данный метод был экспериментально проверен в Алтайском государственном техническом университете имени И. И. Ползунова при шкалировании итоговых результатов тестирования по истории, экономике, математике и т. д. На рисунке 3 приведен пример кривой распределения итоговых результатов учащихся, полученных по итогам тестирования по истории (371 испытуемый).
На рисунке 3 видно, что данный график имеет две оси абсцисс, где верхняя ось - это первичный балл в процентах, а нижняя шкала - это шкала энтропийных баллов. На оси ординат -количество учащихся в процентах с определенным набранным баллом. За 40 % решенных заданий 7 % учащихся получат 19 баллов, за 80 % - 75 баллов и т. д. Следует заметить, что данный метод ИЭИ шкалирования результатов
$ > 4 2 ^ ]=3 ?
А1(0) М1 А2 М2 Мц М3 АЗ М4
Неудовлетворительно Удовлетворительно Хорошо Отлично
В1(0)
В 3 (2.5)
В3(75)
В4(100)
Рис. 2. Шкалирование первичного балла
Рис. 3. Кривая распределения результатов тестирования
обладает следующими положительными качествами:
0 является удобным для практического использования при оценке знаний для различных по численности групп учащихся;
0 объективен, так как выведен аналитическим путем на основе теории информации, что исключает субъективизм;
0 универсален с точки зрения обработки первичных результатов и компьютерной обработки;
0 прост в использовании;
0 для оценивания параметров не требуется никаких предположений и допущений достаточно сырых баллов.
На основании разработанного метода был создан программный продукт, который выполнен в среде Microsoft Excel.
Таким образом, проведение контроля достижения результатов обучения с использованием разработанной программы, по сравнению
с другими методами контроля, имеет ряд очевидных преимуществ, в числе которых:
• высокая степень стандартизации;
• повышенная устойчивость к фальсификациям;
• высокая скорость обработки результатов;
• единство требований ко всем учащимся;
• исключение субъективизма при оценке результатов.
На основании изложенного можно рекомендовать разработанный метод ИЭИ оценки знаний учащихся при тестовых формах проверки, для всех видов контроля.
1. Переверзев В. Ю. Критериально-ориентированные педагогические тесты для итоговой аттестации студентов. -М.: НМЦ СПО Минобразования РФ, 1999. - 152 с.
2. Нейман Ю. М., Хлебников В. А. Введение в теорию моделирования и параметризации педагогических тестов. -М.: Логос, 2000. - 232 с.
3. Челышкова М. Б. Теория и практика конструирования педагогических тестов: учеб. пособие. - М.: Логос, 2002. - 432 с.
4. Устав федерального государственного бюджетного образовательного учреждения высшего профессионального образования «Алтайский государственный технический университет им. И. И. Ползунова» - Барнаул.: АлтГТУ, 2011. - 52 с.
5. Смолянский М. Л. О некоторых вопросах современной математики и кибернетики - М : Просвещение, 1987.-531с.
6. Стальная М. И., Ведманкин А. В. К вопросу инфор-мационно-квалиметрической оценки знаний // Гарантии качества профессионального образования: Тезисы докладов Международной научно-практической конференции. -Барнаул: АлтГТУ, 2010. - 346 с.
