Компьютерный адаптивный тестовый контроль: качественные характеристики и пути совершенствования Текст научной статьи по специальности «Науки об образовании»

УДК 681.3

КОМПЬЮТЕРНЫЙ АДАПТИВНЫЙ ТЕСТОВЫЙ КОНТРОЛЬ: КАЧЕСТВЕННЫЕ ХАРАКТЕРИСТИКИ И ПУТИ СОВЕРШЕНСТВОВАНИЯ

А.Г. Иванов

В статье рассмотрены основы технологии компьютерного адаптивного тестирования и предложены пути повышения его эффективности посредством использования искусственных нейронных сетей

Ключевые слова: компьютерное адаптивное тестирование, нейронные сети

На сегодняшний день одним из основных принципов государственной образовательной политики является адаптивность системы

образования к уровням и особенностям развития учащихся. В этой связи особое значение

приобретают вопросы совершенствования процессов контроля и оценки качества подготовки обучаемых, адаптивности системы педагогического контроля .

Новые возможности для индивидуализации контрольно-корректировочных воздействий на обучаемого открывает адаптивный тестовый

контроль.

Большинство существующих систем

компьютерного тестирования статичны по структуре вопросов, вследствие чего предлагаемые в них тесты не являются индивидуализированными для экзаменуемого. Адаптивное тестирование, напротив, основано на принципах

последовательного анализа.

Отраслевой стандарт Министерства образования РФ «Педагогические тесты, термины и определения» адаптивное или последовательное тестирование определяет как «компьютерное тестирование, при котором тестовые задания с известными характеристиками последовательно изображаются на экране компьютера, а уровень подготовленности испытуемого со все возрастающей точностью оценивается сразу же после каждого его ответа.

Очередное задание в зависимости от ранее данных ответов испытуемых подбирается так, чтобы его уровень трудности позволял наилучшим образом оценить уровень подготовленности тестируемого. Количество заданий теста заранее не фиксируется, а процесс тестирования заканчивается по достижении заданной точности оценки уровня подготовленности испытуемого» [1]. То есть задания адаптивных тестов не выходят за пределы способности экзаменуемого или за пределы самого измеряемого конструкта, что достигается путем разработки банка заданий, релевантных измеряемой области. При этом каждое задание ранжируется от низкого к высокому уровню сложности на основе сведений о соотношении тестируемых, дающих на него

* Иванов Александр Геннадьевич - ВГТУ, аспирант, тел.8 908 132 91 84

правильный ответ, либо соотношении ответов на какое-либо задание определенным способом.

Конечная желаемая цель процедур компьютерного адаптивного тестирования состоит в разработке теста, показывающего один уровень валидности и надежности по отношению ко всему диапазону тестируемого содержания либо измеряемых конструктов.

Следует также отметить, что технология компьютерного адаптивного тестирования

основывается прежде всего на системности подхода к процессу обучения и органично в себе сочетает ориентацию на междисциплинарную подготовку, отражение специфики

профессионально-педагогической деятельности и мониторинга качества обучения, возможность

самоконтроля обучаемых [2].

Кроме того, применение адаптивного

компьютерного тестирования дает возможность оперативно решать комплекс актуальных

педагогических задач:

• образование предметных тестовых баз и средств автоматизированной обработки результатов тестирования групп обучаемых,

• создание индивидуализированной

диагностики с последующей коррекцией траектории обучения,

• формирование наглядного представления и интеграции результатов тестирования при использовании способов статистической обработки.

Таким образом, адаптивное тестирование представляет собой компьютеризованную систему научно обоснованной проверки и оценки

результатов обучения, обладающую высокой

эффективностью за счет оптимизации процедур генерации [3]. При этом данный вид тестирования позволяет обеспечить максимум возможной

информации в вопросе индивидуальной идентификации качества знаний обучающихся определенного уровня.

Вместе с тем при наличии веских преимуществ адаптивное тестирование имеет и существенный недостаток: при фиксированной

оценке сложности тестовых заданий объективная сложность задания зачастую не соответствует предполагаемому ее уровню по мнению разработчика. То есть разработчик представляет задание как сложное, а на поверку оно оказывается не выше среднего. В этой связи возникает

потребность в использовании технологии, позволяющей самостоятельно произвести анализ ответов и на его основе изменить в случае необходимости весовой коэффициент задания либо вопроса.

Такого типа проблематика характерна для искусственных нейронных сетей, возможная область применения которых основывается на консолидации информации, ее анализе и применении решения в случае возникновения потребности.

Искусственные нейронные сети, подобно биологическим, представляют собой

вычислительную систему с большим количеством параллельно действующих простых процессоров с множеством связей. Однако при построении таких сетей зачастую допускаются значительные упрощения, отличающие их от биологических аналогов. Несмотря на данное обстоятельство, искусственным нейронным сетям присуще

удивительное число свойств человеческого мозга: извлечение существенных данных из избыточной информации, обобщение, обучение на основе

опыта.

Как и человеческий мозг, нейросети обладают способностью к обучению, под которым понимается процесс настройки архитектуры сети (структуры связей между нейронами) и весов синаптических связей, влияющих на сигналы коэффициентов, для эффективного решения

поставленной задачи.

Обычно обучение нейронной сети

осуществляется на некоторой выборке и по определенному алгоритму. По мере процесса обучения сеть приобретает способность все лучше и лучше (правильнее) реагировать на входные сигналы [4].

Обучение представляет собой процесс

модификации внутренней структуры нейронной сети по определенному алгоритму с целью получения требуемой по смыслу задачи реакции сети на предъявляемые исходные данные. В большинстве задач процесс обучения заключается в циклической подаче на вход сети различных наборов входных данных, для каждого из которых известен требуемый выход сети. Обучение продолжается до тех пор, пока значение критерия, характеризующего различие между требуемыми и реально полученными выходами сети, не станет меньше определенной величины. После окончания обучения сеть готова к работе и может обрабатывать новые, ранее не предъявлявшиеся ей наборы данных.

Спектр применения нейронных сетей достаточно широк: при автоматизации процессов распознавания образов, адаптивном управлении, анализе информации и принятии решения, прогнозировании, создании экспертных систем и т.д. Однако в системе образования нейронные сети использовались крайне редко. Вместе с тем нейросети представляют собой принципиально новый подход к программированию и их

применение в сфере образования обеспечит создание новых возможностей передачи и восприятия знаний, оценки качества обучения и развития личности в ходе процесса обучения [5].

Очевидно, что применение технологии нейронных сетей может значительно усовершенствовать любой тест, который приобретет в результате способность к адаптации по тому или иному признаку, к самоанализу с последующими конструктивными изменениями.

На базе аппарата искусственных нейронных сетей может быть основано решение проблем автоматического выделения наиболее значимых признаков качества знаний обучаемых, входящих в комплексный показатель, а также формирования эталонов качества знаний, распознавания текущего состояния знаний обучаемых, коррекции и автоматизированного оценивания знаний и др.

Преимущества нейросетевого подхода заключаются в возможности параллельной

обработки информации, применении единого и эффективного принципа обучения, в надежности функционирования и способности решать неформализованные задачи [4].

Использование технологии нейросетей позволит достаточно оперативно обрабатывать и дифференцировать большое количество информации, создавать задания в нужной тестовой форме, производить корректировку весов вопросов в соответствии с их реальным уровнем сложности.

Появляется возможность с помощью

нейросетевой кластеризации оперативно решать задачи оценки качества знаний обучаемых по любой выбранной шкале. Программа тестирования на основе нейросетевой модели так же делает возможной дифференциацию обучаемых в зависимости от приближения к эталону

диагностического признака качества, тем самым обеспечивая максимизацию как уровня обучения, так и его качества [6].

Несомненно, выбор лучшей технологии

должен основываться на понимании возможностей, предпосылок и области применения различных подходов, максимальном использовании их дополнительных преимуществ. Подобные усилия могут привести к синергетическому подходу, который объединяет искусственные нейронные сети с другими технологиями для существенного прорыва в решении актуальных проблем [7]. Поэтому развитие и использование искусственных нейронных сетей в адаптивных тестах приведет к значительному усовершенствованию их качественных характеристик, позволит получать более достоверные (валидные) результаты оценивания знаний обучаемых, повысить эффективность контроля их учебных достижений, а также в целом совершенствовать механизм

контроля и оценки эффективности образовательного процесса.

Литература

1. Министерство образования РФ

«Педагогические тесты, термины и определения» - М, 2001 - [Электрон. ресурс]. Режим доступа:

http://bank.orenipk.ru/Text/t19_135.htm

2. Терюха Р. В. Технология адаптивного

компьютерного тестирования в профессиональной подготовке инженеров/ Автореферат диссертации на соискание ученой степени кандидата педагогических

наук - Краснодар, 2007-

[Электрон. ресурс]. Режим доступа: http://student.km.ru/ref_show_frame.asp

3. Сергеев В.В. Адаптивное тестирование в

системах дистанционного обучения/ Электронное

научное издание «Наука и образование», 2007 -[Электрон. ресурс]. Режим доступа:

http://technomag.edu.ru/doc/65577.html

4. Кальченко Д. Нейронные сети на пороге

будущего - Компьтерпресс, 2005 - [Электрон. ресурс]. Режим доступа:

http://www.compress.ru/Archive/CP/2005/1/21/

5. Ширшов Е.В. Электронная дидактика как педагогический феномен образовательного процесса в вузе/ Материалы XI Всероссийской научно-методическая конференция "Телематика' 2QQ4" - Санкт-Петербург, 7-1Q июня 2QQ4 г. -

[Электрон. ресурс]. Режим доступа:

http://tm.ifmo.ru/tm2QQ4/db/doc/

6. Ключко В.И., Покалицына О.В. Применение

аппарата искусственных нейронных сетей для разработки систем контроля качества подготовки специалистов. -[Электрон. ресурс]. Режим доступа:

http://ito.edu.ru/2QQ6/Moscow/VI/VI-Q-6iQ9.html

7. Anil K. Jain, Jianchang Mao, K.M.

MohiuddinoArtificial Neural Networks: A Tutorial,

Computer, Vol.29, №э.З, March/i996, pp. ЗЬ44 -[Электрон. ресурс]. Режим доступа:

http://oasis.peterlink.ru/~dap/nneng/nnlinks/NeuralNets.html

Воронежский государственный технический университет

THE COMPUTER ADAPTIVE TEST CONTROL: QUALITATIVE CHARACTERISTICS AND PERFECTION WAYS

A.G.Ivanov

In article bases of technology of computer adaptive testing are considered and ways of increase of its efficiency by means of use of artificial neural networks are offered

Key words: computer adaptive testing, neural networks