Некоторые аспекты оценки качества разработки обучающих тестов по математике Текст научной статьи по специальности «Компьютерные и информационные науки»

Некоторые аспекты оценки качества разработки обучающих тестов по математике

Волкова Елена Александровна к.п.н., доцент кафедры информационных технологий, Нижнетагильский государственный социально-педагогический институт филиал Российского государственного профессионально педагогического университета ул. Красногвардейская, 57, г. Нижний Тагил, 622000, (3435)254811 пипсупкУлтаП. ги

Аннотация

Оценка качества обучающего тестирования на сегодняшний день является одной из актуальных и своевременных проблем. В статье предлагается подход к решению данного вопроса на основе применения информационных технологий в виде педагогической экспертной системы. The quality rating of teaching testing is one of the pressing and prompt problems nowadays. The article describes the method of its solving on the basis of the use of information technologies in the form of pedagogical expert system.

Ключевые слова

обучающий тест, критерий качества теста, автоматизированная система оценки качества

teaching test, quality criteria test, automated system of evaluation quality Введение

Современный уровень развития общества предъявляет повышенные требования к результатам работы специалистов в различных областях - будь то медицина, производство или образование. Выполнение этих требований во многих случаях оказывается возможным лишь тогда, когда на вооружение берутся адекватные задачам информационные технологии. Среди них все большую роль играют средства, разрабатываемые в тех или иных направлениях искусственного интеллекта, в частности, применение экспертных систем для оценки качества принимаемых решений.

Изменения в системе образования, проводимые в нашей стране, привели к значительному росту роли тестовых технологий в процессе обучения. Благодаря им становится возможным получение достоверной информации о достижении базового уровня владения учащимися учебных дисциплин; объективное определение степени усвоения отдельных элементов знаний, выявление общих и индивидуальных пробелов в знаниях и т. д. Поэтому, сегодня тесты рассматриваются как один из основных инструментов контроля качества образования.

В современном образовательном процессе наряду с использованием контролирующего тестирования активно развивается такое направление педагогических тестовых технологий, как обучающее тестирование. Под обучающим тестированием будем понимать совокупность мероприятий, обеспечивающих разработку и использование независимых и объективных средств оценки уровня развития индивидуальных способностей испытуемых к обучению, а также обработку и анализ полученных результатов [1].

Методология оценки качества обучающего теста

Обучающее тестирование позволяет сочетать в процедуре контроля качества

обучения основные преимущества тестовой технологии (стандартизированность и объективность оценки) с возможностью анализировать уровень освоения учащимся тех умственных действий, которыми он должен обладать и которые он обязан уметь использовать в достижении поставленных перед ним учебных целей (в рамках конкретного школьного предмета). Обучающее тестирование по сути является инновационной педагогической технологией, исследование которой довольно обстоятельно проведено в работе Н.А. Сеногноевой [2].

Для обучающих тестов параметры качества могут быть выявлены априорно и это позволяет конструировать обучающие тесты с заранее заданным уровнем качества. Часть таких параметров была описана в работе Н.А. Сеногноевой, остальные параметры выявлены и формализованы в нашей работе. Итоговая таблица параметров, которые отвечают за качество тестов и их допустимые значения представлены в таблице 1.

Таблица 1

характеристики тестов шкала допустимых значений Получаемые значения рекомендация

Минимальный уровень свернутости теста От 1 до 4 Равно 5 Для формирования умственного действия необходимо минимум два этапа

Максимальный уровень свернутости теста От 1 до 4 Равно 5 Для формирования умственного действия необходимо минимум два этапа

1 Тест применим лишь на этапе изучения нового материала, т.к. тест содержит большое количество этапов формирования умственных действий

Среднее значение уровня свернутости От 1 до 4 1<...<4 Тест рекомендуется для этапа изучения нового материала и на этапе закрепления

теста 4 Тест применим на этапе закрепления изученного материала, т.к. отсутствуют промежуточные этапы формирования умственных действий

Степень разветвленности теста От 2 до 4 1 Тест не является обучающим, необходимо минимум два пути решения

выше 4 Не рекомендуется такое количество путей решения

1 Высокая дифференцирующая способность теста относительно

Ширина теста От 1 до 4 уровня знаний учащихся

5 и выше Низкая дифференцирующая способность теста относительно уровня знаний учащихся

В пункте № недостаточное

До 0,3 количество верных альтернатив для ответа

Уровень От 0,3 до От 0,3 до 0,4 Ваш тест достаточно надежен

альтернативности максимальный 0,5 От 0,4 до 0,5 Ваш тест имеет низкую

надежность в пункте № , но

пригоден для использования

От 0,5 и Ваш тест в пункте № имеет

выше высокую вероятность угадывания

До 0,3

От 0,3 до 0,4 Ваш тест достаточно валиден

Уровень

Ваш тест имеет низкую валидность в пункте № , но

альтернативности минимальный от 0,3 до 0,5 От 0,4 до 0,5

пригоден для использования

От 0,5 и Ваш тест в пункте № имеет

выше низкую валидность

от 0 до 1 Ваш тест равномерный - отвечает требованиям валидности и

надежности по данному параметру

Степень от 0 до 1 Тест неравномерный, с помощью

равномерности выше 1 него невозможно определить уровень знаний учащихся, т.к. тест не валиден. Результат выполнения данного теста будет неустойчив - тест ненадежен.

От 5 до 4 Очень низкая надежность обучающего теста

Сложность теста От 4 до 1 от 4 до 3 Достаточно приемлемая надежность обучающего теста

максимальная от 3 до 2 Хорошая надежность обучающего

теста

от 2 до 1 Высокая надежность обучающего

теста

Обучающий тест рекомендуется

Сложность теста От 1 до 4 1-1,9 для учащихся с «удовлетворительной» успеваемостью и ниже

2-2,9 Обучающий тест рекомендуется для учащихся с «хорошей» и «удовлетворительной»

успеваемостью

3-3,9 Обучающий тест рекомендуется для учащихся с «отличной» и «хорошей» успеваемостью

4 Обучающий тест рекомендуется для учащихся с «отличной» успеваемостью

Степень направленности на обучение от 0,3 до 0,6 до 0,3 Тест носит преимущественно контролирующий характер

от 0,3 до 0,6 Тест является обучающим, все понятия закреплены

выше 0,6 В тесте некоторые понятия не имеют этапа закрепления

Таким образом, достижение заданного уровня качества обучающих тестов базируется на формализованных параметрах, лежащих в основе автоматизации оценки качества обучающих тестов, под которой будем понимать процесс обработки на базе информационных технологий значений параметров качества обучающих тестов для установления наилучшего сочетания их значений и вывода оценки качества.

Однако составление и просчет параметрических характеристик обучающего теста и тем более определение направлений повышения его качества отнимает у преподавателя достаточно большое количество времени и сил, что подчас заставляет его отказаться от его составления обучающего теста. Применение информационных технологий в форме автоматизированной системы позволяет в значительной степени разрешить эту проблему.

Данный программный продукт применим в области образования, т.к. разработан специально для педагогов, имеющих представление об обучающем тестировании и использующих тесты в своей педагогической деятельности.

Программный продукт обладает простым и понятным интерфейсом, доступен в использовании, как преподавателям имеющим навыки работы с персональным компьютером, так и новичкам, удовлетворяет психолого-педагогическим и эргономическим требованиям, предъявляемым к программным педагогическим системам.

Практическая реализация автоматизированной системы оценки качества обучающих тестов

На основании анализа теоретических подходов к обучению учителей с помощью средств информационных и коммуникационных технологий были определены следующие педагогико-эргономические требования к автоматизированной системе, которые заключаются в том, что:

- информационное наполнение системы должно быть сообразно целям ее использования;

- должна обеспечиваться возможность автоматизации процессов сбора, обработки и накопления информации;

- интерфейс должен быть адаптирован для любого уровня информационной компетентности пользователя;

- должна обеспечиваться возможность индивидуального темпа работы с системой;

- обеспечение централизованного хранения разработанных тестовых материалов;

- автоматизация вывода необходимой информации о тесте в печатном виде.

Программная реализация автоматизированной системы оценке качества обучающих тестов на основе модульной структуры (Рис.1) реализована с помощью среды объектно-ориентированного программирования Бе1рЫ 7.

Рис.1 Структура автоматизированной оценки качества обучающих тестов

По сравнению с традиционными способами программирования ООП обладает рядом преимуществ. Главное из них заключается в том, что эта среда в наибольшей степени соответствует внутренней логике функционирования операционной системы Windows. Программа, состоящая из отдельных объектов, отлично приспособлена к реагированию на события, происходящие в операционной системе. К другим преимуществам ООП можно отнести большую надежность кода и возможность повторного использования отработанных объектов [3].

Особенности решений на основе среды объектно-ориентированного программирования Delphi 7:

безопасность - полномочия определяются ролями, гибкая система настройки прав и доступа к информации, двухуровневый контроль полномочий в системе;

переносимость - система работает как в сети, так и в автономном (локальном) режиме;

гибкость - легко подстраивается под индивидуальный темп работы пользователя;

доступность - система, помимо понятного интерфейса, на каждом шаге объясняет пользователю последовательность, необходимых действий.

Помимо стандартного набора компонент самого Delphi, так же используется несколько сторонних:

- NiceGrid (более расширенные возможности, чем у стандартного компонента StringGrid);

- DBGridEh из набора компонент EhLIb (предназначен для отображения данных из базы данных, обладает более расширенными возможностями, чем стандартный DBGrid);

- KrHint (расширяет возможности стандартного свойства Hint у визуальных компонент, можно задавать цвет шрифта, цвет заднего фона и отображаемую форму подсказки;

- Business Skin Form (нужен для нестандартного оформления форм проекта и компонент).

База данных проекта основана на БД MS Access. Для связи проекта с базой используются компоненты Delphi ADO (чтобы облегчить работу с OLE DB, был создан дополнительный прикладной уровень, который получил название ADO (ActiveX Data Objects). Работать с ADO существенно проще, чем с OLE DB. Технология ADO предназначена для прикладных программистов.). Связь с базой данных происходит через один из провайдеров OLE DB - Microsoft.Jet.OLEDB.4.0. В проекте помимо работы с БД также реализована возможность сжатия БД (очистки самой БД от удаленных записей), очистки БД (удаление всех записей в таблицах) и оптимизации БД (используется ADOX, т.е. что это такое. Вскоре после выпуска библиотеки ADO компания Microsoft создала для нее расширение, называемое ActiveX Data Objects Extensions, или просто ADOX, и включающее большую часть функций DAO, которые не вошли в состав стандартной версии ADO, т.е. функции позволяющие работать с БД на низком уровне, т.е. программно создавать их, создавать таблицы в них, изменять их и т.д.). Под оптимизацией БД понимается следующее - программно создается еще одна база данных, с тем же набором таблиц и полей в них. В таблицых используются поля счетчики, поэтому в новой БД все счетчики сбрасываются в 0, поэтому получается что-то вроде реиндексации таблиц и их ключей.

Еще одна технология, которая используется в проекте это использование MS Word в качестве хранилища для экспортируемых тестов и для распечатки и сохранения паспорта и параметров самого теста. Это организуется через компоненты WordApplication и WordDocument вкладки Servers стандартной палитры компонентов Delphi. Сохраненные тесты содержат текст, таблицы и формулы (созданные через Редактор формул).

В проекте также есть возможность вводить и редактировать не только текст, но и формулы. Используется COM объект Microsoft Equation, который вызывается через универсальный компонент OleContainer. Этот компонент Delphi как раз и предназначен для того, чтобы вызывать и работать с установленными в системе приложениями, которые имеют COM интерфейсы.

Система автоматизированной оценки качества обучающих тестов Autotest -программное приложение, предназначенное для автоматизации разработки и выявления параметрических характеристик обучающих тестов.

Программное приложение устанавливается на сервер в локальной сети учреждения, доступ в неё имеют все преподаватели. При использовании системы в учреждении, необходим компьютерный класс с подключением к локальной сети. Минимальные системные требования к компьютеру: 1,8 ГГц, 256 Мг ОЗУ.

На сегодняшний день существует немало разработок в области оценки качества педагогических тестов и в каждой из разработок имеется свой подход к оценке качества тестовых материалов.

Так, например, в работе Пермякова О.Е. и Максимовой О.А. приведен пример системы комплексной оценки качества контролирующих тестовых материалов, которая состоит из четырех основных этапов:

1. Предварительная экспертиза качества тестовых материалов, целью которой является отбор авторского материала, соответствующего требованиям тестов.

2. Экспертное оценивание (внутренняя экспертиза) качества тестов, проводимое после составления первого варианта теста.

3. Тестологическая экспертиза, заключающаяся в проведении апробационного тестирования и расчета на основе его результатов статистических характеристик качества тестов и тестовых заданий.

4. Проведение комплексного оценивания тестовых заданий и тестов [4].

Как отмечают авторы, последний этап является самым трудоемким, так как в

процессе проведения комплексного оценивания качества обучающих тестов необходимо провести следующие процедуры:

1. Формирование сводной таблицы показателей качества тестовых материалов, полученных на предыдущих этапах экспертизы.

2. Построение комплексных показателей качества тестовых материалов.

3. Нормирование показателей качества тестовых материалов.

4. Определение доверительных интервалов комплексных оценок.

5. Формирование вербально-числовой шкалы качества тестовых материалов.

6. Формирование итогового заключения в виде рекомендаций:

по применению стандартизированных тестовых материалов для контроля качества учебных действий;

для авторов по корректировке и доработке тестовых материалов с указанием причины несоответствия к требованиям качества.

Проведение оценки качества тестов позволит улучшить качество тестовых материалов на этапе их разработки и сформировать банк стандартизированных тестовых материалов, что обеспечит образовательный процесс надежными и валидными тестовыми материалами [4].

В свою очередь, Окладникова С.В. [5] отмечает то, что подсистемы анализа качества тестовых материалов реализованы лишь у 30 % автоматизированных систем тестирования и как решение предлагает модель оценки качества читабельности тестовых материалов за счет расширения состава критериев с целью дальнейшего их использования при оценке качества тестовых материалов. В результате была разработана автоматизированная система тестирования с оценкой читабельности тестовых заданий и выводом комплексного показателя качества тестовых заданий.

В работе Сивицкого П.А. предложена комплексная методика оценки качества контролирующих тестовых материалов, которая включает в себя два этапа получения качественных характеристик. Первый этап - это определение качественных показателей отдельных заданий (уровень трудности, дифференцирующая способность, валидность, интеркорреляция, анализ распространения ответов учащимися по предложенным вариантам ответа, анализ коэффициента корреляции с тестовым баллом правильных ответов и неверных альтернатив), второй - определение характеристик всего теста в целом (валидность, надежность, уровень обученности) [6].

Автор подчеркнул, что хотя на сегодняшний день многие автоматизированные системы, осуществляющие оценку качества каких-либо педагогических объектов в образовании, находят массовое применение, так как каждая система позволяет решить большое число сложных и разнообразных задач из соответствующей предметной области, и особая роль в решении таких задач, как показывает опыт, отведена тестированию [6].

Проанализировав разработки данной области, следует отметить, что нами были выявлены следующие основные направления использования средств информационных технологий в области педагогического тестирования: автоматизация тестового контроля знаний учащихся; автоматизация конструирования тестовых материалов; автоматизация промежуточных процессов оценки качества тестовых материалов.

На основе проведенного нами анализа экспертных систем, используемых в сфере образования, была определена структура нашей педагогической экспертной системы как совокупность следующих компонентов и модулей (см. рис. 1).

В главном модуле оценки качества обучающих тестов осуществляется сопоставление значений параметров теста шкале критериев, отвечающих за валидность и надежность теста. При этом данные параметры подразделяются на две группы: первая группа - это параметры, отвечающие непосредственно за качество теста и вторая - это параметры, отвечающие за стратегию обучения. К первой группе

относятся такие параметры как: уровень альтернативности теста минимальный, уровень альтернативности теста максимальный, степень неравномерности теста; ко второй: уровень сложности теста максимальный; уровень сложности теста минимальный.

На основании второй группы параметров можно судить о том, для какого уровня подготовки учащихся может применяться тот или иной тест и насколько отличается по уровню трудности один обучающий тест от другого. В базе тестов они располагаются в порядке возрастания минимального уровня сложности, а так как уровень сложности теста отвечает за адаптацию теста к уровню подготовленности учащегося, то по численному значению данного параметра можно судить о пригодности теста для использования учащимися данного уровня подготовленности. В случае успешного прохождения теста начального уровня сложности можно переходить к следующему уровню и т.д. Таким образом, педагог, ориентируясь по данным показателям, может выстраивать индивидуальную стратегию обучения для каждого учащегося.

В свою очередь каждый тест, входящий в базу данных системы состоит из заданий, которые можно разделить на два типа. Задания первого типа направлены на развитие умений думать, анализировать задачу, применять знания, то есть на развитие аналитико-синтетических операций. Задания второго типа направлены на выявление и устранение пробелов в знаниях. Можно сказать, что задания второго типа реализуют стандартную контролирующую функцию. Тем самым, без заданий первого типа тест перестает быть обучающим, он становится традиционным тестом контроля знаний, умений, навыков. Однако и без заданий второго типа обучающий тест также, по-видимому, существовать не может. Ведь любой тест в качестве основы должен содержать решение некоторой задачи, имеющей определенный ответ, и, следовательно, от учащегося требуется выполнение действий, представляющих собой применение знаний в конкретной ситуации. Поэтому выявление характеристики, не только учитывающей структуру учебного процесса, но и отвечающей в обучающих тестах за направленность их на обучение - есть необходимое условие для определения качества обучающего теста как средства для обучения.

В качестве параметра, численно описывающего данную характеристику теста - направленность на обучение - естественно взять отношение числа вопросов первого типа к общему числу вопросов в тесте. Границы изменения этого параметра, дающие заданный уровень качества теста, определялись экспериментальным путем и были установлены от 0,3 до 0,6.

Необходимо также определить критерий, по которому задание теста будет квалифицироваться как задание первого или второго типа. Этот вопрос был рассмотрен в работе Н.А. Сеногноевой. По ее мнению к заданиям первого типа относятся вопросы, используемые на II и III этапе формирования умственных действий (по теории Гальперина [7]), а вопросы, используемые на IV, V и VI этапах -к контролирующему типу заданий.

Таким образом, благодаря разработанной нами автоматизированной системе, учителю достаточно удобно контролировать процесс обучения каждого учащегося и выстраивать индивидуальную стратегию обучения.

Анализ и оценка разработки

Применение описанного выше программного обеспечения позволяет провести курс обучения учителей математики в области оценки качества обучающих тестов на базе автоматизированной системы. В рамках такого курса предполагается обучение посредством проверки теоретических знаний в виде тестирования и контроля практических навыков по разработке качественных обучающих тестов, как с использованием, так и без автоматизированной системы.

Для начала работы с автоматизированной системой необходимо зарегистрироваться. В данной форме заполняется ФИО преподавателя и пароль для входа в систему, также могут быть заполнены дополнительные параметры пользователя.

При выборе режима редактирования, появляется такая же форма, но с уже заполненными данными. Администратор меняет требуемые параметры пользователя и сохраняет изменения. Также можно сменить пароль у пользователя.

При удалении пользователя появляется форма выбора пользователя. Перед удалением система спрашивает о необходимости удалить также и тесты этого пользователя. Если тесты требуется сохранить, то система удалить только пользователя, а его тесты будут видны остальным через список тестов в пункте "Безымянные", которые в последствии администратором могут быть закреплены за существующими пользователями.

Пункт "Настройка пути" нужен для того, чтобы настраивать путь до базы данных системы. В случае работы администратора в системе, возможна смена пути для переноса базы данных в другое место.

После этого система готова к использованию и дальнейшие действия по содержательному наполнению выполняются через визуальный интерфейс.

Начинать работу с системой автоматизированной оценки качества обучающих тестов

Запуск программы осуществляется через главный файл, содержащий процедуру вызова компонентов системы.

Создание теста начинается с выбора пункта меню «Тест»->«Создать». При этом откроется форма для ввода первоначальных данных теста (рис2).

II . ■■ I и__ 11 Данные тестя ■■ ,м" 11....... х *

Предмет Количество пунктов б тесте

Алгебра [ |й

Тема

|Квадратные уравнения

Вид задачи

Задача Просто текст

У Формула или формула с текстом

Решить уравнение х2 - 2 х - 3 = О

Рис.2 Форма ввода данных теста

Здесь вводится, либо выбирается предмет по которому будет проводиться тестирование. Задается количество пунктов в тесте. Вводится тема тестирования и ставится задача, которую требуется решить. Задача может быть представлена в виде текста или формулы (с текстом или без), это переключение производится в ограниченном поле «Вид задачи». При выборе «Формула или формула с текстом» форма ввода первоначальных данных немного видоизменится.

Для того, чтобы ввести формулу нужно щелкнуть правой кнопкой мыши по «посеревшей» области ввода задачи и выбрать открыть, чтобы перейти в стандартный редактор формул, поставляемый вместе с пакетом программ Microsoft Office.

После набора формулы или формулы с текстом выбирается пункт меню "Файл"->"Возврат в". После этого введенную нами формулу можно будет наблюдать в окне "Данные теста".

После заполнения форму ввод первоначальных данных открывается

следующая форма. Форма ввода данных самого теста (см. рис.3).

-Ч

Предмет Алгебра

Тема Квадратные уравнения

Р еш1 иь ур а внеш 1е: х2 - 2 х - 3 = 0

Количество пунктов 8 П Т 2 Т 3 Т 4 Т 5 Т 6 Т 7 Т 8 1

Этап обучения Наименование пункта ^ Текст/Формула

" ¡Решение квадратного уравнения вы начнете с: 1

Кол-во вариантов Текст вариантов |3 |-| Переход на

1-» [нахождения корней СЗ Текст/ Формула 1

[нахождения дискриминанта Текст/Формула

¡использования формулы корней приведенного квадратного уравнения п Текст/Формула

Сохранить тест Характеристики Паспорт теста Отмена

Рис.3 Форма ввода данных теста

Количество вкладок на форме соответствует числе обозначенных пунктов теста, поэтому достаточно легко можно перемещаться по пунктам теста. На данной форме выбираются:

- этап обучения, соответствующий данному пункту теста;

- количество вариантов ответа на вопрос пункта;

- переходы на другие пункты теста в зависимости от правильности ответа.

Можно также в качестве вопроса пункта и/или варианта ответа ввести

формулу (с текстом или без). Это переключение между формулой и текстом осуществляется путем выбора надписи «Текст/Формула» напротив нужного варианта или находящейся над наименованием пункта.

После ввода данных теста можно либо перейти на паспорт теста (нажав кнопку «Паспорт теста»), либо сохранить введенный тест (нажав кнопку «Сохранить тест»). При выборе кнопки «Паспорт теста» отобразится форма, которая отображает все необходимые характеристики обучающего теста, по которым можно судить о его целесообразности, правильности, легкости понимания.

Для чего нужны данные характеристики и как рассчитываются, можно прочитать в соответствующих пунктах данного файла помощи.

При сохранении происходит проверка характеристик введенного теста с эталоном (см.рис.4). Такие проверки происходят при каждом нажатии на кнопку "Сохранить тест", т.е. в принципе тест может быть еще не завершенным, но сохранится в любом случае, чтобы позже можно было продолжить работу над ним.

■ Проверка параметров теста ■

Наименование критерия

Интервал значений Текущее значение

Минимальный уровень свернутости теста от 1 до А 3

Максимальный уровень свернутости теста от 1 до А 3

Среднее значение уровня свернутости теста от 1 до А 3

Степень равномерности теста от 0 до 1 0

Ширина теста от 1 до А 1

Уровень альтернативности теста минимальный от 0,3 до 0,5 0,3

Уровень альтернативности теста максимальный от 0,3 до 0,5 0,5

Степень разветвленности теста от г до А 2

Уровень сложности теста максимальный от 1 до А 3

Уровень сложности теста минимальный от 1 до А 3

Направленность на обучение от 0,3 до 0,6 0,43

Тест сохранен

Балльная оценка качества: В=5 Параметр качества теста: К=78

Все характеристики теста удовлетворяют требованиям.

Можно получить дополнительную информацию, щелкнув по соответствующему пункту.

I Рекомендации [ Рекомендации [ Рекомендации [ Рекомендации [ Рекомендации [ Рекомендации [ Рекомендации (^екомёнда^Г [ Рекомендации [ Рекомендации [ Рекомендации

Закрыть

Рис.4 Проверка параметров теста

На форме зеленым цветом отмечены характеристики теста удовлетворяющие условиям эталонных значений, красным соответственно отмечаются значения неудовлетворяющие условиям. Напротив значений помеченных красным цветом активируются кнопки «Рекомендации», нажав на которые можно получить совет по исправлению теста. Если же навести курсор на одно из наименований критерия, то курсор изменит свою форму, после чего следует сделать один щелчок левой кнопкой мыши и система даст дополнительные сведения по данному критерию (в зависимости от значения критерия дополнительная информация может менять свое содержание).

Внизу формы приводятся общие выводы по качеству теста.

Следует отметить, что программа предъявляет довольно жесткие требования к вводимым тестам и до тех пор, пока тест не будет удовлетворять эталонным значениям, он не будет помечен как качественный и не будет доступен на рабочих местах учеников.

После прохождения повторного анализа отредактированных данных обучающего теста и получения соответствия параметров обучающего теста установленным критериям качества, выводится на экран расширенные данные теста со всеми промежуточными вычислениями и результатами в виде итоговой формы. Одно из удобств системы - это возможность прохождения теста не покидая среды его разработки, таким образом, разработчик теста может выявить неточности, допущенные при разработке теста и своевременно их устранить.

Заключение

1. Проведенный анализ научно-методических исследований в области современного состояния, перспектив разработки и использования средств

оценивания качества педагогических тестов, реализованных на базе информационных технологий показал, что основная часть разработок в данной области направлена на осуществление автоматизации процесса некоторых промежуточных задач процедуры оценки качества, основанных преимущественно на обработке апостериорных данных, полученных после проведения апробации тестовых материалов на испытуемых. Установлено, что в области обучающего тестирования подобные системы оценки пока не разрабатывались. Выявлена необходимость разработки автоматизированной системы оценки качества обучающих тестов, назначением которой является обеспечение автоматизации деятельности по сбору, обработке и использованию информации в области оценки качества обучающих тестов.

2. Обоснован состав параметров характеристик качества обучающего теста, обоснованы и сформулированы требования к значениям параметров качества обучающих тестов. Для понятий надежность и валидность сделано уточнение их содержания применительно к обучающим тестам и обоснованы соответствующие параметры, отвечающие за уровень и характер усвоения учащимися изучаемого материала: уровень сложности, степень равномерности, уровень альтернативности; а также группа параметров, характеризующих нормативность обучающего теста: уровень свернутости теста, длина, ширина, степень разветвленности и степень направленности теста на обучение. Разработаны требования к значениям этих параметров. В результате проведенного анализа научных исследований в области педагогического тестирования нами были определены содержание понятий «обучающий тест» и «оценка качества обучающего теста».

3. Обоснованы требования к структуре автоматизированной системы оценки качества обучающих тестов, обоснованы требования к содержательному наполнению модулей автоматизированной системы оценки качества обучающих тестов. Содержательной базой автоматизированной системы, на основе которой она создана, являются следующие источники: опубликованные издания, результаты нашего диссертационного исследования, информация экспертов в данной области. Обоснованы требования к функционированию системы, обеспечивающей реализацию следующих действий: ввод и вывод передача, прием, необходимой информации от пользователей и администратора; обеспечение вариативности в наглядном представлении информации; методическая поддержка в области использования автоматизированной системы; назначение прав доступа к функциям и ресурсам. Разработана программная реализация автоматизированной системы оценки качества обучающих тестов, основанная на модульной структуре и функционирующая на базе объектно-ориентированного языка программирования.

4. Разработана структура и содержание курса обучения учителей математики в области автоматизации оценки качества обучающих тестов, состоящая из следующих разделов: основные теоретические подходы к рассмотрению обучающих тестов; параметры качества обучающих тестов и их определение; интерпретация результатов оценки качества обучающих тестов и их анализ для эффективного использования тестов в образовательном процессе; методика работы с автоматизированной системой оценки качества; разработка и оценка качества обучающих тестов на базе автоматизированной системы.

5. Разработаны методические рекомендации по применению автоматизированной системы оценки качества обучающих тестов, содержащие: рекомендации по содержательному наполнению обучающих тестов и структурированию заданий в тесте, рекомендации по использованию обучающего теста в зависимости от значений параметров качества, а также описание направлений корректировки разработанных обучающих тестов.

Литература

1. Кокшарова, Е.А. Адаптация существующих понятий качества теста к обучающим тестам различных видов / Е. А. Кокшарова // Стандарты и мониторинг в образовании. - 2009. - №3. - Москва: 2009. - С. 26 - 29.

2. Сеногноева Наталия Анатольевна Технология конструирования тестов учебной деятельности как средства оценивания результатов обучения: Дис... д-ра пед. наук. - Киров: ВГГУ, 2006. - 403 с.

3. Волков Петр Дмитриевич Разработка и использование сетевых информационных ресурсов образовательного назначения (на примере подготовки в рамках курса «Сетевые информационные системы в образовании») Дис...к.п.н. 13.00.02 Москва, 2007, 159с.

4. Пермяков, О.Е., Максимова, О.А.. Формализация экспертного оценивания качества тестовых материалов с позиций системного подхода.// Вестник педагогических инноваций. № 3 (7). - Новосибирск, 2006. - 157 - 178 с.

5. Окладникова Светлана Владимировна Модели оценки качества тестовых материалов на этапе разработки : автореферат дис. ... кандидата технических наук : 05.13.10 Москва, 2008

6. Сивицкий, Павел Александрович «Методы оценки качества контролирующих материалов и повышение эффективности применения в адаптивных обучающих системах»: Автореферат на соискание ученой степени канд.тех.наук: 05.13.01 - системный анализ управление и обработка информации / П.А. Сивицкий. - Тула, 2006, 19 с.

7. Гальперин П.Я., Талызина Н.Ф. Современное состояние теории поэтапного формирования умственных действий. - Вестник МГУ, серия 14. Психология. -М.,1979, № 4. - с. 54-63.