CC BY
62
УДК 373
ББК 74.03
Кокшарова Елена Александровна аспирант г. Нижний Тагил Koksharova Elena Alexandrovna
Post-graduate Nizhny Tagil
Педагогическая экспертная система как средство оценки качества обучающих тестов Pedagogic Expert System as a Method of Quality Assessment of Learning Tests
Оценка качества обучающего тестирования на сегодняшний день является одной из актуальных и своевременных проблем. В статье предлагается подход к решению данного вопроса на основе применения информационных технологий в виде педагогической экспертной системы.
The quality rating of teaching testing is one of the pressing and prompt problems nowadays. The article describes the method of its solving on the basis of the use of information technologies in the form ofpedagogical expert system.
Ключевые слова: обучающий тест, критерий качества теста, педагогическая экспертная система.
Key words: teaching test, pedagogical expert system.
Внедрение тестирования в педагогическую практику принимает в нашей стране все большие масштабы: возрастает роль централизованного тестирования в образовательном пространстве нашей страны; становится возможным получение достоверной информации о достижении базового уровня владения учащимися учебных дисциплин, определение степени усвоения отдельных элементов знаний, выявление общих и индивидуальных пробелов в знаниях и т. д. [6, 5]. Все это привело к тому, что тесты сегодня рассматриваются как один из основных инструментов контроля качества образования.
В связи с этим в последнее время стали уделять внимание не только со-
79 Вестник ЧГПУ 12'2008
ставлению тестов, имеющих своим конечным результатом проверку знаний учащихся, а непосредственно тестам как отражению процесса получения учащимися знаний (обучающее тестирование).
На сегодняшний день имеется весьма широкий спектр разноплановых исследований, посвященных проблеме тестирования. Среди них фундаментальные исследования В. С. Аванесова, Т. А. Ильиной, А. Н. Майорова, М. Б. Че-лышковой, В. А. Хлебникова, Н. А. Сеногноевой и др.
А. Н. Майоров отмечает тот факт, что требования к тестам как измерительному инструменту обязательно содержат требования к расчету показателей качества тестов: валидности и надежности [4, 203]. Согласно В. С. Аванесову, качество любого теста также сводится к определению меры его надежности и вопросов валидности полученных результатов. По его мнению, как и объективным, качественным можно назвать только тот метод измерения, который обоснован научно и способен дать требуемые результаты [1, 187].
Однако основная масса работ, посвященных данной проблеме, относится к тестам контроля знаний. Что касается качества обучающих тестов, то работа в этом направлении находится на начальной стадии. Поэтому применительно к обучающим тестам, которые в настоящее время находят все большее применение, проблема их качества, а именно определение валидности и надежности, стоит особенно остро. Она вполне может быть разрешена посредством внедрения информационных технологий в процедуру оценки качества обучающих тестов.
Возможностям, проблемам создания и использования средств информационных технологий в образовании посвящены работы Ю. К. Бабанского, В. П. Беспалько, Б. С. Гершунского, Е. И. Машбица, И. В. Роберт, Н. Ф. Талызиной, Д. Ш. Матроса и др. В частности, в этих работах выявлено, что применение информационных технологий в вопросе качественной оценки обучающих тестов оправдано следующим.
Во-первых, наиболее распространенные на современном этапе формы оценки качества обучающих тестов не отвечают условиям воспроизводимости и
сравнимости результатов, так как основываются на субъективном мнении одного или нескольких преподавателей-экспертов. На оценку качества отрицательно влияют такие факторы, как снисхождение, антипатия, недооценка или переоценка со стороны преподавателя и др. Следовательно, полученная оценка качества обучающего теста не может рассматриваться в качестве объективной.
Во-вторых, имеют место существенные проблемы при проведении массовых испытательных мероприятий, связанные с большим объемом информации, которую требуется подготовить, обработать и проанализировать за относительно короткий промежуток времени.
В-третьих, серьезные затруднения вызывает задача выбора форм представления и уровня детализации итоговой информации, обеспечивающая эффективность ее анализа и принятия оптимальных решений на соответствующем уровне в зависимости от поставленных целей.
Эффективный путь - это грамотно построенная экспертная система оценки качества обучающего теста, сопровождаемая полуинтерактивным диалогом с пользователем и разветвленной системой помощи, не несущая субъективной окраски и применяемая единообразно ко всем оцениваемым обучающим тестам.
Экспертные системы - это прикладные системы искусственного интеллекта, в которых база знаний представляет собой формализованные эмпирические знания высококвалифицированных специалистов (экспертов) в какой-либо узкой предметной области. Экспертные системы предназначены для замены специалистов в решении задач данной области, смягчая проблему недостаточного количества экспертов, их недостаточной оперативности, а также необходимости работы в опасных (вредных) для них условиях [7, 9].
Экспертные системы в образовании находят массовое применение, так как каждая экспертная система позволяет решить неограниченное число сложных для педагога задач из соответствующей предметной области. Об этом свидетельствует перечень уже решаемых экспертными системами классов задач: интерпретация, диагностика, предсказание, проектирование, планирование,
управление, наблюдение, исправление, - особая роль в решении таких задач, как показывает опыт, отведена тестированию [3, 87].
Вопросы построения и использования экспертных систем рассматривались в работах Л. Н. Бабанина, П. Л. Брусиловского, Ю. И. Лобанова, Д. В. Смолина, В. В. Кондратьева, З. О. Джалиашвили, В. С. Кулабухова, С. В. Михальчен-ко, Р. А. Олейникова, А. В. Пономаренко и др.
Таким образом, следует констатировать следующее противоречие между потребностью использования в учебном процессе обучающих тестов и недостаточной разработанностью методов качественной оценки обучающих тестов, что, в частности, влечет необъективность их оценки. Необходимо отметить и технологический аспект указанной проблемы - трудоемкость процедуры оценки качества обучающих тестов, и отсутствие удобных средств. Все вышесказанное и определяет актуальность проблемы исследования.
Одним из путей преодоления выявленного противоречия является создание такой педагогической экспертной системы, которая позволяет осуществлять качественную оценку обучающих тестов.
Приведенное нами выше определение ЭС взято достаточно широко, поэтому возникает необходимость ввести более конкретное (узкое) понятие - педагогическая экспертная система (ПЭС). Поэтому нами предложена следующая конкретизация указанного понятия в виде следующего определения.
Педагогическая экспертная система - это интеллектуальная система, в которую включены знания специалистов о некоторой конкретной педагогической области и которая в пределах данной области способна принимать верные, с точки зрения эксперта, решения. В дальнейшем для краткости такие решения мы будем называть экспертно верными.
Наше исследование заключается в обосновании необходимой и достаточной системы параметров, характеризующей качество обучающих тестов, и разработке педагогической экспертной системы, определяющей параметрические характеристики влияющих на качество теста, для обеспечения качественной оценки обучающих тестов.
В работе Н. А. Сеногноевой [6, 100] были выявлены параметры обучающих тестов, влияющих на их качество - валидность и надежность. Вот эти параметры:
- уровень сложности минимальный - это минимальное значение из уровней сложности путей теста;
- уровень сложности максимальный - это максимальное значение из уровней сложности путей теста;
- степень равномерности - это разность между максимальным и минимальным уровнями свернутости теста;
- уровень альтернативности минимальный - это минимальное значение из отношений числа верных альтернатив действия к их общему числу в этом действии;
- уровень альтернативности максимальный - это максимальное значение из отношений числа верных альтернатив действия к их общему числу в этом действии.
Параметры обучающих тестов, влияющих на валидность
Уровень сложности минимальный
Степень неравномерности Не более 1
Уровень альтернативности минимальный Не менее 0,3
Параметры обучающих тестов, влияющих на надежность
Уровень сложности максимальный
Степень неравномерности Не более 1
Уровень альтернативности максимальный
Ниже приведем примеры, каким образом отражается влияние данных параметров на качестве обучающего теста:
Степень неравномерности теста. Она влияет и на валидность, и на надежность. Известно, что в обучающий тест естественно включать действия лишь одной формы: либо материализованной, либо громко-речевой, либо умственной. По определению, обучающий тест предполагает контроль уровня, на котором находится учащийся при прохождении теста. И невозможно будет точно определить этот уровень, если тест неравномерный. Следовательно, степень неравномерности, большая 1, будет отрицательно сказываться на валидности [6, 104].
Высокая степень неравномерности также будет отрицательно сказываться на надежности. Учащемуся трудно будет переключаться с одного уровня на другой при выполнении заданий обучающего теста, при повторном тестировании при таком «переключении» ответ может быть непредсказуемым. И, в связи с этим, результат выполнения теста будет неустойчив [6, 104-105].
Уровень альтернативности теста максимальный оказывает влияние на надежность. Максимальный уровень альтернативности является показателем наивысшей вероятности угадывания правильного ответа в данном тесте. Если этот показатель, например, равен 0,5, то можно говорить о высокой вероятности угадывания верного ответа и, следовательно, низкой надежности. Если же этот показатель, например, равен 0,3, то вероятность угадывания верных ответов уже ниже, а надежность - выше. Таким образом, чем ниже показатель минимального уровня альтернативности, тем выше надежность. Будем считать, что минимальный уровень альтернативности должен быть равен не менее 0,3 [6, 105].
Однако на сегодняшний день методики проверки качества обучающих тестов имеют, как правило, следующие недостатки:
- отсутствие гарантии исключения субъективизма;
- наличие случайных, несистематических ошибок измерений;
- сложность обеспечения режима секретности хранения тестовых данных и защиты их от подлога;
- отсутствие в регионах страны достаточного количества кадров гарантированно высокой квалификации и способных гарантированно беспристрастно и единообразно оценить качество большого количества обучающих тестов;
- отсутствие чётких математических критериев оценки;
- сложность ведения математической обработки тестов;
- высокая себестоимость [5, 14].
Указанные недостатки вполне могут быть преодолены за счет внедрения информационных технологий. Наиболее объективная и качественная технология оценки качества тестов, по мнению многих авторов, - автоматизированная, и, тем самым, единообразная, не зависящая от каких-либо субъективных влияний.
Однако пока это - только пожелание, подтвержденное теоретически. Сколько-нибудь работоспособной системы автоматизированной оценки качества обучающих тестов в настоящее время нет.
Следовательно, реализация педагогической экспертной системы, осуществляющей качественную оценку обучающих тестов и осуществляющей их отбор для процесса обучения, позволит повысить качество используемых в образовании обучающих тестов, а, следовательно, их эффективность.
Библиографический список
1. Аванесов, В. С. Композиция тестовых заданий [Текст] / В. С. Аванесов.
- М. : Адепт, 1998. - 217 с.
2. Информатизация общего среднего образования : научно-методическое пособие [Текст] / под ред. Д. Ш. Матроса. - М. : Педагогическое общество России, 2004. - 384 с.
3. Кокшарова, Е. А. Экспертная система как средство повышения качества образовательного процесса [Текст] // Искусственный интеллект в XXI веке и решения в условиях неопределенности : Сб. статей V Всеросс. науч.-технич. конф. - Пенза, 2007. - С. 86-87.
4. Майоров, А. Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования) [Текст] / А. Н. Майоров. - М. : Народное образование, 2000. - 352 с.
5. Морев, И. А. Образовательные информационные технологии. Ч. 3. : Дистанционное обучение [Текст] : учебное пособие. - Владивосток : Изд-во Дальневост. ун-та, 2004. - 150 с.
6. Сеногноева, Н. А. Обучающие тесты : Инновационная педагогическая технология [Текст] : монография / Н. А. Сеногноева. - Нижний Тагил : Нижнетагильская государственная социально - педагогическая академия, 2005.
- 155 с.
7. Экспертные системы. Принципы работы и примеры [Текст] / под ред. Р. Форсайта. - М. : Радио и связь, 1987. - 224 с., ил.
Bibliography
1. Avanesov, V. S. Composition of test assignments [Text] / V. S. Avanesov. -Moscow : Adept, 1998. - 217 p.
2. Informatization of the secondary education : research and methodical textbook [Text] / D. Sh. Matros (Ed.). - Moscow : Pedagogical Association of Russia, 2004. - 384 p.
3. Koksharova, E. A. Expert system as a method of raising the quality of educational process [Text] // Artificial intelligence in XXI century and the decisions in the conditions of uncertainty : proceedings of V All-Russian scientific and technical conference. - Penza, 2007. - P. 86-87.
4. Mayorov, A. N. Theory and practice of making tests for the educational system. (How to choose, make and use tests for educational purposes) [Text] / A. N. Mayorov. - Moscow : National education, 2000. - 352 p.
5. Morev, I. A. Educational informational technologies. Part 3. : Distant education [Text] : tutorial. - Vladivostok : Publishing House of the Far East University, 2004. - 150 p.
6. Senognoeva, N. A. Learning tests. Innovational pedagogical technology [Text] : monograph / N. A. Senognoeva. - Nizhny Tagil : Nizhnetagilskaya State Social Teacher's Training Academy, 2005. - 155 p.
7. Expert system. Principles of work and systems [Text] / P. Forsyth (Ed). -Moscow : Radio and communication, 1987. - 224 p.
