CC BY
45
4. Гальперин П.Я. Лекции по психологии. - М.: Книжный дом «Университет»: Высшая школа, 2002. - 400 с.
5. Зеер Э.Ф., Павлова А.М., Сыманюк Э.Э. Модернизация профессионального образования: компе-тенгностный подход: Учебное пособие. - М.: Московский психолого-социальный институт, 2005. - 216 с.
6. Кузьменко С.А. Практическая направленность обучения в Нижегородской академии МВД России: анализ, проблемы и пути решения. Материалы конференции: «Практическая направленность обучения в Нижегородской академии МВД России». - Нижний Новгород: НА МВД России, 2005. - С. 10-21.
АНАЛИЗ ТЕСТОВЫХ ЗАДАНИЙ ПО ИНФОРМАТИКЕ И ПРОГНОЗИРОВАНИЕ УСПЕВАЕМОСТИ УЧАЩИХСЯ НА ОСНОВЕ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ И ТЕЗАУРУСНОГО МЕТОДА
Т.А. Кувалдина д.пед. н., доц., проф. каф. Теории и методики обучения физике и информатике Тел.: (8442) 30-28-82, E-mail: [email protected], [email protected] С.В. Краморов, магистрант физического факультета Волгоградский государственный педагогический университет
http://www.vspu.ru
Examination systems' designing questions are discussed. We analyse the methods in terms of a network modeling (Petri nets), knowledge representation (information and semantic simulation of knowledge base), thesaurus and first used in combination with artificial neural networks. Thesaurus is the basic aid which let concept structures be efficiently evinced.
Нами сделана постановка задачи определения соответствия/несоответствия учебного тезауруса как модели системы понятий учебного курса, системы тестовых заданий и индивидуального тезауруса как модели знаний учащегося после тестирования. Для этого нами использованы методы представления знаний (информационное и
семантическое моделирование базы знаний), тезаурус-ный метод, сетевое моделирование на базе сетей Петри и — впервые в сочетании с названными методами — рассмотрена возможность использования аппарата искусственных
Как показало наше исследование, для того, чтобы обеспечить проверку и оценку качества знаний учащихся в соответствии с современными требованиями (мониторинг успешности обучения, диагностика способностей и др.), необходимо, во-первых, выявить систему понятий учебного курса —
инвариант относительно любой программы образовательного учреждения, во-вторых, построить формализованную модель системы понятий, названную нами «учебный тезаурус». При этом следует уточнить определения основных понятий, составить деск-рипторные статьи, словарь терминов (глоссарий). Для выявления семантических и логических связей между понятиями и терминами наряду с тезаурусным методом мы использовали сетевое моделирование (сети Петри). Укажем, что сетевые модели представления знаний предназначены именно для систематизации, синтеза семантической информации об объекте на формальнологической основе, что дает возможность эффективной разработки обучающих и тестовых систем.
В свою очередь система тестовых заданий должна быть построена на основе системы понятий с учетом логических взаимосвязей между основными понятиями учебного курса. Количество тестовых заданий, на наш взгляд, должно быть минимизировано с тем, чтобы в идеале представлять собой некий инвариант, к которому можно составлять дополнения по основным разделам общеобразовательного курса информатики («Компьютер», «Информационные техноло-
нейронных сетей [1].
гии» как самые насыщенные профессиональной терминологией). Эти дополнения проводятся за счет подключения к системе основных понятий словаря терминов. Ведущим критерием отбора содержания тестовых заданий нам представляется сложность структуры ключевого понятия (дескриптора), которое определяет время усвоения той или иной темы и задает «глубину» учебного курса.
В настоящее время критерии отбора содержания тестовых заданий по информатике еще не сформулированы. Применение этих критериев позволило бы объективно и адекватно осуществить проверку и оценку качества подготовки учащихся. Если в качестве ведущего критерия (системы критериев) выбрать уровень усвоения (см. «Требования к уровню подготовки выпускников основной школы по информатике», например: «Ученик должен знать/понимать ... назначение и функции операционных систем»), то может оказаться, что некоторые понятия не были усвоены учащимися просто потому, что на их формирование в рамках того раздела (темы), где они изучаются, выделено недостаточно учебного времени, а в других разделах (темах) эти понятия не задействованы из-за того, что при составлении программы курса не выявлены их связи. В информатике как учебном курсе с не вполне устоявшейся структурой целесообразно проводить проверку содержания с точки зрения оптимизации внутрипредметных связей, уточнения определений понятий, особенно дескрипторов (комплексных понятий, составляющих смысловое «ядро» учебного курса). На примерах систематизации понятий возможно эффективное установление межпредметных связей (круга понятий, принадлежащих двум и более образовательным областям).
Таким образом, разработка систем тестовых заданий должна опираться на тщательный анализ содержания образования, только в этом случае процедура тестирования будет органично входить в образовательный процесс школы и вуза вместе с другими формами проверки знаний и оценки качества подготовки учащихся. В ходе нашего исследования показано, что разработка систем тестовых заданий, которые будут обладать свойствами валидности и репрезентативности, невозможна без определения системы понятий учебного курса и составления учебного тезауруса [2].
Как показал анализ публикаций по проблеме предметного тестирования, а также
программных средств проверки и оценки знаний учащихся по информатике, большинство авторов занимаются внедрением процедуры тестирования в учебный процесс школы и вуза или же разработкой и применением тестовых оболочек (программных средств, позволяющих как создавать электронные версии систем тестовых заданий, так и проводить тестирование). При этом проблема отбора содержания тестовых заданий и формирования систем тестовых заданий (СТЗ) остается в глубокой тени. В области разработки тестовых оболочек используют различные средства и технологии. На их основе реализованы интересные решения, которые могут претендовать на дальнейшее развитие и применение в более широких масштабах. Отметим следующее. Несмотря на то, что концепция автоматизированного контроля знаний и умений насчитывает не один десяток лет, современные авторы
предлагают самые разные названия для обозначения тестовых оболочек: системы контроля знаний, системы компьютерного педагогического тестирования, компьютерные системы для проверки знаний студентов и школьников, инструментальные системы тестирования, инструментальные интеллектуальные программные системы [3].
В ходе исследования нами составлен обзор тестовых систем (ТС) универсального характера, подходящих как для вузовского, так и для школьного обучения; проведен анализ интерфейса выбранных ТС: а) с точки зрения организации базы данных тестовых заданий; б) с точки зрения результатов тестирования; определены возможности применения ТС для тематического и итогового контроля знаний учащихся [4]. Объектом исследования является тестовая система как программно-методический комплекс, включающий базу данных тестовых заданий и программную оболочку для реализации методических сценариев обучения/ тестирования.
На наш взгляд, при проведении проверки и оценки качества подготовки учащихся необходимы инструменты (технологии), позволяющие, с одной стороны, выявить структуру знаний (учебных элементов, эле-
ментов учебной деятельности), формируемую в рамках того или иного учебного курса, и с другой стороны, представить эту структуру в виде, удобном для оценки и итоговой аттестации. Одним из наиболее распространенных способов представления подобных структур является матрица, в строках которой располагают понятия (учебные элементы), а в столбцах — уровни усвоения. Такое представление структуры знаний не всегда удобно, так как при расширении списка понятий матрица теряет наглядность, а при минимизации списка возможна потеря репрезентативности оценки качества подготовки учащихся. Очевидно, что представление структуры знаний в виде сетевой модели обладает в таком случае рядом преимуществ, в том числе возможностью деления системы понятий на части (группы взаимосвязанных понятий) без потерь наглядности и репрезентативности за счет применения формальных методов при построении модели системы понятий учебного курса.
Нами проведено сравнение различных видов представления знаний (учебных элементов, элементов учебной деятельности) в плане их использования для описания результатов проверки и оценки результатов обучения. В частности, нами разработана и опробована система электронного рейтинга, позволяющая достаточно эффективно представить результаты обучения на основе предметных (содержательных) характеристик системы тестовых заданий [4]. Под системой электронного рейтинга мы понимаем программное средство, позволяющее осуществлять ввод, редактирование и вывод на печать результатов обучения студентов, в том числе полученных в ходе тестирования, при выполнении контрольных и лабораторных работ, практических и творческих заданий и др. В качестве простейших требований, которые должны быть учтены при разработке системы электронного рейтинга как средства визуализации результатов обучения, укажем следующие: единообразный и лаконичный интерфейс; возможность ввода и вывода результатов, полученных в рамках применения различных форм и методов проверки и оценки качества подготовки учащихся (назовем это технической универсальностью); надежная защита от несанкционированного доступа в сочетании с возможностью быстрого просмотра банка данных результатов тестирования в зависимости от категории пользователя.
Отметим, что ключевой компонент в разработке нового инструментария для эффективной оценки качества подготовки учащихся — это система тестовых заданий, охватывающая систему понятий учебного курса. Как известно, наиболее распространенными являются тестовые задания закрытого типа, хотя типология форм заданий ЕГЭ предусматривает и другие вариации. В методике обучения информатике еще не реализованы системы тестовых заданий, которые имели бы научное обоснование с методической точки зрения и были бы технологически разрешимы. В настоящее время, когда еще не установлены технические, технологические и терминологические стандарты, описывающие процедуру проверки и оценки качества подготовки учащихся, наиболее рациональными представляются два варианта обработки результатов тестирования. Во-первых, это сочетание бланочного тестирования с ручным подсчетом количества правильных и неправильных ответов по темам и/или разделам учебного курса с последующим вводом определенных баллов, их автоматической обработкой по установленной формуле и выводом на печать. Во-вторых, это компьютерное тестирование с автоматической обработкой ответов (правильный/неправильный), автоматическим начислением баллов по определенной формуле, выводом на печать результатов тестирования каждого студента, группы и курса в целом. В обоих случаях должна быть возможность сортировки массива учащихся по любому из полей (тем, разделов, начисленной сумме баллов, фамилии).
Для реализации обоих вариантов нами разработаны компьютерные программы обработки результатов тестирования (первый вариант — две версии в Delphi и Excel, второй — простая тестовая система с использованием VB Script в среде Excel), составляющие основу системы электронного рейтинга. Как оказалось, вполне достаточно возможностей, которые предоставляют готовые программные пакеты, и не обязательно использовать компиляторы для решения подобных задач. Хотя разработанная тестовая система дает возможность только закрытого тестирования (с выбором ответов из числа предложенных), есть отличительные особенности, благодаря которым эту систему очень удобно применять в анализе результатов тестирования. Во-первых, информация о тестируемых со всеми результатами ответов сохраняется в базе данных. Во-вторых,
база тестовых заданий хранится в отдельном файле, а значит, возможен случайный выбор тестовых заданий или быстрое изменение текущих на другие. В-третьих, тест можно отредактировать «на лету» прямо в самой оболочке и изменить соответствующий файл с тестовыми заданиями. В-четвертых, тест остается в должной степени защищенным, а большая база тестовых заданий обеспечивает разные варианты заданий, используемых в одном сеансе тестирования для каждой группы учащихся. Такая тестовая система предоставляет преподавателю подробную информацию о потоке тестируемых учащихся в целом (рейтинговые таблицы) и в частном (форма анализа ответа, которая может быть распечатана и выдана каждому студенту). Преподаватель имеет возможность проводить экспресс-анализ результатов тестирования и самих тестовых заданий, а также выступать в роли консультанта.
Кратко опишем результаты внедрения в учебный процесс Волгоградского государственного педагогического университета системы электронного рейтинга. В курсах информатики, информационных и коммуникационных технологий в образовании (ИКТО), теории и методики обучения информатике (ТМОИ) и компьютерных сетей, Интернет и мультимедиа технологий (КСИМТ) применена рейтинговая система проверки и оценки качества подготовки студентов отделения «Физика» с дополнительной специальностью «Информатика» с учетом графика выполнения учебных заданий и СРС (20032006 гг.). Использована модернизированная с учетом предшествующих результатов база тестовых заданий по информатике для выпускников общеобразовательной школы (разделы «Устройство компьютера», «Программное обеспечение персонального компьютера», «Алгоритмизация», «Программирование на языке Basic/TurboPascal» (по выбору один из языков), «Информационные технологии» (темы «Текстовые редакторы», «Графические редакторы», «Электронные таблицы», «Базы данных и СУБД», «Компьютерные сети и телекоммуникации»)).
Оценка результатов выполнения тестовых заданий проведена на основе стандартных критериев: условный зачетный балл составил 75% в соответствии с результатами, полученными в ходе предварительного тестирования. В качестве примера мы приводим отдельные результаты, полученные по методической схеме так называемого «двой-
ного» тестирования (в начале и в конце семестра):
• 3-й курс, всего 55 чел., выполняли тестовые задания по разделу «Информационные технологии» (темы «Текстовые редакторы», «Графические редакторы», «Электронные таблицы», «Базы данных и СУБД», «Компьютерные сети и телекоммуникации»). При первом тестировании большинство студентов (39 чел.) правильно выполнили 51-75% тестовых заданий, 3 чел. — 50% и менее, 8 чел. — 76-80%, 3 чел. — 8183% (лучший результат). При втором тестировании получены более высокие результаты. 60% правильных ответов — 4 чел., 7075% — 18 чел., 76-80% — 9 чел., 81-85% — 17 чел. (!), 86-90% — 7 чел. Таким образом, 33 чел., или 60% студентов правильно выполнили 76-90% тестовых заданий (ср. при первом тестировании — 11 чел.);
• 5-й курс, всего 43 чел., выполняли тестовые задания по разделу «Информационные технологии» (темы «Графические редакторы», «Компьютерные сети и телекоммуникации»). При первом тестировании примерно 1/3 студентов правильно выполнили 75-85% тестовых заданий, и второе тестирование выполняли не все студенты, а лишь те, кто правильно выполнил менее 75% заданий. Из них подавляющее большинство правильно выполнили 75-85% тестовых заданий, только 4 чел. при повторном тестировании — 55-74%.
Укажем, что наряду с тестированием нами использованы и другие формы промежуточного контроля качества знаний, умений и профессиональных навыков студентов (коллоквиумы, контрольные работы, семинары, защита индивидуальных и групповых заданий). Одна из задач очередного этапа нашей работы состоит в том, чтобы оценить, как изменится качество учебного процесса (как повлияет на качество подготовки студентов по информатике) применение системы электронного рейтинга с предъявлением результатов тестирования и результатов учебной работы студентов в целом — каждому студенту [5]. Основная идея заключается в том, чтобы стимулировать работу студента, обеспечив ему в течение семестра «оперативную» картину его индивидуальных достижений на общем фоне (группы, курса).
На наш взгляд, для успешного развития системы оценки качества подготовки студентов по информатике, в том числе внедрения процедуры, средств и технологий тес-
тирования в учебный процесс школы и педагогического вуза, необходимо, прежде всего, оценить те изменения, которые произойдут в деятельности учителя (преподавателя) не только в плане подготовки и проведения тестирования, но и в контексте моделирования образовательной деятельности.
В связи с вышеизложенным возникает задача предварительной систематизации понятий в рамках проектирования содержания учебного курса, что, в свою очередь, необходимо для анализа и отбора тестовых заданий. Весьма важной и еще не решенной методической проблемой является разработка системы тестовых заданий (СТЗ) по информатике, в частности, разработка системы нормативных тестов на основе методов искусственного интеллекта [2]. Предполагается, что СТЗ при ее использовании в самостоятельной работе учащихся способствует самоанализу, выявлению индивидуальных «пробелов», недочетов в знаниях; при участии преподавателя в обсуждении результатов тестирования, с повторной работой учащихся над тестовыми заданиями, в том числе с использованием других средств (схем понятий, словарей и справочников), — все пробелы и недочеты «ликвидируются». При этом возможны разные варианты организации тестирования. На наш взгляд, здесь уместно привлечение наиболее подготовленных студентов к работе по экспертизе тестовых заданий. При этом используют специальные анкеты, опросные листы.
Отметим, что вся работа по анализу и составлению тестовых заданий, по оценке результатов тестирования в принципе поддается формализации, то есть может быть в значительной степени автоматизирована. Это, в свою очередь, означает, что все этапы работы с тестовыми заданиями, как со стороны учащихся (студентов), так и со стороны преподавателя должны быть обеспечены соответствующим сопровождением (программными средствами, методической документацией; необходимо привлечение вспомогательного персонала, специально обученного для выполнения рутинной работы по сбору и обработке всей информации, так или иначе связанной с тестированием).
Таким образом, и в теоретико-методологическом аспекте систематизации понятий курса информатики и ИТ, и в научно-методическом аспекте автоматизации процессов обработки информации в образовании весьма актуально применение формальных методов. В течение ряда лет нами
проводятся исследования по применению методов искусственного интеллекта для решения названных задач [2]. Наряду с классическими методами, такими, как сетевое моделирование, семантические сети, есть и относительно новые, например нейронные сети. Чтобы решить задачу формирования (классификации) новых понятий в системе знаний, надо выяснить некоторые связи между традиционным искусственным интеллектом и нейронными сетями, а также выявить, в чем состоят потенциальные преимущества комбинированного подхода на основе символьных представлений и нейронных сетей. Нами намечен подход к решению этой задачи [6]. Создание автоматизированной системы формирования понятий имеет непосредственное отношение к решению проблемы разработки структуры электронных дидактических материалов, в частности, электронных учебников, а также — к решению различных вопросов, связанных с систематизацией образовательных Интернет-ресурсов.
Наряду с этим одна из задач, которую мы предполагаем решить при помощи аппарата нейронных сетей, — прогнозирование успеваемости учащихся по результатам текущего тестирования. Результаты текущего (тематического) тестирования учащихся могут быть использованы для составления прогноза перед итоговым тестированием. Во-первых, этот прогноз можно сравнить с результатом итогового тестирования, во-вторых, само итоговое тестирование в перспективе можно организовать с учетом такого прогноза.
Идея использования нейронных сетей для определения перечня вопросов итогового тестирования состоит в следующем: формирование «конечного» теста по результатам тематических тестов, которые студент проходил ранее. Аппарат нейронных сетей было бы интересно попробовать в решении задачи автоматизации анализа результатов тестирования, а в перспективе — задачи автоматизации разработки тестовых заданий по информатике. Важно провести параллельную разработку этих задач в аспекте систематизации учебного материала, в плане разработки системы тестовых заданий, в дальнейшем — системы нормативных тестов по информатике.
В связи с этим некоторые рассмотренные нами методы искусственного интеллекта представляются весьма перспективными с точки зрения образовательных технологий,
изменения роли преподавателя в связи с внедрением в сферу образования новых интеллектуальных технологий, разработанных на основе методов представления знаний.
Какие проблемы возникают при разработке интеллектуальных обучающих систем? Во-первых, это применение методологии искусственного интеллекта в моделировании действий преподавателя (эксперта в предметной области, методиста по отбору содержания обучения); во-вторых, — объяснение преподавания и изучения как составляющих человеко-машинной системы обработки информации; в-третьих, это демонстрация законченности и надежности программно-технической поддержки автоматизированного обучения, а также доказательство возможности и эффективности применения интеллектуальных обучающих систем, как в самостоятельной работе учащихся, так и в рамках аудиторных занятий [7]. Наше исследование относится к первому направлению.
В настоящее время все больше уделяется внимания применению теории нейронных сетей в сфере образования. Применение нейронных сетей представляет собой экспериментальный подход в прикладной науке. При этом для разработки сетей имеются некоторые общие рекомендации [8].
В рамках подготовки к автоматизированной обработке содержания тестовых заданий (при составлении тематического теста, а также для анализа тестовых заданий) мы предлагаем использовать следующую структуру:
1. Определить вес вопроса (фактически — сложность вопроса, или количество знаний, необходимых для правильного решения; определение шкалы сложности на усмотрение составителя теста).
2. Определить вес каждого ответа на этот вопрос (правильный; частично правильный; неверный и.т.д. — на усмотрение составителя теста).
Нейронная сеть состоит из двух слоев. Задача первого слоя создать промежуточные данные соответственно входные для второго. Входными данными для первого слоя является информация вида ТЕМА\ВЕС ВОПРОСА\ВЕС ОТВЕТА. Первый слой выявляет пробелы в знаниях определений понятий. Второй же слой, используя эти данные, производит выборку тестовых заданий из базы и формирование «конечного» теста. Данная реализация позволит не проходить
снова весь ряд тестов, а сделать упор только на недостаточно усвоенные темы.
Отбор содержания для формирования систем тестовых заданий по информатике рассмотрен нами на основе логико-семантического подхода к систематизации и структурированию понятий учебного курса (на основе тезаурусного метода и сетевого моделирования). В общем случае «точки входа», то есть места оптимального включения процедуры тестирования в учебный процесс, определяются на основе анализа содержания образования и выделения ключевых понятий — дескрипторов. В качестве основного средства, позволяющего эффективно выявлять структуры понятий в системах тестовых заданий, нами использован тезаурус — модель системы понятий учебного курса. Разработанная нами методика сравнительного анализа систем тестовых заданий по информатике может быть положена в основу электронного конструктора тестовых заданий. Нами разработан проект универсального конструктора тестовых заданий (УКТЗ) [2, 9]. Такой конструктор нужен преподавателю для обучения методике анализа и проектирования систем тестовых заданий и предоставляет дополнительные средства корректной формулировки тестовых заданий. В этом — его методическое (и технологическое) назначение. Предметное назначение УКТЗ состоит в проверке «системности» тестовых заданий и соответствующих им учебных курсов с получением вывода об «идентификации» курса при вводе в систему новых понятий. Критерий отбора тестовых заданий (возможно — из готовой базы) или их содержания (при разработке, «конструировании», генерации) новых тестов — это сочетаемость «предметной» и «методической» частей. Предметная часть представляет собой словарь понятий и образов (Набор 1), методическая — формулировки требований к выполнению заданий-действий с понятиями и образами, а также формулировки указаний (Набор 2-3).
Нами определен общий вид матрицы анализа тестовых заданий по понятиям, образам (темам, вопросам — связям понятий) и уровням усвоения. Мы предполагаем, что составление такой матрицы позволит определить оптимальные «точки входа» в систему тестовых заданий (генерированную совокупность) в зависимости от целей тестирования, и в дальнейшем — делать разные выборки из готовой базы данных. Нами определены и другие основные части УКТЗ,
выделены его функции, а также этапы проектирования УКТЗ и предварительной опытной проверки.
Общий набор понятий, встречающихся в ТЗ, надо сравнить с эталоном — набором понятий учебного курса. И здесь нам неизвестно формальное решение задачи определения соответствия двух систем «представления знаний»: системы тестовых заданий и системы понятий учебного курса. Должно ли быть стопроцентное совпадение этих систем? Это выглядит неоптимальным хотя бы потому, что наряду с тестированием в общую систему проверки и оценки знаний учащихся входят и другие типы, виды и формы. Успеваемость учащегося определяется на основе комплексного показателя, а не просто суммы оценок, баллов и т.п. Однако тестирование, появившись вновь на арене педагогических воздействий, по-прежнему остается хоть и весьма затратным, но удобным инструментом получения сведений о результатах обучения, а главное — дает возможность проводить анализ результатов, делать выводы и вносить рекомендации по совершенствованию учебного процесса. Также весьма важным является и обеспечение индивидуального подхода к учащимся при помощи рейтинговой системы в сочетании с тестированием и другими формами проверки и оценки знаний.
Основная идея, на которую мы опираемся, состоит в следующем: не надо проводить «тотальную» автоматизацию обучения, а именно — проектировать и проводить полную автоматизацию разработки и применения тестовых заданий. Более рациональным представляется путь встраивания элементов автоматизации (сейчас более модно говорить — интеллектуализации) отдельных видов и форм работы учителя, преподавателя в общую схему деятельности. Последняя может быть модернизирована с учетом новых требований к содержанию образования, качеству подготовки учащихся, новых ИКТ- и образовательных технологий, однако ведущим принципом выбора тех или иных новых средств, применяемых в работе преподавателя, нам представляется классический принцип целостности учебного процесса. Это означает, что все вспомогательные средства, используемые преподавателем при подготовке к занятиям (как-то тестовые системы, оболочки, системы рейтинга и т.п.), должны «иметь выход» на студента, должны быть известны ему, одобряемы и удобны в эксплуатации. Отсюда следует вы-
вод о том, что в общем случае может оказаться нецелесообразным проводить тестирование студентов по единой «жесткой» схеме, от семестра к семестру, от курса к курсу. Мы имеем в виду, что и само содержание тестовых заданий, и их комплектность, и даже критерии оценки могут изменяться в течение одного семестра, курса в рамках входного, текущего, тематического, итогового, аттестационного тестирования, если следовать полной схеме проверки и оценки знаний на основе разработки тестовых заданий для конкретного учебного курса.
В перспективе можно будет вообще отказаться от «рутинного» анализа статистики понятий и тестовых заданий. То есть в тестовой системе будет храниться информация о результатах тестирования (сумма баллов, номера ответов, время ответа и т.п.), но преподавателю не надо будет с ней работать. Он будет лишь анализировать ответы учащегося и выдавать рекомендации по корректировке его индивидуальной траектории обучения, которые будут получаться автоматически, по результатам действий механизма обработки тезауруса и нейронной сети. Учащийся также будет интересоваться в первую очередь резюме и рекомендациями по изучению той или иной темы изучаемого им курса, а не собственно результатами тестирования (баллами, оценками).
На наш взгляд, корректировки требует сама концепция так называемого автоматизированного обучения, точнее, взгляд на эту концепцию со стороны множества преподавателей и разработчиков программного обеспечения. С одной стороны, надо точно определить, в чем состоит изменение роли (компонентов деятельности) преподавателя в новых условиях, когда внедрение тестирования, систем (или просто) тестовых заданий, рейтинга стало необходимостью. С другой стороны, в контексте теории и практики искусственного интеллекта необходимо уточнить, чем отличаются от традиционных автоматизированных обучающих систем (АОС) все еще новые в массовой практике работы вузов интеллектуальные обучающие системы. Ограничивается ли их новизна добавлением к прежним АОС интеллектуального блока или же это — качественно новая структура с иными функциями, которая обеспечивает другую схему обучения? То, что в начале 60-х гг. ХХ в. выглядело революцией и действительно сыграло революционную роль, сегодня выглядит
принципиальной ошибкой. Тогда было важно поставить и решить задачу полностью самостоятельной работы учащегося с автоматизированной системой с опосредованным участием преподавателя, методиста (составителей тестовых заданий и разработчиков сценариев обучения). Дело в том, что ни искусственный интеллект, ни АОС не заменят участия преподавателя (человека) в машинной обработке информации. То есть система обучения с использованием персонального компьютера всегда функционирует с участием двух «объектов—субъектов» (учителя и ученика). Неверное понимание роли и функций учителя, преподавателя приводит к искажению сути применения тестовых технологий и другого методического инструментария, к нарушению принципа дидактической целесообразности в использовании компьютера, программного обеспечения как интеллектуальных помощников и ученика, и учителя. (Об этом следует помнить всем специалистам, участвующим в модернизации учебного процесса.) Важно соблюдать принципы разработки и применения интеллектуальных систем как систем эргатических, то есть человеко-машинных.
Как уже упоминалось выше, направление нашего исследования — моделирование действий преподавателя, составителя ТЗ (разработчика СТЗ). Если СТЗ составляется впервые, то результаты тестирования могут отражать не только качество знаний учащихся, но и качество самих СТЗ. Нами сделан пример реализации нашей концепции разработки СТЗ по информатике, в частности, проведен анализ тестовых заданий. В ходе исследования, которое проводилось нами в течение 2003-2006 гг., мы проводили тестирование студентов 1, 2, 3 и 5-го курсов отделения «Физика с дополнительной специальностью Информатика» Волгоградского государственного педагогического университета (входное, или проверка остаточных знаний; текущее, итоговое).
В рамках проверки и оценки остаточных знаний студентов 2-го курса по информатике мы проследили ход работы преподавателя, составляющего систему тестовых заданий (СТЗ). Ориентир, предложенный преподавателю, — это содержание общего курса информатики, представленное в стандарте ГОС ВПО подготовки учителя физики как основной специальности. Если разбить его на дидактические единицы, то получится девять разделов, по каждому из которых на-
до составить от трех до семи ТЗ закрытого типа. Преподаватель составляет СТЗ, исходя из: а) своего опыта, б) имеющихся образцов и примеров [10, 11, 12]; в) содержания ГОС ВПО и составленной на его основе программы курса. Часть заданий взята нами из указанных источников, все они преобразованы хотя бы на уровне вариантов правдоподобных ответов. Часть ТЗ (около 25%) разработана нами самостоятельно. При первичном («интуитивном») составлении ТЗ мы исходили из принципа максимального соответствия стандарту, то есть учитывали, что проверка знаний учащихся осуществляется на уровне, заданном стандартом (обязательным минимумом), а не программой курса. Далее после составления СТЗ преподавателю надо удостовериться, что система составлена правильно. Для этого необходим словарь понятий, глоссарий (словарь терминов с определениями) или хотя бы кодификатор; качество кодификатора по информатике, судя по публикациям, является не вполне удовлетворительным. Однако лучше всего здесь поможет тезаурус, описывающий систему понятий учебного курса. Сначала по каждой дидактической единице составляется список понятий, которые встречаются в ТЗ. При этом особо отмечаются понятия, встречающиеся в разных ТЗ и в разных дидактических единицах.
Что надо сделать для того, чтобы стала возможной автоматизация разработки системы тестовых заданий по информатике? Прежде всего — анализ имеющихся образцов и примеров ТЗ. Можно ли автоматизировать этот процесс? Да. Нами составлена общая схема анализа ТЗ. Вначале мы получаем несколько таблиц со статистикой понятий и ТЗ.
Путем такого предварительного анализа мы можем получить условный критерий сложности ТЗ (по количеству входящих в него понятий). Отметим, что задача выявления круга понятий, входящих в ТЗ, в том числе и в неявном виде, может быть решена только при условии наличия корректных, т.е. логически непротиворечивых и семантически однозначных определений всех понятий.
Предположим, что искусственная нейронная сеть сама выведет некие закономерности, связанные с СТЗ: а) распределение ТЗ внутри системы по уровням сложности, например, доля самых сложных ТЗ и собственно максимальный уровень сложности, допустим, семь или девять понятий; б) ко-
эффициент встречаемости понятий (сколько дерева); в) соотношение общего количества понятий повторяется в разных ТЗ, в разных понятий в СТЗ и тезауруса (доля охвата, вы-дидактических единицах; и как именно — вести примерный критерий, допустим, 85%); представить это с помощью тезаурусного
Таблица 1
Список понятий по порядку встречаемости в тексте
Список понятий Номера тестовых ■заданий, б Кол-бо тестовых заданий, б
которых встречается которых встречается
тек\тцее понятие текущее понятие
Таблица 2
Список понятий в алфавитном порядке
Список понятий Номера тестовых -заданий, в Кол-во тестовых ■заданий.
которых встречается текущее в которых встречается
понял 1е текущее понятие
Таблица 3
Частота встречаемости понятий в ТЗ (в порядке убывания)
Список понятий Номера тестовых заданий, в Кол-во тестовых заданий.
которых встречается текущее в которых встречается
понятие текущее понятие (в
порядке убывания)
Таблица 4
Распределение понятий по ТЗ (сложность ТЗ)
Номер тестового задания Общее кол-во понятий в Перечень понятий.
тестовых задагаих встречающихся в текущем
тестовом 'задании
г) обосновать необходимые повторы понятий в СТЗ, для этого как-то «выйти» на связи между понятиями. Собственно говоря, сам анализ СТЗ надо проводить по связям между понятиями, а не по понятиям как та-
ковым. Что можно сделать далее, используя тезаурус, отражающий связи между понятиями? Составим таблицу связей между понятиями:
Таблица 5
Распределение связей между понятиями по ТЗ (связность понятий и ТЗ)
Связь-между-п о нятиями ■ (п о ■ п ар ам- ПОНЯТИЙ)!!! Номер-тестового-задания,-в-котором-в стр еч ается-теку щ ая-связью Общее-кол-во-те стов ых-з ад ан и й, -в ■ котор ых-в стр еч ается-теку щая- связь ■□ Перечень-понятий,-в-определениях-которых- встречается-текущая-связь
Возникает вопрос: нужен ли такой детализированный анализ содержания ТЗ? Да, причем это необходимо делать до внедрения в учебный процесс для проверки системности ТЗ (связности, логической непротиворечивости как отдельных ТЗ, так и системы ТЗ в целом). Необходимо сказать, что мы настаиваем именно на качественном анализе содержания ТЗ, хотя приводим и понимаем
потребность учета и оценки количественных характеристик (формального анализа содержания ТЗ). Следует проводить глубокий семантический анализ СТЗ на предмет выявления связей между понятиями, которые отражены в их определениях [13]. Это касается, в первую очередь, ТЗ терминологического характера. Можно проводить дискуссии и спрашивать мнение психологов о том, необходимо ли знание определений по-
нятий в полном объеме для школьников и студентов, но нельзя не признавать, что проверка понимания предметной области, уровня знакомства с ней невозможна без этого.
Следующий интересный вопрос: сочетание терминологических заданий с решением задач в обучении информатике. Как правильно задать уровни сложности заданий и задач в том или ином сочетании друг с другом? По результатам проведенного нами тестирования получилось, что на вопросы, связанные со знанием терминологии, студенты ответили хуже по отношению к решению задач. Так, например, по темам «Технология обработки числовой информации. Электронные таблицы» и «Работа с базами данных. Сортировка, поиск и фильтрация записей» почти все студенты правильно ответили на вопросы, связанные с операциями над данными, однако на вопросы по определению того, что такое электронные таблицы, или что такое ключ в базе данных, подавляющее большинство из них ответило неправильно. Вопросы по теме «Моделирование и формализация» явно не усвоены большинством студентов. Также плохие результаты были по дидактической единице «Программное обеспечение и технологии программирования». Гораздо лучше — результаты по разделам «Устройство ПК», «Локальные и глобальные сети ЭВМ», «Основы защиты информации и сведений, составляющих государственную тайну; методы защиты информации». Отметим, что ГОС ВПО (общий курс информатики) фактически сходится с содержанием школьного курса по общей тематике. По последнему обычно отмечаются те же пробелы в знаниях учащихся, что и указанные нами. В таком случае что это — недоработка СТЗ или все же изъяны самого содержания курса информатики?
Как видим, проблема адекватности оценки качества знаний учащихся при помощи автоматизированных систем тестирования (тестовых систем, тестовых оболочек и т.п.) их реальному уровню подготовки пока не имеет однозначного решения. Даже после успешного прохождения теста учащимся мы не можем быть уверены в том, что он действительно владеет этими знаниями. Отсюда вытекает целесообразность многократного тестирования в течение цикла обучения, такие методические схемы реализуются, как правило, в рамках обучения в вузе.
Одной из важных задач, требующих решения в контексте автоматизации процедуры проверки и оценки знаний учащихся, является формирование итогового теста по результатам предыдущих ответов. Мы предлагаем решить эту проблему с помощью нескольких подходов. Во-первых, это использование тезаурусного метода. Основная идея состоит в том, чтобы использовать готовую иерархическую структуру «полного» тезауруса определенной предметной области для выявления незнакомых понятий и пробелов в связях между понятиями у учащегося, проходившего тестирование.
К примеру, возьмем «Информатику» и сделаем небольшой пример тезаурусного «дерева» (рис. 1- см. цв. вставку). Сразу сделаем оговорку, что это понятие слишком общее для данного примера, но наиболее известное для большинства людей. Объектами нашего тезаурусного дерева являются понятия, а структура дерева показывает, как они связаны между собой. Укажем кратко лишь общие позиции, относящиеся к разработке тезауруса как модели системы понятий учебного курса (более подробно см. [14]).
1. Каждая предметная область, в данном случае «Информатика», обладает дескрипторами.
2. Дескрипторы — это фундаментальные понятия, они есть синтез многих других понятий.
3. Понятие — объект тезаурусного «дерева». Понятия связаны между собой. Одни понятия включают в себя другие или даже целые «ветви» понятий.
4. Связи между понятиями — есть ход логического мышления объектами данной предметной области (правильнее сказать, что это понятийное мышление), это необходимое условие для осознанного восприятия информации, творческого подхода и вообще хорошего знания предмета.
Рассмотрим пример более подробно. Здесь мы изобразили три дескриптора. Два из них принадлежат «Информатике», третий же относится к другой предметной области. «Дескриптор 1» является понятием первого уровня, в него входит «Понятие 1» (второй уровень), далее «Понятие 2» (третий уровень), в «Понятие 3» (четвертый уровень) входят два понятия пятого уровня («Понятие 4» и «Понятие 5»). Причем «Понятие 5» имеет связь с «Дескриптором 2», т.е для понимания какого-то понятия в «Дескрипторе 2» необходимо усвоенное «Понятие
5». «Понятие 2»связано с другой предметной областью. Получается, что для усвоения какого-то понятия в «Дескрипторе 3» необходимо усвоение всей цепочки понятий, которых включает в себя «Понятие 2». Отметим, что на рисунке указана только одна «ветвь», на самом деле любой дескриптор включает в себя как минимум два нижележащих понятия, а те, в свою очередь, — также делятся на другие понятия. Несомненно, что только преподаватель-методист высокого уровня способен провести такой глубокий анализ понятий и составить тестовые задания. Со стороны неискушенного ученика может получиться, например, такая схема (рис. 2 - см. цв. вставку).
Составив схему, можно перейти к практической реализации идеи, заявленной нами выше, а именно — использования тезаурус-ного дерева для анализа ответов учащегося.
1. Учащийся прошел тестирование, и результаты были сохранены.
2. По базе правильных/неправильных ответов определяем, какие понятия он смог отождествить, а какие нет. Сравнение понятий производится по тезаурусному «дереву», составленному ранее. Будем считать, что все понятия в тестовом задании, на которое был дан правильный ответ, усвоены. На данном этапе мы просто проводим сбор статистических данных, и система знаний учащегося может быть еще не определена как жесткая иерархия (так четко, как тезаурусное «дерево»).
3. Составляем таблицы (см. табл. 6). Они нужны нам для того, чтобы опреде-
лить, какая часть понятий вообще была усвоена. По ним также можно определить «прочность» усвоения. В качестве предварительного критерия здесь можно назначить, к примеру, такой: если на пять тестовых заданий с понятием «программное обеспечение» были даны правильные ответы, то это понятие можно считать прочно усвоенным. Но усвоены ли другие понятия, которые входят в понятие «программное обеспечение»? Пока мы можем сказать только, скорее да чем нет. Чтобы ответить на вопрос, надо провести несколько другой анализ, который приведен ниже (см. табл.6).
Понятие «Типизированный указатель», встречающееся в четырех заданиях, может быть, усвоено твердо, так как в трех случаях из четырех дан правильный ответ. А вот понятие «Динамический массив» явно не усвоено, причем один правильный ответ, скорее всего, вытекает из правильного ответа на 4-е задание. Там присутствуют оба понятия, поскольку они тесно связаны. Понятие «Типизированный указатель» должно быть прочно усвоено для понимания принципов конструкции динамических массивов. Какой из этого можно сделать вывод? Либо учащемуся непонятна связь между этими понятиями, или есть еще одно понятие, которое не усвоено, к примеру «Динамическое выделение памяти», которое также необходимо для понимания всей названной совокупности понятий.
Таблица 6
Пример комплексного анализа тестовых заданий, понятий и ответов учащегося
Понятие + - Пропущено Общее кол-во встречаемости понятия в тестовых заданиях Номер тестового задания
Типизированный указатель 3 1 0 4 4,6,9,15
Динамический массив 1 4 1 6 1,4,7,12,21,11
Отметим следующее. По мере увеличения количества понятий, входящих в те или иные тестовые задания, время на их обработку (усвоение) возрастает явно не в арифметической прогрессии. Именно подобный «механизм» мышления мы пытаемся автоматизировать. В таком случае, подсчитав обычное соотношение правильных и непра-
вильных ответов по тем или иным тестовым заданиям, включающим те или иные понятия, которые, в свою очередь, были или не были усвоены, мы сможем с той или иной степенью уверенности сказать, усвоил ли ученик всю тему. С другой стороны, хотелось бы выявить причины «пробелов» в знаниях, в первом приближении, из-за незнания
какого понятия или непонимания связи между понятиями произошло непонимание дескриптора в целом или его значительной части.
Весь процесс комплексного анализа тестовых заданий, понятий и ответов учащегося мы поделили абстрактно на три этапа.
Первый этап — обработка данных из таблицы, приведенной выше, получение совпадений и противоречий. Эти данные являются промежуточными и необходимы для дальнейшего анализа. Единственная сложность здесь — это определение формата выходных данных или хотя бы структуры данных. Наша идея такова: мы будем формировать свое «понятийное дерево», пытаясь воссоздать прототип полного тезаурус-ного «дерева». В результате мы увидим, насколько совпадают знания ученика с той системой знаний, которая представлена содержанием учебного курса, конкретно — его тезаурусом, то есть моделью системы понятий. Из вышесказанного следует такое строение данных, описанное нами здесь без использования синтаксиса языков программирования: // Описание объекта Объект = тип (понятие) // данные объекта.
Уровень понятия // уровень слоя понятия в иерархии понятий. 1 — это понятие //самого высокого уровня, или дескриптор, 0 — тема или предметная область.
Индекс понятия // порядковый номер понятия—объекта в дереве. Связь с другими понятиями // массив связей. Показывает номера //понятий, с которыми существует связь. Отождествлено ли (да/нет) // Правильно ли распознано понятие или нет. Кол-во заданий с положительным ответом // сколько раз узнали это понятие.
Кол-во заданий с отрицательным ответом // сколько раз не узнали это понятие.
Так мы описали иерархическое дерево. Теперь его можно построить и сравнить с полным тезаурусным деревом. У этого изначального дерева трех последних описаний не существует, и этот класс мы наследуем от него.
Второй этап — выяснение «проблемных мест», или «пробелов» в знаниях. Что нам дает такое строение данных? Дело в том, что
теперь мы можем частично эмулировать ход мышления человека, который использует анализ и синтез, продвигаясь по дереву понятий вверх или вниз. Мы выбираем точку отсчета (к примеру, неусвоенное понятие) и двигаемся в направлениях связей от одного понятия к другому, составляя при этом примерную «картину знаний» учащегося. Теперь можно выяснить, насколько у него целостные знания. В итоге такого анализа мы будем иметь несколько цепочек последовательностей усвоенных понятий, разделенных неусвоенными, или наоборот. Здесь необходимо четко и однозначно ответить на вопрос: как нам определить, какое понятие усвоено, а какое нет? Очевидно, что критерии можно получить из массива данных, полученных эмпирическим путем (в ходе тестирования, причем здесь не обязательно делать большую выборку). С одной стороны, при этом следует учитывать общие критерии проверки и оценки знаний, например, не менее 70% правильных ответов на все тестовые задания, включающие то или иное понятие. С другой стороны, здесь ключевой позицией является, на наш взгляд, именно эмпирически выявленное соотношение общего количества понятий, связей между ними, тестовых заданий, составленных тем или иным экспертом (преподавателем, методистом) с учетом сложности и важности понятий, дескрипторов, тестовых заданий, а также — соотношение количества правильных/неправильных ответов и пропущенных заданий в зависимости от индивидуального «профиля» учащегося (тезаурусного дерева, получившегося в ходе анализа ответов).
Третий этап — выдача рекомендаций. После предыдущих этапов у нас уже сложилась примерная «картина знаний» учащегося. Теперь надо использовать все полученные нами данные, выяснить тип пробелов в знаниях и по возможности указать на них. Таким образом, здесь основной целью, которую мы преследуем, является прогнозирование успеваемости учащихся. Для решения этой задачи мы предлагаем использовать механизм нейронных сетей. Основную работу, которую должна сделать сеть, можно описать так: учитывая результаты тестирования (входные данные, описанные в виде тезаурусного «дерева» и таблиц), выбрать строку из массива (выходные данные). Строка является рекомендацией ученику и подсказкой учителю одновременно. Причем рекомендаций будет ровно столько, сколько неправильных ответов дал ученик.
«Ключ» решения задачи видится нами в том, что, обработав только часть тезаурусного «дерева» при помощи нейронной сети, мы сможем получить критерии усвоения знаний (понятий) и тем самым не только прогнозировать успеваемость учащихся (что, собственно, опытный учитель может сделать и без всякой автоматизации), но и строить системы понятий учебных курсов (особенно профильных, специальных
и элективных) на более рациональной основе, то есть учитывать при построении содержания курса, в том числе и чисто формальные критерии, чтобы все понятия, явно и неявно задействованные в содержании курса, были успешно усвоены на должном уровне для обеспечения системности знаний учащихся.
Об интеллекте
Вышла новая книга (см. цв. вставку), которая представляет собой один из первых в отечественной научной литературе опытов междисциплинарного подхода к проблематике искусственного интеллекта. В ней рассматриваются философские, методологические, общетеоретические и социокультурные аспекты данной проблематики, обсуждаются актуальные задачи моделирования искусственного интеллекта в связи с рядом логических и математических вопросов и под углом соотношения искусственного интеллекта с естественным и современных разработок проблемы «сознание и мозг». Авторы статей - философы, психологи, специалисты в области компьютерных наук, логики, математики, биологии, нейрофизиологии, лингвистики.
Источник. Издательство «ИИнтеЛЛ» ([email protected])
Литература
1. Краморов С.В. Нейронные сети как механизм решения задачи прогнозирования успеваемости учащихся // Искусственный интеллект: философия, методология, инновации: Матер. 1-й Всерос. конф. студ., асп. и мол. уч., г. Москва, МИРЭА, 6-8 апреля 2006 г./Под ред. Д.И. Дубровского, Е.А. Никитиной.
— М.: ИИнтеЛЛ, 2006. — С. 301-302.
2. Кувалдина Т. А. Применение методов искусственного интеллекта для анализа и проектирования тезаурусов учебных дисциплин: Монография. — СПб.: РГПУ им. А.И. Герцена; Волгоград: Перемена, 2003. — 195 с.
3. Применение новых технологий в образовании: Матер. 14-й Междунар. конф. — Троицк: МОО «Байтик», 2003. — 375 с.
4. Кувалдина Т.А., Краморов С.В. Система электронного рейтинга как средство визуализации результатов обучения информатике // Применение новых технологий в образовании: Матер. 15-й Между-нар. конф.: — Троицк: МОО «Байтик», 2004. — С. 314-315.
5. Кувалдина Т.А., Краморов С.В. Оценка качества подготовки студентов по информатике с применением системы электронного рейтинга // Педагогическая информатика. — 2005. — № 5. — С. 89-96.
6. Кувалдина Т.А., Павловский Ю.С., Чернявский И.А. Автоматизированная система формирования новых понятий в системе знаний на базе методов искусственного интеллекта // Искусственный интеллект: философия, методология, инновации: Матер. 1-й Всерос. конф. студ., асп. и мол. уч., г. Москва, МИРЭА, 6-8 апреля 2006 г./Под ред. Д.И. Дубровского, Е.А. Никитиной. — М.: ИИнтеЛЛ, 2006. — С. 307-309.
7. Shapiro, Stuart C., editor. 1992. Encyclopedia of Artificial Intelligence. 2nd ed. New York: John Wiley & Sons. Volume 1, page 434. (Education — http://www.aaai.org/AITopics/html/education.html, 26.09.2004)
8. Каллан Р. Основные концепции нейронных сетей/Пер. с англ. — М.: Изд. Дом «Вильямс», 2003.
— 288 с.
9. Кувалдина Т.А. Сравнительный анализ систем тестовых заданий по информатике на основе те-заурусного метода // Применение новых технологий в образовании: Матер. 14-й Междунар. конф. — Троицк: МОО Фонд «Байтик», 2003. — С. 228-229.
10. Оценка качества подготовки выпускников основной школы по информатике / А.А. Кузнецов, Л.Е. Самовольнова, Н.Д. Угринович. — М.: Дрофа, 2000.
11. Информатика. Тестовые задания: Метод. пособие / Кузнецов А. А., Пугач В.И., Добудько Т.В., Матвеева Н.В. — М.: ЛБЗ, 2002. — 496 с.
12. Федеральный Интернет-экзамен в сфере профессионального образования (http://www.fepo.ru/index.php?menu=test_offline)
13. Кувалдина Т.А. Систематизация понятий курса информатики на основе методов искусственного интеллекта. Дис. ... д-ра пед. наук. — Москва: ИОСО РАО, 2003. — 280 с.
14. Кувалдина Т.А. Тезаурус как дидактическое средство систематизации понятий курса информатики // Информатика и образование. — 2003. — № 11. — С. 3-6.
