CC BY
41
1. проверяем в матрицах коэффициентов числителя (num) и знаменателя (den) наличие нулевых коэффициентов при старших степенях и отбрасываем их (например, num=[0,0,1,3]=[1,3]),
2. проверяем, чтобы порядок знаменателя был больше или равен порядку числителя,
3. добавляем нули в начало полинома числителя, чтобы его длина была равна длине полинома знаменателя,
4. делим все элементы полинома числителя на первый элемент полинома знаменателя,
5. коэффициенты D - это первая колонка получившегося полинома числителя
( в случае с одним входом - это просто число),
6. делим полином знаменателя на свой первый элемент,
7. первая строка матрицы А есть получившийся полином знаменателя, взятый с противоположным знаком,
8. остальные строки матрицы А есть матрица с единицами в главной диагонали
Пример: 1 -3 -5 -3.78
0 1 0 0 0 0 1 0 0 0 0 1
9. Матрица В - это просто единичная матрица,
10. элементы матрицы С получаются следующим образом:
C = num - den * num . i i +1 1
Литература
1. Архангельский А. Ильин В. , Тагин М. Русская справка (HELP) по Delphi 5.0 и Object Pascal. Бином, ISNB 5-7989-0168-8.
2. Архангельский А. Программирование в Delphi 5., Бином,ISBN 5-7989-0104-1.
3. Архангельский А. Программирование в Delphi 6., Бином,ISBN 5-7989-0227-7.
4. Дарахвелидзе П., Марков Е. Delphi 4 в подлиннике. - М.: Бином.
5. Дарахвелидзе П., Марков Е., Котенок О. Программирование в Delphi 5. - СПб., BHV-СПб, ISNB 58206-0052-5.
6. Карначук В. Моделирующие программы для лабораторных практикумов // Открытое образова-ние.-2003.-№3.- С. 23-27.
ПРОБЛЕМЫ РАЗВИТИЯ И ВНЕДРЕНИЯ СИСТЕМЫ ТЕСТИРОВАНИЯ В ВЫСШЕМ УЧЕБНОМ ЗАВЕДЕНИИ
К.И. Шахгельдян, к.т.н., доц., начальник отдела информационных систем Тел.: + 7-4232-404226,E-mail: carinash@vvsu.ru ,http://athena.vvsu.ru/carina Е.В. Садон, директор центра мониторинга качества подготовки специалиста
Тел.: +7-4232-404238, E-mail: elena.sadon@vvsu.ru Владивостокский государственный университет экономики и сервиса (ВГУЭС)
http://www.vvsu.ru
We discuss the challenges of education quality monitoring based on an assessment system. The assessment system is considered in the article and the questions of its deployment at
Vladivostok State University of Economics.
1. Введение
Вопросу качества образования в последнее время уделяется большое внимание [1]. Если
рассматривать «качество образования» как качество образовательного процесса, можно говорить, что
это понятие отражает уровень соответствия выпускника вуза образовательным стандартам. Установление соответствия требует проведения объективных измерений в течение всего
периода обучения. Для этого требуется организация длительного мониторинга, позволяющего оценить качество образовательных услуг, оказываемых вузом. Длительность слежения за состоянием образовательного процесса дает возможность определить тенденции его изменения, установить зависимость от определенных факторов. Следовательно, мониторинг - важнейший элемент системы информационного обеспечения качества образовательного процесса в вузе, способствующий принятию адекватных управленческих и педагогических решений. Мониторинг позволяет организовать внутренний аудит согласно международному стандарту ИСО 19011:2002.
Использование тестовых материалов для диагностики качества подготовки специалистов на разных стадиях обучения является предметом многочисленных обсуждений [2-4]. Нам хотелось бы остановиться на преимуществах системы тестирования для эффективного мониторинга качества образования, и на тех требованиях, которым должна при этом удовлетворять автоматизированная система тестирования. Тесты могут помочь в качестве инструментария для установления уровня соответствия результатов образования в любой момент учебного процесса и эталонных знаний и навыков, которые определяются в стандартах Министерства образования и в вузовских нормативных документах. Тестирование - это один из наиболее технологичных, объективных и эффективных методов мониторинга на сегодняшний день. Но это возможно только при выполнении определенных условий:
- соответствие педагогических тестовых материалов требованиям, изложенным в образовательных стандартах, тем навыкам и умениям, которые ожидаются от студента;
- наличие проверки различных уровней знаний студентов:
- усвоенные знания - определения, теоремы, принципы, характеристики;
- умение применять усвоенные знания -использование знаний для решения задач, а также умение найти необходимое знание и применить его эффективным образом;
- умение синтезировать новое знание из усвоенного ранее. Справедливости ради, необходимо отметить, что этот уровень может быть проверен с помощью тестирования только при больших, иногда нетривиальных усилиях преподавателя, что является скорее исключением, чем правилом, и лежит в об-
ласти компетентностного подхода к формированию методических, в том числе, и контрольно-измерительных материалов.
Основным инструментом служит здесь наличие тестовых заданий разных типов (закрытая и открытая формы, с множественным и единственным выбором, заданий на соответствие, упорядочивание, объединение и т.п.);
- наличие широкой базы тестовых заданий по каждой из дисциплин, обеспечивающей студентов неповторяющимся набором вопросов для различных попыток (во всяком случае, для одного и того же студента).
- наличие средств для педагогических экспериментов в части подачи тестового материала, использования адаптационного тестирования, использование произвольной шкалы сложности тестовых заданий, а также различных алгоритмов обработки ответов. Данный пункт позволяет адаптировать проведение тестирования к целевой аудитории;
- наличие возможности проведения тестов в течение обучения с различными целями - самопроверки, обучения, промежуточного и итогового контроля;
- наличие средств анализа результатов тестирования;
- наличие средств оценки качества тестовых заданий, которые возможно проводить как на основе семантического, так и на основе статистического анализа.
Работа по внедрению системы мониторинга во Владивостокском государственном университете экономики и сервиса (ВГУЭС) началась в 1998 г. с разработки и внедрения систем тестирования для дистанционных студентов. С 1999 г. преподаватели стали использовать систему тестирования для промежуточных аттестаций студентов очной формы. Промежуточная аттестация в то время напоминала получение допуска к экзамену. В некоторых случаях оценка, полученная на тестировании, являлась определяющей и на экзамене. Система тестирования, которая тогда использовалась во ВГУ-ЭС, представляла собой плохо защищенную, не интегрированную сетевую систему, поддерживающую один тип вопросов с минимальными возможностями в части представления вопроса. Такая система не могла удовлетворить требованиям системы мониторинга качества образовательного процесса в вузе.
В 2001 г. во ВГУЭС разработана система интерактивного тестирования обучаю-
щихся (СИТО), которая и является информационно-техническим обеспечением широкого внедрения системы мониторинга качества образовательного процесса. Эта система позволяет не только контролировать результаты обучения, повышать ответственность руководителей учебными подразделениями и профессорско-преподавательского состава за качество образования, получаемого студентами в рамках образовательных стандартов, но и осуществлять «слежение» за уровнем предметных достижений обучаемых и его динамикой, сопоставлять результаты и определять эффективность работы по ликвидации выявленных пробелов.
Ведущими требованиями к мониторингу качества знаний, умений и навыков обучаемых считаются: объективность, валид-ность, надежность, систематичность объекта изучения, гуманистическая направленность. Рассмотрим их содержание.
Объективность обеспечивает применение стандартизированных педагогических измерителей, учет всех результатов (положительных и отрицательных), создание равных условий для студентов всех форм обучения.
Валидность - полное и всесторонне соответствие применяемых тестовых заданий содержанию стандартов образовательных программ, четкость критериев и оценки, возможность подтверждения результатов, получаемыми разными способами контроля.
Под надежностью понимается устойчивость результатов, получаемых при повторном контроле.
Систематичность подразумевает проведение этапов и видов мониторинга в определенной последовательности и системе.
Учет психолого-педагогических особенностей означает изучение индивидуальных особенностей объекта, условий и конкретных ситуаций проведения тестирования, а также исследование требований к самим контрольно-измерительным материалам, их виду и форме.
Гуманистическая направленность предполагает создание обстановки доброжелательности, положительного эмоционального климата.
В соответствии с этими требованиями строится во ВГУЭС система мониторинга качества подготовки специалистов. Нельзя назвать работу по формированию такой системы законченной, но сделаны первые, очень важные шаги и получены интересные результаты.
Во второй части работы остановимся на характеристиках системы тестирования и способах ее интеграции с корпоративной информационной средой (КИС) вуза. В третьей части рассмотрим результаты внедрения системы и развитие системы мониторинга качества образовательной деятельности.
2. Система интеративного тестирования обучаемых
2.1. Общие сведения о системе
Система тестирования СИТО [5] предназначена для мониторинга знаний с помощью тестовых заданий. Система поддерживает следующие аспекты тестирования:
- тестирование по различным дисциплинам, по отдельным разделам (множеству разделов) дисциплины;
- тестирование с различными целями (промежуточная и заключительная аттестации, самопроверка, обучающее тестирование);
- тестирование различных категорий пользователей (студенты очной и заочной форм обучения, студенты экстерната и обучающиеся по дистанционной форме, студенты филиалов, школьники, слушатели курсов, абитуриенты).
СИТО имеет веб-интерфейс для всех режимов работы и поэтому применяется и в Интернете и в корпоративной сети. Это позволяет использовать одни и те же тесты для студентов очной, заочной и дистанционной форм обучения, а также для студентов филиалов. В то же время, СИТО имеет возможность тонкой настройки проведения тестирования, что позволяет адаптировать тесты к таким разным целевым аудиториям как студенты очной формы и дистанционные студенты. Большое разнообразие типов вопросов обеспечивает проверку различных уровней усвоения материала. Удобный инструменты создания и редактирования вопросов позволяют создавать обширный банк тестовых заданий. Развитая система представления результатов тестирования позволяет проводить глубокий анализ качества образовательной деятельности. Наличие процедур анализа тестовых заданий позволяет оценить качество тестов и выдать рекомендации по его повышению.
Одной из особенностей СИТО является ее интеграция с КИС ВГУЭС. Необходимость этого связана с неудачным опытом использования закрытых систем, которые требовали больших усилий по сопровожде-
нию и не могли поддержать широкомасштабное внедрение системы мониторинга.
Система СИТО разработана в соответствии со стандартом QTI (Question and Test Interoperability) консорциума IMS [6]. Стандарт IMS QTI является общепринятым для систем тестирования; его поддерживают все основные обучающих среды (Learning Space, TopClass, WebCT, BlackBoard, среди российских систем ОРОКС [7]). Поддержка данного стандарта делает возможным обмен тестовыми материалами между различными системами. В частности, ВГУЭС и МИЭТ совместно отработали механизм обмена тестовыми заданиями между системами СИТО и ОРОКС.
Система СИТО доступна по адресу http://cito.vvsu.ru для всех пользователей. Для работы с системой требуется навигатор Интернет (поддерживаются навигаторы IE и Opera). Доступ в систему предоставляется автоматически после прохождения пользователями процедуры единой регистрации для доступа к информационным ресурсам вуза [8].
2.2. Функциональные возможности системы
Система СИТО оперирует следующими основными понятиями, большинство из которых базируются на стандарте IMS QTI 1.2:
- курс - это объединение теоретического материала и тестовых заданий, которые могут содержать любые объекты - текст, графику, музыку, видео, приложения и т.д.; теоретический материал может быть структурирован по разделам курса;
- вопросы - это единица тестирования, которая может быть привязана к конкретному разделу курса, или к курсу в целом; вопрос в СИТО состоит из формулировки, которая может содержать любые объекты, а также из формы представления и правил обработки ответов на вопрос;
- секции - это набор вопросов и других секций, объединенных по некоторому правилу (одновременно могут использоваться несколько правил);
- тесты - это набор секций, объединенных по некоторому правилу, где секции могут быть из разных курсов (для составления междисциплинарных экзаменов);
- подразделение - это учебное подразделение, которое является собственником курса, а следовательно, и вопросов курса.
В соответствии с назначением, СИТО обеспечивает:
- создание, удаление и редактирование разделов и материалов курса, содержащих информацию с текстом, графикой, ауди-и видеоинформацией, с возможностью встраивания апплетов и приложений;
- создание, удаление и редактирование 16 различных типов вопросов;
- создание, удаление и редактирование секций и тестов;
- назначение тестов;
- прохождение тестирования;
- сохранение результатов тестирования и получение отчетов об успеваемости;
- оценивание качества вопросов и тестов на основе семантического и статистического анализа;
- администрирование системы, позволяющее назначать роли пользователям и связывать пользователей с курсами и подразделениями, а также лицензировать курсы другим подразделениям.
2.3. Роли пользователей и схема функционирования системы
При работе в СИТО пользователь имеет одну или несколько ролей. Роли в СИТО основываются на стандарте IMS QTI, но адаптированы к российскому вузу. Это могут быть следующие роли:
- Студент - обучаемый, который имеет возможность проходить тестирование, если
ему назначен тест напрямую или через группу;
- Автор курса - пользователь, который имеет право в СИТО создавать, редактировать и удалять темы и теоретические материалы курса, вопросы, секции и тесты, проходить тестирование, анализировать качество тестовых заданий;
- Инструктор группы - пользователь, который закреплен за группой студентов; имеет право создавать и редактировать секции и тесты, оценивать вопросы типа эссе, просматривать результаты тестирования студентов закрепленных за ним групп, назначать тесты группам и определять число попыток;
- Наблюдатель за процессом тестирования (сотрудник Центра мониторинга) может назначать попытки тестирования студентам;
- Работник деканата может просматривать успеваемость и назначать тесты группе студентов и отдельным студентам;
- Контролер оценивает ответы на вопросы типа эссе для студентов, обучающихся вне группы (абитуриенты, студенты с индивидуальным графиком, слушатели курсов и т.п.);
- Методист - это пользователь, имеющий возможность оценивает качество теста;
- Психометрист назначает сложность вопросу и максимальную длительность тесту, имеет право тестироваться и анализировать качество тестовых заданий;
- Администратор подразделения назначает роли пользователям, а также имеет возможности схожие с возможностями инструктора группы.
Схема работы в СИТО следующая.
Главный администратор СИТО должен создать дисциплину, по которой предполагается разрабатывать тесты.
Дисциплина может быть сопоставлена с дисциплиной учебного плана, читаемого вузом или оставаться вне плана. В первом случае сопоставление курса в СИТО с дисциплиной учебного плана автоматически приводит к привязке дисциплины к некоторому учебному подразделению (кафедре). Данные о дисциплине и подразделениях хранятся в КИС ВГУЭС.
Главный администратор назначает администратора того подразделения, к которому привязана дисциплина.
Администратор подразделения должен назначить роль автора курса тому пользователю, который будет создавать вопросы по курсу.
Автор курса в СИТО создает темы и при необходимости размещает теоретический материал; создает вопросы, присоединяя их к темам, формирует секции и тесты.
После того, как вопросы и тесты готовы, курс в СИТО может быть передан для проведения учебного процесса. Перед использованием теста возможно выполнение семантического анализа тестовых заданий. Анализ позволяет выявить вопросы, текст которых содержит некорректные выражения с точки зрения правил анализа. Анализ может быть выполнен автором курса или методистом.
Администратор подразделения или инструктор учебных групп могут назначить тесты учебным группам. При этом администратор подразделения может назначать тест всем группам, которые в своих учебных планах включают данную дисциплину, а инструктор - только тем группам, где он позиционируется как инструктор. При необходимости инструктор группы может из существующих вопросов создать новые тесты со своими правилами выбора и отображения вопросов.
Тест на самопроверку и обучающие
тесты назначаются студенту вместе с назначением группе, где он учится. Тесты промежуточной и итоговой аттестации требуют дополнительных ограничений на время и место проведения теста. Для этого выполняется назначение теста студенту группы с указанием периода проведения тестирования. Назначения выполняются администратором подразделения или работниками деканата. Администраторы подразделения могут назначать тесты не только группам студентов, но и отдельным студентам, у которых в индивидуальных планах присутствует дисциплина, а также любым другим пользователям, которые могут и не являться студентами вуза (данная возможность позволяет назначать тесты абитуриентам, слушателям курсов и т.п.)
Студент получает доступ к тесту автоматически, на основании назначений и в период, определенный при назначении (период может быть и неограниченным).
На тестировании возможно присутствие наблюдателя, т.е. пользователя, который имеет право менять число попыток сдачи теста всем студентам в СИТО.
Вопросы типа эссе, которые необходимо оценивать вручную, просматривают и аттестуют инструктор группы и контролер. Первый проверяет результаты студентов групп, второй оценивает всех, не связанных с группой студентов.
Результаты тестирования становятся доступными студентам, инструктору группы, контролеру, работнику деканата и администратору подразделения.
Результаты тестирования могут быть экспортированы в систему Успеваемость с нормированием по баллам рейтинговой системы оценки знаний студентов.
По результатам тестирования может быть выполнен статистический анализ с целью повышения качества тестовых заданий автором курса, психометристом и методистом.
2.4. Вопросы
Спецификация IMS QTI позволяет формировать большое разнообразие типов вопросов. Для простоты работы пользователей в системе выбраны наиболее значимые типы. СИТО поддерживается 16 типов вопросов:
- один вариант из нескольких предложенных;
- несколько вариантов;
- выбор единственного варианта на рисунке;
- выбор нескольких вариантов на рисунке;
- выбор области на рисунках;
- определение порядка следования объектов (текста или рисунков);
- соединение точек на рисунке;
- перетаскивание объект в нужное место экрана;
- ввод слова, фразы или нескольких слов (фраз);
- составление эссе;
- ввод числа;
- выбор числа на слайдере;
- установка числа с помощью слайдера;
- установка соответствия между группами утверждений;
- составные вопросы - например, выбор единственно верного + ввод слова.
Вопросы состоят из названия, максимально и минимально возможных баллов, временных ограничений, содержания вопроса, утверждений, целей, рубрик, обратных связей. Собственно утверждения и содержание вопроса могут состоять из объектов различных типов - текст, рисунки, ауди-и видеоинформация, апплеты, приложения, расположенные в различном порядке.
Цель вопроса - это определение того, зачем создан данный вопрос. Рубрика - некоторая дополнительная информация по вопросу. Рубрики могут содержать методические или технические указания для ответа на вопрос. Цели и рубрики состоят из текста, рисунков, аудио, видео, апплетов и приложений. Обратная связь - это набор подсказок, решений, или информации, которая отображается после ответа на вопрос. Подсказка, решение и отображение после ответа могут состоять из набора текстов, рисунков, звука, видео, апплетов и приложений. Цели, рубрики и обратные связи имеют привязку к роли пользователя и могут отличаться для разных ролей.
В вопросе также описываются правила обработки ответа пользователя. В зависимости от выбора разного набора утверждений пользователь может получать и разные баллы. Обработка ответов пользователей может проходить по двум алгоритмам.
Первый состоит в обработке ответа, так как он есть. Т.е. в вариантах обработки должны быть описаны все случаи ответов и количество баллов, получаемое тестируемым при выборе каждого случая. Отсутствие введенного варианта приводит к установлению минимально возможного балла для вопроса (в СИТО разрешено использо-
вать отрицательные баллы, что позволяет в этом случае установить отрицательный балл за ответ).
Второй алгоритм предполагает агрегирование баллов за каждый выбор в ответе. Агрегирование может представлять собой как суммирование, так и вычитание, умножение, деление и присваивание.
Специальный мастер СИТО с веб-интерфейсом позволяет создавать вопросы в двух режимах: автоматическом и ручном. Автоматический режим создания вопроса представляет собой набор последовательных действий в процессе прохождения, которых создается вопрос. Режим предназначен для человека, не знакомого с идеологией IMS QTI. Ручной режим предназначен для более подготовленных пользователей и предоставляет возможность редактирования всех объектов вопроса произвольным образом. 2.5. Тесты
Система поддерживает четыре типа тестов: самопроверка, обучающий тест, экзамен и промежуточный контроль. В процессе выполнения самопроверки или обучающего теста студент может узнать правильный ответ, получить подсказку или решение. В экзамене или тесте для промежуточного контроля просмотр решения или подсказки запрещен.
Согласно стандарту IMS QTI тест в СИТО состоит из секций. Но при создании теста можно использовать мастер, который создаст тест без явного создания секций (что не мешает секциям быть созданными автоматически, согласно правилам). Для редактирования теста необходимо использовать режим, в котором редактируются секции и правила их вхождения в тест.
Правила выбора вопросов включают: правила выбора и правила отображения. Выбор вопросов в секцию осуществляется согласно следующим правилам.
Вопросы могут выбираться из некоторого постоянного заданного множества вопросов. Это правило позволяет гарантировать, что в секцию войдут только определенные пользователем вопросы.
Вопросы могут выбираться из некоторого (возможно) непостоянного множества вопросов. Это правило позволяет автоматически включать в секцию вновь созданные вопросы.
Вопросы могут выбираться по достижению секции (теста) определенного суммарного балла. Это правило позволяет формировать секции (тесты) с заданной сложно-
стью, независимо от того, сколько вопросов в него входит.
Вопросы могут быть выбраны по принадлежности определенному разделу курса.
Вопросы могут выбираться по достижению некоторого количества вопросов в секции (тесте).
Вопросы могу выбираться с учетом балла. Правило позволяет задавать допустимую сложность вопроса (меньше, в диапазоне, больше).
Вопросы могут выбираться с учетом того, были ли он предложены ранее этому студенту или входит ли данный вопрос в самопроверку или обучающий тест.
Правила отображения вопросов регламентируют вывод порядок представления вопросов студентам.
Вопросы могут отображаться последовательно. Это правило позволяет отображать вопросы в заданном порядке. Множество вопросов в этом случае всегда ограниченно. Такой тип отображения необходим, когда имеются связанные друг с другом вопросы.
Вопросы могут выбираться случайно. Это правило отображения доступно и для ограниченного и для неограниченного множества вопросов.
Вопросы могут отображаться по возрастанию баллов. Правило позволяет из заданного множества вопросов формировать последовательность с возрастающей сложно -стью.
Большинство правил могут объединяться. Например, в тест можно выбрать вопросы с баллом от 5 до 10 в количестве 17 штук из неограниченного множества вопросов, так, чтобы суммарная сложность теста не превышала 115 и вопросы ранее не должны были быть заданы студенту. При этом вопросы отображаются по возрастанию сложности.
Использование секций с различными правилами выбора позволяет формировать тесты в зависимости от задачи. Например, несколько однотипных вопросов могут быть объединены в секцию, в которой установлено правило: случайный выбор одного вопроса. Таким образом, обеспечивается гарантированное представление пользователю не более одного однотипного вопроса. Промежуточные аттестации по дисциплине могут быть организованы из секций, в которые выбраны вопросы, принадлежащие определенным разделам. Поскольку секции могут быть вложены друг в друга, то возможна тонкая настройка теста.
Результатом теста является суммарное число баллов, полученных за каждый вопрос. Но итоговая оценка может быть представлена не только в баллах, но и в привычных оценках: «неудовлетворительно», «удовлетворительно», «хорошо» и «отлично». Соответствие баллов и оценок определяет автор теста по относительным соотношениям набранного числа баллов к общему числу баллов теста.
Назначение тестов зависит от типа теста. Для самопроверок и обучающих тестов назначение выполняется в один этап. Для промежуточной и итоговой аттестации назначение двухэтапное для студентов, обучающихся в группе и одноэтапное для остальных пользователей.
На первом этапе Инструктор (или администратор подразделения) назначает тест группе студентов или отдельным студентам. Это можно делать в начале семестра и в любое другое время. Тест на самопроверку и обучающий тест становится доступен студентам группы и тем пользователям, которым он назначен персонально.
Студент может быть не допущен к итоговой или промежуточной аттестации. Чтобы обеспечить прохождения теста только допущенным к тесту студентам, необходимо выполнить второй этап назначения. Во втором этапе тест должен быть назначен персонально каждому студенту. Работник деканата, администратор подразделения или наблюдатель могут назначать тест студентам только тех групп, которым назначен тест на первом этапе. Наблюдатель вправе не дать возможность пройти тест конкретному студенту в связи с его отсутствием в аудитории в момент экзамена. 2.6. Тестирование
Студенту доступны для тестирования те тесты, которые удовлетворяют условию.
тест является самопроверкой или обучающим тестом и назначен или группе студентов или студенту персонально, при этом временной диапазон легитимен;
тест является итоговой или промежуточной аттестацией, назначен персонально студенту, временной диапазон легитимен и имеется по крайне мере одна неиспользованная попытка.
Студент выбирает курс, тест и начинает тестироваться (рис.1.- см. цв. вставку). Если тест имеет временные ограничения, то информация об использованном времени отображается на экране. В СИТО учитывается
только «чистое» время без времени на передачу и на отображение вопросов.
При необходимости кроме содержания вопроса и утверждений студент может просмотреть содержимое рубрики и целей вопроса. Если автор курса задал Обратную связь, то она будет доступна после ответа на вопрос.
При выборе вопросов для теста в случае ограничения по общему баллу (теста или секции) вопросы выбираются с точки зрения минимизации отклонения, т.е. набор вопросов таков, что отклонение от задаваемой общей сложности минимально.
Пусть Q = [чг }/= - множество вопросов, которое может быть в тесте (секции) на основании заданных ограничений (это множество не совпадает со всем множеством вопросов курса, оно представляет собой выборку тех вопросов, которые удовлетворили явным ограничениям, накладываемым на тест1); pi - сложность /-го вопроса; S - требуемая сложность теста (секции). Выполня-
N
ется условие S < Е р/ . Необходимо вы-
/=1
брать такие д}- из Q, чтобы ошибка
= s - Е р,
]'е[1> N}
была минимальной.
N
Если S > Е р/ , то, следовательно, не
/=1
существует необходимого множества вопросов и следует либо добавить вопросы к курсу, либо изменить (ослабить) ограничения теста.
Необходимо заметить, что важным требованием к системе тестирования является производительность. Поэтому для выбора вопросов используется простой алгоритм, не обеспечивающий глобального минимума ошибки.
1. Упорядочиваем вопросы по возрастанию сложности.
2. Выбираем вопросы до тех пор, пока
1 К явным ограничениям можно отнести те, которые позволяют выбрать вопросы независимо от других параметров. Например, заданное автором теста множество вопросов, ограничение по сложности, ограничение по привязке к разделу. Ограничения, которые связаны не с вопросом, а с другими параметрами, например, суммарная сложность теста, общее число вопросов и т.п., можно отнести к неявным ограничениям.
Е Р< S . Выбор осуществляется мете-
Ми N}
дом золотого сечения (чтобы уравновесить присутствие сложных и простых вопросов в тесте).
3. Если Е Р ] = S , то искомый набор
М1м} вопросов найден.
4. Если Е Р] > S
М1м}
м
a. Вычислим ошибку е = Е Р] — S
]=1
b. Если внутри выбранного подмножества Qм = [чг }м=1 е Q есть вопрос со сложностью равной е, то удаляем его из множества.
c. Если такого вопроса нет, то выполняется поиск вопроса со сложностью е ± 1, при нахождении такого вопроса, он будет удален. Оставшееся множество вопросов является искомым. Если такого вопроса нет, то выполняется поиск вопроса со сложностью е ± 2 .
^ Процесс продолжается до тех пор, пока не будет найден вопрос, который должен быть исключен.
е. Результирующее множество будет иметь М-1 вопросов, где М - число вопросов, полученных при выборе.
Но в некоторых случаях ограничения на выбор вопроса включают также и ограничения на число вопросов. Рассмотрим выбор вопросов для случая, когда требуется выбрать м вопросов с общей сложностью теста S . Алгоритм выбора в СИТО следующий:
1. Упорядочиваем вопросы по возрастанию сложности.
2. Выбираем м вопросов
(Qм = {?г }/М=1 е Q) по методу золотого сечения.
м
3. Если Е Р] = S, то искомый набор
1=1
вопросов найден.
м
4. Если Е Р] > S
]=1
a. Упорядочиваем подмножество Qм по возрастанию сложности (рм _ максимальная сложность).
b. Выполняется поиск вопроса со сложностью рм — 1 среди тех вопросов, которые не вошли в выбранные (Qм ). Если
е
такой вопрос найден, то заменяем им вопрос с максимальной сложностью и возвращаемся к пункту 3. Если такого вопроса нет, то выполняется поиск вопроса со сложностью рм — 2 и т.д., поиск продолжаем до тех пор, пока вопрос не будет найден или не будет достигнута максимальная сложность из дополнения Qм .
с. Если вопрос не найден, прекращаем поиск и считаем имеющееся множество искомым (так как в этом случае не существует ни одного вопроса, которым можно было бы уменьшить ошибку).
м
5. Если ^pj < Б
1=1
a. Упорядочиваем подмножество Qм по убыванию сложности (рм - минимальная сложность);
b. Выполняется поиск вопроса среди тех вопросов, которые не вошли в выбранные (Qм ), вопрос со сложностью рм +1. Если такой вопрос найден, то заменяем им вопрос с минимальной сложностью и возвращаемся к пункту 3. Если такого вопроса нет, то ищем вопрос со сложностью рм + 2 и т. д., поиск продолжаем до тех пор, пока вопрос не будет найден или не будет достигнута максимальная сложность из дополнения Qм .
c. Если вопрос не найден, прекращаем поиск и считаем имеющееся множество искомым (так как в этом случае не существует ни одного вопроса, которым можно было бы уменьшить ошибку).
Во время сдачи теста студенту на экране доступен всегда только один вопрос. Если в тесте разрешено возвращаться назад, то студенты могут вернуться к любому вопросу теста. В некоторых случаях время на тестирование ограничено. Это в основном практикуется для экзаменов и промежуточных аттестаций. В случае, если студент не успел ответить на все вопросы теста, тест прекращается и засчитывается результат тех вопросов, на которые был дан ответ (точнее те вопросы, которые были представлены студенту для ответа). Для всех остальных вопросов баллом за ответ является минимально возможный балл вопроса.
Все попытки сдачи теста сохраняются в базе данных, включая ответы на все вопросы. Результатом сдачи теста является либо суммарное число баллов, либо дополнительно к числу баллов оценка.
Для контроля над успеваемостью обучаемых реализован режим просмотра отчетов по успеваемости. Система предоставляет возможность получения отчетов студентами по их личной успеваемости и сводных отчетов для пользователей, имеющих права на просмотр отчетов. Реализованы следующие виды отчетов:
— успеваемость группы и индивидуальных студентов по текущей дисциплине,
— статистический сводный отчет о сдаче тестов,
— подробный отчет по ответам на вопросы теста студентами,
— рейтинговые отчеты.
Для проведения анализа качества тестовых заданий используются семантический и статистический анализ. Статистическая обработка результатов анализа включает расчет различных статистических характеристик - среднего, дисперсии, коэффициентов ассиметрии и эксцесса. Для анализа зависимостей вопросов внутри теста вычисляются корреляционные матрицы. 2.7. Механизмы интеграции системы с корпоративной информационной средой вуза
Разработка или приобретение системы тестирования в вузе - это лишь первая задача на пути построения системы мониторинга. Если вуз предполагает развернуть систему мониторинга в широком масштабе, то требуется планомерное сопровождение системы тестирования. В вузе для сопровождения могут понадобиться слишком большие усилия, если система тестирования является отдельным, не связанным с другими системами продуктом. В этом случае возникает необходимость вести данные непосредственно в системе тестирования. К таким данным относятся: учебные планы, дисциплины, учебные группы, студенты, преподаватели, пользователи, успеваемость. Сопровождать такую систему сложно.
Для решения этой проблемы необходимо, чтобы система тестирования была интегрирована с КИС вуза. Все данные, которые не относятся непосредственно к тестам и тестированию, должны быть получены из КИС:
-данные по учебным планам и дисциплинам формируются в системе управления учебными планами,
-данные по студентам и учебным группам получены из системы учета контингента студентов
- данные по оргстурктуре и преподавателям формируются в системе управления персоналом,
- данные по пользователям КИС получены из системы единой регистрации и управления правами,
- результаты тестирования могут быть экспортированы в систему успеваемость.
В КИС ВГУЭС разработана и внедрена система единой регистрации и управления правами пользователей (на основании технологий .Net, MS SQL Server, Active Directory). Зарегистрированные пользователи получают доступ в СИТО на основании ролей. Система СИТО разработана на основе технологий Oracle Application Server, Java2EE, СУБД Oracle. Системы управления учебным процессом разработаны на основании технологий MS SQL Server, .Net, Delphi, OAS Java2EE.
Связь между данными системы тестирования и данными КИС осуществляется на основании логической интеграции данных, когда данные расположены в разных базах данных и интегрируются «по требованию», т.е. в режиме реального времени (рис.2. цв. вставка). Ситуации, которые требуют вызова процедуры актуализации, возникают при работе с данными КИС:
1. Удаление пользователя КИС - данные о результатах могут быть частично удалены. В базе данных СИТО удаляется информация о назначениях пользователю теста. Информация же о результатах тестирования сохраняется под неизвестным пользователем для выполнения статистического анализа оценки качества тестовых заданий.
2. Удаление дисциплины в корпоративной базе приводит к тому, что в системе тестирования происходит разрыв связи между курсами СИТО и дисциплинами корпоративной базы данных. Такие курсы доступны для администрирования только главному администратору среды.
3. Удаление или изменение учебных планов не меняет ничего в уже назначенных и пройденных тестах. При назначении новых тестов на группы будут учитываться новые учебные планы.
То, что в СИТО не требуется дополнительно вести информацию о пользователях, учебных планах и группах, значительно облегчает процесс сопровождения системы и ее массового внедрения в учебный процесс ВГУЭС.
3. Опыт использования системы тестирования во ВГУЭС
Развертывание системы мониторинга качества образования продолжается во ВГУЭС в течение 7 лет. В последние два года тестирование как элемент такой системы приобрело широкие масштабы. Общее число дисциплин, по которым подготовлены тесты в СИТО, составляет около 500 (40% от общего числа дисциплин высшего образования ВГУЭС). Итоговые аттестации по этим дисциплинам проводятся в режиме тестирования.
Процедура проведения приема экзаменов в форме компьютерного тестирования разработана в соответствии с действующим в вузе Положением о рейтинговой системе. Максимальная сумма баллов, набираемая студентом по дисциплине, равна 100, при этом к моменту проведения итоговой по дисциплине аттестации студент может иметь не более 80 баллов (по итогам выполнения лабораторных, практических и контрольных работ, семинаров, коллоквиумов и т. п.). На экзамен в форме компьютерного тестирования выносится только 20 баллов. Т.е. влияние преподавателя на итоговую оценку является определяющим. Такой подход имеет следующие преимущества. С одной стороны, он позволяет сохранить субъективный фактор оценки знаний преподавателем, который часто имеет положительный вес. С другой стороны, вносится элемент независимой оценки, повышающий объективность конечного результата. Соотношение 80/20 выбрано в настоящее время из расчета определяющего веса преподавательской оценки. Кроме того, качество тестовых заданий нуждается в серьезной проверке, а также требуется увеличить банк тестовых заданий. В настоящее время он составляет в среднем по 130 вопросов на дисциплину.
Центр мониторинга качества образования ВГУЭС осуществляет организацию процесса тестирования. Перед сессией в Центр из деканатов передаются заявки на проведение экзаменов и зачетов в форме компьютерного тестирования с указанием дисциплин и учебных групп. Пять классов компьютерного центра по 30 компьютеров на время сессии отдаются под тестирование. Центр мониторинга формирует расписание и назначает тесты группам, указанным в заявке.
Цифровая ведомость за несколько дней до тестирования готовится деканатом в системе Успеваемость. На сдачу экзамена в форме компьютерного тестирования дается 3 попытки: одна во время сессии и две в течение месяца от начала нового семестра для
студентов, получивших неудовлетворительную оценку. Назначение тестов студентам выполняют сотрудники Центра мониторинга или сотрудники деканата, на основании подготовленной ведомости.
Согласно расписанию группа студентов сдает тест, который длиться в среднем около получаса. При тестировании присутствует ведущий преподаватель. Результат тестирования студента оценивается по балльной системе и при заполнении ведомости по дисциплине автоматически заносится в систему Успеваемость, при этом выполняется преобразование баллов из СИТО в баллы рейтинговой системы. Преподаватель в специализированном классе компьютерного центра заверяет ведомость своей электронной подписью и там же для бумажной отчетности распечатывает ведомость, подписывает и сдает в деканат. На основании итоговых данных преподаватель заполнял зачетные книжки студентов. Сеанс тестирования от начала процедуры тестирования до передачи студентам заполненных зачетных книжек составляет 1 час. Каждый день сессии проводится по 6 сеансов тестирования одновременно в пяти аудиториях.
Некоторые агрегированные характеристики представлены в табл. 1.
В ходе зимней сессии 2005/06 уч.г. к использованию электронных тестов как варианта экзамена подключился филиал ВГУ-ЭС в г. Находка.
Из табл. 1. видно, что существуют дисциплины, средние результаты по которым были значительно выше допустимого диапазона 35-75%. Такой высокий показатель качества может служить поводом тщательного изучения тестовых заданий. Основная причина может быть связана со слишком простыми тестовыми заданиями. Основное число дисциплин имеет средние показатели качества ответов в диапазоне 35-75%, что свидетельствует об адекватности тестовых заданий целевым аудиториям и знаниям студентов что, конечно, еще не свидетельствует о качестве тестовых заданий. Для оценки качества тестовых заданий существует специализированные процедуры, которые в рамках этой статьи мы рассматривать не будем.
Еще одним интересным результатом можно считать высокую степень корреляции между оценками, выставленными препода-
Таблица1
Обобщенные показатели использования системы СИТО в учебном процессе ВГУЭС
Зимняя сессия 2004/05 гг. Летняя сессия 2004/05 гг. Зимняя сессия 2005/06 гг.
Число дисциплин 51 83 112
Число групп 246 509 575
Число чел/сеансов 3224 5418 7381
Число дисциплин со ср. баллом > 75% 7 7 14
Число дисциплин со ср. баллом < 35% 4 4 0
вателями, и теми, которые получены при тестировании.
Семестр во ВГУЭС имеет 3 аттестации, последняя из которых проводится в форме
экзамена. х(к), к е {1,2,3}, / = 1,..., N - результат / -го студента в к - ю аттестацию. Экзамен в тестовой форме описывается 3-й аттестацией. Корреляцию между объективными и субъективными факторами будем искать следующим образом
«+x<2> ))3))
r =
N
,!(х(1)+хР )2 )2
V и=1 г=1
Конечно, в ходе экзаменационной сессии достаточно часто имеют место ситуации, когда успешно сдавшие промежуточные аттестации студенты, получают при тестировании невысокий балл. Такая ситуация может быть признаком того, что либо тесты составлены неудачно либо в оценке студента слишком большой вес имел субъективный фактор. В любом случае для методистов и преподавателей есть повод проанализировать особенно внимательно такие дисциплины.
Еще одним показателем, который анализируется по результатам тестирования, является дисперсия отклонения между субъективным и объективным фактором.
1
N (
Р= N 5
x?> + x<2)
x
(3) Л
Max(1) + Max(2) Max(3)
Здесь Max(к) - определяет максимальный рейтинговый балл по к -й аттестации. Большая дисперсия показывает, что по данной дисциплине есть большие расхождения между объективной и субъективной составляющей оценки. Это может быть свидетельством недостаточного качества тестовых заданий, так и качество преподавания дисциплины, а также и субъективности преподавателя.
Один из показателей результатов тестирования оценивает относительный средний балл, полученный студентами кафедр при тестировании. Относительный средний балл по ВГУЭС составляет 58,5% .
Введение процедуры приема экзаменов в форме компьютерного тестирования сопровождается выпуском приказов, памяток для студентов и для преподавателей, проведением семинаров для администраций институтов и преподавателей, разъясняющих
цели, технологию, а также порядок подготовки и проведения экзаменов в тестовой форме.
В целом процедура тестирования проходит организованно, не вызывая затруднений ни у студентов, ни у преподавателей. Опрос подтвердил либо положительное отношение подавляющего большинства участников к такой форме сдаче экзаменов, либо изменение отношения в положительную сторону в результате полученного опыта.
В качестве положительного преподавателями отмечалось:
- оперативность оценки знаний одновременно большого числа студентов;
- одинаковые требования ко всем экзаменующимся ;
- объективность оценки за экзамен;
- решающее влияние ведущего преподавателя на итоговую оценку;
- меньшая психологическая и моральная нагрузка на преподавателя при выставлении итоговых оценок;
- отсутствие необходимости принимать пересдачу экзамена у студентов, получивших во время сессии неудовлетворительную оценку.
Большинство преподавателей выразили желание внести изменения в тестовые материалы с учетом приобретенного опыта использования тестовых заданий в качестве экзаменационных, оценили все преимущества применения автоматизированного контроля как инструменту экспресс диагностики уровня усвоения знаний.
В то же время, частью преподавателей были высказаны мнения о:
- принципиальной невозможности оценить знания студента выполнением электронного теста,
- влиянии формы приема экзаменов на оценку, - форму сдачи экзамена в виде компьютерного тестирования приводит к снижению оценок.
Более 90% использованных тестовых материалов разработаны не ранее 2004г., в подавляющем большинстве авторами, в данный момент ведущими данную дисциплину. Все тестовые материалы получили рецензию специалистов в соответствующей области знаний, снабжены выписками из протоколов заседания кафедры, учебно-методических комиссий институтов о соответствии ГОС и учебной программе. При необходимости авторы могут внести изменения в тестовые материалы.
i=1
2
Университетом на сегодняшний день накоплен опыт трех сессий с использованием системы тестирования. Введен в действие паспорт теста, позволяющий судить о его назначении и структуре, принадлежности конкретной дисциплине в базе данных методического обеспечения образовательных программ ВГУЭС. Ведется разработка подходов к созданию педагогических тестов в зависимости от того, к дисциплине какого цикла образовательной программы он будет относиться, специфики тестируемой области знаний с учетом курса тестируемого. Разработана программа повышения квалификации профессорско-преподавательского состава по разработке и применению педагогических тестов в учебном процессе, только в этом году прошли обучение более 50 человек.
К важнейшим достоинствам систем электронного тестирования следует отнести оперативность при подведении итогов и их опубликовании, беспристрастность оценок, меньшую трудоемкость при редакции тестов, простоту и экономичность их тиражирования, возможность осуществления самоконтроля, дистанционное взаимодействие с обучающимся. Применение Интернет-технологий в электронном тестировании не просто расширяет географические рамки, но, прежде всего, представляет дополнительный инструментарий оценки взаимодействия с обучаемым. Интернет-тестирование не является альтернативой личному участию обучающегося в формах итогового контроля, а является инструментом, который расширяет и дополняет средства контроля знаний обучаемых.
Литература
1. Болотов В.А., Шмелев А.Г. Развитие инструментальных технологий контроля качества образования: стандарты профессионализма и парадоксы роста//Высшее образование сегодня. - 2005. - 4. - С.16-21.
2. Ефремова Н.Ф. Тестирование и мониторинг: рекомендации учителю//Стандарты и мониторинг в образовании. - 2001. -3. - С.55-60
3. Матушанский Г.У. Педагогическое тестирование в России//Педагогика. - 2002. - 2. - С. 15-21.
4. Кабанов А.А. Тестирование студентов: достоинства и недостатки//Педагогика. - 1999. - 2. -С.66-68.
5. В.В. Крюков, К.И. Шахгельдян, Е.Н. Архипова. Разработка и внедрение интегрированных Инетр-нет-сред обучения и тестирования//Proceedings of IEEE International Cinference on Advanced Learning Technologies, Kazan, Russia, 9-12 September, 2002, pp. 312-314.
6. IMS QTI v.1.2. http://www.imsglobal.org
7. Игнатова И.Г., Соколова Н.Ю. Электронный учебный план как основа интеграции компьютерных средств обучения в системе ОРОКС//Открытое образование. - 2004. - 3. - С.51-54.
8. Гмарь Д.В., Крюков В.В., Шахгельдян К.И. Система автоматического управления правами доступа к информационным ресурсам вуза//Информационные технологии. - 2006. - 2.
ПЛАНИРОВАНИЕ РЕЗУЛЬТАТА ОБРАЗОВАНИЯ С МИНИМАЛЬНЫМИ ЗАТРАТАМИ НА ПОДГОТОВКУ СПЕЦИАЛИСТА
Л.С. Лисицына, к.т.н., доц., зав. каф.
Компьютерных образовательных технологий Тел/факс (812) 233-1961, E-mail: lisizina@mail.ijmo.ru, http://dce.ifmo.ru Санкт-Петербургский государственный университет информационных технологий, механики и оптики http://www.ifmo.ru
Clause is devoted to realization the competent approach to preparation of experts with minimization of expenses. Results of development of models and methods for automation of planning of educational process are resulted.
Компетентностный подход к образованию является ответом на проблемную ситуацию в образовании, возникшую из-за противоречия между необходимостью обеспечить современное качество образования и невозможностью решить эту задачу тради-
ционным путем за счет дальнейшего увеличения объема информации, подлежащей усвоению. Поэтому чрезвычайно важно не только сменить ориентацию образовательного процесса с преподавателя на студента, но и научиться планировать результаты об-
