CC BY
33
работы, обеспечить заочную, дистанционную и другие формы обучения.
Студенты, имеющие компьютерный учебник, получают возможность готовиться к занятию как в его теоретической, так и практической частях, выяснить принципи-
альные стороны формальных теорем, разобраться в решении примеров и задач, которые остались за рамками занятия, восполнить любые пробелы в знаниях и умениях, образовавшиеся по тем или иным причинам.
Литература
Мантуров О.В., Матвеев Н.М. Курс высшей математики: Учебник для студентов втузов.- М.: Высшая школа, 1986. - 480 с.
НАПРАВЛЕНИЯ РАЗВИТИЯ КОМПЬЮТЕРНОЙ СИСТЕМЫ ТЕСТИРОВАНИЯ «ELLEKTA»
А.М. Бершадский, д.т.н. проф., зав. каф САПР тел: (412) 562878 email: bmm@stup.ac.ru Р.И. Вергазов ассист. каф. САПР тел: (412) 562878, email:ellekta@yahoo.com И.Г. Кревский, к.т.н., доц., директор ЦДО тел: (412) 368049, email:penzado@stup.ac.ru Пензенский государственный университет
The one of the most important issues of concurrent education systems is knowledge measuring. It's well-known fact that the computer assessment systems provide the best way to measure students' knowledge. The paper is devoted to the development trends of computer assessment system «Ellekta».
На современном этапе развития образования в России все больше внимания уделяется внедрению эффективных форм контроля знаний [1,2]. Одной из таких форм является проведение тестирования. Тестирование является наиболее стандартизованным и объективным методом контроля и оценивания знаний, умений и навыков испытуемого, лишенным таких традиционных недостатков других методов контроля знаний, как неоднородность требований, субъективность экзаменаторов, неопределенность системы оценок и т.п. [3].
В настоящее время процесс тестирования реализуется либо в письменной форме, либо с использованием компьютерных систем тестирования (КСТ). Преимущества использования КСТ очевидны [1,2]. Основными из них являются:
1) Освобождение преподавателя от выполнения рутинных работ по контролю знаний, таких как подготовка и выдача бланков
тестовых заданий, регистрация участников тестирования и сбор результатов теста.
2) Применение современных методов оценки знаний.
Только с использованием КСТ становится возможным использование адаптивного тестирования [4] и оценивание характеристик тестируемого и самого теста в рамках классической теории тестирования [5] и современной теории тестирования - теории методов параметризации тестов (ТМПТ) [6].
3) Возможность реализации обучающей функции.
При обучающем тестировании пользователю после прохождения теста предоставляются ссылки на те разделы учебного материала, на вопросы по которым он ответил неверно, что позволяет ему выявить свои пробелы в знании материала.
4) Оперативность обработки результатов тестирования.
Современный подход к созданию и проведению тестов требует достаточно ресурсоемких расчетов при анализе, как результатов теста, так и его характеристик, что возможно эффективно реализовать только с помощью КСТ.
Подробный анализ существующих КСТ, проведенный в [7], показал, что каждая
из описанных в обзоре систем обладает своими недостатками, как в с методической
точки зрения (отсутствие проверки качества разработанных тестов и т.д.), так и с технической точки зрения (отсутствие защиты тестовых материалов и т.д.). В связи с этим был выполнен анализ требований к КСТ и предложены критерии оценки КСТ [7]. На базе проведенного анализа в Пензенском Государственном Университете (ПГУ) создана КСТ «EПekta», удовлетворяющая большинству предъявляемых требований. На текущий момент система активно используется как в дистанционном обучении, так и в учебном процессе ПГУ. В процессе эксплуатации системы выявились новые направления ее развития и доработки.
Одним из таких направлений является применение КСТ «Ellekta» при проведении междисциплинарного экзамена. Для этого предлагается реализовать алгоритм гетерогенного адаптивного тестирования [8]. Алгоритм гетерогенного адаптивного тестирования базируется на варьирующей ветвящейся стратегии. В его основе лежат модели тестового задания современной и классической теории тестирования, дополненные метаинформацией об их семантике. Под ме-таинформацией здесь понимаются как ключевые слова, введенные автором данного тестового задания для его описания, так и слова, содержащиеся в формулировке и ответах. На основе данной модели ТЗ строится модель хранилища тестовых материалов, представляющая собой граф, в котором вершинами графа являются ТЗ разных дисциплин, а ребрами отношения между ними. Отношения могут быть следующих видов:
1. Включения - ТЗ включает проверку знаний и умений по ТЗ, к которому направлена связь;
2. Пересечения - ТЗ включает проверку части знаний и умений по ТЗ, к которому направлена связь.
Для выявления отношений между ТЗ предлагается использовать один из алгоритмов нечеткого поиска. Результатом работы алгоритма будет ориентированный граф тематически связанных между собой ТЗ, окончательная структура которого будет форми-
роваться на основании мнения экспертов в рассматриваемых предметных областях. Вершинам с наибольшей локальной степенью будут соответствовать ТЗ, требующие для правильного ответа знаний нескольких дисциплин. Множество внутренней устойчивости графа будут представлять ТЗ, никак не связанные между собой.
С помощью такой модели хранилища тестовых заданий алгоритм гетерогенного адаптивного тестирования не только позволяет осуществлять подбор сложности следующего тестового задания, но и учитывать семантическую составляющую теста, что способствует повышению эффективности за счет сокращения количества тестовых заданий при итоговой оценке знаний по нескольким дисциплинам. Качественным достижением применения данного алгоритма является выявление и оценка структуры знаний тестируемого.
Еще одним направлением развития КСТ является снижение вероятности угадывания тестируемыми правильного ответа на тестовые задания. Этот фактор часто упоминается критиками тестирования [9]. Особенно это проявляется при ответах на ТЗ с одним правильным ответом. Вероятность угадывания ответа в ТЗ с одним правильным ответом составляет: при трех ответах - 33%, при четырех - 25%, при пяти - 20%. Для преодоления этого недостатка большинство тестологов предлагают увеличивать число вариантов ответов похожих на правильные (дистракторов) [5]. Автором предлагается еще один способ снижения возможности угадывания правильного ответа. При ответе на ТЗ с одним правильным ответом тестируемый изначально поставлен в ситуацию, когда от него требуется выбрать только один ответ, и в случае, если он приблизительно представляет, каким он может быть, вероятность правильного ответа с его стороны повышается, несмотря на количество дистрак-торов. В случае если тестируемый не знает точного количества требуемых от него ответов, дистракторы будут работать более эффективно, так как тестируемый будет вынужден учитывать их все. Возникает ситуация когда помимо случайно выбранного пра-
вильного ответа, появляется вероятность выбора тестируемым дистрактора, что приведет к оценке ТЗ как невыполненного. По мнению авторов, сложился определенный стереотип в реализации компьютерных систем тестирования, где интерфейс ТЗ на выбор одного или нескольких правильных ответов различен. Предлагается унифицировать интерфейс пользователя при ответе на ТЗ с одним правильным ответом и ТЗ множественного выбора, что позволит вместе с увеличением дистракторов снизить вероятность угадывания до приемлемого уровня.
Следующее усовершенствование направлено на более эффективное представление учебного материала по дисциплинам, связанным с использованием алгоритмических языков в виде тестовых заданий. При конструировании тестов в таких дисциплинах возникает проблема автоматизации проверки умений и навыков тестируемых в области создания программ [10]. В качестве примера можно привести следующее задание:
«Реализовать на языке C++ функцию, меняющую местами значения своих аргументов. Использовать следующий прототип функции: void changeIt(int& valí, int& val2)».
Проверка подобных заданий на текущий момент всегда требует участия преподавателя. Попытки автоматизировать проверку знаний с помощью существующих типов ТЗ не увенчались успехом так, как не существует типа ТЗ способного автоматически определить правильность выполнения задания. Первой проблемой, встающей при автоматизации проверки, является наличие нескольких вариантов решения одной и той же задачи. Ответом на приведенный выше пример ТЗ могут являться следующие варианты реализации заданной функции:
1. Используя дополнительную переменную.
void changeIt(int& valí, int&val2) {
int tmp = val 1;
vall = val2;
val2 = tmp; }
2. Используя операцию XOR. void changeIt(int& vall, int&val2) { vall = val2 Л vall; val2 = val2 A vall;
vall = val2 a vall; }
Оба варианта будут удовлетворять требованиям задания. При увеличении сложности задания количество правильных вариантов реализации будет возрастать, и их учет будет представлять очень сложную задачу. Второй проблемой является то, что тестируемый может называть имена вводимых им переменных как угодно. Таким образом, проверка полученного решения с помощью заранее заданного одного или нескольких шаблонов, используя ТЗ краткого ответа, не может применяться при оценке данного задания. Для автоматизации проверки подобных заданий предлагается ввести и реализовать в КСТ новый тип ТЗ - ТЗ на программирование. ТЗ на программирование представляет собой ТЗ открытой формы, в котором тестируемому предлагается на заданном языке программирования реализовать какой-либо алгоритм. После формирования тестируемым ответа происходит его компиляция и выполнение КСТ тестов для проверки правильности функционирования и реализации созданной программы. Тесты для проверки правильности функционирования программы предлагается встраивать на этапе подготовки ТЗ. В целом, использование ТЗ на программирование позволит облегчить труд преподавателя, переложив оценку заданий ориентированных на проверку умений и навыков на КСТ.
Реализация и опытная эксплуатация новой версии системы показывает, что повышается широта и эффективность применения КСТ «Ellekta» в учебном процессе.
Литература
1. Бершадский А.М., Белов А.А., Вергазов Р.И., Кревский И.Г. Актуальные проблемы компьютерного контроля знаний // Вестник компьютерных и информационных технологий - 2005 - № l - С.40-48.
2. Bershadsky A.M., Belov A.A., Vergazov R.I., Krevsky I.G. Tools for the computer testing // Proceedings of K2 summit «№Researching Technologies for Tomorrow's Learning: K2 knowledge sharing and looking at the future event» September 20-2l, 2004, Amsterdam, the Netherlands, pp.22-27.
3. Челышкова М.Б. Теория и практика конструирования педагогических тестов. М.: Информационно-издательский дом «Филинъ», 2003.
4. Челышкова М.Б. Адаптивное тестирование в образовании. - М.: Исследовательский центр проблем качества подготовки специалистов, 200l. - l65 с.
5. Челышкова М. Б. Теория и практика конструирования педагогических тестов. М.: Информационно-издательский дом «Филинъ», 2003.
Образовательная среда
6. Нейман Ю.М., Хлебников В.А. Введение в теорию моделирования и параметризации педагогических тестов. - М.: Прометей, 2000. - 168 с.
7. Вергазов Р.И. Критерии оценки компьютерных систем тестирования // «Открытое образование и информационные технологии»: материалы Всеросс. научн. - метод. конф., 17-20 октября 2005 г. // Приложение к журналу «Открытое образование». - Пенза: Информационно-издательский центр ПГУ, 2005. -С.55-58.
8. Вергазов Р.И. Методы генерации адаптивных тестов // Материалы II научн.-метод. конф. проф.-преп. состава, сотрудников и студентов «Инновации в науке, образовании и бизнесе». 2004. - С. 28-30.
9. Пятунин В.Б. «Истинные и мнимые недостатки тестового контроля» стр 103-111 Вопросы тестирования в образовании «Анализ контрольно-измерительных материалов единого государственного экзамена по результатам эксперимента в 2002 г.» Журнал тестирования министерства образования Российской Федерации № 4
10. Вергазов Р.И. Тестовое задание для проверки знаний по алгоритмическим языкам// Сб. тез. докл. III междунар. научн.-метод. конф. «Новые образовательные технологии в вузе» Екатеринбург). - декабрь. - 2005. - С. 310-314
WEB-СИСТЕМА ТЕЛЕКОММУНИКАЦИОННОГО АУДИТА КОМПЕТЕНЦИЙ В РЕШЕНИИ ПРОБЛЕМ ДИСТАНЦИОННОГО
ОБУЧЕНИЯ
Н.И. Костюкова, к.т.н., доц.
Тел (383) 330-90-43, 333-22-58, Е-mail: nina@rav.sscc.ru А.Г. Минак, асп.
Тел (383) 330-90-43, 333-22-58, Е-mail: minak@ngs.ru Институт вычислительной математики и математической геофизики СО РАН
http://www.sscc.ru
The authors of this work are trying to solve the problems of remote education in the area of auditing competences of experts, by the example of vocational training software developers. As the tool for the decision of this problem are used telecommunication technologies by means of development Web-interface.
Введение
Авторы работы решают проблемы дистанционного обучения в области аудита компетенций специалистов, на примере профессиональной подготовки разработчиков программного обеспечения. В качестве инструмента для решения этой задачи используются телекоммуникационные технологии посредством разработки Web-интерфейса. Предлагаемая Web-система позволяет осуществлять адаптивную выдачу заданий и произвести их контроль с использованием контрольных примеров с входными и выходными данными, а также трансляцию текстов программ для локализации и анализа ошибок при обучении программистов. Инструментарием реализации системы выбраны технология JSP с хранением данных в СУБД MySQL,
под управлением Web-сервера Tomcat. В работе проводится исследование проблем использования подобных систем, общие подходы к проектированию и их реализации.
Исследование проблем использования систем аудита компетенций специалистов
Одними из значимых секторов мирового рынка информационных технологий и те ле комму никаци-онных услуг являются дистанционное обучение и переподготовка специалистов. Использование телекоммуникаций, в частности применение Web-техно-логий, определяет спектр локальных задач дистанционного обучения. Одной из таких задач, является проектирование и разработка систем аудита компетенций обучаемых или аттестуемых специалистов.
