CC BY
36
О.Г. Бврестиева', О,В, Марухипа, А.М. Уразаев*'
ИНФОРМАЦИОННА ИОЛОГИЯ КОНТРОЛЯ КАЧЕСТВА ОБРАЗОВАНИЯ
«1СШЕЙ ШКОЛЕ
‘Томский политехнический университет "Томский государственный педагогический университет
Создание интеллектуальной системы компьютерного тестирования не дань моде, а необходимость, связанная с требованиями сокращения временных и стоимостных затрат на обучение субъектов образовательного процесса. Она должна обеспечивать упрощение процедур тестирования, тщательного анализа и удобного представления его результатов в различных проблемных областях.
Для эффективного анализа результатов тестирования вне зависимости от задачи, решаемой пользователем, особое значение приобретают методы визуализации, обеспечивающие для разных тестов единую форму представления конечной информации в виде отображений, адекватных зрительному восприятию человека и удобных для однозначного толкования полученных результатов. Так как результаты тестирования компонуются в виде числовых таблиц, то методы визуализации должны способствовать наглядному изображению этих таблиц в графическом виде.
В последнее время разработано достаточно большое количество интеллектуальных систем и методик для оценки качества подготовки специалистов. К числу этих систем относятся такие, например, как «Экспертные обучающие системы как инструмент педагогического общения» [1], целью которой является
разработка модели экспертной обучающей си «Автоматизированная обучающая система по скому языку с использованием мультимедиа и гипертекстовых учебных пособий» [2], целью которой ставилось создание автоматизированных обучающих компьютерных курсов английского языка. Следует указать также на систему «Компьютерного информационного обеспечения учебного процесса» [3], которая используется для создания системы компьютерных программ при автоматизации учебного процесса.
При сравнительном анализе приведенных выше систем можно отметить, что в качестве исходной информации в них используются среднестатистические данные, достоверность которых практически невозможно оценить для конкретных тестируемых групп и проконтролировать. Кроме того, в этих случаях дополнительно вводятся оценочные показатели, устанавливаемые, как правило, экспертным путем. Таким образом, эти используемые сегодня подходы к созданию систем имеют ряд недостатков, а именно: субъективизм, низкую достоверность исходной информации и, как следствие, низкое качество результатов оценки.
Рассматриваемый в настоящей работе подход, лишен этих недостатков, поскольку выводы основа-
О.Г Берестнева, О.В. Марухина, Ä.M. Уразаев. Информационная технология контроля качества.
ны на реальных, а не среднестатистических данных. Он позволяет принципиально по-новому подойти к оценке качества подготовки специалистов с использованием интеллектуальных систем в условиях использования компьютерной сети, баз данных и баз знаний [4-16]. Ниже приводятся алгоритмы; описание интеллектуальной системы компьютерного тестирования, реализующей изложенные алгоритмы; кратко излагаются результаты апробации системы и пути дальнейшего ее развития.
Алгоритмическое обеспечение
Ключевыми алгоритмами, реализуемыми в интеллектуальной системе, являются:
1) создание и модификация тестов,
2)тестирование,
3) принятие решения по результатам тестирования,
4) визуализация результатов.
В создании и модификации тестов использовались закрытая (альтернативная) и открытая формы тестовых заданий.
Под закрытой понимается такая форма тестовых заданий, где тестируемому предлагается ряд вариантов ответов, среди которых один или несколько правильных. В открытой форме тестируемый должен сам рор'Г-'ттл ОТВСт
;я обобщенной оценки по резуль-т. .. г - на этапе принятия решений в работе были использованы два алгоритма; упорядочения альтернатив при аддитивности критериев и принятия решения в условиях неопределенности, основанных на математическом аппарате, представленном в [17-19].
Алгоритм оценки и упорядочения альтернатив при аддитивности критериев основан на аддитивной свертке, обобщенном на случай нечеткой исходной информации. При этом используется треугольное представление нечетких оценок альтернатив и коэффициентов важности критериев [19].
Кратко изложим алгоритм упорядочения т альтернатив по я критериям:ах,аг,..., ат.Соответствующую оценку-альтернативу обозначим Щ, / == 1, т. Относительную важность каждого критерия зададим коэффициентом И7,., ] - \,п. В этом случае взвешенная оценка 1-й альтернативы вычисляется по формуле
*.'Ьга/Ъ', со
или, если оценки нормированы, по формуле
(2)
м
На основе полученнных взвешенных оценок Я сравниваются альтернативы. Для этого вводится нечеткое множество I, заданное на множестве индексов альтернатив {/, 2,т], и значение соответству-
ющей функции принадлежности интерпретируется как характеристика степени того, насколько альтернатива а. является лучшей. Значение р((г) вычисляется по формуле
М,(0= sup (ттСр.ДхХ^ОО)). (3)
i=l ,я
Упорядочение альтернатив осуществляется по
неубыванию значений функции принадлежности.
В алгоритме принятия решения в условиях неопределенности используется свертка на основе операции пересечения нечетких'множеств [19].
Пусть имеется множество из т альтернатив: А = {ах,аг,.... ам}.
Для критерия С может быть рассмотрено нечеткое множество
С = {рс(а,)/а,, цс(а2)/а2,...,цс{ат)1ат},
где рс (а,) е [0,1 ] - соответствующая оценка альтернативы д. по критерию С
Если имеется «-критериевС,,С,,...,СЯ,то формула для выбора наилучшей альтернативы может быть записана в виде пересечения соответствующих множеств
В ~С> пС2 п..,пС„,
Операция пересечения нечетких множеств соответствует операции min, выполняемой над их функциями принадлежности
¡i(D(a;i) = ma(uifl(aJ))), (ä-
Для выделения однотипных групп тестируемых используются методы кластерного анализа, в частности distant-алгоритмы, в которых в качестве меры
упорядочения образов в пространстве R2 \Y'^\ принимается близость точек по расстоянию между ними [20].
В дальнейшем под термином «таблица данных» понимается ее математическое определение как матрицы данных TN,iX). При этом полагается, что над таблицей данных TNL{X) можно проводить любые математические операции, разрешенные для матриц данных. Элементами N и I будем обозначать число строк и столбцов в матрице (таблице). Вектору Хп е R1 соответствует w-я строка матрицы TNI (X). Она показывает, какие значения приняли все L координат для точки конца этого вектора. Вектором Xi е R1 обозначим l-й столбец таблицы Тж (X). Он определен значениями I-го параметра на всех N элементах выборки X Число Xnj соответствует значению l-то параметра у «-го элемента. Возможны два способа описания: с помощью исходной таблицы данных TNL (X) и с помощью матриц близости.
Для визуального представления числовой таблицы Тш (X) требуется найти такое описание образов ее элементов в виде таблицы T(Y), для которого взаимное расположение точек-образов в R1 (геометрическая структура данных) незначительно отличает-
Вестник ТГПУ. 2003. Выпуск 4 (56). Серия: ЕСТЕСТВЕННЫЕ И ТОЧНЫЕ НАУКИ
ся от взаимного расположения элементов Хп в Я1 (структура исходных данных). Это условие формализуется соотношением
Е = шпе(Рсд,Ргсд), (5)
где е - функция, определяющая рассогласование структур данных в пространствах Я1 и Я2 для выбранного способа их описания; Рсд - описание структуры исходных данных; Ргсд - описание геометрической структуры данных: 1¥={ы} - совокупность критериев, по которым можно минимизировать функцию Ё.
Для отображения данных в пространстве Я3 реализован алгоритм, основанный на фрактальных ландшафтах. В его основе лежит методика множественного разбиения треугольной основы с последующим растягиванием вершин смежных треугольников по оси ОЪ [21].
Краткая характеристика систему КЮ-8¥8ТЕИ
Интеллектуальная система МС-5¥БТЕМ предназначена для конструирования тестов различной сложности и размерности с последующим сохранением результатов тестирования в базах данных» а также для проведения их комплексного анализа, реализуемых на основе вышеприведенных алгоритмов, и визуализации результатов тестирования.
Каждый алгоритм реализуется соответствующим программным модулем:
1) создание и модификация тестов,
2)тестирование,
3) принятие решения по результатам тестирования,
4) визуализация результатов.
Программная реализация системы соответствует современным стандартам:
- контекстно-зависимая справочная система, позволяющая получить справку о том или ином программном компоненте, не запуская исполняемый модуль;
- удобный пользовательский интерфейс, представляющий стандартные \¥тёо\¥8-компоненты;
- надежность в хранении данных путем использования мировых стандартов доступа к базам данных;
- модифицируемость блоков программы за счет модульной реализации системы.
Разработанная интеллектуальная система МО-8¥8ТЕМ представляет собой стандартное "Мпёошз МВ1-приложение, отвечающее всем современным требованиям программного продукта для операционных систем 'Шпс1о\¥з 95/98/ МТ.
МВ1-приложение означает, что программа представляет собой многодокументальный интерфейс, состоящий из одного главного окна и множества динамически создающихся дочерних окон, связанных с главным окном на уровне программных событий.
Система MG-SYSTEM написана на языке Object Pascal в среде Delphi 3.0 с использованием BDE (Borland Database Engine) и компонентов RXControls.
Базы данных и знаний используются в стандарте Paradox 7.0.
Опыт апробации
В разработанную систему были включены следующие компьютерные тесты:
~ по учебным дисциплинам кафедры прикладной математики Томского политехнического университета (компьютерная математика, линейная алгебра и аналитическая геометрия, информатика) и кафедры общей и прикладной психологии Томского государственного педагогического университета (математические основы психологии, профориентология, компьютерная психодиагностика);
- для оценки уровня подготовки выпускников кафедры:
- профессиональной ориентации.
Результаты опытной эксплуатации системы показали, что система значительно сокращает временные затраты на опрос студентов, объективно контролирует знания студентов и позволяет автоматически протоколировать результаты тестирования.
Заключение
Разработанная интеллектуальная система MG-SYSTEM реализована на языке программирования Object Pascal в среде Delphi 3.0 с использованием поддержки баз данных BDE, позволяет конструировать тесты различной сложности и размерности, сохранять результаты тестирования в базах данных и знаний и проводить комплексный анализ и визуализацию результатов тестирования.
В процессе разработки системы были решены следующие основные задачи:
1. Разработаны алгоритмы и программы для отслеживания учебной деятельности студентов в течение всего срока обучения, а также для оценки остаточных знаний.
2. На основе существующих методов теории нечетких множеств разработан алгоритм обобщенной оценки уровня подготовки специалиста.
3. Программно реализована визуализация результатов тестирования с помощью средств компьютерной графики.
4. Интерфейсная организация системы в режиме реального времени.
Система MG-SYSTEM позволяет интерактивно получать, хранить и обновлять данные как на одного испытуемого, так и групп испытуемых.
Для программной реализации визуализации результатов были использованы наиболее перспективные направления: представление данных с помощью
О.Г. Берестнева, О.В. Марухина, А.М. Уразаев. Информационная технология контроля качества.
фрактальных ландшафтов и отображение скоплений точек на основе кластерного анализа, в котором близость точек по расстоянию между ними определяется с помощью <Из1ап1-алгоритмов.
Интеллектуальный интерфейс системы (человек-компьютер) реализован в режиме реального времени с учетом современных технологий.
Благодаря модульности реализации алгоритмов система позволяет дополнять ее новыми алгоритма-
ми обработки экспериментальных данных; например, в последний вариант системы включены экспертностатистические алгоритмы.
Опыт применения системы в учебном процессе показал целесообразность распространения данной системы в вузах страны, а также расширения возможностей системы путем включения других ДИСЦИПЛИН.
Работа частично поддержана грантом РФФИ (проект Не 03-06-80128).
Литература
1. Котикова В.Н. и др. Экспертные обучающие системы // Искусственный интеллект в образовании: Тр. междунар. семин. Ч. 2. Казань, 1996.
2. Курушин Д.С, и др. Автоматизированная обучающая система по английскому языку с использованием мультимедиа и гипертекстовых учебных пособий // Там же.
3. Ситников Ю.К., Плеухова Л.Ф. Компьютерное информационное обеспечение учебного процесса // Там же.
4. Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования // Стандарты и качество. 2002, Na 4.
5. ßerestneva 0., Kotova (Maroukhine) 0., Blacher A., Petichenko A, Computer testing the knowledge and skills of students of devotion applied mathematics // Abstr. the third Russian-Korean Intern. Symp. of Skeins and Technology KORUS’99. 22-25 June 1999 at Novosibirsk State Technical University, Novosibirsk, 1999. V. 2,
6. Maroukhine O.V. et ai, Information technologies in education quality assessment // Abstr. the 6,p intern, Symp. on Science and Technology Novosibirsk State Technical University 24-30 June 2002. Novosibirsk, 2002. V, 2.
7. Berestneva O.G. et ai. Evaluation of quality education on the basis of modern information technologies // 2002 IEEE Intern. Conf, on
Artifical Intelligence Systems ICAIS, 5-10 Sept, 2002. Divnomorskoe, 2002,
8. Берестнева О.Г.. Котова О,В,, Воробьева Н.Г, и др. Новые информационные технологии в учебном процессе, дистанционное обучение и Интернет // Информационные технологии в образовании: Сб. тр. участников IX Междунар. конф.-выставки, Н, 3, М., 1999.
9. Бапагтяркр п г Кг.тойя п в Пуйиминя и а Мяянг«Ча л,И. Новые информационные технологии в учебном процессе //
1 .. . 3, f . д;
10 Л- . . - . зова~-. стандарт как критерий качества образовательного про-
10 . I - . , . -ш; Тр ‘ . рунар. науч.-практ. конф. Томск, 24-26 мая 2002. Томск,
11. Upc" -. о .ина 0.8. Информационные технологии в оценке качества образовательных услуг // Образовательный
. эния. Организационно-технологическое и материально-техническое обеспечение: Тр. конф., посвящ.
I о образования в России, Томск, 2001.
12.1 . . <ина О.В, Методы многомерного анализа данных в задачах оценки качества образования // Радио-
электроника. Информатика, Управление, 2002. Ns 1,
13. Берестнева О,Г., Марухина О,В, Оценка и управление качеством образовательной деятельности /7 Мат-лы VI Междунар, науч.-практ, конф, Томск, 2002.
14. Берестнева О.Г., Марухина О.В, Применение компьютерных технологий и сети Интернет для оценки качества образовательных услуг в системе высшей школы // Качество образования, Достижения. Проблемы: Мат-лы IV Междунар. науч.-практ. конф. Новосибирск, 2001.
15. Берестнева О.Г,, Марухина О.В, Проблемы оценки качества образования в техническом вузе // Компьютерные технологии в науке, производстве, социальных и экономических процессах: Мат-лы II Междунар. науч.-практ. конф, Новочеркасск, 25 нояб. 2001 п.: В 6 ч, Ч. 3. Новочеркасск, 2001.
16. Берестнева О.Г. и др. Оценка учебных дисциплин как критеоий качества образовательного процесса: Дел. в НИИВО. Ns 240-2001 от 09.12,01.
17. Кофман А. Введение в теорию нечетких множеств. М., 1982.
18. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. У,, 1976.
19. Борисов Ä. и др. Принятие решений на основе нечетких моделей, Рига, 1990.
20. Попечителев Е.П., Романов С.В. Анализ числовых таблиц в биотехнических системах обработки экспериментальных данных, СПб,, 1985.
21. Шемитц Дж. Delphi 3: Библиотека программиста, СПб., 1998,
