CC BY
187
Описанные системы позволяют проверять более высокие уровни знания, чем репродуктивное узнавание. Их встраивание в компьютерные об-
СПИСОК ЛИТЕРАТУРЫ
1. http://www.testbox.soitvea.ru/docs/theory/classification.html
2. Баранов В.Ю. Формы ответов при автоматизированном контроле знаний студентов // Науковий вкник ПДПУ iм. К.Д. Ушинського. - 2004. - № 7. - С. 17-24.
3. http://www.opentest.com.ua/
4. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. - СПб.: Питер, 2000. - 384 с.
учающие системы, связанные с изучением соответствующих дисциплин, значительно повышает образовательные возможности таких систем.
5. Щербаков В.В., Капустин Ю.М., Федосеев А.С. Разработка электронных учебных изданий. - М.: РХТУ им. Д.И. Менделеева, 2002. - 84 с.
6. Щербаков В.В., Мамакина Е.А., Барботина Н.Н. Разработка компьютерных аттестационных педагогических измерительных материалов по химии // Современные информационные технологии: Труды Междунар. научно-техн. конф. - Пенза,
2002, - С. 65-66.
7. http://window.edu.ru/window_catalog/files/6773/2000_2_070
УДК 681.3.01
АЛГОРИТМИЧЕСКОЕ И ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ ИНФОРМАЦИОННОЙ СИСТЕМЫ ОЦЕНКИ КОМПЕТЕНТНОСТИ СТУДЕНТОВ ТЕХНИЧЕСКОГО ВУЗА
О.Г. Берестнева, О.В. Марухина, Х.А. Абунавас
Томский политехнический университет E-mail: olgmik@osu.cctpu.edu.ru
Предложен алгоритм оценки компетентности студентов, основанный на модели нечеткого оценивания, а также представлено описание программного комплекса для решения задач оценки компетентности студентов. Особое внимание уделено вопросам разработки алгоритмов оценки компонент компетентности на основе экспертного оценивания и тестовых технологий.
Введение
На данном этапе развития технического образования на смену категории «профессионализм», как главной производственной ценности, приходит категория «компетентность». Анализ литературы по проблеме исследования компетентности показал, что пока не выработано единого мнения о компонентах и методах оценки компетентности. Учитывая специфику понятия «компетентность студента» и взгляды отечественных и зарубежных исследователей, авторами предложена структурная модель, на основе которой разработано алгоритмическое и программное обеспечение для оценки компетентности. Статья является продолжением цикла работ [1-4], посвященных проблеме разработки методов измерения и оценки компетентности студентов технического вуза.
В более развернутом виде цели образования были определены Советом Европы как восемь групп ключевых компетенций, которым вуз должен научить студентов [5]:
• коммуникация на родном языке;
• коммуникация на иностранном языке;
• математические навыки, базовые навыки в естественных науках и технике;
• навыки в области информационно-коммуникационных технологий;
• навыки непрерывного обучения;
• навыки межличностного общения и правовая
компетенция;
• предпринимательские способности;
• культурная компетенция.
Ориентированное на компетенции образование
(образование, основанное на компетенциях: com-petenct-based education - CBE) формировалось в США в общем контексте предложенного Н. Хомским в 1965 г. понятия «компетенция», т. е. уже в 60-х годах ХХ в. было заложено понимание различий между понятиями «компетенция» и «компетентность», где последнее трактуется как основывающийся на знаниях, интеллектуально и личност-но обусловленный опыт социально-профессиональной жизнедеятельности человека [5].
На сегодняшний день не разработан эффективный инструментарий для оценки и мониторинга развития компетентности студента. Это связано с тем, что непосредственно измерить уровень компетентности затруднительно, поэтому вместо измерения лучше вести речь об оценке либо о вычислении показателей компетентности с использованием косвенных показателей. На основе анализа литературных источников и результатов собственных экспериментальных исследований [1-6] нами были определены методы и методики измерения компонент компетентности и построена структурная модель компетентности студентов, рис. 1.
АБИТУРИЕНТ =□
Знания, умения, навыки Профессионально важные личностные качества Уровень физического и психического здоровья
Ценностно-смысловая
(валеологическая; экологическая; продуктивная «Я-концепция»)
Социальная
(коммуникативная; гражданственная; нормативность деятельности и поведения)
Компетентность
студента
Предметно-деятельностная
(интеллектуальная; профессиональные знания, умения, навыки; профессионально важные качества; инновационный и научный потенциал)
Информационно-технологическая
(владение информационными технологиями; знание иностранных языков и т. п.)
Соответствие компетентности нормативному уровню
КОМПЕТЕНТНЫЙ выпускник
Рис. 1. Структурная модель формирования компетентности студентов
Следует отметить, что в структуре социальной компетентности в качестве одного из основных компонентов предлагается использовать показатели совладающего поведения (копинг-стратегии) студентов, как фактора формирования компетентности [6].
В работах [2, 3, 7] показано, что среди методов измерения и оценки компонентов компетентности можно выделить две большие группы: тестовые технологии и методы экспертного оценивания.
Методы педагогического и психодиагностического
тестирования и их программная реализация
Общеизвестный факт, что современные образовательные технологии широко используют методы как педагогического, так и психодиагностического тестирования. Остановимся кратко на этих понятиях.
Психологический тест - система тестовых заданий, позволяющих измерить уровень развития определенного психологического качества личности. Психологическое тестирование - метод психологической диагностики, использующий стандартизированные тесты, имеющие определенную шкалу значений.
Педагогический тест - это кратковременное, технически сравнительно просто обставленное испытание, проводимое в равных для всех испытуемых условиях и имеющее вид такого задания, решение которого поддается количественному учету и служит степени развития к данному моменту известной функции у данного испытуемого. Задания теста выражаются не в виде вопросов и задач, а представляют собой утверждения, которые в зависимости от ответов испытуемых могут превращаться в истинные или ложные высказывания. Педагогическое тестирование - это специально разработанная научно оптимизированная аттестационная процедура, позволяющая максимально объективно оценивать уровень достижений человека и выражать эти возможности количественно.
В наших исследованиях по проблемам измерения и оценки компетентности студентов используются оба вида тестов (педагогические и психологические), рис. 2. Авторами разработано и внедрено в опытную эксплуатацию соответствующее программное обеспечение. Особенностью компьютерного психодиагностического тестирования является необходимость разработки компьютерных версий не только для опросников различного вида (рис. 3),
ТЕСТОВЫЕ ТЕХНОЛОГИИ
Т
Т
ПСИХОЛОГИЧЕСКИЕ
Алгоритмы принятия решения по результатам тестирования
ПЕДАГОГИЧЕСКИЕ
С учетом разнотипности исходных данных
В условиях неопределенности
Рис. 2. Система тестирования
но и для так называемых проективных методик (например, тест Люшера). Подробно данные вопросы рассмотрены в наших работах [2-4].
Следует отметить, что для действенного анализа компетентности нужен подход, для которого точность, строгость и математический формализм не являются чем-то абсолютно необходимым и в котором используется методологическая схема, допускающая нечеткости и частичные истины. Этот подход имеет три отличительные черты:
1. В нем используются «лингвистические» переменные вместо числовых переменных или в дополнение к ним.
2. Простые отношения между переменными описываются с помощью нечетких высказываний.
3. Сложные отношения описываются нечеткими алгоритмами.
Методы этого направления позволяют получать количественную оценку принимаемых решений по их качественным описаниям [8]. Попытки применения данного подхода для оценки различных составляющих образовательного процесса предпринимались нами и ранее [2, 3]. В данной статье описан алгоритм принятия решения в условиях неопределенности, основанный на модели нечеткого оценивания, преложенный в [9].
Формальная модель нечеткого оценивания компетентности может быть представлена следующим образом. Процедуру Р задания степени соответствия каждой компоненты V; множества Vмож-но определить формализмом:
Ууе ^Р(У;,ИЕ,1)^Л;, где МЕ - эталонная модель компетентности; I -лингвистическая переменная, определяющая шкалу оценивания уровня компетентности; А]={(а,л)}, 1=1,.., Ц - нечеткое множество возможных уровней компетентности (здесь Ц - мощность множества А; а - значение компонента; л -степень соответствия определенному уровню).
Шкала оценивания компетентности задается лингвистической переменной I=[I1,I2,...,Ik], где k - число значений I, a I, l=1,..,k - значения, используемые в качестве оценочных категорий при построении функций принадлежности. В нашем случае k=5 и, соответственно, 11=«очень низкий уровень», 12=«низкий», 13=«средний», ^«высокий», 15=«очень высокий уровень».
Эталонные функции принадлежности ¡лг задаются в виде д.={01Д; 02/I2,...,Ok/I,}, где Olr, - степень соответствия l-ой компоненты компетентности оценочной категории Il. На основании полученных значений Aj и соответствующих функций принадлежности ^ рассчитывается суммарная оценка компетентности в виде функции принадлежности /лъ, нормированной относительно количества компонент компетентности п:
ft={ i 1О1hi % 1. i % 0„l I, }.
В блоке принятия решения реализован текже алгоритм принятия решения с учетом разнотипности исходных данных. На первом этапе проводится корреляционный анализ имеющихся признаков. В зависимости от типа измерительной шкалы используются коэффициенты корреляции: Пирсона, Спирмена, бисериальный, рангово-бисериальный, а также коэффициенты ассоциации и взаимной сопряженности.
На втором этапе проводится преобразование исходных признаков в зависимости от измерительной шкалы и формирование матрицы признаков на основе корреляционного анализа и полученных значений информативности каждого признака. На третьем этапе происходит построение матрицы диагностических коэффициентов и вывод решающих правил для принятия решения [3].
Разработанный авторами и реализованный в виде компьютерной программы алгоритм педагогического тестирования позволяет не только непо-
Пцск 11 МтгтоИ Аг.геи М У/о<: I ДсЖУ'КМ
Рис. 3. Вид диалогового окна теста на определение типа темперамента
средственно проводить тестирование и хранить результаты, но и производить оценку качества теста при помощи параметрических моделей Раша и Бирнбаума [7].
Алгоритмы экспертного оценивания
Применение экспертного оценивания позволяет получить наиболее полную информацию о тех компонентах компетентности, для оценки которых невозможно использовать количественные показатели.
Основными характеристиками при групповом экспертном оценивании являются:
• обобщенное мнение,
• компетентность экспертов.
• степень согласованности мнений.
Авторами была разработана компьютерная система для анализа и обработки результатов экспертного оценивания, схема которой представлена на рис. 4.
Блок проектирования и анализа (модули 1, 2) предназначен для исследователя. Включает функции: построение опросника для сбора экспертной информации (для каждой экспертной группы); задание алгоритма анализа результатов опроса (анализатора); применение стандартных алгоритмов и использование статистических методов многомерного анализа для выявления показателей качества образовательного процесса (вычисление экспертных оценок).
Блок сбора экспертной информации (модули 3, 4) представляет собой отдельный программный модуль. Предназначен для пользователя-эксперта. Ос-
новное назначение - персональный опрос каждого эксперта (группы экспертов) и передача информации в базу данных для дальнейшей обработки.
Обработка экспертных оценок производится при помощи стандартных алгоритмов экспертного оценивания и при помощи многомерного статистического анализа данных.
Стандартные алгоритмы теории экспертного оценивания включают определение показателя обобщенного мнения и степени согласованности мнений экспертов по каждому вопросу, а также выявление экспертов, высказавших оригинальные суждения.
Для реализации обработки экспертной информации методами многомерного статистического анализа были выбраны факторный и кластерный анализы. Кластерный анализ позволяет группировать переменные (показатели) в классы (кластеры) на основе единой меры, охватывающей ряд признаков, вскрывать глубинные внутренние связи между различными явлениями, внешне отстоящими далеко друг от друга. Одной из основных задач факторного анализа является сокращение признакового пространства, т. е. выделение на основе имеющихся показателей (признаков) новых обобщенных переменных (факторов).
Структура программного обеспечения
Разработанный нами в настоящее время прототип информационной системы оценки и мониторинга компетентности студентов технического вуза создан на базе компьютерной системы ADAPT [10] и имеет все компоненты в соответствии с современной моделью информационной системы, такие
Модуль 1
Проектирование опросников, тестов, анкет и анализаторов
Модуль 2
Обработка и анализа экспертной информации <
База данных
Блок статистической обработки
Модуль 4
Удаленный сбор экспертной информации
Вывод - IIS-сервер
информации 1
—1 Web-браузер
Рис. 4. Общая схема системы экспертного оценивания
как: сбор, хранение, обработка, передача, выдача, защита информации.
Система спроектирована как реляционная база данных, реализованная в СУБД MS Access с включением программных модулей, написанных на языке Visual Basic for Application. Имеет дублированную структуру блока компьютерного тестирования с возможностью Internet-доступа.
Блок сбора информации включает в себя методики опросов, обследований, основанные на современных информационных технологиях, позволяющих повысить качество и достоверность принимаемых решений. База данных информационной системы состоит как из основных таблиц, иерархически связанных между собой различными видами явных связей, так и вспомогательных с различными типами неявных связей. В структуре имеются попарно связанные таблицы-критерии. База данных имеет различные связи на уровне SQL-запросов, которые реализуются только во время организации выборки данных или создания временной таблицы.
Блок обработки информации включает в себя разработанные нами информационные технологии, основанные на методах экспертного оценивания и многомерного анализа данных [2, 3].
Структура системы имеет блочную унификацию, основные преимущества которой заключаются в следующем: выход из строя блока не влияет на работу других блоков (кроме выхода из строя блока управления); изменение структуры системы не влияет на целостность данных; возможна замена устаревших программных блоков или их модификация; добавление новых блоков без ущерба для основной концепции программного комплекса; возможно использование отдельных блоков, в частности, блоков компьютерного тестирования, автономно.
Заключение
1. Разработан программный комплекс для оценки компетентности студентов технического вуза на основе предложенной авторами модели компетентности.
2. Программный комплекс является многофункциональным с точки зрения решаемых задач. На его основе могут быть успешно решены многие практические задачи, связанные с оценкой компетентности (например, задачи конкурсного отбора). Измерение и оценку отдельных компонентов компетентности можно проводить как на основе методов экспертного оценивания, так и на основе тестовых технологий (педагогическое и психодиагностическое тестирование).
3. Применение на этапе принятия решения алгоритмов нечеткой классификации и, соответственно, представление исходной информации в виде лингвистических переменных позволяет снять вопрос о точности измерения элементов и компонентов компетентности и решить проблему нечеткости и неопределенности.
4. В качестве одного из основных достоинств компьютерной системы следует отметить возможность создания базы данных, включающей сведения не только об оценке компетентности студентов, но и об ее динамике. Данные такого мониторинга предоставляют возможность количественной оценки общего уровня компетентности не только отдельного студента, но всего контингента, т. е. возможность проведения системных исследований по проблемам компетентности в техническом вузе.
Работа частично поддержана грантом РГНФ, проект
№ 06-06-00582-а.
СПИСОК ЛИТЕРАТУРЫ
1. Иванкина Л.И., Берестнева О.Г, Пермяков О.Е. Современный технический университет: Философский и психолого-соци-ологический аспект исследования состояния и развития университета. - Томск: Изд-во Том. ун-та, 2003. - 110 с.
2. Берестнева О.Г., Шаропин К.А., Марухина О.В. Экспертная система оценки компетентности выпускников технического университета // Искусственный интеллект. - 2004. - № 4. -С. 264-267.
3. Берестнева О.Г., Марухина О.В. Информационная технология оценки компетентности студентов технического университета // Интеллектуальные системы (1ЕЕЕ АВ’05). Интеллектуальные САПР (САБ-2005): Труды Междунар. научно-технических конференций. Научное издание в 3-х томах. - М.: Изд-во Физико-математической литературы, 2005. - Т. 2. - С. 384-390.
4. Холодная М.А., Берестнева О.Г., Кострикина И.С. Когнитивные и метакогнитивные предпосылки интеллектуальной компетентности в научно-технической деятельности // Психологический журнал. - 2005. - № 1. - С. 54-59.
5. Зимняя И.А. Ключевые компетентности - новая парадигма результата образования // Высшее образование сегодня. -
2003. - № 5. - С. 34-42.
6. Муратова Е.А., Берестнева О.Г. Моделирование копинг-стра-тегий студентов технического университета // Известия Томского политехнического университета. - 2005. - Т. 308. - № 6.
- С. 175-179.
7. Берестнева О.Г., Марухина О.В. Компьютерные технологии в оценке качества обучения // Известия Томского политехнического университета. - 2003. - Т. 306. - № 6. - С. 106-112.
8. Борисов А., Крумберг И., Федоров И. Принятие решений на основе нечетких моделей. - Рига: Зинатне, 1990. - 352 с.
9. Гулидов И.Н., Шатун А.Н. Методика конструирования тестов.
- М.: ФОРУМ: ИНФРА, 2003. - 112 с.
10. Берестнева О.Г., Иванов В.Т, Иванкина Л.И., Шаропин К.А. Комплекс психофизиологического обследования студентов. Назначение, структура, результаты // Известия Томского политехнического университета. - 2003. - Т. 306. - № 2. -С. 57-63.
