CC BY
54
УДК 681.3:378
Г. И. Алгазин, О. В. Чудова
Алтайский государственный университет пр. Ленина, 61, Барнаул, 656049, Россия E-mail: algazin@socio.asu.ru; chudova-o@yandex.ru
ИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ КОМПЛЕКСНОЙ ОЦЕНКИ КОМПЕТЕНТНОСТИ ВЫПУСКНИКА ВУЗА
В данной статье рассматривается иерархический подход к комплексной оценке компетентности выпускника ВУЗа на основе федеральных государственных образовательных стандартов высшего профессионального образования третьего поколения. Приведены и описаны структурный состав и уровни сформированности компетентности. Разработана структура информационной системы оценки компетентности.
Ключевые слова: информационная модель, информационные технологии, оценка компетенций, методы классификации, гибридные экспертные системы.
Введение
В настоящее время в связи с переходом системы образования на компетентностно-ориентированный подход актуальной является проблема оценивания результатов обучения. Задача оценки уровня сформированности компетентности выпускника является труднофор-мализуемой и для ее решения необходимо применение современных информационных технологий.
Научная новизна исследования заключается в разработке информационных технологий для решения задач измерения компетентности выпускника вуза на основе гибридных экспертных систем с учетом различных типов измерительных шкал.
1. Методы исследования
В связи с внедрением государственных образовательных стандартов высшего профессионального образования третьего поколения образовательная политика и практика работы всех высших учебных заведений будет перестроена в соответствии с компетентностным подходом. В основе этих изменений лежит идея о переходе к оценке уровня подготовки выпускника вуза в форме измерения его компетенций. Оценка качества подготовки студентов и выпускников должна включать их текущую, промежуточную и итоговую государственную аттестацию. Аттестация студентов и выпускников на соответствие их персональных достижений поэтапным или конечным требованиям соответствующей основной образовательной программы (ООП) должна проводиться при помощи фондов оценочных средств, включающих типовые задания, контрольные работы, тесты и др., позволяющие оценить знания, умения и уровень приобретенных компетенций, т. е. система комплексной оценки компетентности должна строиться на индивидуальных оценках и включать многие аспекты.
Проблему оценки компетентности выпускников можно отнести к трудноформализуемому (сложному) типу задач, так как при ее решении необходимо учитывать большой объем разнотипной информации, индивидуальные характеристики выпускников, а также изменения в организации учебного процесса, в результате которого формируются компетенции.
При проектировании сложных систем и разработке методов структурирования информации традиционно использовали иерархический подход [4] как методологический прием расчленения формально описанной системы на уровни. В рамках этого подхода компетентност-ную модель выпускника можно представить в виде многоуровневой иерархической структуры, а саму задачу построения комплексной оценки - в виде иерархического дерева подзадач. При этом ее решение по модели осуществляется через последовательное решения всех подзадач, из которых она состоит (снизу вверх).
Представляется целесообразным в качестве инструментария построения системы комплексной оценки компетентности выпускника использовать гибридные экспертные системы
ISSN 1818-7900. Вестник НГУ. Серия: Информационные технологии. 2009. Том 7, выпуск 3 © Г. И. Алгазин, О. В. Чудова, 2009
[6]. Преимущество гибридных экспертных систем для решения поставленной задачи определяется следующими факторами. Часть подзадач проще решить при помощи формальных методик, другие - неформализованные, но имеющие логическую прозрачность - при помощи традиционных экспертных систем. Причем в структуру такой системы могут входить блоки, реализующие математические методы, экспертные системы, основанные на правилах продукций, фреймах и др., а также нейросетевые элементы. Применение каждого из них обуславливается сложностью решаемой проблемы. Авторами статьи были выделены характеристики задач, по которым определяется их сложность: размерность, динамичность, детерминированность, характер входных показателей.
Математические методы можно использовать для решения задач малого и среднего размера, как правило, детерминированных. Построение аналитических зависимостей затруднено для большого числа как количественных, так и качественных показателей.
Продукционные экспертные системы можно использовать для разрешимых и трудно разрешимых задач малого размера. В случае рассмотрения новых показателей требуется пересмотр правил. Продукционная модель, основанная на правилах, позволяет использовать и количественные, и качественные показатели. Продукционные экспертные системы привлекают наглядностью, высокой модульностью, легкостью внесения дополнений и изменений и простотой механизма логического вывода [1].
Нейронные сети позволяют решать задачи, для которых нет информации о методах решения, но есть статистический материал. Таким образом, сети можно использовать для решения трудно разрешимых задач. Они могут оперировать с большим числом показателей. Нейронные сети обладают способностью дообучаться, т. е. могут быть пригодны для изменчивых и нестабильных задач.
2. Результаты исследования
Основой для проведения данного исследования является компетентностная модель выпускника, предложенная в макете федерального государственного образовательного стандарта высшего профессионального образования (ФГОС ВПО) для бакалавров.
На основе системного подхода к анализу предметной области была разработана система оценки компетентности выпускника, имеющая 4-уровневую структуру сформированности компетентности. Она включает:
1) уровень частных компетенций. Частные компетенции являются элементарными и не подлежат дроблению на более мелкие (1-й уровень);
2) уровень промежуточных компетенций. На данном уровне оцениваются виды профессиональной деятельности бакалавров: проектная, организационно-управленческая и производственно-технологическая, аналитическая, научно-исследовательская. При построении системы оценки этого уровня сформированности компетентности выпускника представляется целесообразным добавить вспомогательные блоки, оценивающие общенаучные, социально-личностные и инструментальные компетенции. Последние не обозначены в макете ФГОС ВПО, однако, выделенные на рис. 1. штрихпунктирной линией, по мнению авторов статьи, они придают логическую завершенность данному уровню в системе оценки общекультурных компетенций (2-й уровень);
3) уровень обобщающих компетенций. На данном уровне оцениваются профессиональные компетенции (ПК) и общекультурные компетенции (ОК), составляющие основу компе-тентностной модели (3-й уровень);
4) уровень интегральной компетентности. На данном уровне рассчитывается интегральный показатель сформированности компетентности (4-й уровень).
Предложенная в статье система оценки уровня сформированности компетентности может применена к выпускникам любых направлений, ФГОС ВПО которых разработаны в соответствии с его макетом.
В качестве примера рассмотрим систему комплексной оценки уровня сформированности компетентности выпускника по направлению «Прикладная информатика» в соответствии с профилем подготовки «Прикладная информатика в социально-культурной сфере». Требования к компетенциям выпускников, а также содержание дисциплин, формирующих эти компетенции, изложены в стандарте специальности [7]. Структура системы оценки компетент-
ности выпускника представлена на рис. 1. Направление стрелок отражает направления формирования компетенций.
Рис. 1. Пример структуры модели компетентности выпускника
Уровень сформированное™ частных компетенций оценивается на основе первичных учетных показателей, в качестве которых могут быть использованы результаты аттестации студентов и выпускников на соответствие их персональных достижений поэтапным или конечным требованиям соответствующей ООП, проводимой при помощи фондов оценочных средств. Могут использоваться результаты устных опросов (собеседование, коллоквиум, зачет, экзамен), письменных работ (тесты, контрольные работы, эссе, рефераты, курсовые работы, научно-учебные отчеты по практике, отчеты по научно-исследовательской работе студентов), анкетирования, компьютерного тестирования, опросов экспертов (преподавателей) и т. д.
Оценка компетентности является накопительной и формируется в процессе освоения учебных дисциплин. Уровни сформированности компетенций выделены в соответствии с курсом освоения и рассматриваются как показатели, имеющие следующие шкальные значения: очень плохо (1), плохо (2), удовлетворительно (3), хорошо (4) и отлично (5).
Множество первичных (исходных показателей) обозначим:
х(') — {г('') х(*) }
л — , л.2 ,..., I,
где X(1) - множество элементов, описывающих 1 -ю частную компетенцию (/ - 1,п ); п - количество частных компетенций; х(.) - j-й показатель 1 -й компетенции (j — 1,mi); mi - количество показателей, описывающих 1 -ю компетенцию. Отметим, что одни и те же показатели могут использоваться для характеристики разных компетенций.
Используя эти показатели, можем определить уровень сформированности компетенций студента за каждый курс обучения. Данную задачу можно отнести к классу разрешимых, представляющую собой задачу классификации.
Пусть каждый выпускник имеет множество значений показателей X(,) = {х(!), х!,1х^ } и каждая компетенция может обладать рядом возможных значений У(г} = {у(1 \ у,\ у3'\ У4^ У5')}. Тогда задачей классификации является отнесение объекта X(г) к
классу У(,) с помощью определенного метода:
Ц(X(,)) ^ У(1\ (1)
где Ц - метод классификации.
Таким образом, по результатам обучения в конце каждого курса каждой компетенции нижнего уровня 1 будет поставлено в соответствие значение У().
Выбор адекватного алгоритма - один из центральных моментов при решении задачи классификации. Каждый из методов классификации имеет свою область применимости и набор ограничений, в пределах которых он дает результат, отвечающий ожиданиям точности, надежности и другим параметрам. Целесообразность и эффективность применения тех или иных методов классификации обусловлены конкретизацией базовой математической модели, математической постановкой задачи. Обычно акцентируют внимание на одном методе классификации и обосновывают его применение в каждом конкретном случае. При исследовании социально-экономических явлений такое обоснование иногда становится проблематичным. Если задача является трудноформализуемой, ее решение требует более комплексного подхода. В связи с этим уточняется алгоритм решения задачи классификации для случая, когда не удается построить хороший алгоритм для решения конкретной задачи. В таких ситуациях наиболее приемлемым является построение коллективного решения, рассмотренного ниже.
Обобщая сказанное, в случае если классы заданы, возможны следующие варианты выбора решающего правила.
1. Вариант, реализующий выбор оптимального, как правило одного, метода классификации описывается так:
[1, X е В, -
0т=1», X •1=" ■ (2)
где N - количество методов классификации; Б1 - область компетентности метода Ц .
Веса методов всегда выбираются так, что
N
I О (X) = 1,
1=1
для всех возможных значений X . Соотношение (2) для О1 означает, что задача классификации будет решена одним методом, наиболее компетентным в данной области.
2. Вариант построения коллективного решения. При построении коллективного решения на базе нескольких различных алгоритмов можно получить разные решения. Предположим, что классификация объектов была проведена N различными методами. При этом
Ц (X) ^ У,
где У - класс, полученный Ц методом классификации.
Схема принятия решения коллектива методов в общем виде:
N
У = и О, (X) • У, .
1=1
При переходе от индивидуальных к коллективной классификации могут быть использованы метод голосования [2], метод комитетов [3] и др.
3. Если в задаче классификации (1) отсутствуют априорные сведения об исследуемых классах, то будем считать, что классы не заданы. В этом случае реализуется вариант кластеризации объектов. В общей постановке задача кластерного анализа заключается в том, чтобы имеющуюся совокупность объектов наблюдения, представленную в виде либо матрицы значений признаков для каждого объекта (матрицы «объект - признак»), либо в виде матрицы попарных расстояний (близостей), разбить на сравнительно небольшое (заранее известное или неизвестное) число однородных в определенном смысл классов (кластеров).
С учетом вышесказанного классификацию объектов предлагается проводить в несколько этапов (рис. 2).
1. Анализ классифицируемых объектов, выбор классификационных признаков.
2. Анализ априорной информации о классах.
3. Выбор методов классификации.
4. Анализ результатов классификации.
На первом этапе выделяем классификационные признаки исследуемого объекта. В качестве исходной информации для классификации выпускников могут быть использованы результаты аттестации на соответствие их персональных достижений поэтапным или конечным требованиям соответствующей ООП, проводимой при помощи фондов оценочных средств, а также социально-личностные характеристики.
Рис. 2. Алгоритм решения задачи классификации
На втором этапе анализируется априорная информация о классах. Классы могут быть описаны при помощи так называемых обучающих или частично обучающих выборок, полученных при оценке компетентности выпускников предшествующих выпусков. По социально-психологическим составляющим компетентности выпускники могут быть отнесены к определенному классу на основе специально разработанных психологических тестов. Информацию о классах также можем получить при проверке гипотезы о законе распределения классифицируемых объектов. В случае, если оценка проводится впервые или в результате изменения организации учебного процесса появились новые классифицирующие признаки, будем считать, что информация о классах отсутствует.
На третьем этапе осуществляется выбор методов классификации в зависимости от априорной информации о классах. При наличии обучающих выборок и отсутствии информации о законе распределения классифицируемых объектов могут быть использованы методы классификации, называемые непараметрическим дискриминантным анализом. Если же априор-
ные сведения позволяют сделать выводы об общем параметрическом виде закона распределения вероятностей каждого класса, то используют методы параметрического дискрими-нантного анализа. Если классы заданы в виде законов распределения с неизвестными параметрами и нет предварительной выборочной информации, то решается задача расщепления смеси.
Выбранные методы не являются обязательными, также могут быть предложены и другие методы классификации.
На четвертом этапе осуществляется переход от индивидуальных к коллективной классификации. Проводится анализ полученных результатов. Такой подход к выбору метода классификации объектов в общем виде может быть применен для любых типов данных, с помощью которых описывается тот или иной объект. В зависимости от типа данных будет меняться набор методов классификации и выбор меры расстояния и связи признаков в кластерном анализе [8].
В результате классификации каждый выпускник попадает в группы с различной степенью сформированности компетенций. Накопленные за все курсы оценки характеризуют уровень сформированности компетенции нижнего уровня.
Суммирование результатов по всем годам обучения позволяет получить накопленную оценку сформированности каждой компетенции выпускника. Множество оценок сформиро-
ванности компетенций нижнего уровня обозначим S(1) = {^1(1), 21"1,...,} .
Уровень сформированности промежуточных компетенций б (2) = {?1(2), 42),..., 42)} рассчитывается на основании оценок частных компетенций. Данную задачу можно отнести к классу разрешимых. Формирующие компетенции являются близкими по содержанию и представлены в порядковой шкале. Показатели второго уровня могут быть вычислены путем агрегирования показателей нижнего уровня. Для решения данной задачи могут быть использованы следующие методы [5]:
• взвешенное суммирование;
• аддитивная свертка;
• мультипликативная свертка.
Взвешенное суммирование основано на вычислении математического среднего
формирующих ^ -ю промежуточную компетенцию (1Ч п Iк = 0, при V Ф ^); - весовой коэффициент 1 -й частной компетенции.
Достоинством взвешенного суммирования является простота вычислений. Недостатки метода сводятся к следующим [Там же]:
• значения критериев не приведены к диапазону [0; 1] абсолютной шкалы, что позволяет использовать только свойства более «слабой» интервальной шкалы;
• взвешенное среднее, как оценка альтернативы, не содержит доли критерия от его максимального значения, что не позволяет сопоставлять оценки, полученные в разных шкалах.
Исходная посылка методов, основанных на свертках, заключается в том, что каждую отдельную компетенцию можно оценить численно. Однако поскольку каждая компетенция зависит от многих переменных, то задача ее оценки становиться нетривиальной. Одним из наиболее распространенных и простых способов определения и сравнения многокритериальных оценок заключается в сведении многокритериальной задачи к однокрите-риальной, т. е. к замене функции векторного аргумента на скалярную функцию. Данная операция в специальной литературе получила название свертки (построения суперкритерия).
Наиболее распространены аддитивная и мультипликативная свертки.
Аддитивная свертка основана на следующей математической операции:
ге1г
где ¿(2) - оценка ^ -й промежуточной компетенции; I - множество частных компетенций,
,(2)
Использование аддитивной свертки вместо взвешенного суммирования обладает следующими преимуществами [5]:
• свертка переводит абсолютные значения в относительные, что позволяет сравнивать разнородные качества;
• свертка приводит значения критериев к диапазону [0; 1] абсолютной шкалы, что позволяет осуществлять в ней все допустимые алгебраические операции;
• указание доли критерия от его максимального значения позволяет сопоставлять оценки, полученные в разных шкалах.
Характерным свойством аддитивной свертки является то, что максимальную оценку с ее помощью получают те выпускники, которые имеют больше критериев близких по значениям к максимальным (при одинаковых средних у всех выпускников).
Мультипликативная свертка основана на вычислении следующего выражения:
( ( 5 (1) с (1) ^
5
(2) _ М
п
1-
51,ШШ 5 (1) - 5 (1). у г,шах i,шт у у
Достоинства мультипликативной сверки аналогичны достоинствам аддитивной свертки. Характерным свойством мультипликативной свертки является то, что она отдает предпочтение тем альтернативам, которые имеют более равномерное распределение в абсолютной шкале значений оценок при одинаковых средних всех оценок.
Уровень сформированности обобщающих компетенций рассчитывается на основании оценок компетенций промежуточного уровня. Компетенции этого уровня объединяют различные по содержанию компетенции. Так, профессиональная компетенция объединяет проектную, организационно-управленческую и производственно-технологическую, аналитическую, научно-исследовательскую деятельности, а общекультурная - общенаучные, социально-личностные и инструментальные компетенции.
На четвертом уровне рассчитывается уровень сформированности интегральной компетентности, обобщающий общекультурные и профессиональные компетенции.
Оценка обобщающих компетенций и интегральной компетентности достаточно сложна и плохо формализуема. Для ее нахождения могут быть использованы продукционные системы. Причинами выбора данного метода явилась необходимость объяснения причин полученной оценки, небольшая размерность входных показателей, небольшая вариация значений входных показателей. Представленные правила были разработаны с помощью экспертов в данной предметной области, в качестве которых были привлечены работодатели, руководители практик от предприятий, организаций, профессиональные разработчики и пользователи информационных и программных систем.
Таблица 1
Правила продукции для расчета уровня сформированности общекультурной компетенции
№ Общенаучные Социально-личностные Инструментальные Оценка
1. > 0,75 > 0,7 > 0,8 Отлично
2. 0,5-0,75 > 0,5 > 0,6 Хорошо
3. > 0,5 0,5-0,75 > 0,6 Хорошо
4. > 0,5 > 0,5 0,6-0,8 Хорошо
5. 0,25-0,5 > 0,5 > 0,6 Удовлетворительно
6. > 0,5 0,25-0,5 > 0,6 Удовлетворительно
7. > 0,5 > 0,5 0,3-0,6 Удовлетворительно
8. < 0,3 Плохо
9. < 0,25 Плохо
10. < 0,25 Плохо
Таблица 2
Правила продукции для расчета уровня сформированности профессиональной компетенции
№ Проектная Организационно- Аналитическая Научно- Оценка
деятельность управленческая и производственно-технологическая деятельность деятельность исследовательская деятельность
1. > 0,75 > 0,75 > 0,75 > 0,5 Отлично
2. 0,5-0,75 > 0,75 > 0,75 > 0,5 Отлично
3. > 0,75 0,5-0,75 > 0,75 > 0,5 Отлично
4. > 0,75 > 0,75 5-0,75 > 0,5 Отлично
5. 0,5-0,75 0,5-0,75 > 0,75 > 0,5 Хорошо
6. 0,5-0,75 > 0,75 0,5-0,75 > 0,5 Хорошо
7. > 0,75 0,5-0,75 0,5-0,75 > 0,5 Хорошо
8. 0,5-0,75 0,5-0,75 0,5-0,75 > 0,5 Хорошо
9. 0,25-0,5 > 0,5 > 0,5 > 0,5 Удовлетворительно
10. > 0,5 0,25-0,5 > 0,5 > 0,5 Удовлетворительно
11. > 0,5 > 0,5 0,25-0,5 > 0,5 Удовлетворительно
12. > 0,5 > 0,5 > 0,5 0,25-0,5 Удовлетворительно
13. < 0,25 Плохо
14. < 0,25 Плохо
15. < ,025 Плохо
16. < 0,25 Плохо
Таблица 3
Правила продукции для расчета уровня сформированности интегральной компетентности
№ Общекультурные компетенции Профессиональные компетенции Оценка
1. > 0,75 Отлично Отлично
2. > 0,75 Хорошо Хорошо
3. > 0,75 Удовлетворительно Хорошо
4. 0,5-0,75 Плохо Удовлетворительно
5. 0,5-0,75 Отлично Отлично
6. 0,5-0,75 Хорошо Хорошо
7. 0,5-0,75 Удовлетворительно Удовлетворительно
8. 0,5-0,75 Плохо Удовлетворительно
9. 0,25-0,49 Отлично Хорошо
10. 0,25-0,49 Хорошо Хорошо
11. 0,25-0,49 Удовлетворительно Удовлетворительно
12. 0,25-0,49 Плохо Плохо
13. < 0,25 Отлично Хорошо
14. < 0,25 Хорошо Удовлетворительно
15. < 0,25 Удовлетворительно Удовлетворительно
16. < 0,25 Плохо Плохо
Информационная модель оценки сформированности уровня компетентности выпускника реализована в среде программирования Delphi.
Применение данной модели при решении задачи комплексной оценки компетентности выпускников по направлению «Прикладная информатика» позволило учесть специфику решаемых подзадач, применить модульное построение алгоритмов решения подзадач, провести сопоставление результатов решения подзадач разными методами, что, в конечном счете, позволило повысить объективность оценки компетентности выпускников.
Список литературы
1. Гаврилова Т. А., Хорошевский В. Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2001. 384 с.
2. Ларичев О. И. Теория и методы принятия решений, а также хроника событий в Волшебных Странах. М., 2000. 296 с.
3. Мазуров В. Д. Метод комитетов в задачах оптимизации и классификации. М.: Наука, 1990. 248 с.
4. Месарович М., Мако Д., Такахара И. Теория иерархических многоуровневых систем. М.: Мир, 1973. 344 с.
5. Микони С. В. Теория и практика рационального выбора. М.: Маршрут, 2004. 462 с.
6. Пятковский О. И. Интеллектуальные компоненты автоматизированных информационных систем управления предприятием. Барнаул: Изд-во АлтГТУ, 1999. 351 с.
7. Федеральный государственный образовательный стандарт высшего профессионального образования по направлению подготовки «Прикладная информатика». М.: Моск. гос. ун-т экономики, статистики и информатики, 2008. 30 с.
8. Чудова О. В. Кластерный анализ социологической информации // Материалы IV Все-росс. науч. конф. «Сорокинские чтения». Новосибирск, 2008. С. 89-92.
Материал поступил в редколлегию 19.05.2009
G. I Algazin, O. V. Chudova
INFORMATION TECHNOLOGIES OF COMPLEX ESTIMATION OF HIGH SCHOOL
GRADUATE COMPETENCE
In the given article the hierarchical approach of complex estimation of HIGH SCHOOL graduate competence on the basis of federal state educational standards of higher vocational education of the third generation is analyzed. The structural approach and generation levels of competence are presented and described. The structure of information system of competence estimation has been developed.
Keywords: information model, information technology, competence estimation, classification methods, hybrid expert systems.
