CC BY
152
Educational Technology & Society 5(3) 2002 ISSN 1436-4522
Компьютерная система принятия решений по результатам экспертного оценивания в задачах оценки качества образования
Берестнева О.Г., Марухина О.В.
Томский политехнический университет olgmik@exoft.ru
Аннотация
В настоящее время в различных областях человеческой деятельности в целях повышения качества планирования и управления разрабатываются и всемерно внедряются методы экспертизы. Экспертиза представляет собой мощное средство переработки слабо формализованных данных, которое позволяет выделить наиболее обоснованные утверждения специалистов-экспертов и использовать их, в конечном счете, для подготовки различных решений. Использование аппарата экспертного оценивания для оценки качества образовательного процесса помогает значительно упростить решение этой трудно формализуемой задачи. Разработанный авторами и описанный в статье универсальный программный продукт позволяет наиболее оптимально решать задачу оценки качества образовательного процесса по результатам экспертного оценивания.
Ключевые слова
экспертные оценки, принятие решений, нечеткие множества, функции принадлежности, интервальные оценки, степень принадлежности, база данных.
Введение
Необходимость подготовки учебными заведениями грамотных высокообразованных специалистов не вызывает сомнения. При этом, бесспорно, актуальными являются проблемы, связанные с качеством предоставления образовательных услуг.
Одним из перспективных направлений в указанной проблематике является создание и применение методов оценки и контроля качества образовательного процесса. В рамках данного направления ведутся интенсивные разработки практически в каждом вузе, как нашей страны, так и за рубежом.
Разработанные к настоящему времени системы (в том числе и автоматизированные) ориентированы, как правило, на решение задачи оценки и контроля качества в данном конкретном вузе. Анализ работ в данном направлении показывает, что применяемые методы и алгоритмы контроля и оценки качества образовательной деятельности направлены на решение узкоспециализированных задач [Смирнова Н.В., 2001; Востриков А.С., 2001; Приходько В.М. и др., 1998; Мануйлов В.Ф., и др.]
Таким образом, несмотря на результаты, достигнутые в этой области весьма важными являются работы как по созданию новых, так и по развитию существующих систем оценки и контроля качества образовательной деятельности, позволяющих решать более сложные задачи на базе современной вычислительной техники [Берестнева О.Г., Марухина О.В., 2001; Марухина О.В., Берестнева О.Г., 2002а;
Марухина О.В., Берестнева О.Г., 2002б].
Применение экспертного оценивания позволяет получить наиболее полную информацию о состоянии образовательного процесса и особенно тех его составляющих, для оценки которых невозможно использовать количественные показатели.
Авторами данной статьи предложен вариант компьютерной системы оценки и контроля качества образовательной деятельности. Решение поставленной задачи основано на применении методов теории экспертного оценивания, использовании методов и алгоритмов теории нечетких множеств.
1. Экспертное оценивание
Экспертиза представляет собой мощное средство переработки слабо формализованных данных, которое позволяет выделить наиболее обоснованные утверждения специалистов-экспертов и использовать их, в конечном счете, для подготовки различных решений [Сидельников Ю.В., 2000].
Экспертная деятельность в области образования - система действий, выполняемых с привлечением экспертов, для анализа и оценки качества образовательного процесса с целью повышения обоснованности принимаемых решений в условиях частичной неопределенности, противоречий или конфликтов. В качестве экспертов могут выступать студенты, выпускники вуза, потенциальные работодатели и преподаватели.
Одним из существенных условий повышения надежности экспертных оценок социальных объектов является научно обоснованный отбор и формирование экспертной группы. Так, было выявлено, что точность групповой оценки экспертов зависит от численности экспертной группы: уменьшение числа экспертов ведет к снижению точности оценок, т. к. оценка каждого эксперта приобретает больший вес, увеличивается роль субъективного фактора. Однако при большом количестве участников экспертизы усложняется обработка их суждений, становится сложным выявить согласованность их мнений.
Экспертные оценки можно подразделить на несколько групп.
К первой группе относятся точечные экспертные оценки или, как их еще называют, «оценки типа времени осуществления события» выражаются в виде одного числа (одноточечные или просто точечные оценки), двух чисел (двухточечные или интервальные оценки), трех и более чисел (квартальные, квантильные и «вероятностные») оценки.
Квартильными называются точечные экспертные оценки, которые соответствуют той или иной степени уверенности эксперта в том, что оцениваемая величина не превзойдет соответствующего значения. Степень уверенности эксперта при этом выражается в процентах. Оценка, соответствующая 25% уверенности, называется первым квартилем; 50% -вторым квартилем или медианой; 75% - третьим квартилем.
Для получения многоточечных (квантильных) оценок, скорее всего, эксперт наметит наиболее ранний и наиболее поздний сроки осуществления события, а остальные оценки проставит, используя линейную интерполяцию или какой-либо другой прием. Поэтому для получения квантильных оценок применяют другой способ [Венецкий И.Г., Венецкая В.И., 1974]. Период прогнозирования делят на интервалы и предлагают экспертам указать вероятность осуществления события в каждый из этих временных интервалов. Квантильные оценки Ъо, ^ Ъ20 и т.д. получают не непосредственно, а в результате статистической обработки вероятностных оценок экспертов.
Исторически сложилось так, что точечные экспертные оценки нашли наиболее широкое применение в задачах прогнозирования. Однако в настоящее время они столь же широко применяются при решении других задач групповой экспертизы.
Ко второй группе экспертных оценок относят ранговые экспертные оценки. Ранговыми экспертными оценками называют оценки признаков объектов, полученные на основе устанавливаемого экспертом предпочтения одного объекта перед другим с точки зрения меры изучаемого качества и выражающиеся в виде чисел натурального ряда (рангов), присвоенных отдельным объектам. Однако ранги, присвоенные объектам, не являются числовой мерой изучаемого качества. Ранги есть лишь символы, указывающие положение каждого объекта в построенном ряду предпочтения по отношению к другим объектам. Поэтому расчетные операции, выполнимые с ранговыми оценками, отличаются от операций, которые могут быть
выполнены на множестве чисел натурального ряда [Берестнева О.Г., и др., 2001, Бешенев С. Д., Гурвич Ф.Г., 1980].
К третьей группе относятся качественные экспертные оценки. Качественными называются экспертные оценки, не содержащие чисел и не являющиеся экспертными кривыми. Качественные экспертные оценки можно подразделить на две подгруппы: оценки, производимые по заранее составленным шкалам (оценки качественных признаков), и оценки, шкалы для которых заранее не могут быть составлены [Гладких Б. А., 1979]. Далее будут рассматриваться методы оценки экспертной информации, представленной в виде ранговых экспертных оценок.
Основными задачами статистической обработки индивидуальных ранжировок, как и экспертных оценок других видов, являются выявление среди группы экспертов «еретиков» и «школ», определение показателя обобщенного мнения и характеристика согласованности оценок, на основе которых определено обобщенное мнение.
Для определения обобщенной оценки каждого объекта необходимо применить какое-либо среднее, но невозможно доказать, что применение арифметического усреднения дает оценку лучшую, чем медиана или мода, хотя любое из этих средних характеризует центральную тенденцию группы экспертов [Венецкий И.Г., Венецкая
В.И., 1974, Гласс Дж., Стенли Дж., 1976].
Оценка отдельным экспертом относительной важности каждого из некоторой совокупности качеств осуществляется путем назначения экспертами либо рангов этим качествам, либо некоторой количественной оценки, например, по 10-балльной системе. В последнем случае количественные оценки можно при обработке проранжировать по убыванию и получить оценки в рангах. Применение в данном случае методов ранговой корреляции целесообразно в связи с тем, что они представляют собой весьма удобный и эффективный аппарат определения показателя обобщенного мнения и вместе с тем степени согласованности мнений экспертов.
Согласованное мнение группы экспертов о распределении качеств с точки зрения их значимости может быть определено путем суммирования оценок в рангах, полученных каждым качеством в отдельности. Распределение сумм рангов, полученных каждым качеством, и представляет собой согласованное мнение экспертов о распределении значимых качеств по их относительной важности [Бешенев С. Д., Гурвич Ф.Г., 1980].
Показатель обобщенного мнения экспертов по каждому качеству может быть определен в виде частоты максимально возможных оценок, полученных некоторым качеством [Бешенев С. Д., Гурвич Ф.Г., 1980].
Таким образом, основными характеристиками при групповом экспертном оценивании являются следующие:
- обобщенное мнение группы экспертов,
- степень согласованности мнений экспертов,
- компетентность экспертов.
1.1. Показатели обобщенного мнения экспертов
В качестве показателя обобщенного мнения экспертов в случае, если каждое из свойств (качеств) оценивается отдельно, чаще всего используют одну из мер центральной тенденции.
Различные меры центральной тенденции совокупности данных предполагают разные определения «центрального положения». Существуют три такие меры: мода, медиана и среднее.
Каждая из мер центральной тенденции обладает характеристиками, которые делают ее ценной в определенных условиях.
Мода наиболее просто вычисляется - ее можно определить на глаз. Кроме того для очень больших групп данных это достаточно стабильная мера центра распределения. Во многих распределениях значительного числа измерений, используемых в педагогике и психологии, мода близка к двум другим мерам -медиане и среднему.
Медиана занимает промежуточное положение между модой и средним с точки зрения, если последнее осуществляется вручную. Эта мера получается почти прямым счетом и особенно легко в случае ранжированных данных. В больших массивах
данные можно сначала сгруппировать (что значительно проще ранжирования), а затем можно легко найти медиану.
Среднее множества данных предполагает, в основном арифметические операции. На величину среднего влияют значения всех результатов. На величину среднего особенно влияют результаты, которые можно назвать «выбросами», т. е. данные находящиеся далеко от центра группы оценок. Преимущество это или нет -зависит от конкретных вопросов, которые необходимо решить. В случае, если экспертные оценки представлены в номинальной шкале, то в качестве меры центральной тенденции может быть использована только мода.
Оценки важности выражены в баллах и могут принимать значения от 0 до 10. Введем следующие обозначения исходных данных: т - количество экспертов, / = 1,2,... ,т;
п - количество качеств, предложенных для оценки,] = 1,2,...,п; т,■ - количество экспертов, оценивших _]-ое качество;
I
ту - количество максимально возможных оценок, полученных _]-ым качеством; С, - оценка относительной важности (в баллах) ьым экспертом _]-го качества.
М] -среднее арифметическое значение величины оценки определенного направления исследования (в баллах).
1 тр
М,= — I С, о
т1 *=1
Среднее арифметическое значение М] определяется для каждого из качества и может принимать значения в пределах от 0 до 10 баллов. Нижний предел соответствует случаю, когда все эксперты дали минимально возможную оценку важности, а верхний предел - случаю, когда все эксперты дали максимально возможную оценку важности данному качеству
Одним из показателей обобщенного мнения экспертов является частота К]1 максимально возможных оценок (10 баллов), полученных _]-ым качеством [Бешенев
С. Д., Гурвич Ф.Г., 1980]
т'.
К, =-. (2)
т.
Частота К, максимально возможных оценок определяется для каждого из ] качеств и может принимать значения в пределах от 0 до 1. Нижний предел соответствует случаю, когда среди оценок, полученных _]-ым качеством, отсутствуют максимально возможные оценки, а верхний - случаю, когда все оценки, полученные _]-ым качеством, являются максимально возможными. Важность развития >ого качества возрастает при изменении К, от 0 до 1. Показатель К, следует рассматривать как дополнительный к показателю важности М.. К, характеризует важность _]-го качества с точки зрения количества присужденных ему «первых мест».
1.2. Коэффициент компетентности экспертов
Компетентность эксперта определяется структурой аргументов, послуживших ему основанием для ответа, а также степенью его знакомства с рассматриваемым вопросом
Структура аргументов, послуживших ему основанием для произведенной им оценки, учитывается коэффициентом аргументированности Ка. Этот коэффициент определяется путем оценки источников аргументации и учета степени влияния источника и суммирования соответствующих численных значений. Значениям:
Ка = 1 соответствует высокая степень влияния источника на мнение эксперта, Ка = 0,8 - средняя степень влияния,
Ка = 0,5 - низкая степень влияния.
Степень знакомства эксперта с обсуждаемой проблемой учитывается коэффициентом знакомства Кз, который определяется путем нормирования значения соответствующей оценки, проставленной экспертом, т.е. умножением ее на 0,1. Эксперт отмечает степень своего знакомства на шкале, имеющий вид, приведенный в табл 1.
Таблица 1. Шкала степени знакомства.
№ 1 2 3 4 5 6 7 8 9 10 11
Степень знакомст ва 0 1 2 3 4 5 6 7 8 9 10
Коэффициент компетентности КК определяется как среднее арифметическое коэффициентов степени знакомства и аргументированности [Бешенев С. Д., Гурвич Ф.Г., 1980]:
Ка + Кз
(3)
Кк =
а з
2
1.3. Показатели степени согласованности мнений экспертов
1.3.1. Коэффициент вариации
Коэффициент вариации V, оценок, полученных ]-м качеством, определяется следующим образом:
- вычисляется дисперсия Dj, оценок, данных _]-му качеству
1 mj
Т£(С,~м, )2 (4)
• 1 7=1
- определяется среднеквадратическое отклонение С , оценок, полученных
]-м качеством
с Ч Dj
(5)
- определяется коэффициент вариации оценок, полученных _]-м качеством:
С,
(6)
V, = ] м,
- Коэффициент вариации определяется для каждого качества и характеризует степень согласованности мнении экспертов об относительной важности _]-го качества. Чем меньше значение У], тем выше степень согласованности мнений экспертов об относительной важности _]-го качества [Бешенев С. Д., Гурвич Ф.Г., 1980].
1.3.2. Коэффициент ранговой корреляции Спирмена
Для характеристики степени согласованности двух любых ранжировок, назначенных двумя индивидуумами определенному количеству объектов по степени выраженности некоторого качества, в математической статистике используется ранговый коэффициент корреляции. Этот показатель целесообразно применить и для определения степени согласованности мнений экспертов.
Чаще всего используют коэффициент корреляции рангов, предложенный К. Спирменом (1904) [Берестнева О.Г., и др., 2001]:
г = 1 -
* --/-,2
=1
(7)
п(п2 -1)
где Лг =ЯХ - Яг- разность между рангами сопряженных значений признаков
X и У;
п - число парных членов ряда, или объем выборки.
Обозначив ранжированные значения признаков порядковыми числами 1,2,3,4,... , нетрудно определить ранги этих значений и по их разности судить о степени зависимости одного признака от изменений другого. Очевидно, при полной связи ранги коррелируемых признаков совпадут, и разность между ними будет равна нулю, а значение коэффициента корреляции г, = 1.
1.3.3. Коэффициент конкордации
Для характеристики согласованности группы индивидуальных ранжировок наиболее часто применяют коэффициент конкордации
п _ 2
12У ($ - $)
(8)
ж = ,=2 3---------
т (п - п)
где - сумма рангов, полученных данным объектом во всех ранжировках;
$ - средняя сумма рангов, полученная одним объектом;
т - число экспертов;
п - число ранжируемых объектов.
Коэффициент конкордации меняется в пределах от 0 (полная
несогласованность) до 1 (полная согласованность). Согласованность группы считают высокой при Ж > 0,8. Но чаще Ж применяется для поиска экспертов, предложивших ранжировки, наиболее отличающиеся от групповых «еретиков».
При этом Ж вычисляют для всей группы экспертов в целом, а затем -для группы, из которой один эксперт исключен. Если при этом Ж повышается, то это означает, что исключенная ранжировка «разрыхляла» группу. Исключая поочередно каждого эксперта, находим эксперта, ранжировка которого наиболее сильно разрыхляла группу и, следовательно, в наибольшей степени отличалась от групповых оценок [Бешенев С. Д., Гурвич Ф.Г., 1980].
2. Принятие решений по результатам экспертного оценивания
2.1. Критерии принятия решений
Следующим этапом после обработки результатов экспертного оценивания (т.е. вычисления всех приведенных выше показателей) является этап принятия решения. Рассмотрим более подробно возможные подходы к решению данной задачи.
Принятие решения представляет собой выбор одного из некоторого множества
рассматриваемых вариантов: Ei е E. Условимся, прежде всего, что каждым
вариантом Ei однозначно определяется некоторый результат et. Эти результаты
должны допускать количественную оценку, и эти оценки для простоты будут отождествляться с соответствующими результатами, обозначая их одним и тем же
символом et.
Целью данного выбора является выбор варианта с наибольшим значением
результата max et . При этом считается, что оценки et характеризуют такие
i
величины, как, например, выигрыш, полезность или надежность. Противоположная ситуация с оценкой затрат или потерь можно исследовать точно также путем минимизации оценки или, как это делается чаще, с помощью рассмотрения отрицательных величин полезности.
Таким образом, выбор оптимального варианта производится с помощью критерия [Мушик Э., Мюллер П., 1990]:
Е0 = {Ei0 I Ei 0 е E Л er 0 = max er } (9)
i
Это правило выбора обозначает следующее: множество E0 оптимальных вариантов состоит из тех вариантов Ei0 , которые принадлежат множеству E всех вариантов и оценка et 0 которых максимальна среди всех оценок et. (Логический
знак л читается как «и» и требует, чтобы оба связываемых им утверждения были истинны.)
Максимальный результат max ei может достигаться в множестве всех
i
результатов многократно, поэтому выбор оптимального варианта в соответствии с
критерием (9) не является, вообще говоря, однозначным, поскольку Необходимость выбирать одно из нескольких одинаково хороших решений на практике обычно не создает дополнительных трудностей [Мушик Э., Мюллер П., 1990].
Случай принятия решений, при котором каждому варианту решения соответствует единственное внешнее состояние с точки зрения его практических применений является простейшим и весьма частым. В более сложных структурах каждому допустимому варианту решения Ег вследствие различных внешних
условий могут соответствовать различные внешние условия (состояния) Fi и
результаты в. решений. Здесь в. понимают как полезности решения оценку
соответствующую, варианту Ei и условиям Fi.
Семейство решений описывается некоторой матрицей решений ||вг1|:
*1 Р2 ^3 . .. р, . . Еп
Е, ви в12 в13 • .. в11 . . в1п
Е 2 в21 СО 2 в в23 . " в21 ■ . в2п
Ез в31 2 СО в взз . " в3. . . в3п
Е в -1 в 2 в-3 . .. в . . в
г 2 г3 г п
Е т вт1 вт2 т2 в 3 . т3 " вт] . втп
При увеличении объема семейства по сравнению с рассмотренной выше ситуацией детерминированных решений связано как с недостатком информации, так и с многообразием решений.
В таком случае необходимо выбирать решение с наилучшим результатом, но так как не известно, с какими условиями можно столкнуться, то приходится принимать во внимание все оценки в., соответствующие варианту Е1
Первоначальная задача максимизации тах в { согласно критерию (9) должна быть
г
заменена другой, походящим образом учитывающей все последствия любого из
вариантов решения Ei [Загоруйко Н. Г., 1991].
Существует множество критериев принятия решений: минимаксный критерий; критерий Байеса-Лапласа; расширенный минимаксный критерий; критерий Гурвица; критерий Сэвиджа и другие [Плаус Скотт, 1998]. Ниже изложено краткое описание некоторых из них.
2.2. Минимаксный критерий
Минимаксный критерий (ММ) использует оценочную функцию,
соответствующую позиции крайней осторожности. При
^мм = тах вгг (11)
е» = т1П в1 (12)
1
справедливо соотношение
Ео = {Ег0 I Его е Е А во = тах т1П ву. } (^
1
где Zмм - оценочная функция ММ-критерия.
Правило выбора решения в соответствии с ММ-критерием можно интерпретировать следующим образом:
и
Матрица решений дополняется еще одним столбцом из наименьших
результатов ег каждой строки. Выбрать надлежит те варианты Его, в строках
которых стоят наибольшие значения ег этого столбца.
Выбранные таким образом варианты полностью исключают риск. Это означает, что принимающий решение не может столкнуться с худшим результатом, чем тот, на который он ориентируется. Какие бы условия Fi ни встречались,
соответствующий результат не может оказаться ниже %мм . Это свойство заставляет считать минимаксный критерий одним из фундаментальных и, поэтому в задачах принятия решений он применяется чаще всего, как сознательно, так и неосознанно [Загоруйко Н. Г., 1991].
2.3. Критерий Байеса - Лапласа
При построении оценочной функции Zмм (согласно ММ-критерию) каждый Е представлен лишь одним из своих результатов ег = тт е. . Критерий Байеса -
]
Лапласа (БЬ), напротив, учитывает каждое из возможных следствий.
Пусть qj - вероятность появления внешнего состояния ¥■, тогда для БЬ-критерия
2ВЬ = тах е1г (14)
г
п
ег = Ее^. (15)
1=1
п п
Е0 = {Ег 0 I Ег 0 е Е А ег0 = тах £ е^. Л ^ qj = 1} (16)
г 1=1 1=1
Соответствующее правило выбора можно интерпретировать следующим
образом:
Матрица решений ЦеЦ дополняется еще одним столбцом, содержащим математическое ожидание значений каждой из строк. Выбираются те варианты Ei 0,
в строках которых наибольшее значение ег этого столбца.
При достаточно большом количестве реализаций среднее значение постепенно стабилизируется. Поэтому при полной (бесконечной) реализации какой-либо риск практически исключен.
Исходная позиция применяющего БЬ-критерия оптимистичнее, чем в случае ММ-критерия, однако она предполагает более высокий уровень информативности и достаточно длительные реализации [Загоруйко Н. Г., 1991].
2.4. Метод анализа альтернатив (принятие решений в условиях неопределенности)
Наиболее перспективными методами принятия решений в слабоструктурированных проблемных областях являются, на наш взгляд, методы, основанные на теории нечетких множеств. Одним из таких методов является метод анализа альтернатив (принятие решений в условиях неопределенности), предложенный Борисовым и Крумбергом [Борисов А.Н. и др., 1990]. Метод имеет место в случае, когда оценки задаются, как степени соответствия альтернатив понятиям, определяемым критериями. Используется свертка на основе операции пересечения нечетких множеств.
Пусть имеется множество из т альтернатив А = {а1,а2,...,ат}, тогда для критерия С может быть рассмотрено нечеткое множество
С = {^е(аг) /аь цсШ /а2, -,Ис(ат) /ат}, (П)
где цс(аг) [0, 1] - оценка альтернативы а, по критерию С и характеризует степень соответствия альтернативы понятию, определяемому понятием С.
Если имеется п критериев: Сь С2, С3, то лучшей считается альтернатива, удовлетворяющая и критерию Сг, и С2, и ..., и Сп. Тогда правило для выбора наилучшей альтернативы может быть записано в виде пересечения соответствующих нечетких множеств
О = С]ПС2П...ПСп. (18)
Операции пересечения нечетких множеств соответствует операция минимума, выполняемая над их функциями принадлежности
Мо (а1) = т1п Мс, (а1X . = 1 т (19)
■) г=1,п 1 ■) 4 ;
В качестве лучшей выбирается альтернатива а*, имеющая наибольшее значение функции принадлежности [Борисов А.Н. и др., 1990]
Мо (а*) = 111 ах Мо )• (20)
1=1, п 4 '
Алгоритм принятия решений в условиях неопределенности предполагает существование функций принадлежности. Возможно два варианта задания числовых значений функции принадлежности:
1. непосредственное задание экспертом цС в интервале [0;1];
2. переход от количественной шкалы к значениям цС при помощи метода построения функции принадлежности на основе интервальных оценок [Борисов А.Н. и др., 1990].
Рассмотрим более подробно метод построения функций принадлежности на основе интервальных оценок.
Если имеется интервал [И*, И0] значений критерия И, который соответствует понятию «хороший» объект, то граничные значения интервала имеют следующую интерпретацию.
Пусть Иа - результат измерения значения характеристики И для объекта а. Тогда И* является границей идеальной области, т.е., если Иа > И*, объект следует признать идеально соответствующим понятию «хороший». Возможность такого утверждения ц(и) = 1,0 (и - субъективное событие, заключающееся в том, что объект, с точки зрения эксперта, находится в состоянии «хороший»).
Если Иа < И0, ситуация интерпретируется так: возможность того, что объект «хороший», ц(и) = 0. очевидно, что при И0 <Иа <И* соответствующие возможности имеют значения 0 <ц(и) <1,0.
Очевидно, что с приближением значения Иа к границе И* возможность признания а «хорошим» объектом линейно возрастает [Борисов А.Н. и др., 1990]. При этом для определения функции принадлежности используется формула
0, если Иа <И0;
М(и) =
ъа -ь0 ,0 ,а
если И <И <И*; (21)
ь* - ь
1, если Иа > И*
3. Программное обеспечение
Авторами статьи разработано универсальное программное обеспечение для системы оценки качества образования. Основная цель разработки - анализ и обработка результатов экспертного оценивания (в качестве экспертов выступают студенты, выпускники вуза, преподаватели, работодатели).
Структурная схема программного обеспечения, предназначенная для решения поставленной задачи, приведена на рис. 1.
Пользов
атель
База данных
Экспертные
оценки
Эксперт
Блок настройки
Задание сведений об объекте
Задание показателей, характеризующих объект
Задание интервала оценивания для каждого показателя
Блок обработки
Вычисление экспертных оценок
Определение степени согласованности экспертов
Реализация методов теории нечетких множеств
Реализация критериев принятия решений
Ранжирование объектов
Формирование окончательного заключения и выходного документа
Рис. 1. Структурная схема программы.
На схеме выделено три основных блока:
- блок настройки параметров;
- база данных;
- блок обработки.
1. Блок настройки параметров. Здесь происходит задание сведений, критериев и интервалов оценивания, при их отсутствии, а также, их изменение при корректировке исходных данных, либо при вводе новых данных.
2. База данных. Здесь происходит хранение исходных данных, которые в дальнейшем, поступают в следующий блок для их обработки.
3. Блок обработки, в этом блоке происходит обработка данных при помощи критериев принятия решений, методов оценки экспертной информации, а также, методов теории нечетких множеств.
Использование разработанной программы предполагает использование компьютера с характеристиками не ниже следующих:
- процессор - Intel Celeron-333Mhz/128Kb MMX (PPGA / socket 370);
- память - DIMM 64Mb (100MHz, SDRAM, 168pin, 10ns);
- операционная система Windows 98;
4. Интерпретация и анализ результатов
В настоящее время система запущена в опытную эксплуатацию на факультете автоматики и вычислительной техники Томского политехнического университета.
Среди задач оценки качества образования, которые были решены на базе данной компьютерной системы, наиболее интересными представляются следующие:
1. Оценка качества преподавания.
2. Оценка профессионально-значимых качеств студентов последнего года обучения (выпускников).
4.1. Оценка качества преподавания
Контроль качества работы преподавателя является одной из сложных и важных задач в общей проблеме управления качеством обучения.
Деятельность преподавателя многогранна. По официальной отчетности, она включает такие виды деятельности как учебную, учебно-методическую, научноисследовательскую, организационно-методическую, воспитательную работу, всесторонне оцениваемые в ходе аттестации. Однако, без учета мнения студентов оценка деятельности преподавателя является неполной. Мнение студентов о преподавателе выявляется при помощи анкетирования.
За время обучения студенты довольно хорошо овладевают умением разбираться в людях, с которыми видятся почти каждый день, и от которых в их жизни зависит многое - в преподавателях. Для оценки преподавательской деятельности использовалась анкета «Преподаватель - глазами студента» [Зеленцов. Б., 1999]. Вопросы этой анкеты и являлись критериями оценки качества преподавания [Марухина О.В., Берестнева О.Г., 2002б].
Ниже продемонстрирована работа программы на примере решения задачи оценки качества деятельности преподавателей (рис. 2-5).
На рис.2 представлена форма, которая содержит таблицу со списком критериев, по которой осуществляется экспертное оценивание. Здесь пользователь может создавать новый список критериев на основе старого.
Далее необходимо перейти к форме, изображенной на рис. 3, на которой расположены кнопка (создать новую таблицу), окно для выбора объекта оценивания и таблица, в которой автоматически отображаются данные об экспертных оценках выбранного объекта. При нажатии на кнопку Создать новую таблицу будет создана новая таблица для экспертного оценивания, содержащая список критериев, заданный ранее и чистые поля для занесения в них экспертных оценок. В данном случае создано 9 полей экспертных оценок, для 9-ти экспертов.
Список критериев I |
Задайте список критериев
| |Критерии 3
► Излагает материал ясно, доступно
Разъясняет сложные места
Выделяет главные моменты
Умеет вызвать и поддержать интерес аудитории к предмету
Следит за реакцией аудитории
Задает вопросы, побуждает к дискуссии
Соблюдает логику в изложении
Демонстрирует культуру речи, четкость дикции, нормальный темп изложения
Умеет снять напряжение и усталость аудитории —
Ориентирует на использование изученного материала в будущей деятельности
Творческий подход и интерес к своему делу
Доброжелательность и такт по отношению к студенту
Терпение
Требовательность
Заинтересованность в успехах студентов
Объективность в оценке знаний * * !
Уважительное отношение к студентам ш
г и
Сохранить |
Рис. 2. Вид формы для создания списка критериев для оценки качества деятельности преподавателей.
Вс# эксперт*** оцен.и должны производиться в интервала от 0 до 9
Критерии |Оиснки 1-го|0чен»и г-го| Оиенки >го|0и I
Оыдсло«т главнее моменты 5 0 в
Аемонетр^рует культуру речи. четк ость ДИ.1ЦИ. нор ж 5 9 7
йоброжелотольмость И ТАКТ по отношению к студенту 6 9 в
Задает «опросы побуждает к дискуссии 3 4 9 .
Заинтересованность е успехе» студентов 2 0 в
Излагает материал вено, доступно 8 9 9 I
Объективность е очен» е >иа»<1 7 9 9 1
Сохранить эаспортнсю оценки в
Раэъвснает сложно места Не сохранять »кспертныеоиен«и в
Располагает к себе еосоой эрудицией манерой пове Следит за реакилей аудитории КОКРФИийНТ компетентности экспертов в в
Соблодаот логміу о изложении Вы» од из программа 9
Тігариеский подход и интерес к сеоому делу 2 < 8 Д
Терпение 9 9 9 _
Требовательное!в 9 9 9
Уне ■ И ! и льное отношение* студентам 7 9 9
Умеет иызиать и поддержать оторве аудитории • про Э' 9 Б
Умнет снатв иалряжемие и усталость аудитории 2 6 5
«и
Выберите ибьотт аттестации
Создать мооуо таблиц
Рис. 3. Вид формы «Экспертное оценивание».
^ Согласованность экспертов В I □ | X
Эксперты (Эксперт 1 [Эксперт 2| Эксперт з| Эксперт А\Эксперт б|Эксперт б|Эксперт ?|Эксперт Е
Эксперт 1 + + * * - - ♦
Эксперт 2 + + - - - - - -
Эксперт 3 + - +
Эксперт А + - -
► Эксперт 5 + - - - ІПші йвдшй
Эксперт 6 - - - - - Выход из программы.
Эксперт 7 - - - - - - + -
Эксперт 8 + - + - + - - | + —
Эксперт 9 + + - + - - +
-
ии ►
"+11 - мнение экспертов согласовано [о^ЗБ-ЧБ! 6307100106 Коэфициент варриации
"-11 - мнение экспертов несогпасовано ІП 1Я4Я11ЯБ ^ , і- іи,ючоі пичониюэ Коэфицент конкордации
Рис. 4. Вид формы «Степень согласованности экспертов».
После проведения экспертного оценивания можно при нажатии на кнопку Согласованность экспертов узнать степень согласованности экспертов. При этом открывается форма - степень согласованности экспертов (рис 4.). Сведения, об экспертных оценках при нажатии на кнопку Степень согласованности экспертов обрабатываются, и на экран выдается форма, содержащая матрицу, строками и столбцами которой являются плюсы и минусы (знаки + и - соответствуют согласованности и несогласованности мнений экспертов на основе коэффициентов ранговой корреляции Спирмена). По данной таблице можно определить, мнения каких экспертов согласованны между собой, а каких - нет. Также на форме содержатся дополнительные окна, в которых отображаются значения коэффициента вариации и конкордации, которые характеризуют согласованность мнений всей группы экспертов.
Далее производится просмотр полученных данных при реализации алгоритма анализа результатов экспертного оценивания. Для данного примера выходная форма программы представлена на рис. 5. Она содержит таблицу, состоящую из 11 полей: «Критерии», «Медиана», «Место», «Уровень качества», «ЧМВО», «Место по ЧМВО», «Коэффициент корреляции». Столбец «Критерии» содержит список критериев, по которым был оценен преподаватель, «Медиана» - центральное значение по каждому критерию среди значений всех экспертов, «Место» - место по рейтингу по каждому критерию в соответствии с полученной медианой. В столбец «Уровень качества» заносятся текстовая характеристика, соответствующая значению медианы и интервальным значениям, которые заносятся пользователем в таблицу интервальных характеристик. «ЧМВО» - частота максимально возможных оценок, определяет место, занимаемое каждым критерием в соответствии с количеством максимальных оценок, данных экспертами. «Место по ЧМВО» - место, занимаемое
каждым критерием, с учетом количества максимально возможных оценок. «Коэффициент вариации» характеризует степень согласованности мнении экспертов об относительной важности _|-го качества. Чем меньше его значение, тем выше степень согласованности мнений экспертов об относительной важности _|-го качества.
> 1- !□ I 3
Критерии Медиан^ Место (Уровень качества чмво[ Место по ЧМВО Коэсрицент варриации| га
Объективность в оценке знаний 8 5 Качество проявляется часто 0,3 7 0,311804782231162
Ориентирует на использование изу 7 14 Качество проявляется часто 0 18 0,386899674366226
Разъясняет сложные места 7 7 Качество проявляется часто 0.2 10 0,291335791158375
► Располагает к себе высокой эрудит- 7 8 Качество проявляется часто 0,47628967220784
Следит за реакцией аудитории — 0,406353856620217
7 9
Соблюдает логикув изложении 7 18 Качество проявляется часто Печать 0,344713156833079
Творческий подход и интерес к свое 7 11 Качество проявляется часто программы | 0,490653381462658
Терпение 9 2 Качество проявляется практи' ИНИН и Х0ДИ31 0,141639430933133
Требовательность 9 3 Качество проявляется практически в 0,7 2 0,0555555555555556 —
Уважительное отношение к студент 8 8 Качество проявляется часто 0,3 8 0,222222222222222
Умеет вызвать и поддержать интер 6 17 Качаство проявляется на уровне 50% 0.2 12 0.459804037701301
Умеет снять напряжение иусталост 5 18 Качаство проявляется на уровне 50% 0.1 16 0,537196655717048 лі
Рис.5. Вид выходной формы для оцениваемого Б*.
4.2. Оценка профессионально-значимых качеств студентов последнего года обучения (выпускников)
Для решения задачи оценки профессионально значимых качеств специалистов на основе анализа мнений экспертов исходными данными являются результаты экспертных оценок студентов-выпускников факультета АВТФ ТПУ по критериям, разработанным группой экспертов с учетом требований Государственного стандарта [Берестнева О.Г., Марухина О.В. 2002] для специальности Прикладная математика (табл. 2) и требований работодателей [Марухина О.В., Берестнева О.Г., 2002а].
Таблица 2. Оценки профессионально значимых качеств студентов пятого курса
экспертом № 1
№ студента группы 8Б60 Математические способности Знание языков программирован ия Аналитиче ский склад ума Знание современных компьютерных технологий п и ат £ й % * м о « Общий уровень образованности Нестандартность мышления Творческие способности Работоспособно сть
1 7 4 10 8 8 8 5 4 6
2 5 9 9 8 6 9 7 4 10
3 7 3 4 2 8 7 4 4 6
4 9 5 6 2 8 8 6 6 4
5 7 4 6 4 10 7 7 9 8
6 7 6 5 4 6 5 9 9 8
7 4 2 3 2 8 6 4 3 2
8 9 10 10 8 6 8 8 6 8
9 8 4 6 2 8 8 6 8 8
10 9 8 10 9 8 7 7 8 8
11 5 5 3 6 9 7 6 9 7
12 4 2 4 5 8 8 3 7 7
13 8 5 7 2 8 8 6 9 8
14 8 4 8 4 6 8 7 6 8
15 9 5 8 2 6 8 8 4 8
16 10 10 10 10 10 10 10 10 9
17 10 8 8 6 8 10 9 8 10
18 6 3 4 2 4 6 4 4 6
19 3 1 3 1 5 3 8 3 7
20 8 9 10 10 6 8 10 3 10
21 5 1 4 2 7 6 2 4 9
22 7 3 4 2 9 8 3 7 7
23 9 6 8 6 4 10 7 4 10
24 9 8 8 5 5 9 8 5 10
Исходные данные представлены в виде степеней соответствия критериям и занесены в таблицу, для их хранения, обработки и получения результатов, при использовании разработанной программы.
На рис. 6 представлена выходная форма с результатами оценки
профессиональной пригодности студентов-дипломников.
_Ы X
Номер Аттестуемые Оценки Общий рейтинг ЧМВО ММК
1 Басакевич 6 16 1
2 Бочтарев 6 18 2
3 Бурханова 3,5 24 3
4 Зайцева 6 13 4
5 Зиновик 6 14 5
6 <лименко 6 15 6
7 <олодяжная 4,5 21 7
8 <оролев 7,5 8 8 -
9 <ривцова 7 9 9
10 Лобанов 8,5 2 10
11 Лысенко 7 7 11
12 Чаврина 4 22 12
13 У1ануйлина 6,5 10 13
14 Мельникова Й 1
15 Назаренко Основная срорма
16 Пачуев Печать
17 Писаревская 7
18 ^одзик выход из прогр аммы
19 Самигулина 3,5 23 19
20 Татарский 8 4 20
21 Фаст 5,5 19 21
22 Фомченкова 6,5 11 22
23 .Цербакова 6 17 23
24 Яппарова 6,5 12 24
Рис.6. Вид выходной формы оценки профпригодности группы студентов пятого
курса.
Заключение
Для решения задачи оценки качества образовательной деятельности были использованы стандартные методы обработки и анализа результатов экспертного оценивания, а также методы теории нечетких множеств.
На основе выбранных методов, был сформулированы алгоритмы решения задачи, разработана структура компьютерной системы и осуществлена программная реализация алгоритмов. Программа была реализована в среде программирования Бе1рЫ 5.0, эта среда программирования была выбрана в связи с широкими возможностями и, в частности, с возможностью разработать удобный пользовательский интерфейс.
Анализ результатов показал, что разработанная компьютерная система реализует необходимый на данном этапе перечень задач.
Литература
[Берестнева О.Г., и др., 2001] Берестнева О.Г., Уразаев А.М., Муратова Е.А., Кубарев Е.Н., Воробьева Н.Г. Математические методы в психологии. Учебное пособие / Под ред. О. Г. Берестневой, А. М. Уразаева. - Томск: Изд-во Томского государственного педагогического университета, 2001. - 304 с., ил.
[Берестнева О.Г., Марухина О.В., 2001] Берестнева О.Г., Марухина О.В.
Применение компьютерных технологий и сети Интернет для оценки качества образовательных услуг в системе высшей школы. Качество образования. Достижения. Проблемы. Материалы IV Международной научно-практической
конференции. Под общей ред. А.С. Вострикова. - Новосибирск. Идз-во НГТУ, 2001.
- С. 189
[Берестнева О.Г., Марухина О.В., 2002] Берестнева О.Г., Марухина О.В.
Государственный образовательный стандарт как критерий качества образовательного процесса: Труды V международной научно-практической конференции «Проблемы и практика инженерного образования», Томск, 24-26 мая 2002. - Томск: Изд. ТПУ, 2002 с. 86-87.
[Бешенев С.Д., Гурвич Ф.Г., 1980] Бешенев С. Д., Гурвич Ф.Г. Математикостатистические методы экспертных оценок. -М.: Статистика, 1980.
[Бобровский С., 2000] Бобровский С. Delphi 5: учебный курс - СПб: Издательство «Питер», 2000. - 640 с.
[Борисов А.Н. и др., 1990] Борисов А.Н., Крумберг О.А., Федоров И.П.Принятие решений на основе нечетких моделей: Примеры использования. - Рига: Зинатне, 1990. - 184 с.
[Венецкий И.Г., Венецкая В.И., 1974] Венецкий И.Г., Венецкая В.И. Основные математико-статистические понятия и формулы в экономическом анализе. - М.: Статистика.-1974.
[Востриков А.С., 2001] Качество образования. Достижения. Проблемы. Материалы IV Международной научно-методической конференции. Под общ. ред.
A.С.Вострикова. - Новосибирск. Изд-во НГТУ, 2001. - 443 с.
[Гладких Б. А., 1979] Гладких Б. А. Лекции по исследованию операций. Принятие решений при неопределенности / Под ред. А. Ф. Терпугов. - Томск: Изд-во Томского университета, 1979. - 120 с., ил.
[Гласс Дж., Стенли. Дж., 1976] Гласс Дж., Стенли. Дж. Статистические методы в педагогике и психологии. - М.: Прогресс, 1976. - 495 с.
[Загоруйко Н. Г., 1991] Загоруйко Н. Г. Вычислительные системы. Сборник научных трудов. Экспертные системы и анализ данных / Под ред. Н. Г. Загоруйко. -Новосибирск, 1991. - 177 с.
[Зеленцов. Б., 1999] Зеленцов. Б. Студенты о преподавателе: методика опроса// Высшее образование в России № 6, 1999, с. 44-47
[Мануйлов В.Ф., и др., 2001] Мануйлов В.Ф., Дмитренко В.П., Федотова А.В., Шишков Г.М., Галетова Н.Л. Образовательные услуги и управление качеством. Под редакцией Петрова А.П. - М.: «ЛАТМЕС», 2001. - 196 с.
[Марухина О.В., Берестнева О.Г., 2002а] Марухина О.В., Берестнева О.Г. Системный подход к оценке качества образования //Стандарты и качество, № 4, 2002, с. 35-36
[Марухина О.В., Берестнева О.Г., 2002б] Марухина О.В., Берестнева О.Г. Системный подход к оценке качества высшего образования //Открытое образование, № 3, 2002. с. 38-42
[Мушик Э., Мюллер П., 1990] Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с нем. - М.: Мир, 1990. - 208 с., ил.
[Плаус Скотт, 1998] Плаус Скотт Психология оценки и принятия решений: пер. с англ. - М.: Филин, 1998. - 368 с.
[Приходько В.М. и др., 1998] Приходько В.М., Мануйлов В.Ф., Луканин В.Н., Смирнов С.А., Шленов Ю.В., Федоров И.В., Вражнова М.Н. Высшее техническое образование: мировые тенденции развития, образовательные программы, качество подготовки специалистов, инженерная педагогика. - Под редакцией Жураковского
B.М. - М., 1998. - 304 с.
[Сидельников Ю.В., 2000] Сидельников Ю.В. Моделирование поведения и интеллекта: экспертология - новая научная дисциплина//Автоматика и телемеханика.
- 2000.-вып.2 с. 107.
[Смирнова Н.В., 2001] Смирнова Н.В. Структурно-функциональные характеристики образовательного процесса. /Теоретический журнал CREDO/, № 25 2001.
