Интерактивная система оценки качества образования Текст научной статьи по специальности «Математика»

Демиденко А.П., Кан М.В., Сундеев Д.Г.

Институт коммуникаций и информационных технологий Кыргызско-

Российского Славянского университета

Интерактивная система оценки качества образования

Аннотация

Рассматривается вопросы создания автоматизированной системы оценки качества образования. Предлагаются алгоритмы оценки качества, использующие нечеткую логику.

Введение. В условиях нарастающей конкуренции на рынке образовательных услуг на успех могут рассчитывать вузы, обеспечивающие образование высокого качества. Качество образовательных услуг становится гарантией привлекательности вуза и доверия потребителей. Высокое качество образования является одной из главных целей реформирования системы высшего образования. Эта цель провозглашается Болонской декларацией как приоритетная. Для повышения качества образования необходимо уметь его оценивать. Поэтому построение модели оценки образования является важной задачей. Проблема ее решения рассматривается в данной работе.

Постановка задачи. В [1] под качеством высшего образования понимается сбалансированное соответствие высшего образования (как результата, как процесса, как образовательной системы) многообразным потребностям, целям, требованиям, нормам (стандартам). При этом качество образования определяется системной совокупностью иерархически организованных, социально значимых сущностных свойств (характеристик, параметров) высшего образования. Показатели, описывающие такие свойства, приведены в [2].

1. Качество преподавательского состава.

2. Состояние материально-технической базы учебного заведения.

3. Мотивация преподавательского состава.

4. Качество учебных программ.

5. Качество студентов.

6. Качество инфраструктуры.

7. Качество знаний.

8. Инновационная активность руководства.

9. Внедрение процессных инноваций.

10. Востребованность выпускников.

11. Конкурентоспособность выпускников на рынке труда.

12. Достижения выпускников.

Представленные показатели допускают декомпозицию и не измеряются в количественных шкалах. В других источниках [3,4,5] набор показателей может отличаться от приведенного. Возникает задача оценивания каждого из показателей и нахождения на их базе агрегированной оценки качества высшего образования. Такая оценка может использоваться как обратная связь в замкнутой системе управления качеством образования. При недостаточно высокой оценке качества образования необходимо внести изменения в образовательный процесс. Формального метода определения набора показателей не существует. Выбор показателей осуществляется экспертами и сильно зависит от их опыта и способности [6]. В [7] приведены требования к такому набору. Набор показателей должен быть полным, действенным, разложимым, неизбыточным и минимальным. Хотя сформулированные требования не противоречат здравому смыслу, они не являются конструктивными: воспользоваться ими для определения набора показателей не представляется возможным. Поэтому для оценки качества образования необходимо решить следующую задачу: разработать компьютерную систему, которая должна предоставлять возможность лицу, принимающему решение (ЛПР), методы и средства для выбора показателей, характеризующих качество образования, а также возможность использования качественных оценок для показателей нижнего уровня и на базе этих оценок нахождения интегрированной оценки.

Использование нечетких множеств в задачах оценки качества.

В задаче оценки качества образования будем использовать аппарат теории нечетких множеств, получивший также название нечеткой логики [6]. Нечеткая логика оперирует неточными, приблизительными, примерными оценками. В рассматриваемой задаче будем использовать нечеткую логику по следующим причинам. Во-первых, из-за сложности самого понятия "качество образования" и трудностью формализации понятия качества традиционными математическими моделями. Во-вторых, потому что часть показателей оценивается в качественных шкалах. Нечеткая логика основана на использовании качественных характеристик естественного языка, например, «далеко», «близко», «мало», «много». В последнее время диапазон ее применения существенно вырос. Это объясняется тем, что многие современные задачи, в частности задачи управления, просто не могут быть решены классическими методами из-за очень большой сложности математических моделей, их описывающих. Однако использование нечеткой логики становится возможным при наличии соответствия между качественными характеристиками, которые в нечеткой логике называются лингвистическими (нечеткими) переменными (значениями) и математическими объектами - нечеткими множествами [8]. Совокупность качественных значений образует терм-множество лингвистических оценок переменной, в котором оценки

называются термами. Переменная, значения которой описываются лингвистическими оценками, называется лингвистической переменной. Из-за ограниченных способностей человека к хранению информации в кратковременной памяти и оперирования ею, считается, что достаточно 3-7 термов на каждую переменную.

При описании объектов с помощью нечетких множеств используются понятия нечеткой и лингвистической переменных.

Нечеткая переменная характеризуется тройкой <а, X. А>, где а-наименование переменной X - универсальное множество (область определения а),

А - нечеткое множество на X, описывающее ограничения (т.е. ^ А(х )) на значения нечеткой переменной а. Здесь ^ (х)-функция принадлежности, 0 < ^ (х )<1.

Лингвистической переменной называется набор <в,Т,Х^,М>, где в -наименование лингвистической переменной. Т - множество ее значений (терм-множество), представляющих собой наименования нечетких переменных, областью определения каждой из которых является множество X. Множество Т называется базовым терм-множеством лингвистической переменной. G - синтаксическая процедура (правило), позволяющая оперировать элементами терм-множества Т, в частности, генерировать новые термы (значения). Множество TиG(T) где G(T) -множество сгенерированных термов, и - операция объединения, называется расширенным терм-множеством лингвистической переменной. М - семантическая процедура (правило), позволяющая превратить каждое новое значение лингвистической переменной, образуемое процедурой G, в нечеткую переменную, т.е. сформировать соответствующее нечеткое множество.

Чтобы избежать большого количества символов символ в используют как для названия самой переменной, так и для всех ее значений; пользуются одним и тем же символом для обозначения нечеткого множества и его названия, например терм "молодой", являющийся значением лингвистической переменной в = "возраст", одновременно есть и нечеткое множество М ("молодой").

Присвоение нескольких значений символам предполагает, что контекст позволяет разрешить возможные неопределенности.

Пример: Эксперт определяет толщину выпускаемого изделия с помощью понятий "малая толщина", "средняя толщина" и "большая толщина", при этом минимальная толщина равна 10 мм, а максимальная -80 мм.

Формализация такого описания может быть проведена с помощью следующей лингвистической переменной Т, X, G, М>, где

Р - толщина изделия;

Т - {"малая толщина", "средняя толщина", "большая толщина"};

X - [10, 80];

G - процедура образования новых термов с помощью связок "и", "или" и модификаторов типа "очень", "не", "более или менее". Например: "малая или средняя толщина", "очень малая толщина";

М - процедура задания на X = [10, 80] нечетких подмножеств А1="малая толщина", А2 = "средняя толщина", Аз="большая толщина", а также нечетких множеств для термов из G(T) в соответствии с правилами использования нечетких связок "и", "или" и модификаторов "не", "очень", "более или менее". Операция пересечения нечетких множеств А и В (А п В ) соответствует связке "и", операция объединения (АиВ) —"или", CON А = А2 , DIL А = А0,5 Модификатор "очень" можно рассматривать как оператор концентрирования — CON А = А2=^2 a(x). Модификатор "более или менее" можно аппроксимировать с помощью оператора растяжения DIL А = А0,5=^0,5 aM.

Использование синтаксического правила, порождающего новые нечеткие значения в терм-множество алгоритмически, доставляет дополнительное удобство пользователю [8]. Рис. 1 и рис. 2 частично иллюстрирует сказанное.

Рис. 1. Функции принадлежности нечетких множеств:

"малая толщина" = А1 , "средняя толщина"= А2, " большая толщина"= АЗ .

Рис. 2. Функция принадлежности объединения нечетких множеств А1 и А2: нечеткое множество "малая или средняя толщина" = А1иА2.

Выбор семантического правила М является ответственным моментом при решении прикладных задач. Этот выбор осуществляется на основе априорных знаний об объекте исследования. При этом в качестве универсального множества X может приниматься интервал изменения базовой переменной. Если базовую переменную х пронормировать следующим образом: (х-хтт)/[ Xmax-Xmin), то в качестве универсального множества X, на котором изменяется пронормированное значение переменной х можно принять отрезок [0,1]. Здесь Xmax и хтт соответственно наибольшее и наименьшее значение переменной х. При этом в случае измерения свойства в количественной или порядковой шкале, можно в качестве максимального значения шкалы принять 1, и этому значению

поставить в соответствие максимальную интенсивность проявления свойства. Меньшим интенсивностям проявления оцениваемого свойства, в соответствии с [9], соответствуют значения шкалы из [0, 1]. В качестве первичных переменных из базового терм-множества Т можно принять значения нечетких множеств, приведенные в литературе, например в [10]. При использовании нечеткой логики для построения математической модели целесообразно позволить ЛПР использовать лингвистические значения, предварительно предоставив ему возможность в удобной форме сопоставлять этим значениям нечеткие множества.

Нечеткая модель оценки качества как задача классификации.

Рассмотрим модель оценки качества, используя для этих целей задачу классификации в пространстве нечетких переменных. Пусть объект, качество которого оценивается, описывается иерархическо структурой показателей. При этом q-ое свойство, характеризующее объект, описывается показателем q. Будем считать, что структура показателей состоит из Н уровней. Тогда число показателей верхнего уровня т(Н)=1, а число показателей первого уровня m(1)=Q. Подмножество показателей /-го уровня, от которых зависит /-ый показатель /+1 уровня, будем обозначать как 3(/). Задачу оценки качества сложного объекта сформулируем следующим образом. По известным значениям показателей 1-го уровня а nq (1), q=1,...,Q необходимо определить значение обобщенного показателя качества верхнего Н-го уровня а \ (Н). Здесь верхние индексы п и I означают соответственно п - ую оценку из шкалы оценок q-го показателя 1-го уровня - Bq(1) и I - ую оценку из дискретной шкалы оценок 1-го показателя Н-го уровня - ©1(Н). При этом предполагается, что значения показателей 1-го уровня могут быть получены либо с помощью инструментальных измерений, либо экспертно. Значения показателей качества, начиная со 2-го уровня и выше, должны быть получены с помощью формализованной процедуры, и при этом полученная оценка должна согласовываться с оценкой эксперта. Шкалы для измерения показателей 1-го уровня могут быть дискретными или непрерывными, а шкалы для измерения комплексных показателей, начиная со 2-го уровня, -дискретными, что вызвано ограниченными возможностями экспертов [9]. Тогда задачу оценки качества сложного объекта можно представить в виде последовательности задач нахождения комплексных оценок на каждом уровне, начиная со второго, по значениям нижележащих показателей: по значениям показателей /(/), где /(/) принадлежит множеству S С(/), найти оценку комплексного показателя с(/+1). Комплекс аппаратуры КИ Задача оценивания комплексного показателя формулируется следующим образом. Пусть задано множество градаций N проявления с-го свойства уровня /+1, определяемое шкалой Bq(i+1) = {а\ (/+1),..., а Мс (/+1)}. Известно, что это свойство зависит от значений т показателей, принадлежащих S С(/). Для каждого к-го показателя /-го уровня к(/) задано множество его возможных значений, определяемое

шкалой Вк(1). Множество Yq(i) = В1(Г)х...х Вк(Г)х...х Dm(i) представляет все гипотетически возможные состояния показателей уровня I от которых зависит показатель ц0+1). Предполагается, что определенной интенсивности проявления q-го свойства i+1-го уровня соответствуют некоторые элементы из множества Yq(i). Требуется идентифицировать проявление соответствующей интенсивности свойства из Bq(i+1) для любого состояния из Yq(i). Задача оценивания представляет собой задачу разбиения т - мерного пространства Yq(i) на N т- мерных

упорядоченных областей (квантов), каждой из которых присваивают соответствующую оценку. Разбиение пространства Yq(i) на N областей можно рассматривать как задачу классификации, при которой точки пространства Yq(i), интерпретируемые как объекты, разделяются на классы ( наборы объектов) таким образом, что сходство объектов внутри класса больше чем сходство объектов из разных классов. В рассматриваемой задаче под сходными объектами (объектами, входящими в один класс) надо понимать точки прост-ранства Yq(i), в которых интенсивности проявления q-го свойства i+1-го уровня входят в одну категорию. Для разделения пространства Yq(i) на N областей будем использовать модель диагностики. При этом предполагается, что для каждого диагноза (класса) существует идеальная точка, т.е. наиболее типичное состояние, которое представляют в виде центра класса. Рассматривая диагностируемое состояние как точку в пространстве показателей, вновь поступающий объект относят к тому классу, расстояние до центра которого минимально. Задачу классификации, используемую для получения комплексного показателя качества, будем решать с применением аппарата теории нечетких множеств. Это обстоятельство вызвано тем фактом, "что большинство реальных классов размыты по своей природе в том смысле, что переход от принадлежности к непринадлежности для этих классов скорее постепенен, чем скачкообразен. Так, для данного объекта х и класса F в большинстве случаев вопрос состоит не в том, принадлежит ли х к F, а в том, до какой степени х принадлежит к F" [10]. Степень выраженности (интенсивность проявления) q-го свойства i+1-го уровня будем измерять в шкале Bq(i+1), множество значений которых конечно, а сами значения представляют качественные характеристики и описываются нечеткими множествами. Для описания п-ой оценки интенсивности проявления q-го свойства i+1-го уровня - а nq 0+1) в виде зависимости от к0) используем нечеткое множество, задав его функцию принадлежности на шкале Вк(Г). При этом значение функции принадлежности можно рассматривать в качестве характеристики степени соответствия а 'к 0) оценке а nq 0+1). Количество нечетких множеств для всех показателей к0), входящих в подмножество 5 С10), является одинаковым и равным числу градаций шкалы

Bq(i+1) = {а \ р+1),..., аNq 0+1)}. Данные нечеткие множества строятся экспертами. Для этой цели желательно использовать удобный

графический интерфейс. Алгоритмы, применяемые при оценке комплексного показателя с (/+1), различаются в зависимости от вариантов использования.

1. Показатели /-го уровня заданы четкими значениями на своих шкалах.

2. Значения показателей /-го уровня заданы нечеткими множествами.

1. В этом случае оцениваемое состояние ¥ описывается вектором а 0(/), элементами которого являются четкие значения показателей /-го уровня.

а 0(/) =(а01 (/)., а°!(/)., а\(/)); а°1 (/)еВ,М; {1 (0}= ^(/); 1=1,2,...,к. (1)

В качестве центра класса п, соответствующего оценке а пс (/+1), примем вектор

ап(/) =(ап1 (/)., ап1 (/)., апк(/)); ап,(/)еВ() (2)

Здесь ап1 (/) такое значение показателя 1(/), для которого функция принадлежности оценке а пс (/+1) равна единице. Значение функции принадлежности л пс(1) можно рассматривать в качестве степени соответствия (близости) состояния ¥ оценке апс (/+1) в смысле показателя 1(/). Интегрированную характеристику близости состояния ¥, описываемого вектором а 0(/), оценке а пс (/+1) определим с помощью выражения

Р\ п=Л пс(1) *.* л пс(1)л пс(к). (3)

Знак * может быть определен как операция нахождения минимума ( в этом случае исходят из того, что степень соответствия комплексного показателя оценке а пс (/+1) не может превышать степени соответствия этой оценке каждого показателя 1(/) е Sq(/)); как алгебраическое произведение, являющееся более "мягкой" интерпретацией союза "И"[10].

Проделав процедуру, описываемую выражением (3), для всех 1(/) е Sq(/), в качестве искомой оценки выбираем такую, характеристика близости р\ п для которой максимальна.

2. В случае, когда показатели 1(/) измеряются нечетко, в качестве центра класса п принимается вектор, состоящий из нечетких множеств, описываемых функцией принадлежности

( ¡апс(1),..., ¡иа%(1)., ¡апс(к) ). (4)

Здесь л апс(1)- функция принадлежности , ограничивающая нечеткое множество, соответствующее оценке а пс (/+1), на универсальном множестве В1(Г).. Оцениваемое состояние ¥ описывается вектором Ач'(/), элементами которого являются нечеткие значения показателей /-го уровня.

АЧ/)=( ¡¡"(П. ¡41),.; М"(к) ). (5)

В выражении (5) ¡л" (1) функция принадлежности, описывающая нечеткое множество, соответствующее оцениваемому состоянию ¥, на универсальном множестве В1Щ.

В данном случае в качестве меры близости нечетких множеств можно

использовать различные варианты, приведенные в литературе [6,8,10]. Как и в [10], в работе предлагается использовать в качестве меры близости двух нечетких множеств л anq(l) и juv(l) верхнюю грань пересечения функций принадлежности

Q (л anq(l) , Mw(l)) = sup min [л anq(l); ¡iw(l]]. (6)

Такая процедура особенно удобна, когда функции принадлежности заданы аналитически.

При этом искомое значение определяется путем решения уравнения, полученного путем приравнивания функций л anq(l) и ¡iv(l).

С помощью выражения (6) находится степень близости каждой компоненты вектора состояния n-ой оценке. Интегрированную характеристику близости состояния ¥ оценке n можно получить, используя различные свертки [6,8,10,11]. Приоритеты критериев учитываются с помощью весовых коэффициентов. Проделав подобные вычисления для всех N оценок шкалы Bq(i+1), как и в предыдущем случае в качестве искомой оценки выбираем ту, интегрированная характеристика близости для которой максимальна.

Использование нечеткого вывода в модели оценки качества. Задача оценки качества, использующая знания эксперта, может быть формализована использованием продукционных правил, связывающих лингвистические переменные. Большинство нечетких систем используют продукционные правила для описания зависимостей между лингвистическими переменными. Типичное продукционное правило состоит из условия (часть ЕСЛИ ...) и вывода (часть ТО ...). Условие может содержать более одной посылки. В этом случае они объединяются посредством логических связок И или ИЛИ. Процесс вычисления нечеткого правила называется нечетким логическим выводом и подразделяется на два этапа: обобщение и заключение. Пусть мы имеем следующее правило: ЕСЛИ " Качество преподавательского состава "="Хорошее" И "Знания студентов"="Хорошие" И "Востребованность выпускников "="Высокая" ТО "Качество образования"="Хорошее"

На первом шаге логического вывода, который является обобщением знаний экспертов, необходимо определить функции принадлежности всего условия рассматриваемого правила. Для этого в нечеткой логике, как правило, используют два оператора: MIN(...) и MAX(...). Первый вычисляет минимальное значение функции принадлежности, а второй - максимальное значение. Когда применять тот или иной оператор, зависит от того, какой связкой соединены посылки в правиле. Если использована связка И, применяется оператор MIN(...). Если же посылки объединены связкой ИЛИ, необходимо применить оператор MAX(...). В литературе приведены и другие варианты формализации связок И и ИЛИ [10]. Этот шаг, по сути дела, предназначен для построения модели объекта, которая в нечеткой логике представляется нечетким отношением. Пусть X={xi..... Х2 ,...,xi} и

Y={yi.....y2,...,ym}. Нечетким отношением R называется нечеткое множество,

определенное на декартовом произведении X x Y, которому соответствует

функция принадлежности ^ R : X x Y-> [0, 1]; ^ R(x ,y) отражает

соответствие x eX и y eY нечеткому отношению

R = AxB = ±±(MA(x,ßB (y]) )/(x,,yj). (7)

i=1 j=1

Здесь А e X,B e Y - нечеткие множества, заданные на универсальных множествах X и Y ; Л означает оператор MIN, £ -объединение элементов; Xi e X; yj e Y дискретные значения на универсальных шкалах соответственно X и Y.

Нечеткое отношение R формируется на основе правил продукции. Для правила, приведенного выше, нечеткое отношение имеет вид

I M K N . ,, .

R = AxBxCxD = К(x, УMB (yjfßC kУ(qn))/(x,,yj, w,, qn) .

i=1 j=1 k=1 n=1

(8)

Здесь A e X, B e Y, C e Ж - нечеткие множества, описывающие значения показателей в части ЕСЛИ ( в нашем случае для трех показателей нечеткие множества описывают лингвистические значения "Хорошее", "Хорошие", "Высокая" но на разных универсальных множествах), D e Q - нечеткое множество, описывающие значения показателей в части ТО (в нашем примере имеется одно нечеткое множество, соответствующее лингвистической оценке ""Хорошее""); x,yj, Wk, qn - дискретные значения на соответствующих шкалах. Полученное в результате выполнения (8) значение функции принадлежности соответствует степени совместимости условия и вывода для каждого набора (x,,yj,wk, q ) из декартового произведения XxYxWxQ. Правила, подобные вышеприведенным, формулирует специалист, хорошо знающий предметную область. Набор правил, представляет собой ту информацию, на базе которой формализуется модель объекта. При этом набор правил должен удовлетворять условию полноты и непротиворечивости. Содержательно это означает, что для каждого текущего состояния (x, , yj, wk, qn) существует хотя бы одно управляющее правило, функция принадлежности которого отлична от нуля. Непротиворечивость системы правил трактуется как отсутствие правил, имеющих сходные посылки и различные взаимоисключающие следствия. Для каждого правила из набора, сформулированного экспертом, получаем нечеткое отношение (8). Будем обозначать его индексом, соответствующим порядковому номеру правила: Ri i=1,2,...,N, где N- количество правил. Совокупность всех правил (модель оценки качества) представляется в виде обобщенного нечеткого отношения

N

R = U R. (9)

i=1

с функцией принадлежности для каждого набора (Х, yj, W, Чп )е XxYxWxQ, определяемой как

ßR (Х,yj, wk,Чп)= и ßR'(x,,yJ, wk, Чп). (10)

i=1

N

Операция U означает нахождение максимального элемента из

i=1

i=1,2,...,N. Используя модель оценивания (9), для любого входного условия, даже не встречавшегося в правилах, сформулированных экспертом, на основе композиционного правила вывода

Л ={А х В хС )о R (11)

получим нечеткое множество D', соответствующее оценке качества. В выражении (11) знак ° означает MAX-MIN композицию, т.е. нахождения MIN по всем наборам (х,- ,yj, Wk ) при определенной величине qn. MAX в (11) берется по qn^Q. Значения А', В', С соответствуют нечетким множествам, описывающим оцениваемую ситуацию. Полученный результат D' требует интерпретации. При этом полученный результат можно отнести к одной из оценок Di е Q,i = 1,2,...,L, используя для этой цели, как и предыдущем разделе, задачу классификации. Другой подход называется дефаззификацией и предназначен для избавления от нечеткости. Для этого существует несколько методов: метод центра максимума, метод наибольшего значения, метод центроида [10]. При использовании этого подхода на шкале оценок определяется четкое значение оценки. Как видно из (8), при нахождении нечеткого отношения используются дискретные значения на универсальных шкалах, хотя сами шкалы могут быть и непрерывными. Это вызвано особенностью алгоритма (8), который лишь в простейших случаях допускает аналитическую реализацию. Несмотря на кажущуюся простоту, построение нечеткого отношения сопряжено с вычислительными трудностями. Пусть для описания объекта с помощью правил продукции используется 7 показателей (это совокупность входных-выходных показателей). На шкале изменения каждого показателя зададим 100 дискретных значения. Тогда, для сохранения модели объекта в виде нечеткого отношения, потребуется 1007 байт памяти, или 105 Гбайт (в случае, если для функции принадлежности запоминать лишь два разряда после запятой, т.е. обходиться одним байтом). Понятно, что в настоящий момент это нереализуемо. Предлагается следующий вариант для реализации алгоритма. Пусть на шкале, разбитой на 100 дискрет, заданы пять нечетких множеств, характеризующих интенсивность проявления определенного свойства. В этом случае примерно для 20 дискрет функция принадлежности будет отлична от нуля. При выполнении первой части композиционного правила вывода (11) - реализации оператора MIN окажется, что те наборы дискретных значений декартового произведения, которые содержат дискреты, имеющие для входных данных нулевые

значения функции принадлежности, также будут иметь функции принадлежности, равные нулю. Поэтому часть нечеткого отношения, содержащую дискреты, имеющие для входных данных нулевые значения функции принадлежности, можно не хранить в памяти. Таким образом, нечеткое отношение строится не на всем декартовом произведении шкал показателей, а на его подмножестве. В этом случае для рассмотренного примера, если считать, что лишь на пятой части шкалы значения функции принадлежности отличны от нуля, размер необходимой памяти будет равен 207, т.е. 1,3 Гбайта. Однако, выигрывая в памяти, мы проигрываем в скорости: теперь для нахождения оценки при других входных условиях, необходимо вновь находить нечеткое отношение.

Заключение. В данной работе рассматриваются возможные подходы к задаче оценки качества образования. Для решения этой задачи используется аппарат теории нечетких множеств. Рассмотренные идеи по оценке качества были реализованы программно. При этом использовался графический интерфейс, который в удобной форме позволяет задавать и редактировать функции принадлежности, задавать правила продукции, определять конечную оценку.

Литература

1. Растопшина И.А. Деятельность негосударственных вузов по повышению качества подготовки специалистов.- М.: Изд-во МосГУ, 2006.

2. Ресурс internet: http://www.psyHve.ru/artides/4902_pokazateH-kachestva-obrazovaniya.aspx

3. Борисова Е. Качество образования и место высшей школы в обществе/ Е.Борисова/ZAlma Mater/Вестник высшей школы. 2003. №11. С.9-14.

4. Кликунов Н. К проблеме оценки качества подготовки специалистов/ Н.Кликунов/ZAlma Mater/Вестник высшей школы. 2002. №4. С.9-12.

5. Куцев Г.Ф. Обеспечение качества высшего образования в условиях рыночной экономики//Педагогика. 2004. №3. С.12-23.

6. Трахтенгерц Э.А. Компьютерная поддержка принятия решений.- М.: СИНТЕГ, 1998. - 376с.

7. Кини Р.Л., Райфа Х. Принятие решений при многих критериях: предпочтения и замещения. - М.: Радио и связь, 1981. -560с.

8. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976. -165с.

9. .Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. - М.: Статистика, 1980. - 263с.

10. Кафаров В.В., Дорохов И.Н., Марков Е.П. Системный анализ процессов химической технологии. Применение метода нечетких множеств. - М.: Наука, 1986. - 360с.

11. Терехина А.Ю. Анализ данных методами многомерного шкалирования. - М.: Наука, 1986. - 168с.