Модель оценки качества институтов высшего профессионального образования Текст научной статьи по специальности «Математика»

ЭКОНОМИКО-МАТЕМАТИЧЕСКОЕ МОДЕЛИРОВАНИЕ

М. В. Михайлов

МОДЕЛЬ ОЦЕНКИ КАЧЕСТВА ИНСТИТУТОВ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

В настоящее время высшее профессиональное образование в России переживает не самые лучшие времена, что связано с известными экономическими преобразованиями. Переход на рыночные условия функционирования требует нового подхода в области управления качеством в системе высшего образования, в рамках которого получение экономических оценок отдельных институтов, всей системы высшего образования как экономического ресурса приобретает важное актуальное значение. Объективные оценки институтов высшего образования, их продукции позволят получить реальное представление о положении дел в этой области, разработать планы развития и совершенствования.

В экономической теории товар или услуга, произведенные некоторым «производителем» и способные удовлетворять конкретные потребности «потребителя», определяются как «благо». Такая трактовка понятия «благо» является достаточно общей для того, чтобы быть применимой к продуктам различной природы, и уже давно используется в работах, посвященных экономической теории ценности. В нашем случае в качестве «производителя» выступают институты высшего образования. «Благом» являются продукты деятельности этих институтов: подготовленные профессиональные специалисты, научные исследования, их результаты, которые также требуют экономической оценки. В качестве «потребителя» могут выступать любые субъекты экономической жизни — как физические или юридические лица (отдельные граждане, фирмы, предприятия, коммерческие банки и т. п.), так и отрасли производства, национальные экономики, любые социумы (вплоть до человечества в целом).

Любое благо, понимаемое в указанном широком смысле, рассматривают в следующих аспектах: полезность блага, делающая его потребительной ценностью для какого-либо фиксированного потребителя; стоимость, т. е. издержки, необходимые производителю для создания блага; цена, позволяющая потребителю выменять произведенное благо у производителя.

Михаил Витальевич МИХАЙЛОВ — канд. экон. наук, доц. кафедры экономической кибернетики СПбГУ. Окончил экономический факультет СПбГУ. Автор более 20 научных публикаций, в том числе 8 учебных пособий. Область научных интересов — многокритериальное оценивание в условиях неопределенности.

© М. В. Михайлов, 2006

Понятие потребительской ценности блага тесно связано с более конкретным понятием качества товаров и услуг, которое можно определить как «совокупность характеристик объекта, относящихся к его способности удовлетворить установленные и предполагаемые потребности»1. Эта связь позволяет широко использовать метод сводных показателей для оценки потребительского качества сложных объектов различной природы и назначения.

К настоящему времени накоплено большое число математических моделей, позволяющих строить подобные «функции полезности», дающих сводные показатели потребительной ценности различных экономических объектов и процессов. С проблемами измерения полезности тесно связаны модели и методы теории экономических индексов, оценивающие единым числом такие многопараметрические объекты и явления, какими являются, например, цены потребительских товаров, колебания биржевого курса пула акций, динамика деловой активности и т. п. В рамках теории построения индексов начался систематический сравнительный анализ синтезирующих функций различного вида, связанных с понятием обобщенного среднего, частным случаем которого является среднее арифметическое.

Проблема измерения потребительской полезности, в нашем случае в виде экономического индекса качества образования в институтах высшего образования, практически может быть разделена на три части. Первая часть, наиболее важная, определяющая уровень объективности и адекватности получаемых оценок, состоит в определении множества критериев оценки, обладающих необходимой полнотой и достоверностью. Естественно предположить, что в общем случае выбираемые критерии могут обладать различной значимостью для построения необходимых оценок. Таким образом, выбранное множество критериев обладает иерархической структурой, определение которой также важно и обязательно.

В России уже достаточно давно ведутся работы в области разработки иерархической системы критериев оценки институтов высшего профессионального образования. Глобальная цель системы зафиксирована как «обеспечение соответствия содержания и качества образования потребностям граждан и комплексу общественно-государственных требо-ваний»2. Эта цель основывается на иерархической системе показателей, определенной в приложении к приказу Минобразования России № 593 от 19.02.2003.

Вторая часть проблемы оценивания состоит в организации системы сбора необходимой информации. Система сбора должна обладать свойством полноты, т. е. охватывать все объекты сравнения по всем выбранным характеристикам. Собранная информация должна быть достоверной, т. е. необходимо разработать систему проверки получаемых данных, что предполагает несколько источников получения информации, использование специальных методик, позволяющих выявлять несоответствия в получаемых данных. Система сбора данных должна обеспечивать своевременность получения информации. В настоящее время наиболее предпочтительный вариант - это реализация системы через компьютерные сети. Интернет - наиболее доступная сеть. В Российской Федерации система сбора исходной информации определяется документами3 Федерального агентства по образованию.

Первых двух частей вполне достаточно для получения представления об оцениваемых объектах, если их количество и количество критериев оценки невелико, порядка 5-7. Однако современный институт высшего профессионального образования в России представляет собой сложный объект, адекватная оценка которого возможна только по большому количеству критериев. Поэтому необходимо решить третью часть проблемы -разработать инструмент, позволяющий снизить количество критериев оценки до

приемлемой величины без потери исходной оценочной информации. Современные подходы к решению этой проблемы основываются на методе сводных показателей, который позволяет получать глобальную, сводную, агрегированную, рейтинговую оценку объекта, объединяющую все выбранные исходные показатели оценки и позволяющую принимать необходимые управленческие решения. Здесь исходные показатели представляют собой оценку объекта по соответствующему выбранному исходному критерию. Важность и значимость подобного инструмента трудно переоценить в условиях, когда для оценки десятков и сотен объектов используются сотни критериев, каждый из которых является важным и существенным.

Метод сводных показателей

Метод сводных показателей (МСП) является одним из самых известных и распространенных методов многопараметрического оценивания сложных объектов ввиду его простоты и прозрачности получаемых результатов. Обычно используется линейная свертка отдельных показателей

т

щ) = ^ щ, (1)

I =1

где Q - сводный показатель оценки, д = |д; — вектор из m отдельных исходных показателей оценки, щ }т=1 — вектор весовых коэффициентов, m - количество критериев

оценки, по которым определяются исходные показатели.

Элементы вектора q представляют собой функции q. = qi(x), i = 1, ..., m, где x — вектор исходных характеристик, которые достаточно полно описывают оцениваемый объект. Обычно используется частный случай, когда отдельный показатель является линейной функцией от одной исходной характеристики: q. = qi(x), i = 1, ., m.

Вектор весовых коэффициентов w определяет степень влияния отдельных показателей на сводный показатель. Значения элементов этого вектора должны удовлетворять условиям

т

Ещ = 1> щ ^°> 1 = 1> •••> т■ (2)

1=1

Для успешного практического применения метода МСП необходимо иметь точные числовые значения весовых коэффициентов, получение которых требует значительных затрат, либо не представляется возможным в силу отсутствия достаточного обоснования. Например, в упоминаемой выше методике в рамках глобального критерия «интеллектуальный потенциал» строится локальный критерий «квалификация профессорско-преподавательского состава», который характеризует количество преподавателей с ученой степенью доктора наук, преподавателей с ученым званием профессора, преподавателей с ученой степенью кандидата наук. Показатель этого критерия определяется как средневзвешенная величина указанных категорий преподавателей в расчете на одного студента. В данной методике не приведены конкретные числовые значения взвешивающих коэффициентов. Это трудная задача, так как конкретные значения вызывают много вопросов об их правомерности. Однако можно предположить, что значимость показателя «количество докторов наук» выше значимости показателя «количество кандидатов наук», т. е. первый взвешивающий коэффициент может быть больше второго. Обратное предположение о том, что первый показатель менее значим, чем второй, менее убедительно и на практике применяется достаточно редко. Ответить на вопрос — насколько один показатель значимее, чем другой — тоже достаточно трудная по обоснованию задача. В таком важном деле, как оценка вуза, необходимо исключить субъективное влияние в целях получения адекватной, соответствующей реальному положению дел оценки.

Метод рандомизированных сводных показателей

Когда нет точной числовой информации относительно «весов» отдельных показателей, предлагается использовать метод рандомизированных сводных показателей (МРСП)4, который позволяет получать оценки сводного показателя в условиях недостатка или отсутствия числовой информации о векторе весовых коэффициентов, т. е. в условиях, когда нет полной и обоснованной информации о природе сводной оценки.

Основная проблема заключается в выборе вектора w весовых коэффициентов из множества W допустимых векторов, удовлетворяющих условию (2) значений. Неопределенность выбора вектора w из множества W моделируется путем рандомизации этого выбора, в результате которого весовые коэффициенты превращаются в случайные величины }"=1 , имеющие, например, совместное равномерное распределение на мно-

жестве W.

Использование рандомизированных весовых коэффициентов в формуле (1) дает рандомизированный сводный показатель

~ ✓ ч т

Є = Є(д;т?)=£?,#,, (3)

;=1

представляющий собой случайную величину.

В качестве числовой оценки сводного показателя объекта, описываемого вектором з_начений отдельных показателей ? = {?,-і > можно взять математическое ожидание •Точность такой оценки можно определить при помощи стандартного отклонения £ = рандомизированного сводного показателя (). Достоверность (надежность) доминирования рандомизированного сводного показателя •/'-го объекта над рандомизированным сводным показателем £-го объекта можно измерить вероятностью Р.{ стохастического доминирования

Р]! = > & ), У, * = 1 -П.

На точность и достоверность получаемых оценок существенное влияние оказывает множество допустимых векторов весовых коэффициентов W, которое формируется не только условиями (2), но и вводом имеющейся дополнительной информации I относительно значимости отдельных исходных характеристик. Эта информация может быть в виде:

♦ точных числовых данных (ІА) о весовых коэффициентах отдельных исходных характеристик, например, wk = 0,001, wl = 0,0025; частный случай известности точных числовых данных о всех используемых характеристиках дает возможность использовать МСП в классическом виде; в этом смысле метод МСП является частным случаем МРСП;

♦ неточных числовых данных (II) о весовых коэффициентах отдельных исходных характеристик; например, wk < 0,001, wl > 0,0025;

♦ нечисловые данные (ІО) о весовых коэффициентах отдельных исходных характеристик, позволяющих хотя бы частично упорядочить значимость исходных характеристик; например, wk < wl.

Вектор весовых коэффициентов является допустимым, если выполняются ограничения, задаваемые вводом дополнительной информации любого из описанных выше видов, т. е. множеством I, которое состоит из соответствующих подмножеств:

І = ІАиІІ^ІО. (4)

Множество допустимых векторов весовых коэффициентов W формируется ограничением общего плана (2) и ограничениями множества I (4), задаваемыми природой оцениваемых объектов и природой получаемых оценок.

Следует отметить, что важное значение имеют не только оценки сводного показателя О, ^ 9 В » Ми. но и оценки весовых коэффициентов. В качестве числовой оценки отдельного весового коэффициента можно взять математическое ожидание уЦ = Еж В качестве показателя точности числовой оценки — стандартное отклонение = •Л5&. Оценкой достоверности полученной числовой оценки весового коэффициента можно принять вероятности стохастического доминирования ру - Р(щ > и'Ду —

Получаемые оценки весовых коэффициентов позволяют полнее изучить структуру значимостей исходных критериев, которая определяет природу получаемых оценок сводного показателя. Оценки весовых коэффициентов позволяют уточнять наши предположения о значениях весовых коэффициентов. Таким образом, оценки весовых коэффициентов помогают генерировать и использовать дополнительную информацию I в какой-либо ее части: точных данных, неточных данных, нечисловых данных. Это позволяет уменьшить множество допустимых векторов весовых коэффициентов W(I), что, в свою очередь, может увеличить точность и достоверность оценок сводного показателя.

Недостаток информации о точных числовых значениях весовых коэффициентов преодолевается получением трех оценок сводного показателя вместо одного значения сводного показателя. Применение триады оценок сводного показателя не вызывает затруднений. Рассмотрим несколько характерных случаев.

Первый случай:

-5^ + . Тогда_/' объект предпочтительнее £ объекта.

Второй случай:

<(2^+8^ .Тогда _/' объект предпочтительнее £ объекта с вероятностью Р При условии Р.{ ^ 0,5 утверждать о доминировании не приходится. Для выявления возможного строгого предпочтения, когда Р.{ ^ 1, необходимо указать дополнительную информацию о весовых коэффициентах, которая поможет выявить возможное строгое доминирование.

Метод МРСП реализован в системе АСПИД5 (Анализ и Синтез Показателей при Информационном Дефиците).

Применение метода МРСП в моделях с иерархической системой принятия

решения при многокритериальном оценивании

Для получения полной и адекватной оценки качества учебного процесса на любом уровне системы высшего профессионального образования необходимо проводить анализ по значительному количеству критериев. Эта сложная задача может быть решена при помощи иерархической системы критериев, где на каждом уровне иерархии решаются отдельные локальные задачи анализа, результаты которого объединяются на более высоких уровнях.

Рассмотрим формально иерархическую модель оценки объекта. Пусть исходные показатели оценки объекта образуют вектор:

е(0)={#}й,

где т0 — общее количество исходных показателей оценки.

Это показатели нулевого уровня.

Пусть каждый элемент вектора удовлетворяет условиям:

0 < Q■0^ <1 — нормированное значение исходного показателя по i критерию,

<3^ = 0 — соответствует минимальному по предпочтению значению i показателя,

<2^ = 1 — соответствует максимальному по предпочтению значению і показателя. Иерархическая система принятия решения состоит из ряда последовательных этапов принятия решения, на каждом из которых формируются показатели оценки на основе показателей предыдущего этапа. Таким образом, иерархическую систему к уровня можно рассматривать как многоуровневую систему показателей, где показатели £ уровня являются функциями показателей £-1 уровня:

о^=ЬРЪі,'=!>-,*>

где # =

Построение последнего к вектора

(5)

={#Ь

означает завершение построения

иерархической системы принятия решения & уровня.

Множество векторов определяет структуру иерархической системы показателей к уровня и порождает многокритериальную оценку 0-к\ Пример иерархии 2 уровня Н (2) приведен на рис. 1.

(2)

е22)

е

(2)

е60)

Рис. 1. Граф иерархии Н (2).

При помощи иерархии Н(к), удовлетворяющей (5), можно описывать иерархии, где показатели £ уровня могут иметь в качестве аргументов показатели любых нижележащих уровней:

вР = #({#} %,* = о,..., г-1). (6)

Тогда для иерархий, удовлетворяющих этому условию, для показателя-аргумента

уровня т < Ь - 1 строятся показатели уровней т < # < £, для которых 0,(в) = (2(в-1).

Построенная таким образом иерархия будет удовлетворять условию (5). Пример модификации такой иерархии приведен на рис. 2.

На практике показатели £ уровня являются функциями не обязательно всех показателей £-1 уровня:

аи-йп({г)'-"}^>). т

где ^ — множество показателей £-1 уровня - аргументов функции г показателя £ уровня.

е60)

Рис. 2. Граф иерархии Н (2) с вспомогательными показателями.

Множества ^ задаются показателями £ уровня, поэтому можно считать, что эти множества принадлежат информационной системе £ уровня. Вместе с тем множество определяет состав аргументов - показателей £-1 уровня иерархии. Поэтому это множество можно считать множеством £-1 уровня.

Важный случай иерархии представляет пирамидальная иерархия РН(к), которая удовлетворяет условию

< т£-1, £ = 1, ..., к. (8)

На каждом последующем уровне иерархии количество показателей только уменьшается и стремится к одному показателю на последнем к уровне. Показатель 0-к) вбирает в себя всю информацию всех показателей всех нижележащих уровней иерархии РН(к). Таким образом, пирамидальная иерархия стремится породить однокритериальную оценку. Пирамидальная иерархия представляет собой реализацию метода декомпозиции сложной задачи на ряд относительно простых, решение которых позволяет решить сложную задачу с меньшими затратами ресурсов.

Важное практическое значение имеет частный случай пирамидальной иерархии, когда выполняется условие

гуЯ=0> (=1

1=1

Иерархия, удовлетворяющая условиям (7), (8), (9), называется пирамидальной иерархией к порядка с непересекающимися множествами аргументов РНБ(к).

Наиболее простой, имеющей широкое распространение формой функции Q является функция средневзвешенного значения показателей, принадлежащая к классу аддитивных функций. Применительно к иерархии Н(к) выражение (7) имеет следующий вид:

(9)

#= І ЄУ

н*н

(10)

весовой коэффициент 7 е А показателя £-1 уровня — аргумента г показателя

£ уровня, мА' > 0, у є У/ £ і

= 1.

В матричной постановке выражение (10) может быть записано в следующем виде:

= н^-1^1), (11)

где

0$ = \оР — вектор показателей £ уровня,

( \ I ( \ //1 ^| ^ \ I

IV =1^' ^0.*' = 1.-.»*(../ = 1,-.»*/-!. Ё= 1 - — матрица весовых коэффициентов £

уровня.1- '/_ -1

Здесь множества ^ задаются матрицей н(,-1). Если показатель является аргу-

ментом функции показателя оР, то м>|_1 - > 0, если нет, то м>№ = 0.

Тогда иерархия Н(к.) с функциями средневзвешенного значения задается множеством матриц весовых коэффициентов

я (*)=

Результатом применения системы принятия решения с иерархией являются показатели 0-к\ которые могут быть найдены из следующего выражения:

0«=Гп*Ие»,

1(=1 )

где (2(0) — исходные показатели (нулевого уровня).

Это результат применения метода МСП к иерархии к уровня Н(к).

Рассмотрим возможность применения метода МРСП к иерархическим системам принятия решений с аддитивными функциями. Практический интерес представляют пирамидальные иерархии РН(к), поскольку позволяют уменьшить количество критериев оценки вплоть до одного показателя. Будем рассматривать иерархии РИО(к) с непере-секающимися множествами, формальными признаками которых является выполнение следующего условия:

V* = 1,к Зц = 1,т,: у^^ > 0, V? Ф ц у^^ = 0, у = 1,т(12)

Условие (12) указывает на то, что матрицы весовых коэффициентов состоят в основном из нулей.

Применение МРСП позволяет заменить точные значения векторов весовых коэффициентов г = 1./«,,_/=1,...,т(_1}Г=1 , генерирование которых затруднительно,

оценками векторов случайных величин >рИ); {^_1^ = г = 1,..., у = 1,щ_х .

Вектор случайных й/-"1 - величин определен на множестве щ допустимых

векторов весовых коэффициентов, ограниченном условием (11) и дополнительной информацией - - о значимости отдельных показателей аргументов £-1 уровня на I показатель £ уровня.

Тогда, предполагая отсутствие попарной корреляции между й-"1 1 и <- ^ - можно получить числовую оценку сводного показателя к уровня:

ё^П^-1)^). (13)

Для определения точности полученной числовой оценки необходимо рассчитать дисперсию ОбН где — вектор случайных величин, определяемый через рекуррентные соотношения

<3^ является скалярным произведением двух векторов случайных величин м/ И--- и

ёИ).

Для определения искомой величины воспользуемся следующими соотношениями.

Дисперсия скалярного произведения двух случайных векторов х= {5с,-} >!> и у = {у,-}™! определяется как

0(х,у) = 0\ = I;СОV(х,,Х} )СОV(>?,) + £со\(х„^

^•=1 ) и 7=1 /,У=1 *,М

при условии, что соу(Зс,-,>',■)= 0,1=1,...,!».

При дополнительном ограничении соу(х,,х7) = 0, *,_/ = 1,...,/п,г * /:

0(х,у) = соу(У,-,Уу) + х(о?!- +Л/2У!)ох!. . (14)

*,./=1 <=1

При расчете дисперсии £>2^ показателя иерархии PHD(k), исходя из свойства (9), можно сделать предположение о попарной некоррелированности показателей {б; •

Тогда, переписав выражение (14), искомую дисперсию можно рассчитать, применяя следующие рекуррентные соотношения:

ой = '£ е^®-М»и,*н>)+? +«6-))^-). (15)

у>=1 М

Дисперсия £>2 >>^ может быть использована для определения точности оценки 2^> полученной из выражения (13).

Дисперсия показателей t уровня имеет тенденцию к увеличению с переходом на следующий уровень. Размер дисперсии зависит от двух слагаемых. Первое слагаемое выражения (15) определяется случайным вектором } > , характеризующим t уровень иерархии. Второе слагаемое является числовой оценкой неопределенности нижележащих уровней, которая формируется на каждом уровне за счет случайных векторов весовых коэффициентов. Вводом дополнительной информации о весовых коэффициентах на всех уровнях иерархии можно контролировать размер второго слагаемого.

Иерархическая модификация метода МРСП позволяет уменьшить размерность решаемой задачи, улучшить обозримость большой системы показателей и провести более полный анализ природы получаемого сводного показателя.

1 Международный стандарт 180-8402. 2-е изд. Женева, 1994.

2 Временная методика определения рейтингов специальностей и вузов, утвержденная приказом Минобразования России от 26.02.2001 № 631 «О рейтинге высших учебных заведений»; Приказ Минобразования России № 593 «О внесении изменений в приказ Минобразования России от 26.02.2001 № 631 “О рейтинге высших учебных заведений”».

3 Письмо Рособразования от 25.01.2005 № 17-1/03 «О представлении данных для определения рейтинга высших учебных заведений». Инструкция по подготовке данных для определения рейтинга специальностей, направлений и вузов России за 2004 г.

4 Хованов Н. В. Анализ и синтез показателей при информационном дефиците. СПб., 1996.

5 Колесов Д. Н, Михайлов М. В., Хованов Н. В. Оценка сложных финансово-экономических объектов с использованием системы поддержки принятия решений АСПИД-3”^ СПб., 2004.

Статья поступила в редакцию 28 июня 2006 г.

СОУ (?! ! У] ) • ,