Разработка математической модели предпочтений лица, принимающего решения, по комплексной оценке деятельности вуза Текст научной статьи по специальности «Экономика и бизнес»

Методы анализа

УДК 338.27

РАЗРАБОТКА МАТЕМАТИЧЕСКОЙ МОДЕЛИ ПРЕДПОЧТЕНИЙ ЛИЦА, ПРИНИМАЮЩЕГО РЕШЕНИЯ, ПО КОМПЛЕКСНОЙ ОЦЕНКЕ ДЕЯТЕЛЬНОСТИ ВУЗА

С. В. ПРОНИЧКИН,

кандидат технических наук, старший научный сотрудник E-mail: pronichkin@mai1.ru Институт системного анализа Российской академии наук

Работа посвящена разработке и исследованию математической модели предпочтений лица, принимающего решения (ЛПР), по комплексной оценке деятельности вуза. Разработана модель, которая учитывает индивидуальные и «естественные» предпочтения ЛПР, а также концепцию - сбалансированность подходов и результатов. В рамках исследования определены оценки численных значений параметров математической модели, вычислены показатели качества, которые позволяют сделать вывод о том, что разработанная модель очень хорошо описывает результаты эксперимента.

Ключевые слова: принятие решения, регрессия, управление, качество.

Введение

Вопросы управления имеют решающее значение в работе различных организаций, в том числе и в вузах. В российских вузах вопросам управления долгое время не уделялось должного внимания. Лишь с переходом на рыночные отношения большинство вузов стало осознавать, что эффективное управление - ключевой фактор эффективной работы

вуза. Мировой финансовый кризис, сокращение бюджетного финансирования, возросшая конкуренция заставили вузы изменить стратегию своей деятельности. Некоммерческие организации в России перестали рассматриваться как замкнутые (закрытые) системы, реализующие уставные цели с помощью государственных средств. Ориентация на качество, предвосхищение потребностей потребителя стала одной из главных стратегий их деятельности. Вузы обратились к изучению желаний и потребностей клиентов, работе с различными группами потребителей, диверсификации деятельности, активному продвижению продукции/услуг, формированию ценовой политики, привлечению дополнительных источников финансирования [3, 5, 6, 14]. Большую актуальность приобрели задачи поддержки принятия управленческих решений.

Информационная подготовка управленческих решений

Процесс принятия решения является центральным на всех уровнях управления деятельностью

вуза. Один из ключевых этапов процесса принятия решения - информационная подготовка решения. На этом этапе необходимо оценить состояние системы, чтобы определить степень достижения цели лица, принимающего решение (ЛПР). В рамках данной работы ЛПР - это компетентный специалист в области менеджмента качества, имеет опыт деятельности в ней и полномочия принимать решения, как правило, это менеджер по качеству в вузе. Цель ЛПР - всестороннее непрерывное совершенствование деятельности вуза. Эта цель продиктована ЛПР современной парадигмой менеджмента [16] любой организации, в том числе вуза - любая организация должна стремиться к системной оптимизации. Под системной оптимизацией понимается удовлетворение долговременных потребностей всех социальных групп, связанных общностью интересов с организацией. Таким образом, построение управления вузом должно основываться не только на даже самых объективных числовых показателях, а исходя из понимания процессов достижения результатов, причем результатов как

количественного, так и качественного характера. Опираясь только на количественные результаты, ЛПР не увидит системы в целом в силу наличия у нее эмерджентных свойств, которые принципиально не выводимы из количественных показателей. Управление на основе количественных показателей стимулирует краткосрочное мышление и отвлекает силы от долгосрочного совершенствования. Количественные показатели - основная модель аккредитации вузов России. В основу пороговых значений аккредитационных показателей положены средние величины. Большинство вузов в существующей системе государственной аккредитации России интенсифицируют свою деятельность один раз в пять лет в соответствии со сроками аккредитации. Это резко снижает эффективность принятия решений в вузе. По мнению автора, важно создать регулярную систему информационной подготовки решений в вузе.

В качестве информационной подготовки решения предлагается использовать механизм, представленный на рис. 1.

Рис. 1. Схема предлагаемой процессной модели оценки деятельности вуза: ГОС-государственный образовательный стандарт;ГАК-государственнаяаттестационнаякомиссия

Ежегодно вуз готовит отчет о своей деятельности и направляет его независимым экспертам (заочная независимая экспертиза). Эксперты готовят ответный отчет, где отмечают сильные стороны и области для совершенствования деятельности вуза, выставляют оценки по критериям в баллах.

Один раз в 5 лет вуз с учетом ежегодных самооценок и на их базе направляет сводный отчет (с динамикой по годам) на экспертизу (очная независимая экспертиза). В этом случае заключение экспертов составляется после анализа отчетов за пять лет и обследования вуза на месте.

Критериальная модель для комплексной оценки деятельности вуза

С участием автора разработана критериальная модель для комплексного оценивания деятельности вуза [8], которая состоит из двенадцати критериев (рис. 2). При разработке критериев учитывалась многократно апробированная модель конкурса Ми-нобрнауки России «Системы качества подготовки выпускников образовательных учреждений профессионального образования» (далее - Конкурс), критерии программ создания и развития научно-

исследовательских учреждений в России, а также российский и международный опыт аккредитации и составления рейтинга вузов.

Критерии разработанной модели разбиты на две группы по аналогии с моделью Конкурса:

- критерии, характеризующие возможности вуза обеспечить требуемое качество подготовки специалистов;

- критерии, характеризующие достигнутые вузом результаты.

Первая группа критериев показывает ресурсный потенциал вуза, его поддержку и совершенствование со стороны вуза.

Вторая группа критериев показывает, насколько результативно используется потенциал вуза в образовательной, научной и других областях деятельности.

Важно отметить, что в связи с тем, что теоретические аспекты задачи оценивания вуза касаются методов системного анализа, а прикладные аспекты соответствуют методам всеобщего управления качеством в образовании, автором выявлено некоторое различие в трактовке термина «критерий», используемого в каждом из этих аспектов. Так, в теории управления сложными формализуемыми

Подходы Результаты

Рис. 2. Предлагаемая критериальная модель для оценки деятельности вуза

объектами различной природы [9] под критерием понимается некоторая функция У от входных параметров X (рис. 3).

Автором в статье принято решение использовать более широкое понимание и трактовку термина «критерий», присущее системе управления качеством в образовании. Под критерием будем понимать признак, фактор, атрибут, на основании которого производится оценивание, определение или классификация.

Оценка степени достижения цели лицом, принимающим решение

Степень достижения цели ЛПР f * отражается в количественной оценке его предпочтений к комплексной оценке вуза/по разработанным критериям. Если

Среда

/

/

Сред;/ /

X

/ /

Ресурсы/

/ /

R

Е

УХ.

V

бы ЛПР располагал таблицей, в которой содержались бы все возможные оценки вуза и соответствующие им оценки предпочтения, то необходимости в построении математической модели предпочтений ЛПР по комплексной оценке деятельности вуза не было бы. Просто ЛПР выбрал бы то значение предпочтения, которое соответствует многокритериальным оценкам вуза по критериям, полученным в результате экспертизы. Но в представляемом случае для построения такой таблицы нужно рассмотреть 512 различных вариантов оценок вуза, это обусловлено размерностью шкалы, используемой для оценки вуза по критериям (где 5 - число различных значений критерия, 12 - число критериев), что превышает психофизиологические возможности любого человека.

Таким образом, целесообразно отказаться от практической реализации этой возможности.

/ /

/Среда /

/

■■ Объект ■■;

ОУ У ДА Уйг Д2

Ys

ИУ

к 1

V

УУ

■ Субъект

А/

/

Д3

Уй2

Алгоритм

I*

Цель

Рис. 3. Кибернетическая модель управления вузом: ОУ - объект управления (вуз); УУ - устройство управления (менеджер по качеству вуза - ЛПР); ИУ - исполнительное устройство (сотрудник вуза); Д1 - датчик № 1 (формализация информации о деятельности вуза); Д2 - датчик № 2 (оценивание вуза по критериям); Д3 - датчик № 3 - (определение комплексной оценки деятельности вуза); Х - входные параметры ОУ (оценки абитуриентов за ЕГЭ, объем финансирования вуза и т. д.); Y- выходные параметры ОУ (количество трудоспособных выпускников, количество монографий и т. д.); Ys - системные параметры ОУ (процессы вуза); Уй1 - выходные параметры Д1 (отчет о деятельности вуза); Уй2 - выходные параметры Д2 (экспертные оценки вуза по критериям);/- значение целевой функции (комплексная оценка деятельности вуза); / * - цель управления (максимальное значение комплексной оценки вуза); А/ - отклонение

от цели (разница между фактическим значением комплексной оценки вуза и максимально возможной оценкой); Ф - алгоритм управления; К - ресурсы; и - команда, вырабатываемая УУ; V 0 - действия, реализующие команду УУ; Е - неизмеряемые параметры (демографические условия вуза, ошибки подсчета показателей сотрудниками вуза и т. д.)

Другая возможность - выбор некоторого числа многокритериальных оценок вуза и определение предпочтения в них в надежде, что эти оценки будут покрывать чаще всего встречающиеся состояния вуза. Это, возможно, менее трудоемкая для ЛПР работа, чем полный перебор вариантов оценок вуза, тем не менее психофизиологические ограничения ЛПР остаются в силе. Важно отметить, что формализованная таким образом система предпочтений ЛПР не обладает никакой предсказательной силой, так как строится только по тем оценкам, которые были непосредственно рассмотрены ЛПР.

Третья возможность - строить математическую модель, чтобы с ее помощью предсказывать значения предпочтения ЛПР в тех состояниях вуза (многокритериальная оценка), которые не изучались ЛПР непосредственно. Таким образом, если нет возможности измерить предпочтение ЛПР в каждом состоянии, то можно хотя бы его предсказать, причем при любой многокритериальной оценке вуза.

За отказ от полного перебора возможных оценок вуза надо чем-то платить. Цена - это предположения, которые необходимо сделать относительно свойств неизвестной нам математической модели системы предпочтений ЛПР по комплексной оценке деятельности вуза априори, т. е. определить структуру математической модели.

Существует множество разнообразных готовых структур математических моделей предпочтений ЛПР по комплексной оценке объектов различной природы. Различные способы сворачивания всех критериев в один, используя математическую модель предпочтений ЛПР, рассмотрены в работах [1, 10, 15].

Существующие математические модели предпочтений ЛПР применительно к задаче определения комплексной оценки вуза представляют собой наиболее популярную линейную свертку - принцип абсолютной уступки, которая дает неадекватную комплексную оценку вуза, имеющего крайние показатели по критериям.

Важно отметить, что структура математической модели предпочтений ЛПР, представляющая собой модель объекта исследования в данной работе, - это система предпочтений ЛПР (Д3, см. рис. 3), существенно зависит от модели данных - экспертная оценка (Д2, см. рис. 3), так как качество модели объекта должно соответствовать качеству модели данных. Среди множества показателей, характеризующих качество моделей данных и объекта, выделен один из самых важных - воспроизводимость.

Проверка воспроизводимости для модели данных осуществлялась с использованием критерия Кохрена. В распоряжении автора были оценки четырех вузов, полученные от семи экспертов в рамках проведенной независимой экспертизы (см. рис. 1) по 12 критериям (см. рис. 2). Для имеющихся данных гипотеза о воспроизводимости для каждого критерия р (см. таблицу) не отвергается Нр <НТ(к=4,„=7) = 0,537 [2], р = 1,...,12, для уровня значимости а = 0,05.

Рассчитанные значения воспроизводимости

Критерий p Н

1 0,355

2 0,469

3 0,345

4 0,386

5 0,485

6 0,287

7 0,341

8 0,409

9 0,507

10 0,497

11 0,325

12 0,291

Таким образом, качество модели данных позволяет строить довольно тонкие модели объекта (система предпочтений ЛПР), без ограничений на допустимые операции с данными.

Структура математической модели предпочтений ЛПР по комплексной оценке деятельности вуза. Существующие подходы к построению математической модели предпочтений ЛПР [4, 10] основаны на том, что ЛПР в диалоге выбирает постулируемый принцип оптимальности, отражающий систему его предпочтений. Однако ЛПР может не владеть инструментарием постулируемых принципов оптимальности. Многие из принципов требуют от ЛПР дополнительной информации, которую ему обычно трудно предоставить априори. В то же время, чем больше априорной информации используется при определении математической модели, тем больше шансов получить адекватную модель.

Отмеченные факторы определяют целесообразность построения гибкой математической модели предпочтений ЛПР.

1. «Естественные» предпочтения ЛПР - многокритериальная оценка вуза должна быть как можно ближе к максимально возможной оценке и как можно дальше от минимальной оценки.

2. Концепцию, заложенную в разработанную критериальную модель, а именно сбалансированность

подходов и результатов, при которой оценки по критериям должны иметь равномерное распределение. Концепция основана на проведенном автором исследовании оценок участников Конкурса за 10 лет. Исследование показало, что распределение оценок лауреатов Конкурса подчиняется равномерному закону распределения, а для остальных участников Конкурса такого распределения нет. Гипотеза о равномерности распределения оценок по критериям Конкурса проверялась, используя критерий Пирсона. Гипотеза о равномерном распределении оценок по критериям лауреатов Конкурса не отвергается хЛ = 2,91 < х2 (¿=9-з) = 12,59 при уровне значимости а = 0,05. Гипотеза о равномерном распределения оценок по критериям участников Конкурса (не лауреаты) отвергается хУ = 15,31 >хТ (к=9-3) = 12,59 при уровне значимости а = 0,05 [2]. На рис. 4 представлено распределение средних оценок по критериям участников конкурса. 3. Индивидуальные предпочтения ЛПР к комплексной оценке вуза.

Для формализации «естественных» предпочтений ЛПР предлагается использовать метод TOPSIS [19], расширив его за счет введения различных норм.

Дл3 формализации концепции предлагается использовать дисперсию. Аналитическое выраже-

ние концепции должно принимать значение, равное нулю, в случае для одинаковых оценок критериев, а в случае максимального отличия оценок критериев принимать максимальное значение. Одной из функций, удовлетворяющей этим требованиям, служит дисперсия ВИндивидуальные предпочтения ЛПР учитываются за счет параметризации математической модели предпочтений ЛПР.

Структура предлагаемой математической модели, учитывающей описанные выше свойства, имеет следующий вид:

/ (О,) = (1 -X)

ВА (а,)

+Х

В (а,) + В" (а,)

Втах - В(ар)

^тах

+

(1)

где ар = (zpi )1=1 - многокритериальная оценка вуза по результатам р-й экспертизы; zpj - оценка вуза по результатам р-й экспертизы по 1-му критерию, i = 1,I, I = 12;

В" (а,) = |Еу к2 ^ - zí

|к2 | к2

расстояние

многокритериальных оценок вуза по результатам р-й экспертизы от антиидеальной точки;

1

Ви(а,) = 1 (^ - zpl)к - расстояние многокритери альных оценок вуза по результатам р-й экспертизы от идеальной точки;

4 5

а

Критерий

5 6

6

Критерий

Рис. 4. Гистограмма распределения средних оценок по критериям для участников конкурса: а - вузы - лауреаты Конкурса; б - вузы - не лауреаты Конкурса; N - количество вузов; 1 - роль руководства в организации работ по обеспечению качества подготовки выпускников; 2 - политика и стратегия в области качества подготовки выпускников; 3 - использование потенциала преподавателей,

сотрудников и обучающихся; 4 - рациональное использование ресурсов (материальных, финансовых и людских); 5 - управление процессами обеспечения качества подготовки выпускников; 6 - удовлетворенность работодателей качеством подготовки выпускников; 7 - удовлетворенность преподавателей, сотрудников и обучающихся работой и учебой; 8 - влияние образовательного учреждения на общество; 9 - результаты, которых добилось образовательное учреждение в отношении запланированных целей повышения качества подготовки выпускников

2

3

6

7

8

9

2

3

4

7

8

9

D(av) =

Z(zp- )2 i=1

дисперсия многокри-

^ I

териальных оценок вуза по результатам р-й экспертизы;

Dmax - максимальное значение дисперсии, равное 2 500 при

'0, i е 10 = {/■ ,1 i, е{1,...,I}, ] е{1,...,2}, i, *i,,,

z =

ji е{1,...,1}\j} 100, i е{1,...,I}\I0;

нормы.

k

k1, k2 - показатель k2 е {1,2,3,4,<х>}; Y - важность i-го критерия; z1d = (max z ■ )р=, - идеальная точка, где Z -

г Т С 7 p p 1 i

¿pi^^i

множество оценок, полученных в предыдущих Р экспертизах по i-му критерию;

AT / \Р

zi = (min z ■) =1 - антиидеальная точка;

izp,eZ,

Z zpr

— i=1

--среднее значение оценок по кри-

zp =

териям по результатам р-й экспертизы; X - параметр модели, X е (0,1). Определение численных значений параметров математической модели предпочтений ЛПР по комплексной оценке деятельности вуза. Для определения численных значений параметровХ, k1 и k2 математической модели (1), следует спланировать эксперимент и оценить параметры. Причем сделать это с максимальной эффективностью, т. е. при минимальном числе вопросов к ЛПР, получить максимальную информацию о влиянии варьируемых значений критериев на параметры модели (1), чтобы оценить их с максимальной точностью.

Для определения минимального числа опытов (вопросов к ЛПР) использовалось эмпирическое правило АшсотЬе п > 8т, где п - число опытов, т - число параметров. В данной работе для оценки параметров модели число опытов равно 24 (далее - первая группа опытов), а для оценки предсказательного свойства модели используются еще 24 опыта (далее - вторая группа опытов). Таким образом, размер плана эксперимента равен п = 48. Такой подход будет оптимальным, в случае если не определена стоимость одного опыта и в дальнейшем планируется оценить показатели качества модели объекта, в противном случае достаточно

т • (т +1)

числа опытов, равного n = -

[13].

Для того чтобы получить максимальную информацию о влиянии варьируемых значений критериев на параметры модели, план эксперимента строился как ^-оптимальный, позволяющий максимально эффективно использовать объем критериального (факторного) пространства для получения максимально точных оценок параметров наперед заданной модели (1). Такой план максимизирует определитель информационной матрицы Фишера, т. е.

( п пч ™ V

Mß,9)=

Z

öf(as, 9) öf(as, 9)

59,

59,

w.

(2)

Ji, j =1

где £ =

a ...a„

V W1 ••• wn У

план эксперимента;

0 = (01,02,03) = (X, ^, k2) - параметры модели (1);

ws =--весовой коэффициент опыта 5 в плане

п

эксперимента

Определитель информационной матрицы Фишера (2) для предлагаемой модели (1) имеет следующий вид:

<1

p=i

'{¿[rf(z? -zp,)k ln(yi(zId -zp,)]-[D1d(ap)]k lnD1d(ap)}DA(ap)

<Z

p=1

Y

k [D1d(ap)]k-1 [DA (ap) + D1d (ap)]2

v

П i

Z

7*2 \zAI - z t1 ln(Y.|z^ - z .I)

i i pi i i pi

i i pi

-[DA(ap)]k lnDa(ap)lDId(ap)

-(1 -^)4 Z

p=1

k2 [DA (ap)]%-1 [DA (ap) + D1d (ap)]2

Dmax DId (ap) - D(ap) [ DA (ap) + DId (ap)]' Dmax [dA (ap) + D1d (ap)]

s=1

X

2

i=1

2

X

¿{yk (zf - z,,)k ln [y, (zf - zpi)]}"[DId (а,)]k In DId(а,)j

I

ïk2 - zp\k

\k ln(y \zf - zpi |)l-[ D ^ (а, )]k2 ln D ^ (а, )

H kik2 [DId (а, )]<2 [DA (а, ) p 2 [DA (а, ) + DId (а, )]

+2(1 -Я)4 X

p=i

DA(a,)z1! -z,)kln[yi(zf -z,)]}-[DId(a,)]4D"(a,)

_J

i Dmax d Id

(a, ) - D(a, ) [ DA (a, ) + DId (a, )]}

ki [DId (a,)]k" Dmax [DA (a,) + DId(a,)] {t {yk1 (z1d - zpi )kl ln [y, (zId - zpi )]}-[D1d (a,)]k ln D1d (ap) t ln(yi|zf1 - Zpt |)]-[D- (a,)]42 ln D* (a, )

I

<1^

tf \zf - zf

<z-

p=i

(

-(1

p=i kik2 [D1d (a, )]%" [DA (a, )]%" [DA (ap ) + D1d (ap)]

D1d (ap ) [t [yk2 \zf - zpi\k ln(y\zf - zp\) ]-[ D* (ap )]42 ln D * (ap )

_{Dmax D1d (ap ) - D(ap ) [ DA1 (ap ) + D1d jap )]}__

k2 [DA1 (ap)]k4 Dmax [Da (ap) + D1d (ap)]3

D- (a, ) í¿ {yk (zId - zpi )k ln [y, (zf - z,, )]}-[ DId (a, )]k ln DId (a, )

Z"

p=i

^Dmax d Id

(a, ) - D(a, ) [ DA (a, ) + DId (a, )]}

ki [DId (a, )]kl4 Dmax [Da (a, ) + DId (a, )]3

-(1-Я)4 Z

p=i

'[¿ (yk (z\á - z,, )kl ln [y, (zId - z,, )]}- [DId (a,)]k1 ln DId (a, ))DA (a, )

ki [DId (a, )]kl-1 [DA (a, ) + DId (a, )]2

I

<i

p=l

I

У?2 Iz.^1 - Zpif ln(Yi|

AI

z. — z .

i pi

|) -[D* (ap ) J2 ln D* (ap )[] DId (ap )

?2 [DA (ap )]k2" [Da (ap) + DId (ap )]2

2

4

2

2

X

2

i=l

D7

I"

p=i

Ч) {l [tf1-,"7 - zX ln(y i \zf - z„ |)]-[D- (ar )]" ln D- (a,) {Dmax D7d (ap) - D(ap) [ DA7 (ap) + D7d (ap)]}

k2 [Da7 (ap)]k1 Dmax [DA (ap) + D7d (ap)]3

Для D-оптимальных планов определитель информационной матрицы не зависит от параметра (параметров), входящего в модель линейно [17], в данном случае параметр X, положим его равным 0. Однако определитель информационной матрицы (3) зависит от значений параметров k1 и k2, которые оцениваются. Чтобы преодолеть это противоречие, существует несколько стандартных подходов: локально оптимальный, байесовский и максиминный. В представленной работе использовался максиминный подход max min \M(%, 9)1, поскольку он

% 9еП 1 1

является оптимальным, в случае если отсутствует

априорная информация о параметрах модели, а

именно, приближенное значение 9 из предыдущих

экспериментов или распределение вероятности 9.

Задача min|M(%, 9) решалась, используя графоаналитический метод. Оптимальное значение было найдено при k1 = 1 и k2 = 1.

Задача max M(%, 9*), где 9* = arg min \M(%, 9)1,

% 1 1 9еП 1 1

решалась, используя подход эволюционных вычислений - генетический алгоритм. Этот подход оптимален из-за большой размерности пространства переменных (48 х 12) и высокой нелинейности целевой функции. Проекция полученного плана на плоскость z1 х z2 представлена на рис. 5.

В каждой точке плана % = max \M (%, 9* )| проведена оценкаf(ap), ap е%*, p = 1... 48 с привлечением ЛПР. Совершенно очевидно, что довольно опасно руководствоваться мнением одного ЛПР, а желательно учесть мнения нескольких специалистов. Таким образом, к оценке привлекались менеджеры по качеству (ЛПР), представители всех четырех категорий вузов России, а именно: Национального исследовательского технологического университета «МИСиС», Уральского федерального университета, Национального исследовательского Томского политехнического университета, Рязанского государственного радиотехнического университета и Московского государственного университета природообустройства - всего пять экспертов. Эти же

эксперты участвовали в оценке важности критериев модели (коэффициенты важности критериев - см. рис. 2). При обобщении ряда мнений для вычисления обобщенных оценок важности критериев использовались специальные алгоритмы, в основу которых положен коэффициент конкордации [20].

Оценкаf (ар) осуществлялась непосредственно, используя вербально-числовую шкалу, которая была построена с привлечением указанных выше ЛПР. Эмпирическая система отношений шкалы была постулирована ЛПР как шкала порядка, состоящая из привычных для них пяти градаций. Метризованная система отношений - числовая часть шкалы была построена. Был разработан модельный пример, описывающий различные состояния вуза в эмпирической системе отношений, каждый ЛПР высказал свое мнение о соответствии того или иного состояния баллами от 0 до 100. При обобщении ряда мнений для вычисления обобщенных оценок использовались метод Дельфи и следующая шкала оценки f (ар):

0 10 20 30 40 50 60 70 80 90 100

• Точка плана для оценки параметров модели

А Точка плана для оценки предсказательного свойства модели

Рис. 5. План эксперимента в проекции х z2

2

- очень плохо - 0-20;

- плохо - 20-37;

- удовлетворительно - 37-63;

- хорошо - 63-80;

- очень хорошо - 80-100.

Важно отметить, что в вычислениях оценок параметров X, к1 и к2 математической модели (1) использовались нормализованные величины оценок от 0 до 1.

Для оценки параметров X, к1 и к2 математической модели (1), был выбран метод наименьших квадратов [18], чтобы указанные оценки были несмещенными, состоятельными и эффективными (асимптотически).

Была осуществлена проверка выполнения предпосылок регрессионного анализа:

1) нормальность распределения / (а), а е^*. Для анализа нормальности распределения отклика вначале все параллельные опыты для 24 точек эксперимента были приведены к общему среднему, после проверки условия воспроизводимости опытов, данный подход был заимствован из метода случайного баланса [7]. Затем для 24 х 5 точек была осуществлена непосредственно проверка гипотезы нормальности распределения, проверка осуществлялась, используя критерий Пирсона. Гипотеза о нормальности распределения не отвергается X2 = 12,94 < х2(к=10-3) = 14,07 [2] при уровне значимости а = 0,05;

2) независимость z I = 1,..., I, I = 12. Проверка независимости осуществлялась, используя коэффициенты парной корреляции Пирсона. Для десяти пар критериев коэффициент

Критерий

'У 1 2 3 4 5 6 7 8 9 10 11 12

1 1 0,8 0,54 0,77 0,67 0,66 0,63 0,12 0,4 0,54 0,45 0,42

2 0,8 1 0,72 0,91 0,72 0,79 0,69 0,06 0,16 0,27 0,58 0,51

3 0,54 0,72 1 0,66 0,72 0,78 0,74 0,23 0,45 0,53 0,84 0,76

4 0,77 0,91 0,66 1 0,79 0,74 0,71 0,25 0,09 0,22 0,59 0,52

« н 5 0,67 0,72 0,72 0,79 1 0,62 0,87 0,49 0,41 0,51 0,72 0,77

а <и 6 0,66 0,79 0,78 0,74 0,62 1 0,59 0,02 0,32 0,4 0,74 0,53

н 7 0,63 0,69 0,74 0,71 0,87 0,59 1 0,46 0,47 0,52 0,71 0,77

& И 8 0,12 0,06 0,23 0,25 0,49 0,02 0,46 1 0,24 0,34 0,16 0,52

9 0,4 0,16 0,45 0,09 0,41 0,32 0,47 0,24 1 0,81 0,56 0,49

10 0,54 0,27 0,53 0,22 0,51 0,4 0,52 0,34 0,81 1 0,55 0,59

11 0,45 0,58 0,84 0,59 0,72 0,74 0,71 0,16 0,56 0,55 1 0,81

12 0,42 0,51 0,76 0,52 0,77 0,53 0,77 0,52 0,49 0,59 0,81 1

Рис. 6. Коэффициенты парной корреляции

корреляции г.. оказался значимым (рис. 6), >/28 -1 • г.

т. е. -> г, 28 2 = 2,063, при а = 0,05.

(1 - г.) к=28-2 ' ' Важно отметить, что для нелинейной по параметрам модели независимость не является принципиальным условием для применения регрессионного анализа; 3) постоянство дисперсии (воспроизводимость) /(а). Проверка воспроизводимости осуществлялась с использованием критерия Кохрена. Гипотеза о воспроизводимости не отвергается Н = 0,125 < Нт(,=24,г=5) = 0,149 [2], при а = 0,05. Таким образом, задача оценивания параметров X, к1 и к2 сводится к минимизации целевой функции

24 5 2

0 = а™ХЁ[/(а,,0)"/(а,)] , (4)

р=1.=1

где / (а , 0) - рассчитанное значение по математической модели (1) предпочтения ЛПР в точке

а;

/(а,) - экспериментальное значение предпочтения ]-го ЛПР в точке а,; 0 = (X, кг, к2) - вектор оценок параметров математической модели (1).

Для решения задачи (4) использовался сеточный поиск по параметрам к1 и к2 в пространстве размерностью 10 х 10. Оценка X вычислялась непосредственно из выражения (5) - приравненная к нулю частная производная (4) по X, т. е.

24 _

Е[ g 2 (а,) - Й (а,)] / (а,)

* = ^-—, (5)

Е[ Й2 (а, ) " (а,) ]

,=1

X Л (ар)

где f (а„) = -^Ц;-

среднее эксперименталь

ное значение предпочтения ЛПР в точке а ;

&(ар)=

DА (ар)

нормированное

D (ар) + ^а (ар) значение аналитического выражения «естественного» предпочтения;

Dmax - D(ap) &2 (ар) =-^тах— - нормированное значение аналитического выражения концепции модели (1).

Оптимум целевой функции (4) был найден для значений параметров А, = 0,117, = 2 и = 3.

Проверка адекватности математической модели предпочтений ЛПР по комплексной оценке деятельности вуза. Важнейшим показателем качества модели объекта служит ее адекватность. Адекватность модели проверялась, используя критерий Фишера. Гипотеза об адекватности модели (1) на основе точек плана, используемых для ее построения,

не отвергается Е1 = 1,391 < Я

100

40-

20 -

Т[п=24-3, п2 =24-(5-1)]

= 1,67

20

при а = 0,05 для точек плана, используемых для оценки предсказательных свойств модели, также

не отвергается ^2 = 1,517 < ?Т[п =24-3, п =24-(5-1)] = 1,67.

Таким образом, построенная модель адекватна для всех опытов в построенном плане эксперимента.

На рис. 7 представлены линии уровня (линии безразличия) для наиболее популярных математических моделей предпочтений ЛПР по комплексной оценке объектов различной природы в проекции 2Х х г2. Модели нормализованы и принимают значения от 0 до 1. Для каждой модели представлены объяснительные и предсказательные свойства. Под объяснительным свойством модели понимается коэффициент детерминации Я, рассчитанный на основе первой группы точек плана, под предсказательным свойством понимается коэффициент детерминации Л2, рассчитанный на основе второй группы точек плана.

Анализ рис. 7 показывает, что линии уровня разработанной модели для высоких и низких оценок по критериям представляют собой линии уровня принципа идеальной и антиидеальной

100

60

20 -

80

100

40

60

80

40

60

8060

80

40-

20

40

80

80

100

Рис. 7. Объяснительные и предсказательные свойства различных математических моделей: а - разработанная модель Я = 0,86, Я22 = 0,83); б - принцип абсолютной уступки (Я2 = 0,78, Я22 = 0,79); в - функция желательности Харрингтона (Я2 = 0,34, Я22 = 0,44); г - принцип идеальной точки (Евклидова норма) (Я2 = 0,80, Я22 = 0,81); д - принцип антиидеальной точки (Евклидова норма) (Я2 = 0,40, Я22 = 0,45)

100

80

80

60

40

40

0

0

0

0

40

60

0

20

0

20

100

80

100

100

0

0

20

60

100

0

20

40

60

точек соответственно. Предпочтение ЛПР к комплексной оценке для средних оценок по критериям соответствует линиям уровня принципа абсолютной уступки, а для крайних оценок по критериям соответствует линиям уровня принципа идеальной точки, причем это обусловлено включением в математическую модель дисперсии, которая влияет на крутизну линий уровня в этой области критериального пространства.

Определение чувствительности и построение доверительных интервалов для параметров математической модели предпочтений ЛПР по комплексной оценке деятельности вуза. Определена мера чувствительности [11, 12] математической модели (1) предпочтений ЛПР по комплексной оценке деятельности вуза, критериальная по формуле

# ^ -1

Ет;

I ^

(г? -)?

+■У? (- г)

? -1

/ (а)

дг.

(1 -х.)

(- г )?

1 Цт?2 хА1

Е„А „А „ I 2 Г2 -V „Л/- „и „ \к1

У, г -г I + (г -г) 1

^ ]дтах__]_

дтах 1 72

X (г - г)-12 • (г - г)

где а = (г 1 )Г=1 - многокритериальная оценка вуза; г. - оценка вуза по г-му критерию, , = 1,..., I,

I = 12;

Dmax - максимальное значение дисперсии, равное 2 500 при

0,г е 10 = {, ,|г, е {1,..., I}, ' е{1,..., },

X =Иу *,л, 71 е{1,.,I}\ 7'} 100,, е{1,..., I} \ 10;

?, - оценка показателя нормы, ?1 = 2, ?2 = 3;

у. - важность .-го критерия;

и

zi - идеальная точка, максимально возможное значение оценки по г-му критерию, г1 = 100; гА - антиидеальная точка, минимально возможное значение оценки по -му критерию,

гА = 0;

г =

р

среднее значение по критериям;

А, - оценка параметра модели, А, = 0,117.

Также определена параметрическая мера чувствительности [11, 12] математической модели (7) - (9):

/ (а) = Dmax Dй (а) - D(а) [ D А (а) + Dы (а ]

дХ

Dmax [DАГ (а) + Dм (а)] / (а)

(7)

а?

■ = -(1 -х)

£{у? (г? - г.)? 1п[у,(# - гг)]}-

г=1

-[ Dм (а)]?11п D ы (а)) D АГ (а)

? [Dи (а)]?[DА (а) + Dи (а)]2 / (а)

(8)

дк„

■ = (1

-(ВА (а)• 1п ВА (а)) Ви (а)

к2 •(ВА (а)4 (ВА (а) + Вы (а))2

(9)

где а = (г {)Г=1 - многокритериальная оценка вуза; г . - оценка вуза по г-му критерию, г = 1,., I,

I = 12;

DА (а) = (Х У? - г' ^ - расстояние многокритериальных оценок вуза от антиидеальной точки;

1

(а) = У?1 (- )? ^ - расстояние многокритериальных оценок вуза от идеальной точки;

X (г - г)

D(a) = -

2

-- дисперсия многокритериальных оценок вуза;

Dmax - максимальное значение дисперсии, равное 2500 при

0, г е 1с = {г, | г, е{1,., I}, Л е{1,..., I}, = | * г'Л, 71 е{1,.,I }\ 7}

100, г е {1,.,I}\10;

?1, ?2 - показатель нормы, е {1,2,3,4, а>};

у г - важность г -го критерия;

и

гг - идеальная точка, максимально возможное значение оценки по г -му критерию, г м = 100;

1-к

Г=1

¡=1

22

г=1

[=1

2

(=1

;=1

1=1

А1

zi - антиидеальная точка, минимально возможное значение оценки по 1-му критерию, zA

-А = 0;

z =

I ^

1=1

I

териям;

д/ (а) дz.

среднее значение оценок по кри-

X - параметр модели, X е (0,1).

Зависимость чувствительности от значений критерия z а также от значений параметров X, к1 и к2 представлена на рис 8, 9.

Для нелинейной по параметрам модели (1) определены в соотношении (10) [18] доверитель-

0 10 20 30

40 50

а

60 70

д/ (а) 0,0016 -

0,0022 - 0,0014 -

0,002 - 0,0012 -

0,0018 - 0,001 -

0,0016 - 0,0008 -

0,0014 - 0,0006 -

0,0012 - 0,0004 -

0,001 -0,0008 " 0,0002 -

I 1 1 1 1 1 1 1 1 ^ г,-

д/ (а)

_ 0,0012 сг, 0,0011 -0,001 0,0009 0,0008 0,0007 -0,0006 -0,0005 0,0004 -0,0003

0

/(а) 0,0011

я 0,001 -^Zi 0,0009 0,0008 0,0007 -0,0006 0,0005 -0,0004 0,0003 -

0

10 20

—Г"

30

—I—

50

60

I—

70

д/(а) 0,00080,00070,0006 -0,0005 -

0,00040

0,002 -0,00150,001 -0,0005 -

-Г-

10

—Г"

20

-Г"

30

—Г"

40

—Г-

50

-Г"

60

—г~

70

I

90

""1

100

д/(а) 0,00064 0,00062

дz

0,0006 0,00058 0,00056 0,00054 ' 0,00052 " 0,0005 -

0,00140,0012 ■ 0,001 ■ 0,0008 ■ 0,00060,0004 ■ 0,0002-

Zi

д/ (а) 0,0034

- 0,0033

дz¡ 0,0032 0,0031 -0,003 -0,0029 -0,0028 -0,0027 " 0,0026 -

0

10 20 30

50 60 70 80 90 100

Рис. 8. Зависимость чувствительности

разработанной модели от значений критерия z¡:

а - z. = 0; б - z. = 10; в - z. = 20; г - ^ = 30;1 .1 .1 .1 .1 д - z. = 40; е - z. = 50; ж - z. = 60; з - z. = 70; .1 .1 .1 .1 и - z. = 80 ; к - z. = 90; л - z. = 100 .1 .1 .1

z

2

2

0

2

Рис. 9. Зависимость чувствительности разработанной модели от значений параметров: а - А = 0,117, к1 = 1...6, к2 = 1...6, zi е 2{г^}; б - А = 0,117, к1 = 1...6, к2 = 1...6, г е г{г^^}; в - ? = 2,, к2 = 1...6, А = 0...1, гг е г {z|Dmln}; г - ? = 2, к2 = 1...6, А = 0...1, г. е г^^}; д - гг = 0...100, г е I, = {1,..., I}, гг1 = 0...100, 1 е 10/ = {г}; е - £ = 0,117, к1 = 1...6, к2 = 1...6, г е г {г^111}; ж -А = 0,117, к1 = 1...6, к2 = 1...6, гг е г^Я^}; з - к2 = 2, к1 = 1...6, А = 0...1, гг е Z{z|Dmln}; и - к2 = 2, к1 = 1...6, А = 0...1,

г е г{г\Бmax}

ные области (область неопределенности) для А,, к и к2 (рис. 10).

- значение критерия Фишера при

5 (9) < 5 (9 )•

1 П 77

1 + — Гп

Т(п1 =3, п2 = 24-5-3)

(10)

А Т(п1 =3, п2=24-5-3)

а = 0,05, равное 3,07.

Заключение

24 5 2 Процесс разработки математической модели

где £(9) = X X [/(ар, 9) - / (ар)] - целевая состоит из следующих основных этапов:

р=1 Л=1

функция (4);

£ (9) - оптимальное значение целевой функции (4), равное 0,017;

- факты - исходные положения и допущения (эмпирическое знание);

- построение модели - прогноз (предсказание) и его проверка.

п

5 -

4 -

3 -

2 -

а = 0,01 а = 0,05

А, = 0,117 к = 2 к2 = 3

а

5

4

3

2

к

2

6

4

6

6

Рис. 10. Доверительные области для параметров математической модели предпочтений ЛПР по комплексной оценке деятельности вуза: а - в проекции к1 х к2; б - в проекции X х к2; в - в проекции X х к1

В рамках данной работы все указанные этапы были пройдены. Показатели качества разработанной модели позволяют сделать вывод о том, что разработанная модель очень хорошо описывает результаты эксперимента. В то же время совпадение наиболее популярных математических моделей с экспериментальными данными трудно признать удовлетворительным.

По мнению автора, разработанная модель в совокупности с реализацией процессной модели оценки деятельности вуза (см. рис. 1) позволит обеспечить механизм для демонстрации уровня совершенства деятельности вуза перед заинтересованными сторонами и соответственно повысить степень доверия со стороны представителей надзорных

органов, а также уменьшить объем инспекционных проверок, проводимых в рамках государственной аккредитации вузов в России.

Список литературы

1. Адлер Ю. П., Маркова Е. В., Грановский Ю. В. Планирование эксперимента при поиске оптимальных условий. М.: Наука, 1976. 278 с.

2. Большев Л. Н., Смирнов Н. В. Таблицы математической статистики. М.: Наука, 1983. 416 с.

3. Гончаренко Л. П., ПономаревМ. А. Разработка методики рейтинга студентов (выпускников) вузов как средства стимулирования сотрудничества вузов и коммерческих организаций // Экономический анализ: теория и практика. 2009. № 3. С. 8-14.

4. Литвак Б. Г. Экспертные оценки и принятие решений. М.: Патент, 1996. 271 с.

5. Медведева Е. И. Специфика регионального маркетинга вузов Московской области // Региональная экономика: теория и практика. 2008. № 10. С. 88-94.

6. Мохначев С. А. Финансовые аспекты конкурентоспособности вуза // Финансы и кредит. 2007. № 4. С. 65-69.

7. Налимов В. В., Чернова Н. А. Статистические методы планирования экстремальных экспериментов. М.: Наука, 1965. 340 с.

8. Проничкин С. В., Круглов В. И., Соловьев В. П., Кочетов А. И. Разработка критериальной модели для независимой оценки деятельности вуза категории «Национальный исследовательский университет» // Высшее образование сегодня. 2010. № 7. С. 6-16.

9. Растригин Л. А. Современные принципы управления сложными объектами. М.: Советское радио, 1980. 232 с.

10. Рыков А. С. Модели и методы системного анализа: принятие решений и оптимизация: учеб. пособие для вузов. М.: МИСИС, Руда и металлы, 2005. 352 с.

11. Сергеев А. Г. Метрология: учеб. М.: Логос, 2005. 272 с.

12. ТомовичР., ВукобратовичМ. Общая теория чувствительности: пер. с сербск. и с англ., под ред. Я. З. Цыпкина. М.: Советское радио, 1972. 240 с.

13. Федоров В. В. Теория оптимального эксперимента. М.: Наука, 1971. 312 с.

14.Хрусталёв Е. Ю., Баранова Н.М. Семан-тико-ориентированная методология обучения студентов в информационно-коммуникативной среде университета // Национальные интересы: приоритеты и безопасность. 2011. № 21. С. 11-18.

15. Adam F., Humphreys P. Encyclopedia of Decision Making and Decision Support Technologies. NY.: Information Science Reference, 2008. 1064 p. Vol. 1, 2.

16. Deming W. Edwards Out of the crisis -Cambridge, Massachusetts. London, England: The MIT Press. Second printing, 2002. 520 p.

17. Dette H., Melas V. B., Wong W. К. Locally D-optimal Designs for Exponential Regression. Statistica Sinica. Vol. 16. 2006. P. 789-803.

18. Draper N. R., Smith H. Applied regression analysis. NY.: Wiley., 1998. 706 p.

19. Hwang C. L., Yoon K. L. Multiple Attribute Decision Making: Methods and Applications. Springer -Verlag. NY., 1981.

20. Rykov A. S., Krapuhina N. V., Pronichkin S. V. Formation of expert subgroups based on consensus and deriving generalized estimate of multiattribute objects // System Research & Information technologies. 2010. № 2. P. 72-79.