CC BY
67
Ю. Б. Васенёв, И. А. Дементьев, М. В. Михайлов
МОДЕЛИ ИЗМЕРЕНИЯ ПОКАЗАТЕЛЕЙ КАЧЕСТВА В СИСТЕМЕ МЕНЕДЖМЕНТА УНИВЕРСИТЕТА
Для обеспечения функционирования любой системы менеджмента качества (СМК) необходимо осуществлять мониторинг и измерение качественных характеристик управляемых (контролируемых) процессов и располагать алгоритмом (моделью) приведения качественных и количественных характеристик к единому обобщенному, интегрированному показателю, на основании которого определяется соответствие процессов установленным требованиям и принимается решение о необходимых действиях.
О важности и направленности измерений в ГОСТ Р ИСО 9004-2001 отмечено следующее: «Использование измерений, сбор и доведение до сведения всех заинтересованных сторон полученной информации существенны для организации и составляют основу улучшения ее деятельности и вовлечения заинтересованных сторон; такая информация должна быть актуальной и иметь четко определенное назначение»1.
В приложении А к этому ГОСТу рекомендуется для измерения качественных характеристик (показателей) использовать квалиметрические2 порядковые шкалы.
Для сбора информации, необходимой для измерения качественных показателей оцениваемых процессов3 (объектов) по этим шкалам, во многих случаях нужны значительные трудозатраты экспертов. В частности, в системе обеспечения качества подготовки
Юрий Борисович ВАСЕНЁВ — начальник Отдела сопровождения и развития образовательных программ УМУ СПбГУ. В 1974 г. окончил Михайловскую артиллерийскую академию (СПб.). Область научных интересов — исследование операций, моделирование процессов, обеспечение качества образования. Автор более 40 научных и методических работ.
Илья Александрович ДЕМЕНТЬЕВ — канд. хим. наук, проректор по учебной работе СПбГУ, доцент кафедры общей и неорганической химии СПбГУ. В 1993 г. окончил химический факультет СПбГУ. В 1996 г. защитил кандидатскую диссертацию. Область научных интересов — организация учебного процесса, обеспечение качества образования, химические процессы в живых системах. Автор 43 научных и методических работ.
Михаил Витальевич МИХАЙЛОВ — канд. экон. наук, доцент кафедры экономической кибернетики СПбГУ. В 1982 г. окончил экономический факультет СПбГУ. В 1998 г. защитил кандидатскую диссертацию. Область научных интересов — многокритериальное оценивание в условиях неопределенности. Автор более 20 научных публикаций, в том числе 8 учебных пособий.
© Ю. Б. Васенёв, И. А. Дементьев, М. В. Михайлов, 2007
специалистов, известной больше как «модель премии конкурса» Минобразования РФ4, выставление экспертных оценок осуществляется по 32 контролируемым показателям (в терминах модели — подкритериям), для чего используются описания 32 групп (перечней) вопросов, по одному перечню на каждый показатель. Ответы на эти вопросы позволяют экспертам выбрать одну из возможных оценок по каждому показателю. Затем по определенному алгоритму на основании этих оценок вузу выставляется одна интегрированная оценка.
К сожалению, «модель премии конкурса» явно не содержит требования стандарта ГОСТ Р ИСО 9001-20015, такие как внедрение процессного подхода; управление документацией; построение организационной структуры системы менеджмента качества (системы управления качеством); построение, поддержание и развитие системы измерений и мониторинга; планирование рабочих процессов вуза; внутренние аудиты и самооценка вуза и его структурных подразделений; постоянное улучшение, корректирующие и предупреждающие действия.
Если использование «модели премии конкурса» носит рекомендательный характер для вузов, то система для определения рейтинга вузов и специальностей6 является обязательной для всех вузов. В этой системе используется 19 локальных, количественных критериев, характеризующих деятельность вуза, для получения которых осуществляется сбор исходных данных по 41 числовому показателю.
И «модель премии конкурса», и система для определения рейтинга вузов и специальностей фактически необходимы федеральному органу управления образованием для оценивания качества деятельности вузов путем их сравнения (ранжирования) между собой по итоговому (суммарному) показателю.
Для внутривузовских целей такие громоздкие системы оценки качества вряд ли пригодны. Оптимальным вариантом для университета, на наш взгляд, могла бы служить система взаимосвязанных СМК разного уровня, позволяющая учитывать различные как качественные (квалиметрические), так и количественные (числовые) показатели, характеризующие деятельность оцениваемых объектов (студент, преподаватель, кафедра, лаборатория, факультет, служба, управление и др.).
Кроме того, необходима компьютерная программа — инструментарий для построения таких СМК.
Рассмотрим один из возможных вариантов построения СМК для измерения (оценки) качества деятельности кафедр на конкретном примере7.
Пример модели измерения показателей качества
ПустьX = {х.}, г = 1, 2...т — множество квалиметрических показателей качества, характеризующих кафедру (объект) по т оцениваемым видам деятельности.
Необходимо оценить работу кафедр, принадлежащих к различным факультетам (контролируемым группам объектов) по трем (т = 3) видам деятельности: учебно-методической работе (х1), повышению квалификации профессорско-преподавательского состава (х2) и трудоустройству выпускников (х3).
Первый вид деятельности х1 оценивается по четырехбалльной квалиметрической шкале ^1 = {5, 4, 3, 2}; второй х2 — по трехбалльной 0.2 = {4, 3, 2}, а третий х3 — по двухбалльной шкале 0.3 = {1, 0} или {зачтено, не зачтено}. Пусть п. — количество опорных точек8 в г-й шкале. В качестве примера опишем опорные точки шкалы ^3:
- оценка ю = «1» — на кафедре ведется учет распределения выпускников за последние годы. Большая часть выпускников работает по специальности;
- оценка ю32 = «0» — на кафедре не накапливается информация о трудоустройстве выпускников или по специальности работает незначительная часть выпускников. Описание опорных точек других шкал можно найти в современной экономической литературе9.
Опишем для нашего примера порядок формирования системы измерения качества видов деятельности согласно требованиям ГОСТ Р ИСО 9001-2001 и Р ИСО 9001-2004.
В данном случае каждая кафедра оценивается набором из трех оценок по шкалам выбранных видов деятельности. При этом общее возможное количество Ь комбинаций оценок в данном случае равно произведению п -п -п = 4-3-2 = 24. Эти комбинации представляют собой так называемую шкалу векторных оценок а, состоящую из 24 векторов, в каждом из которых первый элемент относится к первому виду деятельности, второй — ко второму, третий — к третьему виду деятельности, например: {5, 4, 1}, {4, 4, 1}, {5, 4, 0}, ..., {3, 2, 0}, {2, 3, 0}, {2, 2, 0}.
Для того чтобы применить такие трехмерные оценки, необходимо каким-то способом установить, какие из них предпочтительнее других. Для этого используем понятие «решающего правила», заимствованное из теории принятия решений, которое можно представить в виде отображения
^: а ^ О, (1)
где О — комплексный (сводный, суммарный) показатель, позволяющий оценить предпочтительность одной векторной оценки перед другой.
Решающее правило представляет собой принцип сравнения векторных оценок и вынесения суждений о предпочтительности одних из них по отношению к другим; оно может быть задано в виде аналитического выражения, алгоритма, словесной формулировки или сочетания этих способов10. Рассмотрим возможные алгоритмы реализации данного решающего правила. Припишем каждому виду деятельности х. и каждой опорной точке ю. к = 1, 2. п. шкалы а. определенные количественные эквиваленты — весовые коэффициенты (веса), соответственно V. и ёл.
Веса определяются экспертным методом и позволяют соотнести между собой важность, ценность различных видов деятельности, учесть требования нормативных документов, а также предпочтения ЛПР (лица, принимающего решение) или вышестоящих органов управления. При этом целесообразно, чтобы сумма весов видов деятельности и сумма весов оценок по каждой шкале равнялись по 1:
X V- = 1 ; ^ ^ = 1 , V/ . (2)
. к
Пример распределения весов по видам деятельности и оценкам (опорным точкам шкал видов деятельности), полученных экспертным методом, приведен в табл. 1.
Веса значений опорных точек (О.к) различных шкал равны произведению соответствующих весовых коэффициентов:
О., = У:й., I = 1...т, к = 1...п.. (3)
хк г хк 7 х
Просуммировав соотнесенные веса опорных точек отдельно для каждой возможной комбинации оценок, получим Ь допустимых значений g( комплексного показателя
О ^ е О, I = 1.Ь) для оценки работы кафедры (для нашего примера Ь = 24). Например, для комбинации оценок {5, 2, 1} получим значение g( = О + О23 + О31 = 0,3 + 0 + 0,12 = 0,42. Комбинация оценок {5, 4, 1} даст значение g( = gшax = О + О21 + О31 = 0,63.
Таблица 1
Значения весов по всем видам деятельности и весов опорных точек
Веса видов деятельности V. 1 1-й вид (г = 1, к = 1,...,4) 2-й вид (г = 2, к = 1,2,3) 3-й вид (г = 3, к = 1,2)
Оценка ю Оценка ю2к Оценка ю3к
5 4 3 2 4 3 2 1 0
Веса оценок dk по видам деятельности
0,6 0,5 0,3 0,2 0
0,28 0,75 0,25 0
0,12 1 0
п* 0,3 0,18 0,12 0 0,21 0,07 0 0,12 0
Для удобства дальнейшей работы перейдем к рейтинговому показателю (рейтингу).
Рейтинг Я — это обобщенный количественный показатель, с помощью которого оцениваются состояние и результаты деятельности объекта (в данном случае — кафедры), а также степень отличия данного объекта от других по этому состоянию (результату).
Использование рейтинговой формы представления оценок является оптимальным с точки зрения обработки больших объемов разнотипной информации, так как позволяет применять единый формат для всех показателей как количественных, так и качественных.
Рейтинг ставит комбинациям квалиметрических оценок свои значения в пределах от
0 до 1 по формуле
Г = Я / 2 ■ Г 6 Я. (4)
I Ошах> I = “•
Для вышерассмотренного примера яшх = 0,63. Рассчитав возможные значения я и г1, получим линейную шкалу оценок О, имеющую Ь = 24 опорных точки, пользоваться которой можно, но неудобно, непривычно. Поэтому для перехода к привычной четырехбалльной итоговой шкале I реализуем второе решающее правило
О ^I (5)
по следующему алгоритму:
♦ расположим (отсортируем) комбинации оценок по убыванию значений г{;
♦ выделим с помощью экспертов во множестве Я три граничных значения (0,667;
0,524; 0,286), отделяющих друг от друга группы комбинаций оценок, которые можно соотнести с оценками итоговой шкалы I = {«отлично», «хорошо», «удовлетворительно» и «неудовлетворительно»};
♦ перейдем к привычной четырехбалльной итоговой шкале оценок {5, 4, 3, 2}.
Вместе с тем следует иметь в виду, что четырехбалльная шкала, имея меньшее количество опорных точек, загрубляет результат оценивания. В связи с этим при введении в вузах системы зачетных единиц предусматривается переход на семибалльную ЕСТБ или стобалльную систему оценок, имеющих большее количество опорных точек. Используя вышеописанный алгоритм, любую многобалльную векторную шкалу оценок О можно свести к заданной итоговой и-балльной шкале, при условии, что количество опорных точек исходной шкалы больше количества опорных точек заданной (окончательной) шкалы.
По мере накопления опыта (статистических данных) в весовые коэффициенты могут вноситься коррективы. Изменение весовых коэффициентов практически означает
изменение стимулирующих условий. Изменения и дополнения могут вноситься и в перечень оцениваемых процессов (видов деятельности) и др. Это дает возможность Ученому совету, ректорату гибко менять политику оценки качественных характеристик объектов с целью акцентирования внимания на том или ином виде деятельности в зависимости от складывающейся ситуации. Фактически это позволяет реализовать принцип непрерывного улучшения системы по циклу Э. Деминга РОСА: «Планирование — Выполнение — Проверка (и анализ) — Действия (по улучшению)». Он используется практически во всех системах управления организационного (административного) типа, в которых субъектом и одновременно объектом управления является человек.
Такой же подход можно использовать для комплексной оценки работы студента11, преподавателя12, для сравнения между собой качества деятельности кафедр и факультетов, а сам контроль проводить по значительно большему количеству видов деятельности. При необходимости можно установить лидирующие факультеты по данным контроля кафедр на основании рейтинга факультетов Яфак, используя средневзвешенные оценки рейтингов кафедр конкретных факультетов:
Яфак (У)=(^2^[Яп V ^ / к У , (6)
где V — номер факультета; Ят — значение квалиметрического рейтинга п-й кафедры v-го факультета; ку — количество контролируемых кафедр на v-м факультете.
Результаты рейтинга объектов (кафедр) и групп объектов (факультетов) приведены в табл. 2.
Таблица 2
Результаты рейтинга кафедр и факультетов (условный пример)
Номер по рейтингу Название факультетов (групп) и кафедр (объектов) Векторные оценки А Значения комплексных показателей О Значения квали-метрич. рейтинга Я факультетов и кафедр Итоговая оценка I
1 Факультет А 0,607 4
1 1. Кафедра 1 5 4 1 0,63 1 5
6 2. Кафедра 2 4 4 0 0,39 0,619 4
7 3. Кафедра 3 4 4 0 0,39 0,619 4
12 4. Кафедра 4 2 2 1 0,12 0,19 2
2 Факультет В 0,544 4
2 1. Кафедра 5 5 4 0 0,51 0,809 5
4 2. Кафедра 6 5 2 1 0,42 0,667 5
8 3. Кафедра 7 4 3 0 0,25 0,397 3
11 4. Кафедра 8 2 3 1 0,19 0,301 3
3 Факультет С 0,540 4
3 1. Кафедра 9 5 3 1 0,49 0,778 5
5 2. Кафедра 10 5 2 1 0,42 0,667 5
9 3. Кафедра 11 3 2 1 0,24 0,381 3
10 4. Кафедра 12 2 4 0 0,21 0,333 3
По-видимому, изменение акцентов в оценках видов деятельности, как и уменьшение или увеличение их количества при оценке качества функционирования кафедр, и, соответственно, изменение значений весовых коэффициентов и количества квалиметричес-ких шкал может привести к иному распределению мест среди кафедр и факультетов.
Учет количественных показателей
При необходимости учета количественных (числовых) показателей не требуется введения оценочных шкал и их описания, как это делалось выше при учете квалиметричес-ких показателей (видов деятельности). Однако все числовые показатели должны быть выражены в процентах (долях единицы) или пересчитаны на одного преподавателя, студента (например, количество учебников, выпущенных на кафедре в текущем учебном году, в пересчете на одного преподавателя).
Возможную методику учета числовых показателей в СМК университета продемонстрируем на следующем условном примере. Допустим, помимо ранее введенных качественных характеристик объектов (кафедр) по контролируемым видам деятельности, требуется учесть ряд количественных показателей В,, которые имеют разное значение («вес») Р. при комплексной оценке деятельности кафедр:
♦ В1 — процент штатных преподавателей (физических лиц) от общего числа штатных единиц ППС; Р1 = 0,25;
♦ В2 — процент внешних совместителей от общего числа штатных единиц ППС; Р2 = 0,05;
♦ В3 — процент кандидатов и докторов наук (физических лиц) от общего числа штатных единиц ППС, без учета внешних совместителей; Р3 = 0,35;
♦ В4 — процент кандидатов и докторов наук среди внешних совместителей; Р4 = 0,10;
♦ В5 — объем научных исследований, выполненных собственными силами за последний год (тыс. руб.); Р5 = 0,25.
Предположим, что от служб ректората поступили по обследуемым кафедрам числовые данные, приведенные в графах 3^7 табл. 3.
Таблица 3
Числовые характеристики деятельности кафедр (условный пример)
№ пп. Названия групп объектов (факультетов) и объектов (кафедр) Числовые показатели В 1 Итоговый балл по числовым показателям 1. і Значение рейтинга объектов по числовым показателям Я ] Номер объекта по рейтингуЯ.
В В2 В3 В4 В5
Веса показателей Р 1
0,25 0,05 0,35 0,1 0,25
Значения показателей В і
1 2 3 4 5 6 7 8 9 10
Факультет А
1 Кафедра 1 75 12 67 84 120 0,3 0,5 10
2 Кафедра 2 82 10 70 79 50 0,37 0,617 8
3 Кафедра 3 60 25 72 90 300 0,49 0,817 5
4 Кафедра 4 71 15 69 86 200 0,39 0,65 7
1 2 3 4 5 6 7 8 9 10
5 Факультет В Кафедра 5 90 4 75 70 180 0,57 0,95 3
6 Кафедра 6 64 16 71 85 0 0,25 0,417 12
7 Кафедра 7 78 9 67 80 80 0,3 0,5 11
8 Кафедра 8 92 5 73 87 160 0,60 1,0 1
9 Факультет С Кафедра 9 85 5 79 70 0 0,48 0,8 6
10 Кафедра 10 76 12 82 75 140 0,58 0,967 2
11 Кафедра 11 88 4 65 80 350 0,52 0,867 4
12 Кафедра 12 68 14 70 92 90 0,35 0,583 9
При определении итогового числового показателя 1. каждой кафедры (объекта у) воспользуемся следующим алгоритмом.
Присвоим в каждом столбце В. минимальному значению числового показателя ВШп балл V . = 0, а максимальному значению В. — балл V = 1.
тт7 хтах гтах
Например, для первого числового показателя В1т.п = 60 — на кафедре 3, а В1тах = 92 — на кафедре 8. Соответственно, эти кафедры получат баллы 0 и 1.
Баллы остальных кафедр по этому и другим показателям будут заключены в пределах от 0 до1. Для их нахождения воспользуемся следующей формулой13:
В - В ■
V- >■ = в11 -Вт1П ;.=1--/; .=1-/ , (7)
. тах . т1п
где 3 — количество объектов (в примере 3 = 12); I — количество числовых (количественных) показателей (в примере / = 5).
Например, кафедра 1 (1 = 1) по всем числовым показателям (/ = 1...5) будет иметь баллы:
V 1 = В1 1 - ^ = 25-60 и 0,4 7 ;
В1 тах - В1тт 9 2 - 6 0
V = В1 2 -В2т1п = I2-4 и 0,3 8 ;
1 2 В - В 2 5 - 4
2 тах 2 т1п
V3 = В1 з -Взтт = 62^ и 0,1 2 ;
В3 тах - В3 т1п 8 2 - 6 5
VI 4 = В1 4 - В4тт = 8^ и 0,6 4 ;
В4тах - В4т1п 9 2 - 7 0
V5 = В1 5 - В5т1п = 120 -0 » 0,3 4 .
В5тах - В5т1п 350 - 0
Подобным образом рассчитываются баллы для каждого числового показателя по всем остальным кафедрам (1 = 2.12).
Итоговый балл 1- каждой кафедры по всем числовым показателям (/ = 5) с учетом их веса Р. (см. графу 8 табл. 3) рассчитывается по формуле
11 = ЕР^}; 1 = 1...3 . (8)
.=1
Для кафедры 1 (/' = 1)
11 = 0,25 ■ 0,47 + 0,05 ■ 0,38 + 0,35 ■ 0,12 + 0,1 ■ 0,64 + 0,25 ■ 0,34 ~ 0,3.
Теперь по аналогии с тем, как это было сделано выше (см. формулу (4)), перейдем к рейтингу кафедр Я. по числовым показателям, который определен на основе этих итоговых баллов: Я = 1/1 .
1 1 тах
Результаты расчетов приведены в графе 9 табл. 3.
Если оценивать кафедры только по данным числовым показателям, первое место принадлежит кафедре 8 (см. графу 10 табл. 3), а последнее — кафедре 6.
Интересно сравнить рейтинг по числовым показателям с рейтингом по квалиметри-ческим показателям качества, приведенным в табл. 2.
Следует отметить, что числовая сортировка объектов настраивается на конкретный факультет (университет), поэтому одни и те же значения Я1 могут соответствовать разным наборам значений В на разных факультетах (так как значения В и В на факуль-
1 г 1 L J \ гтт гтах 1
тетах вряд ли будут совпадать).
Модель приведения качественных и количественных характеристик
к единому интегрированному показателю
Для получения полного представления о контролируемом объекте необходимо решить вопрос о сочленении (объединении) квалиметрических показателей с числовыми показателями.
Чтобы перейти к единому показателю, характеризующему исследуемые объекты (в данном случае — кафедры) как с качественной стороны (на основе использования квалиметрических шкал и экспертных оценок), так и с количественной (на основе использования числовых показателей), введем так называемый суммарный рейтинг Я+ кафедр, рассчитываемый по следующей формуле:
Як =^' Ят +Н-' Я1 , (9)
где Ят — рейтинг объектов (кафедр), исчисленный с использованием квалиметрических шкал и оценок экспертов (или самооценок) (см. табл. 2); Я1 — рейтинг объектов (кафедр), исчисленный с использованием числовых показателей (см. табл. 3); X и ц — коэффициенты, определяемые экспертным путем; сумма коэффициентов должна быть равна 1 (X + ц = 1). По умолчанию X = 0,5; ц = 0,5, т. е. предполагается равнозначность рейтингов. Если X > 0,5, то преимущество отдается качественным показателям; если ц > 0,5, то количественным.
Ят и Я1 при определении должны выбираться из табл. 2 и 3 таким образом, чтобы соответствовать одному и тому же объекту (кафедре).
Выпишем из табл. 2 и 3 значения Ят и Я1 в табл. 4. По вышеприведенной формуле (9) рассчитаем значения Я+ , установим соответствие между к и № пп. табл. 4, а затем занесем их в табл. 4 соответственно в графы 7 и 8.
Таблица позволяет увидеть качественный, количественный и суммарный рейтинги всех кафедр по оцениваемым видам деятельности и количественным показателям. Интересно заметить, что кафедра 1, занявшая 1-е место по качественным показателям, переместилась на 10-е место по количественным показателям, а в общем (суммарном) рейтинге она занимает 4-е место.
Значения рейтингов кафедр (условный пример)
Таблица 4
№ пп. Название объектов(кафедр) Качественный рейтинг Я п Числовой Я Л рейтинг Суммарный рейтинг Я:
значение номер п значение номер1 значение номер к
1 Кафедра 1 1,00 1 0,5 10 0,750 4
2 Кафедра 2 0,619 6 0,617 8 0,618 8
3 Кафедра 3 0,619 7 0,817 5 0,718 5
4 Кафедра 4 0,19 12 0,65 7 0,420 12
5 Кафедра 5 0,809 2 0,95 3 0,853 1
6 Кафедра 6 0,667 4 0,417 12 0,542 9
7 Кафедра 7 0,397 8 0,5 11 0,449 11
8 Кафедра 8 0,301 11 1,0 1 0,651 6
9 Кафедра 9 0,778 3 0,8 6 0,789 3
10 Кафедра 10 0,667 5 0,967 2 0,817 2
11 Кафедра 11 0,381 9 0,867 4 0,624 7
12 Кафедра 12 0,333 10 0,583 9 0,458 10
Альтернативный метод получения сводной оценки С
Следует отметить, что работа экспертов по подбору весов видов деятельности V и весов оценок ёЛ, используемых в формулах (2), (3), затем неоднократное моделирование ситуаций с данными наборами весов для выбора их оптимального соотношения — достаточно сложная и трудоемкая процедура. Кроме того, требуется наличие самих экспертов и их предварительное обучение. Поэтому рассмотрим альтернативный подход при решении данной задачи.
Для получения сводной оценки объектов воспользуемся так называемой линейной сверткой
0(я, щ)= £ю.Щ , (10)
т
Щ ^ 0, £ Щ = 1 , (11)
где 1 ^ 1
известной как метод сводных показателей (МСП). Метод МСП применяется в случаях, когда невозможно полностью упорядочить изучаемые объекты по предпочтительности.
Алгоритм работы с использованием МСП может быть упрощенно представлен как последовательность следующих шагов.
1. Формируется вектор Х = (хр...,хт) исходных характеристик (видов деятельности), каждая из которых необходима, а все они вместе достаточны для полного, всестороннего оценивания определенного качества исследуемых объектов.
2. Разрабатывается система измерения видов деятельности на основе использования порядковых (ординальных) шкал Ц наиболее пригодных с точки зрения получения экспертной информации о качествах и свойствах оцениваемых объектов (процессов, видов деятельности).
3. Производится оценивание объекта по г-му виду деятельности по шкале линейного
порядка О., что соответствует приписыванию объекту оценки ю/х) шкалы О.. Другими словами, оценивание качества объектов по г-му виду деятельности состоит в поиске отдельного показателя ю. = а/х), отображающего множество значений исходного вида деятельности х . в множество оценок линейной ординальной шкалы О.
4. Для построения сводного показателя выбирается синтезирующая функция О, сопоставляющая вектору отдельных показателей (оценок) ю = (юр...,ют) сводный показатель (сводную оценку) О = О (ю; щ), характеризующую объект в целом, который зависит от вектора щ = (щ, ...Щт) неотрицательных параметров, определяющих значимость отдельных показателей для сводной оценки и интерпретируемых как весовые коэффициенты («веса»), задающие степени влияния отдельных показателей (оценок) юр...,ют на сводную оценку О.
Вместе с тем выбор весовых коэффициентов представляет собой отдельную значительную проблему, связанную с неопределенностью этого выбора. Для эксперта, как и в вышеприведенной ситуации, затруднительно указать точные числовые значения вектора весовых коэффициентов щ = (щ,...щт). В некоторых случаях выбор и обоснование параметров свертки — это не менее сложная процедура, чем непосредственное упорядочивание объектов.
Для решения данной проблемы используется метод рандомизированных сводных показателей (МРСП), являющийся продолжением и развитием метода МСП.
Метод МРСП позволяет моделировать путем рандомизации (случайных выборок) неопределенность выбора вектора весовых коэффициентов, задаваемых ограничениями (4), на множестве V допустимых значений весовых коэффициентов, т. е. моделировать дефицит информации на всех этапах построения сводной оценки. При этом весовые коэффициенты превращаются в случайные величины Щ , так как в соответствии с концепцией рандомизации неопределенный выбор объекта х из множества Х моделируется случайным выбором х из множества Х.
Предполагается, что эти случайные величины должны иметь совместное равномерное распределение на множестве V. Применение рандомизированных весовых коэффициентов в формуле (3) для свертки отдельных показателей приводит к получению рандомизированного сводного показателя
О(со)= О (со ; Щ )=£ югЩ , (12)
г
представляющего собой случайную величину, значения которой распределены на отрезке [0, 1]. С помощью МРСП возможно моделирование ситуации при дефиците информации, включая случаи полной неопределенности, на всех этапах синтеза оценок. При
наличии дополнительной, в том числе и нечисловой информации, можно существенно
ограничить множество допустимых решений в каждой конкретной задаче и в конечном итоге повысить точность сводной оценки.
Теоретические аргументы и опыт практической работы показывают, что наиболее устойчивой и простой для восприятия является нечисловая ординальная (порядковая) информация, формализуемая при помощи системы равенств и неравенств вида
щщ щ„ г, /, г, s е {1,..т}, (13)
для весовых коэффициентов Щ ,.Щт.
Другой вид информации, доступной эксперту, есть неточная (интервальная) инфор-
мация, формализуемая при помощи неравенств вида
а. < щ. < Ь, 1 = 1,..т, (14)
где 0 < а. < Ь < 1.
— г — г —
Интервальная информация указывает диапазоны [а Ь.] для допустимых значений весовых коэффициентов.
Следует отметить, что нечисловая (порядковая) и неточная (интервальная) информация о весовых коэффициентах может быть к тому же и неполной (ННН-информация) в том смысле, что не все весовые коэффициенты входят в равенства и неравенства, характеризующие информацию, имеющуюся у эксперта.
Сравнивая между собой алгоритмы реализации решающего правила (1), следует отметить меньшую трудозатратность реализации формул (10)-(14) по сравнению с подходом, проиллюстрированном в табл. 1, с использованием формулы (2)-(3).
1 ГОСТ Р ИСО 9004-2001 Системы менеджмента качества: Переиздание. М., 2003. (www.kodeks.ru).
2 Квалиметрия — измерение качества.
3 Под процессом понимается (в соответствии с ГОСТ Р ИСО 9000-2001) совокупность взаимосвязанных и взаимодействующих видов деятельности, преобразующих входы в выходы.
4 Системы обеспечения качества подготовки специалистов. Руководство для участников конкурса: Приказ № 529 Рособрнадзора от 03.03.06 (http://www.obrnadzor.gov.ru/oficial_docs).
5 ГОСТ Р ИСО 9001-2001 Системы менеджмента качества.
6 Временная методика определения рейтингов специальностей и вузов: Приказ № 593 Минобразования России от 19.02.03 (http://www.edu.ru/db/mo/Data/d_03/593.html).
7 Данные, приведенные ниже, являются условными.
8 Опорные точки шкалы — возможные оценки, используемые в данной шкале оценивания, например, для шкалы О1 п1 = 4.
9 Васенёв Ю. Б., Дементьев И. А., Колесников А. Я. Методика оценки качества образования в вузе // Материалы межвузовского семинара «Оценка качества образования в российских вузах». 28.10.2003. СПб., 2001. С. 73-85.
10 Там же.
11 Васенёв Ю. Б., Михайлов М. В., Хованов Н. В. Оценка деятельности субъектов учебного процесса // Информационный бюллетень УМО в области инновационных, междисциплинарных образовательных программ. СПб., 2005. С. 42-51.
12 Бордовская Н. В., Титова Е. В. Методика оценки качества деятельности преподавателей вуза: Методические рекомендации. СПб., Архангельск, 2003.
13 Хованов Н. В. Анализ и синтез показателей при информационном дефиците. СПб., 1996.
Статья поступила в редакцию 19 апреля 2007 г.
