Субъективная вероятность оценок результатов акмеологической квалиметрии Текст научной статьи по специальности «Экономика и бизнес»

УДК 159.9.072

СУБЪЕКТИВНАЯ ВЕРОЯТНОСТЬ ОЦЕНОК РЕЗУЛЬТАТОВ АКМЕОЛОГИЧЕСКОЙ КВАЛИМЕТРИИ

Кириченко Александр Викторович — доктор психологических наук, профессор кафедры акмеологии и психологии профессиональной деятельности Института общественных наук Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС); просп. Вернадского, 84, Москва, Россия, 119606; e-mail: [email protected]

Жук Игорь Александрович — кандидат экономических наук, доцент кафедры социально-гуманитарных, экономических и естественнонаучных дисциплин Института права и национальной безопасности Российской академии народного хозяйства и государственной службы при Президенте Российской Федерации (РАНХиГС); просп. Вернадского, 84, Москва, Россия, 119606; e-mail: [email protected]

Интенсификация развития и завоевание лидирующего положения в системе человековедческих дисциплин продиктованы вызовами и угрозами современного мира, а также жёсткими требованиями, предъявляемыми к профессионалам третьего тысячелетия. Решение подобных задач предполагает такой уровень развития акмеологи-ческой методологии, который способен обеспечить высокую эффективность профессиональной деятельности. При этом следует отметить, что акмеологи-ческая квалиметрия играет в этом процессе доминирующую роль, так как её предметом является разработка валид-

ной методологии оценочных процедур акмеологии [5-7; 9].

Проведение исследования в любой предметной области неизбежно сталкивается с проблемой использования имеющегося или разработкой более точного, адекватного задачам исследования, инструментария. В акмеологической квали-метрии субъект высокопрофессиональной деятельности, в ранге эксперта, выступает в качестве субъективного измерителя и отвечает параметрам модели, по которой он отбирался [1; 2; 5; 14; 15].

Изучение организационно-правовых, теоретико-методологических и ак-меолого-психологических основ экс-

пертной деятельности показывает, что она занимает особое место среди квали-метрических процедур. Экспертная деятельность — это наиболее авторитетная, научно обоснованная, выверенная, многократно апробированная, валидная процедура получения научно-практической информации [1; 2; 4; 16]. Очень часто она выступает в роли «высшей инстанции» в определении стратегии развития современных социальных систем, выборе наиболее перспективных направлений развития науки и практики, построения систем международной и национальной безопасности. При этом цена ошибки субъекта этой деятельности

РЕЗЮМЕ

Данная статья является продолжением цикла статей, посвящённых разработке методологических основ акмеологической квалиметрии. Приведено обоснование акмеологической квалиметрии как прикладного направления, предметом которого является разработка методологических основ измерительных процедур в акмеологии.

Доказывается необходимость внедрения новых подходов, включая инновационные методы, методики и технологии акмеологической квалиметрии, позволяющие оценивать профессиональную деятельность специалистов различных предметных областей.

Обосновывается актуальность использования валидных квалиметрических процедур в акмеологической науке. В качестве инструмента повышения валидности предложена модель оценки субъективной вероятности акмеологической квалиметрии.

Описаны технологии обработки результатов акмеологической квалиметрии с использованием аппарата субъективной вероятности. Обосновываются возможности применения достижений квали-метрической науки на основе вычислений субъективной вероятности в целях уменьшения погрешности и увеличения надёжности полученных результатов, оказывающих существенное влияние на эффективность профессиональной деятельности.

Рассмотрены различные подходы в определении субъективной вероятности и возможности её использования в акмеологической квалиметрии. В данной статье субъективная вероятность оценки эффективности управленца рассматривается на основе психологического содержания направлений профессиональной деятельности руководителя.

Ключевые слова: акмеологическая квалиметрия, профессиональная деятельность, модель субъективной вероятности акмеологической квалиметрии, эксперт, экспертное оценивание, эффективность субъекта управленческой деятельности.

чрезвычайно высока, что порождает целый ряд вопросов: «А можно ли доверять результатам экспертной оценки?», «Насколько эти результаты точны, научно обоснованны?», «А каков уровень субъективизма эксперта?». Поиск ответов на эти вопросы является сложной задачей, от решения которой зависит многое.

При этом следует отметить, что важной составляющей технологии оценивания является определение субъективной вероятности результатов измерительных процедур; в частности, в акмеологической квалиметрии.

В данной статье субъективная вероятность оценки эффективности управленца рассматривается на примере акмеологической оценки психологического содержания направлений профессиональной деятельности руководителя.

Анализ теоретико-методологических подходов в исследовании разрабатываемой проблематики показывает, что феноменология субъективной вероятности является предметом исследования целого ряда работ [3; 10; 11; 13]. В этих работах определение субъективной вероятности рассматривается через специфику деятельности эксперта, который в рамках процедуры оценивания выступает в качестве субъективного измерителя определённых параметров изучаемых явлений.

Следует отметить, что в научной литературе освещаются различные подходы в построении модели эксперта. Мировая практика рассматривает модель специалиста XXI века как человека, обладающего набором базовых компетенций; таким образом, можно утверждать, что эксперт любой предметной области помимо базового фундаментального образования, опыта работы и владения родным языком должен обладать, как мы уже отмечали ранее, математической, компьютерной, образовательной, коммуникативной и языковой (владение международным языком) компетенциями [7].

Таким образом, субъективная вероятность уникального события (нет возможности проводить достаточное количество испытаний) удовлетворяет аксиоматике теории вероятностей и вычисляется экспертом.

Областями применения субъективной вероятности могут быть: экономика, образование, наука, техника, политика, военные действия.

Рассмотрим процедуру вычисления экспертом субъективной вероятности уникального события. Для этого воспользуемся методом анализа иерархий (МАИ), который разработал Т. Саати [12], а также элементами теории нечётких множеств, разработанной Л.Заде и развитой А. Кофманом [10]. Для этого воспользуемся некоторыми элементами аппарата теории нечётких множеств.

Мы исходим из того, что нечёткое множество представляет собой следующее:

Г' \ Г Л ( М

А =

IM(*i)

*2 1М(*2)

моо

где, Ц --) (-)-■ ) — характерестическая функция принадлежности элемента х1 нечёткому множеству 0 < Ц А(х/) < 1.

д

Кардинальное число нечёткого множества имеет следующий вид: са)(1А = (Г (( А( X - ) . Для того чтобы вычислить

характеристическую функцию нечёткого множества, эксперт может воспользоваться МАИ. Сделаем важное утверждение: субъективная вероятность равняется кардинальному числу нечёткого множества. Алгоритм МАИ

1. Определение иерархии.

2. Установление приоритетов критериев методом парного сравнения.

3. Установление приоритетов подкритериев по каждому критерию методом парного сравнения.

I этап — Определение иерархии

1. Определение цели.

2. Определение множества критериев.

3. Определение множества подкритериев.

II этап — Установление приоритетов критериев (подкритериев)

1. Формирование матрицы парного сравнения критериев (подкритериев). Сравнение проводится с использованием шкалы Т. Саати.

2. Ранжирование критериев (подкритериев) — получение нормализованного вектора приоритетов критериев (подкритериев).

3. Определение достоверности полученного результата — оценка согласованности матрицы.

Шкала Т. Саати

Степень превосходства (у) Описание степени превосходства

1 Объекты одинаково важны

3 Умеренное превосходство одного объекта над другим

5 Существенное превосходство одного объекта над другим

7 Значительное превосходство одного объекта над другим

9 Абсолютное превосходство одного объекта над другим

2, 4, 6, 8 Промежуточные значения степеней превосходства

Матрица парного сравнении критериев (подкритериев) имеет следующий вид: х- = V, X ■• = — ,

1) -11 у '

Матрица па

жого сравнения критериев (подкритериев)

Критерий 1 Критерий j Критерий n

Критерий 1 1 Xij X1n

1

Критерий 1 Xii 1 Xin

1

Критерий п Xn1 Xnj 1

Ранжирование критериев (подкритериев)

Оценка компонент собственного вектора каждого 1-го критерия.

Yi =?

П*и 0)

j=l

Нормализация оценок (у1н) показывает вклад каждого 1-го критерия (подкритерия) в достижение цели).

У1

Уш = (2)

Ху.

п — размерность матрицы.

Оценка согласованности матрицы

Вычисление максимального собственного числа матрицы (Яшах):

■ in >V

=Х Sxij -у- (3)' (4);

где i = 1, ...,n.

1=1 VJ=1 У

i=l

^ _^

Индекс согласованности (ИС) вычисляется по формуле

п-1

Отношение согласованности (ОС ) вычисляется по формуле ОС = ИС/СС (6).

Значения случайной согласованности (СС)

n 1 2 3 4 5 6 7 8 9 10

CC 0 0 0,58 0,9 1,12 1,24 1,32 1,41 1,45 1,49

ОС < 0,1 матрица согласована

0,1 < ОС < 0,2 матрица согласована слабо ОС > 0,2 матрица согласована плохо

Сводная таблица для расчёта приоритета критериев (подкритериев)

К1 Kj Kn Формула (1) Формула (2) Формула (3)

К1 1 X1j X1n У1 У1н X1

Ki Xi1 1 Xin У1 У1н

Kn Xn1 Xnj 1 УП ynH Xn

Сумма по столбцу и Ixn i=l n Xх« i=l n XXin i=l n Xy, i=l SyiH=i i=l n i=l

Если матрица согласована плохо, то её значения по шкале Т. Саати надо переопределить. Если все процедуры выполнены правильно, то далее эксперт оценивает наличие выполнимости конкретного подкритерия по шкале (1 — да; 0 — нет). Получаем следующую формулу для расчёта характеристической функции принадлежности элемента хо нечёткому множеству А:

н

xj; xi=<

1, да О, нет

, 0 < Р; < 1, i = l,.

,п

i=l

где Ki — субъективное значение i-го критерия. И наконец, субъективная вероятность Ps = card А.

Для интерпретации результатов по полученной субъективной вероятности можно воспользоваться шкалой Е. Харрингто-на или построить свою шкалу.

Вербальные оценки Балльные оценки Числовые оценки

Отлично 5 0,8-1

Хорошо 4 0,63-0,8

Удовлетворительно 3 0,37-0,63

Плохо 2 0,2-0,37

Очень плохо 1 0-0,2

Рассмотрим пример вычисления субъективной вероятности эффективности управленца, на основе психологического содержания направлений профессиональной деятельности руководителя. Критерии оценки:

1. Информационно-аналитическая деятельность.

2. Планирующая деятельность.

3. Регулирующая (субъект-субъектная) деятельность.

4. Руководящая (субъект-субъектная) деятельность.

5. Организационно-исполнительная деятельность.

6. Координирующая (согласовательная) деятельность.

7. Контролирующе-учётная деятельность.

8. Инновационно-исследовательская деятельность.

9. Консультационная деятельность.

10. Представительская деятельность.

11. Деятельность профессионального самосовершенствования (самоуправление). Подкритерии:

1. Профессиональные задачи: анализ и диагностика имеющейся управленческой ситуации (объекта управления) для обоснования последующего принятия решения.

2. Профессиональные действия (приёмы, технологии).

Активное обследование управленческой ситуации для сбора информации.

3. Результат (продукт) деятельности: информационный продукт — полная детальная и объективная информационная модель управленческой ситуации (в виде справки, служебной записки, отчёта). Аналитические выводы.

4. Профессионально важные качества управленца: ответственное отношение к сбору и переработке информации. Интеллект, способность анализировать, концентрация и распределение внимания. Развитая память, обобщённость мышления, способность к анализу больших массивов данных, работа с обобщённой информацией.

5. Негативные качества личности, затрудняющие деятельность: импульсивность в восприятии информации; иллюзия завершённости дела после передачи информации другому лицу.

Альтернативами будут оценки эксперта, а именно: 1 — да; 0 — нет.

Тогда нечёткое множество может быть представлено в следующем виде:

А =

(

X! |ЦА(Х1)

х2 |цА(х2)

хп |ЦА(хп)

/V У V

Построим иерархию для вычисления характеристических функций.

НМОЭУ — нечёткое множество оценки эффективности управленца. К1 — Информационно-аналитическая деятельность (х1). К2 — Планирующая деятельность (х2).

КЗ — Регулирующая (субъект-субъектная) деятельность (х3).

К4 — Руководящая (субъект-субъектная) деятельность (x4).

К5 — Организационно-исполнительная (x5).

К6 — Координирующая (согласовательная) деятельность (x6).

К7 — Контролирующе-учётная деятельность (x7).

К8 — Инновационно-исследовательская деятельность (x8).

К9 — Консультационная деятельность (Х9).

К10 — Представительская деятельность (x10).

К11 — Деятельность профессионального самосовершенствования (самоуправление) (x 11).

ПК1; — Профессиональные задачи.

ПК2; — Профессиональные действия.

ПК3; — Результат (продукт) деятельности.

ПК4; — Профессионально важные качества.

ПК5; — Негативные качества личности, затрудняющие деятельность, где i = 1, ..., 11.

Для демонстрации работы модели ограничимся тремя критериями и пятью подкритериями.

Эксперт определил, что все критерии равнозначны.

Приоритеты подкритериев: ПК1 > ПК2 > ПК3 > ПК4 > ПК5. Оценка эксперта по подкритериям: 1 — да; 0 — нет.

Матрица оценки критериев

К1 К2 КЗ Вычисления

К1 1 1 1 1 0,3333 1

К2 1 1 1 1 0,3333 1

КЗ 1 1 1 1 0,3333 1

3 3 3 3 1 3

ИС = 0 ОС = 0 < 0,1 Матрица согласована

Матрица оценки подкритериев по критерию К1

К1 ПК1 ПК2 ПКЗ ПК4 ПК5 Вычисления

ПК1 1 3 5 7 9 3,936283 0,510039 0,911593

ПК2 1/3 1 3 5 7 2,036168 0,263834 1,233737

ПК3 1/5 1/3 1 3 5 1 0,129574 1,235269

ПК4 1/7 1/5 1/3 1 3 0,491119 0,063636 1,039389

ПК5 1/9 1/7 1/5 1/3 1 0,254047 0,032918 0,822944

1,787302 4,67619 9,533333 16,33333 25 7,717617 1 5,242932

Матрица согласована

ИС = 0,060733 ОС = 0,054226 < 0,1

Матрица оценки подкритериев по критерию К2

К2 ПК1 ПК2 ПКЗ ПК4 ПК5 Вычисления

ПК1 1 3 5 7 9 3,936283 0,510039 0,911593

ПК2 1/3 1 3 5 7 2,036168 0,263834 1,233737

ПК3 1/5 1/3 1 3 5 1 0,129574 1,235269

ПК4 1/7 1/5 1/3 1 3 0,491119 0,063636 1,039389

ПК5 1/9 1/7 1/5 1/3 1 0,254047 0,032918 0,822944

1,787302 4,67619 9,533333 16,33333 25 7,717617 1 5,242932

Матрица согласована

ИС = 0,060733 ОС = 0,054226 < 0,1

Матрица оценки подкритериев по критерию К3

К3 ПК1 ПК2 ПК3 ПК4 Вычисления

ПК1 1 3 5 7 3,2011 0,564 0,9451

ПК2 1/3 1 3 5 1,4953 0,263 1,194

ПК3 1/5 1/3 1 3 0,6687 0,118 1,0993

ПК4 1/7 1/5 1/3 1 0,3124 0,055 0,8804

1,67619 4,53333333 9,333333333 16 5,6776 1 4,1187

ИС = 0,03958 OC= 0,043977377 < 0,1 Матрица согласована

Оценка наличия подкритериев в анализируемой экспертом информации

К1 Вычисления Оценка эксперта

ПК1 0,510038725 1

ПК2 0,263833779 1

ПК3 0,129573679 0

ПК4 0,063636045 0

ПК5 0,032917772 0

P1 = 0,773872504

К2 Вычисления Оценка эксперта

ПК1 0,51003873 0

ПК2 0,26383378 0

ПК3 0,12957368 0

ПК4 0,06363605 0

ПК5 0,03291777 0

P2 = 0

К3 Вычисления Оценка эксперта

ПК1 0,563812769 1

ПК2 0,263378357 0

ПК3 0,117786382 0

ПК4 0,055022492 0

P3 = 0,563812769

Вычисление субъективной вероятности

Вычисленные Вычисленные Значение

Элементы нечёткого множества критерии подкритерии характеристических функций

х1 K1 = 0,333333 P1 = 0,77 0,256666667

х2 K2 = 0,333333 P2 = 0,00 0

х3 K3 = 0,333333 P3 =0,56 0,186666667

Субъективная вероятность Ps = Card 0,443333333

Шкала, предложенная экспертом для интерпретации результатов

Вербальные оценки Балльные оценки Числовые оценки

Отлично 5 0,9-1

Хорошо 4 0,75-0,89

Удовлетворительно 3 0,51-0,74

Неудовлетворительно 2 0-0,5

Субъективная вероятность оценки эффективности управленца равна 0,44, вербальная оценка «Неудовлетворительно».

ССЫЛКИ

[1]. Азгальдов Г.Г. Квалиметрия для всех: Учебное пособие / Г.Г. Азгальдов, А.В. Костин, В.В. Садовов. — М.: ИД Информ Знание, 2012.

[2]. Азгальдов Г.Г., Костин А.В. Квалиметрия и метрология: вопросы идентификации // Мир измерений. — 2010. — № 1.

[3]. Бродский Я.С. Статистика. Вероятность. Комбинаторика. — М.: ООО «Издательство Оникс», 2008.

[4]. Варжапетян А.Г. Квалиметрия: Учебное пособие. — СПб.: ГУАП, 2005.

[5]. Галантэ М.В. Акмеологичес-кая оценка как средство оптимизации профессиональной деятельности кадров государственной службы. — М.: МААН, 2009.

[6]. Кириченко А.В., Жук И.А. Перспективы развития акмеологической ква-лиметрии профессиональной деятельности // Акмеология. — 2016. № 2.

[7]. Кириченко А.В., Жук И.А. Модель субъекта акмеологической квали-метрии профессиональной деятельности // Акмеология, 2016. — № 3.

[8]. Кириченко А.В., Шеремета И.В. Психолого-акмеологические особенности развития профессиональных способностей

специалистов юридического консалтинга // Право и жизнь. — 2013. — № 178 (4).

[9]. Кириченко А.В., Барложецкая Н.Ф. Акмеологический анализ причин ошибок экспертной оценки профессиональной деятельности // Акмеология. — 2013. — № 1 (45).

[10]. Кофман А. Введение в теорию нечётких множеств. — М.: Радио и связь, 1982.

[11]. Максимов Ю.Д. Теория вероятностей: опорный конспект. — М.: Проспект, 2015.

[12]. Саати Т. Принятие решений. Метод анализа иерархий / Пер. с англ. — М.: Радио и связь, 1993.

[13]. Тюрин Ю.Н. и др. Теория вероятностей: Учебник для экономических и гуманитарных специальностей. — М.: МЦНМО, 2009.

[14]. Френкель А. А. Анализ факторов роста производительности труда с помощью экспертных оценок. Статистические методы анализа экспертных сценок. — М.: Наука, 1977.

[15]. Черепанов Б.С. Экспертные оценки в педагогических исследованиях. — М.: Педагогика, 1989.

[16]. Эккерсон У. Панели индикаторов как инструмент управления: ключевые показатели эффективности, мониторинг деятельности, оценка результатов. — М.: Альпина Бизнес Букс, 2007.

REFERENCES

[1]. Azgal'dov G.G. Kvalimetrija dlja vseh [Qualme^ for all]: Ucheb. posobie / G.G. Azgal'dov, A.V. Kostin, V.V. Sadovov. — Moscow: ID Inform Znanie, 2012. — 165 s.

[2]. Azgal'dov G.G., Kostin A.V. Kvalimetrija i metrologija: voprosy identifikacii [ ] // Mir izmerenij. — 2010. — № 1.

[3]. Brodskij Ja.S. Statistika. Verojatnost'. Kombinatorika. [Statistics. Probability Combinatorics.] — M.: OOO «Izdatel'stvo Oniks», 2008.

[4]. Varzhapetjan A.G. Kvalimetrija: Ucheb. posobie. [Qualimetry]: S-Peterburg, 2005. — 176 s.

[5]. Galantje M.V. Akmeologicheskaja ocenka kak sredstvo optimizacii professional'noj dejatel'nosti kadrov gosudarstvennoj sluzhby [Akmeologik score as a means of optimizing the professional activity of public service personnel]. — Moscow, 2009.

[6]. Kirichenko A.V., Zhuk I.A. Perspektivy razvitija akmeologicheskoj kvalimetrii professional'noj dejatel'nosti. [Prospects of development of akmeologiceskoj help of quality control of professional activity.] // Akmeology. — 2016. — № 2.

[7]. Kirichenko A.V., Zhuk I.A. Model' sub'ekta akmeologicheskoj kvalimetrii professional'noj dejatel'nosti // Akmeologija. — 2016. — № 3.

[8]. Kirichenko A.V., Sheremeta I.V. Psihologo-akmeologicheskie osobennosti razvitija professional'nyh sposobnostej specialistov juridicheskogo konsaltinga // Pravo i zhizn'. — 2013. — № 178 (4).

[9]. Kirichenko A.V., Barlozheckaja N.F. Akmeologicheskij analiz prichin oshibok jekspertnoj ocenki professional'noj dejatel'nosti [Achmeological analysis of the causes of errors of expert evaluation of professional activity] // Akmeology. — 2013. — № 1 (45).

[10]. Kofman A. Vvedenie v teoriju nechjotkih mnozhestv. [Introduction to the

theory of fuzzy sets.] — Moscow: Radio i svjaz', 1982.

[11]. Maksimov Ju.D. Teorija verojatnostej: opornyj konspekt. [Probability theory: defensive abstract.] — Moscow: Prospekt, 2015.

[12]. Saati T. Prinjatie reshenij. Metod analiza ierarhij / Per. s angl. [The adoption of decisions. Analytic hierarchy process.] — Moscow: Radio i svjaz', 1993.

[13]. Tjurin Ju.N, i dr. Teorija verojatnostej: uchebnik dlja jekonomicheskih i gumanitarnyh special'nostej. [Probability theory: tutorial for the economic and humanitarian fields.] — Moscow: MCNMO, 2009.

[14]. Frenkel'A.A. Analiz faktorov rosta proizvoditel'nosti truda s pomoshh'ju jekspertnyh ocenok. Statisticheskie metody analiza jekspertnyh scenok Analysis of the factors of productivity growth using expert estimates. [Statistical methods for analysis of expert scenes.] — Moscow, 1977.

[15]. Cherepanov B.S. Jekspertnye ocenki v pedagogicheskih issledovanijah [Expertise in pedagogical research]. — Moscow,1989.

[16]. Jekkerson U.U. Paneli indikatorov kak instrument upravlenija: kljuchevye pokazateli jeffektivnosti, monitoring dejatel'nosti, ocenka rezul'tatov [Panel indicators as a management tool: key performance

indicators, monitoring activities, assessment of the results]. — Moscow, 2007.

SUBJECTIVE PROBABILITY OF ACMEOLOGICAL QUALIMETRY RESULTS' ASSESSMENTS

Alexander V. Kirichenko — Doctor of Psychological Sciences, Professor of the Department of Acmeology and Professional Psychology, Institute of Social Sciences, Russian Presidential Academy of National Economy and Public Administration; 84, Vernadskogo Prosp., Moscow, 119606, Russia; e-mail: [email protected]_

Igor A. Zhuk — Candidate of Economic Sciences, Associate Professor, Department of Social Studies and Humanities, Economic and Natural Sciences, Institute of Law and National Security, Russian Presidential Academy of National Economy and Public Administration; 84, Vernadskogo Prosp., Moscow, 119606, Russia; e-mail: [email protected]

ABSTRACT

This article is a continuation of a series of articles on the development of methodological bases of acmeological qualimetry. It presents the substantiation of acmeological qualimetry, as an applied direction, the subject of which is the development of methodological bases of measurement procedures of acmeology.

Necessity to introduce new approaches, including innovative methods, techniques and technologies of acmeological qualimetry is proved, in order to evaluate professional activities of specialists in different subject areas.

The relevance of using valid qualimetrical procedures in acmeological science is justified. The model of subjective probability assessments of acmeological qualimetry is offered as a tool to improve validity.

The work describes the technologies of acmeological qualimetry results' processing using subjective probability frameworks. The authors justify the possibilities to use qualimetrical science on the basis of subjective probability calculations in order to reduce errors and increase reliability of the obtained results, having significant impact on the efficiency of professional activities.

Various approaches to determining subjective probability and its application in acmeological qualimetry are considered. In this article, the subjective probability of a Manager's efficiency evaluation is considered on the basis of psychological content of areas of the Director's professional activities.

Keywords: acmeological qualimetry, professional activity, model of subjective probability of acmeological qualimetry, expert, expert evaluation, efficiency of management activity.