Научная статья на тему 'Метод оптимизации технического оснащения служб скорой медицинской помощи'

Метод оптимизации технического оснащения служб скорой медицинской помощи Текст научной статьи по специальности «Математика»

CC BY
96
25
i Надоели баннеры? Вы всегда можете отключить рекламу.
Журнал
Биотехносфера
ВАК
Область наук
Ключевые слова
МОДИФИКАЦИЯ МЕТОДА СААТИ / КЛАСТЕРНЫЙ АНАЛИЗ / КОАЛИЦИЯ / ПОКАЗАТЕЛЬ УСТОЙЧИВОСТИ / КОМПЛЕКСИРОВАНИЕ МАТРИЦ / КОМПЕТЕНТНОСТЬ ЭКСПЕРТОВ

Аннотация научной статьи по математике, автор научной работы — Пахарьков Геннадий Николаевич, Хаймур Мохаммед Хашем Мунджед

Рассмотрена методология оптимизации выбора медицинских изделий для учреждений здравоохранения (на примере выбора электрокардиографа для специализированной бригады скорой медицинской помощи), в основу которой впервые предлагается модифицированный метод анализа иерархий.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по математике , автор научной работы — Пахарьков Геннадий Николаевич, Хаймур Мохаммед Хашем Мунджед

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

The metod to optimization of the technical equipping of the services fast medical help

The considered method to optimization of the choice medical product for institutions of the public health (on example of the choice of the electrocardiograph for specific crews fast medical help), in base which is offered new modified a method of the analysis hierarchy. The method provides: a) комплексирование matrixes of the opinions revealed coalition expert (with provision for different their competences on each of compared criterion) and b) study to sensitivity of the decision of the problem to optimization (with use the package EXPERT CHOICE) that increases the possibility of management at the option of the best alternative from available on the market of the concrete types medical product.

Текст научной работы на тему «Метод оптимизации технического оснащения служб скорой медицинской помощи»

УДК 65.018+615.478

Г. Н. Пахарьков, канд. техн. наук М. Х. Хаймур, аспирант

Санкт-Петербургский государственный электротехнический университет «ЛЭТИ»

Метод оптимизации технического оснащения служб скорой медицинской помоши

Ключевые слова: модификация метода Саати, кластерный анализ, коалиция, показатель устойчивости, комплексирова-ние матриц, компетентность экспертов

Рассмотрена методология оптимизации выбора медицинских изделий для учреждений здравоохранения (на примере выбора электрокардиографа для специализированной бригады скорой медицинской помощи), в основу которой впервые предлагается модифицированный метод анализа иерархий.

Введение

Одним из приоритетных направлений развития национального здравоохранения является дальнейшее развитие службы скорой медицинской помощи (СМП).

В концепции модернизации системы здравоохранения Санкт-Петербурга на 2004-10 годы отмечается, что «особое внимание должно быть уделено медико-техническому оснащению (МТО) службы СМП (.. .введению единых стандартов базового оснащения бригад СМП.)» [1].

Однако до сего времени в национальной системе здравоохранения отсутствует методика оптимизации МТО лечебных учреждений, в том числе СМП.

В данной работе приводится методика оптимального выбора электрокардиографов для службы СМП, целью которой является обоснование типового табеля оснащения специализированной выездной бригады СМП.

Методика основана на впервые предложенном авторами новом модифицированном методе Саати.

Метод Саати — для оптимизации МТО СМП (на примере выбора электрокардиографа)

Задача оптимизации МТО СМП обладает рядом особенностей. Во-первых, информация об эффективности применения того или иного вида медицинского изделия (МИ) может быть получена только с помощью экспертов, в роли которых должны выступать различные специалисты, использующие данные МИ в своей практике. Их оценки носят преимущественно качественный, а не количественный характер. Во-вторых, сложные МИ характеризуются большим числом показателей (техни-

ческих параметров и эксплуатационных характеристик), влияющих на качество оказания медицинской помощи в различной степени, что приводит к необходимости ранжирования этих показателей. В-третьих, решение о качестве МИ принимает человек, который в своих суждениях идет от анализа отдельных аспектов объекта к общей интегральной оценке. Соответственно и в информационных технологиях, помогающих принять решение, должна быть использована такая же методика, чтобы человек мог участвовать в получении оценки качества на разных уровнях.

Одним из наиболее часто используемых методов в многокритериальных задачах является метод анализа иерархий (метод Саати) [2].

Метод состоит в декомпозиции проблемы на более простые составляющие и дальнейшей обработке последовательности суждений лица, принимающего решение, с помощью матриц парных сравнений.

На рис. 1 приведена многоуровневая модель выбора электрокардиографа для бригады СМП, где критериями 1-го уровня (согласно концепции ВОЗ, адаптированной к техническому качеству медицинской помощи) являются: адекватность, научно-технический уровень, эффективность и экономичность применения электрокардиографа [3, 4].

Подуровней критериев может быть сколько угодно. Так, критерий 1-го уровня «адекватность» раскрывается уровнем 2: а) количество каналов; б) нижняя частота пропускания; в) тип фильтра и др. Тип фильтра можно далее раскрыть уровнем 3: а) фильтр мышечного тремора; б) сетевой фильтр и др.

Альтернативами являются несколько десятков электрокардиографов, представленных на рынке МИ: A1 — «Аль-тон-03» (фирма Альтоника), A2 — «Cardiovit AT1» (фирма «Schiller»), A3 — ar1200 view (фирма «Cardioline»), A4 — FX-3010 (фирма «Fukuda Denshi» ), A5 — «Daedalus network» (фирма «Cardiette»), A6 — ЭКЗТ-12-01 (фирма «Геолинк»), A7 — P80 (фирма «Esaote»), A8 — «Heart screen 80G-L» (фирма «Innomed Medical»), Ag — «Dixion» (фирма «Dixion ECG»), A10 — ECG-300G (фирма «Biocare ECG») и др.

В экспертном опросе принимали участие 24 эксперта, в числе которых были врачи из служб СМП, инженеры из фирм-производителей МИ, специалисты предпри-

ятий по техническому обслуживанию, а также дилеры, работающие на рынке МИ.

После оценивания экспертами важности критериев 2-го уровня (по результатам двухтурового экспертного опроса по методу Дельфи) был рассчитан общий для всех экспертов коэффициент конкордации (согласованности мнений экспертов) И, являющийся функцией от т (количества экспертов) и п (количества показателей) [5, 6].

Полученное значение (И = 0,62) свидетельствует о плохой согласованности мнений экспертов — поэтому для выявления групп экспертов, чьи мнения согласованы, был проведен кластерный анализ в пакете «Statistica».

Построенная дендрограмма (рис. 2) позволяет сделать вывод о том, что все эксперты распадаются на три коалиции: 1-я коалиция — 8 инженеров: 13, 15, 14, 19, 20, 18, 16, 17 (Иинж = 0,85); 2-я коалиция — 12 врачей: 1, 2, 4, 10, 12, 6, 7, 8, 3, 5, 9, 11 (Иврач = 0,77) и 3-я коалиция — 4 дилера: 21, 22, 23, 24 (И/дил = 0,24).

В результате были исключены мнения дилеров, после чего остались две первые коалиции.

Необходимо отметить, что при определении весовых коэффициентов (важности критериев) наибольший ин-

терес представляют показатели, определяющие точность полученных результатов.

В свою очередь, точность результатов зависит не только от отдельных экспертов и группы экспертов в целом, но и от показателя устойчивости при изменении мнений экспертов на противоположные и показателя чувствительности к вариациям мнений экспертов.

Показатель чувствительности к изменениям согласованности мнений экспертов

пА

э дИ'

(1)

где — вес критерия; И — коэффициент конкордации.

Поскольку получить явное выражение от И достаточно трудно, то удобнее воспользоваться параметрическим заданием этих функций, т. е.

gj = Г(6„); И = и Щ где — критерий (объект экспертизы).

Тогда производная метр в ^

дИ

выразится через пара-

Рис. 1 Многоуровневая модель выбора электрокардиографа

Медико-технический менеджмент и образование

Рис. 2\ Дендрограмма различных мнений

= <Щ1 = П£1 ВМ Эи(С9) «'(С,/

(2)

5 = Х Xв«-1 ЕЕО,

у=1 /=1 у=1/=1

(3)

Изменение М от изменения мнений экспертов, очевидно, будет определяться как

( л^с а

(4)

ЭМ

12Б

т2(п3 - п)

Подставив выражение (3) в формулу (4), получим:

( / \2 А

п т п т

12Е Xе«-1XXС«

1 =1 /=1 1 =1/=1

дМ = д

дСу дСу

12 д

т2(п3 - п) дС/«

т2(п3 - п)

( т . п т А2

X Xс«--пXXО

1=1 ^/=1

1=1 /=1

(5)

Введем следующие обозначения:

Рассмотрим, как меняется согласованность мнений экспертов от вариации их мнений по «-му объекту экспертизы в«.

Допустим, что пи т остаются неизменными, и выразим параметр Б через в«, где сумма рангов каждого объекта экспертизы запишется следующим образом:

т

X в«.

/=1

А средний арифметический ранг есть не что иное, как: где

п т

пX XX в«.

1 =1 /=1

Тогда сумма квадратов отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга примет вид

\2

п т

1

III ,11111 ¡и

р«=XG -пXXе«, ъ=X4

/=1

1=1 /=1

/=1

Тогда выражение (5) можно записать следующим образом:

дМ

12 д«^

дв« т2(п3 - п) др« ВО//

(6)

Эр« Эр«

X р2

1=1

VJ у

-рр + р22 + р3 +... + рп2) = 2р«; (7)

Вр1 = _э_

ЩI эе«

(

/=1

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

п т А

X X

1=1 /=1

X о«- п X X О«

_ т -ч(. п т А

= Э у*о Э ^ лт>О

дО- ^1 « ВО- п^ ^ « /=1 «=1 /=1

(8)

т

=ш{вИ + С21 + е3« +... + О +... + ет« ) = 1 (9)

дв « Л

«/=1

за,

п X X °

1=1 /=1

А 1 э (п т

п В в«

XX е«

«=1 /=1

1 эОЪ(О11 + О21 + О31 + ... + О/1 + ... + вт1 + ... +

+ О1п + О2п + в3п + ... + О/п +... + впт

= 1. п

(10)

Подставив выражения (9) и (10) в формулу (8), окончательно получим

др1 = 1 -1 = т -1

Вв„

т т

(11)

Медико-технический менеджмент и образование

дИ

Зj•

Подставив выражения (7) и (10) в формулу (6), получим

( т п т ^

12

т2(п3 - п)

п

24(п- 1)

п2(п3 - п)

п т

I в -1 ЕЕ й

j=1 j=11=1

24

т2п2(п +1)

( т п т ^

IV11 Ей

I=1 j=11=1

(12)

Из последней формулы видно, что при изменении мнений одного эксперта, т. е. при приращении вц, коэффициент конкордации меняется на сумму отклонений суммы рангов каждого объекта экспертизы от среднего арифметического ранга, умноженного на коэффициент к=

24

т2п2(п +1)

При постоянных значениях т и п показатель чувствительности к приращениям согласованности мнений экспертов является функцией от Б.

В нашем случае рассчитанные показатели чувствительности к приращениям мнений экспертов подтверждают правильность полученных результатов.

Для выработки единого мнения необходимо учитывать компетентность коалиций экспертов.

Известная модификация метода Саати учитывает только обобщенные (единые) компетентности экспертов, но не учитывает различные компетентности экспертов по каждому из критериев, что существенно уменьшает эффективность решения задачи [7].

Предлагается дальнейшая модификация метода Саати, которая заключается в комплексировании матриц мнений двух коалиций экспертов, с учетом различной компетентности экспертов по каждому из критериев.

Модифицированный метод Саати, основанный на комплексировании матриц мнений двух коалиций экспертов

Обобщенная схема алгоритма модифицированного метода Саати (с комплексированием матриц мнений коалиций экспертов) представлена на рис. 3. Нами сформулированы условия непротиворечивости мнений коалиций, невыполнение которых может привести к несогласованности полученной обобщенной матрицы, отражающей совокупное мнение коалиций.

Рис. 3

Обобщенная схема алгоритма модифицированного метода Саати (с комплексированием матриц мнений коалиций экспертов)

Процедура комплексирования (слияния) мнений групп экспертов (врачей и инженеров) при оценке важности показателей 2-го уровня и принятие оптимального решения

1. Условные обозначения. А — матрица сравнительной важности показателей, полученная от коалиции экспертов — врачей (6 х 6);

а — вектор размерности 6, отражающий соответствующие компетентности коалиции экспертов — врачей;

В — матрица сравнительной важности показателей, полученная от коалиции экспертов — инженеров (6 х 6);

в —вектор размерности 6, отражающий соответствующие компетентности коалиции экспертов — инженеров;

М — матрица, полученная в результате слияния мнений двух коалиций.

Формула для вычислений:

2. Учет условия некомплексируемости (противоположности мнений экспертов). У нас имеются две матрицы А и В, каждая из которых отражает мнение некоторой коалиции и имеет приемлемое отношение согласованности.

Введем в рассмотрение матрицу С следующим образом:

с.. = — 1 "

/,1 = 1, 2, ..., п.

Свойства матрицы С:

С

1 3 5/3 3 5 6

1/3 1 1 2 1,5 3

3/5 1 1 2 7/3 5/2

1/3 1/2 1/2 1 7/5 1

1/5 2/3 3/7 5/7 1 1

1/6 1/3 2/5 1 1 1

(14)

М = (а аа >Ь/'Р1)аа 1+р'р 1;

(13)

ИС, ОС — индекс и отношение согласованности; КККВ — коэффициенты компетентности коалиции врачей;

КККИ — коэффициенты компетентности коалиции инженеров.

Первая коалиция (врачи) — матрица А

К1 К2 К3 К4 К5 К6 КККВ, а

К1 1 1 1/3 1 5 3 0,75

К2 1 1 1/3 1 3 3 0,8

К3 3 3 1 2 7 5 0,9

К4 1 1 1/2 1 7 3 0,3

К5 1/5 1/3 1/7 1/7 1 1/3 0,2

К6 1/3 1/3 1/5 1/3 3 1 0,1

ИС = 0,031, ОС = 0,025

Вторая коалиция (инженеры) — матрица В

К1 К2 К3 К4 К5 К6 КККИ, Р

К1 1 1/3 1/5 1/3 1 1/2 0,1

К2 3 1 1/3 1/2 2 1 0,3

К3 5 3 1 1 3 2 0,2

К4 3 2 1 1 5 3 0,9

К5 1 1/2 1/3 1/5 1 1/3 0,75

К6 2 1 1/2 1/3 3 1 0,7

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

ИС = 0,028, ОС = 0,023

1) матрица С является обратносимметричной;

2) если существует хотя бы один элемент с^, для которого выполняется соотношение с¡. > 9 или, что то же самое, с..< 1/9, то коалиции являются противоборствующими и корректное усреднение их мнений не представляется возможным.

Проверим условия корректности слияния матриц в соответствии с формулой (14). В соответствии с условиями (14) матрицы А и В можно корректно скомплекси-ровать.

3. Составление расчетной таблицы на основе формулы (13). Элемент М ¡.— соответствующий элемент матрицы М (комплексированной матрицы), отражающей комплексное представление обеих коалиций относительно сравнительной важности элементов.

/ 1 а, х 01 аа а 1 Р, х ^ 1 аа . вв1 а/1 "¡1 1 а а + Р,Р1 М

1 2 0,6 1 0,03 0,97 0,9676 1,587 0,95

1 3 0,675 0,47 0,02 0,9683 0,46 1,43885 0,325

1 4 0,225 1 0,09 0,9058 0,9058 3,175 0,729

1 5 0,15 1,27 0,075 1 1,273 4,444 2,294

4. Определение комплексированной матрицы М и рангов критериев 2-го уровня. Результат оценки сравнения важности критериев, полученный по комплексированной матрице:

К3 > К4 > К2

К > К6 > К5.

Для проверки правильности результата, полученного по комплексированной матрице, использовались три подхода.

1. Сравнение на качественном уровне, когда сравнивались попарно одноименные элементы матриц А и М, а также одноименные элементы матриц В и М. Было показано, что элементы достаточно близки друг к другу.

1

K1 K2 K3 K4 K5 K6 Вес w;

K1 1 0,95 0,325 0,729 2,924 1,263 0,136

K2 1,05 1 0,330 0,693 2,3667 1,346 0,134

K3 3,07 3,03 1 1,516 4,763 2,863 0,339

K4 1,372 1,443 0,66 1 5,139 3 0,233

K5 0,342 0,422 0,21 0,195 1 0,330 0,05

K6 0,792 0,743 0,35 0,333 3,003 1 0,109

Продолжение табл.

2. Сравнение на количественном уровне, когда по критериям К1, К2, К3 принималось во внимание только мнение 1-й коалиции, а по критериям К4, К5, К6 — только мнение 2-й коалиции. Таким образом, древовидная структура критериев имеет следующий вид:

НТУ

Медицинский показатель 0,59

Технический показатель 0,41

К. = 0,118

К3 = 0,354

К5 = 0,045

Результат 2-го подхода:

К3 > К4 > К2 = К1 > Кб Ж5.

3. Сравнение на количественном уровне, при этом иерархическая структура критериев имеет следующий вид:

К1 = 0,126 К2 = 0,149 К3 = 0,3452 К4 = 0,2334 К5 = 0,482 К6 = 0,98

Результат 3-го подхода:

К3 > К4 > К2 > К1 > Кб Ж5.

Таким образом, результаты 2-го и 3-го подходов совпадают с результатами, полученными на основе комп-лексирования матриц коалиций экспертов с учетом их компетентности, что подтверждает работоспособность предлагаемого метода.

5. Выбор прибора из представленных альтернатив.

Критерии Приборы

А1 А2 A3 A4 А5 А6 An

K1 3 3 6 6 3 3

K2 0,01 0 0,05 0,005 0,01 0,05

K3.1 Да (1) Нет (0) Нет (0) Нет (0) Нет (0) Нет (1)

K3.2 Да (1) Да (1) Да (1) Да (1) Да (1) Да (1)

K3.3 Да (1) Нет (0) Нет (0) Нет (0) Нет (0) Нет (0)

K3.4 Нет (0) Да (1) Да (1) Да (1) Да (1) Да (0)

Критерий Приборы

A1 A2 A3 A4 А5 А6 An

K3.5 1,6Kr 3 3 4 5,2 2

K3.6 Да (1) Нет (0) Нет (0) Нет (0) Нет (0) Нет (0)

K3.7 Да (1) Нет (0) Нет (0) Нет (0) Нет (0) Нет (0)

K4.1 100 300 200 200 50 40

K4.2 3 7 5 5 4 3,5

K4.3 NiCd NiCd NiCd NiCd NiCd NiCd

K5.1 Да (1) Да (1) Да (1) Да (1) Да (1) Да (1)

K5.2 Да (1) Да (1) Да (1) Да (1) Да (1) Да (1)

K5.3 Да (1) Да (1) Да (1) Да (1) Да (1) Да (1)

K6 80 80 70 70 70 60

Синтез полученных коэффициентов важности осуществляется по формуле

п

V- = 1 ... (аддитивная свертка),

/=1

где V, — обобщенный показатель качества¡-й альтерна-

тивы; — вес /-го критерия; Vj

важность ¡-й альтернативы по /-му критерию, переведенная в шкалу [0 , 1]. Результаты расчета приведены в следующей таблице.

Электрокардиографы

Пока- <Алыон-03» «Cardiovit «ar1200 view» («Cardioline») FX-3010 «Daeda ЭКЗТ-12-01 («Геолинк»)

зате- («Альто- AT1» («Fukuda lus

ль ника») («Schiller») Denshi») network»

V 0,781 0,685 0,511 0,579 0,472 0,468

В нашем случае лучшим вариантом является трех-канальный электрокардиограф «Альтон-03» фирмы «Аль-тоника» (Россия).

Исследование чувствительности принятия решения о выборе наилучшего прибора

Исследование проведено с тем, чтобы показать, насколько хорошо альтернативы выбраны по отношению к изменению каждого критерия и насколько альтернативы чувствительны к изменениям весов каждого критерия. Только достаточно нечувствительное решение может быть рекомендовано для реализации.

Анализ чувствительности выполнен с использованием пакета «Expert choice» для шести лучших альтернатив, полученных в результате решения задачи методом Саати. Для исследования создана модель альтернатив (рис. 4), которая показывает начальную оценку альтернатив как по всем критериям 2-го уровня, так и по каждому критерию в отдельности. Из диаграммы видно, что альтернатива «Альтон-03» является лучшей относитель-

К2 = 0,118

к6 = 0,11

К4 = 0,263

Рис. 4 Модель альтернатив задачи

а)

б)

Рис. 51 Анализ чувствительности по критерию «К1»

но всех критериев. Углубленное исследование чувствительности решения выполнено путем оценки отдельных альтернатив по отношению к каждому критерию. Меняя веса каждого отдельного критерия, определяем грани-

цы чувствительности решения задачи. Веса критериев увеличивали и уменьшали в границах, пока лучшая альтернатива не теряла своего приоритета. Результаты приведены на соответствующих градиентных диаграммах.

Рис. 61 Сравнительный анализ двух близких альтернатив

Экспериментальные исследования выполнены для критериев второго уровня: «К1», «К2», «К3», «К4», «К5», «К6». В качестве примера на рис. 5 и 6 показан результат исследований эксперимента — анализ чувствительности решения по критерию 2-гоуровня «К1».

На рис. 5, а показано увеличение веса критерия «К1» от 13,6 до 79,7 % — лучший прибор «Альтон-03», на рис. 5, б показано уменьшение веса критерия «К1» от 13,6 до 0 % — лучший прибор «Альтон-03».

При исследовании чувствительности решения может быть получен очень малый интервал между оценками двух лучших альтернатив и пользователю будет затруднительно принять решение. В нашем случае разница между альтернативами «Альтон-03» и «Cardiovit AT1» равна 2,7 %. В этом случае целесообразно дополнительно провести так называемый «head-to-head» — анализ двух близких альтернатив по всем критериям, чтобы наглядно увидеть различия между ними (рис. 6).

Результаты экспериментов исследований чувствительности показали, что решение задачи достаточно нечувствительно к изменению весов критериев.

Заключение

Рассмотрена методология оптимального выбора медицинских изделий для учреждений здравоохранения (на примере выбора электрокардиографа для специа-

лизированной бригады скорой медицинской помощи), в основу которой впервые предлагается новый модифицированный метод анализа иерархий, предусматривающий комплексирование матриц мнений выявленных коалиций экспертов (с учетом различной их компетентности по каждому из сравниваемых критериев).

В работе раскрыто понятие только одного из критериев 1-го уровня многоуровневой модели выбора электрокардиографа — «адекватность», в то время как для принятия оптимального решения необходимо в соответствии с предложенным методом (по аналогии) проанализировать и другие критерии этого уровня: «научно-технический уровень», «эффективность использования» и «экономичность применения» электрокардиографа.

Предложена методика исследования чувствительности решения задачи оптимизации (с использованием пакета «Expert choice» для лучших альтернатив, полученных в результате решения задачи методом Саати), что расширяет возможности менеджмента по выбору лучшей альтернативы из имеющихся на рынке конкретных типов МИ.

|Л и т е р а т у р а I

1. Концепция модернизации системы здравоохранения Санкт-Петербурга на 2004-2010 годы (Постановление Правительства Санкт-Петербурга от 7. 12. 2004 г. № 1917).

2. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993.

3. Пахарьков Г. Н. Проблемы оптимизации медико-технического оснащения отечественного здравоохранения// Информац.-управляющие системы. 2006, № 1. С. 39-47.

4. Пахарьков Г. Н., Хаймур М. Х. К вопросу об оценке качества технического оснащения рабочего места кардиолога в ЛПУ//Материалы Междунар. науч.-практ. конф. «Кардиостим-2006», Санкт-Петербург, 9-11 февр. 2006 г.

5. Хаймур М. Х. К вопросу о табелях технического оснащения кардиологического кабинета//Изв. СПбГЭТу «ЛЭТИ», сер. «Биотехн. системы в медицине и экологии». 2006, № 2. С. 120-124.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

6. Хаймур М. Х. О специфике проведения экспертного опроса при принятии решения о техническом оснащении кардиологического кабинета в ЛПУ//Сб. тр. 63-й науч.-техн. конф. НТО РЭС им. А. С. Попова. СПб., 2008. С. 67-70.

7. Падерно П. И. Комплексирование мнений экспертов при экспертной оценке с применением метода анализа иерархий. Человеческий фактор. ЧФ: Проблемы психологии и эргономики. 2005, № 3/1, Тверь. С. 60-61.

i Надоели баннеры? Вы всегда можете отключить рекламу.