CC BY
13
мер состояния параметров работоспособности оператора, устанавливается степень ее снижения.
При отсутствии выраженных признаков снижения работоспособности осуществляется ее прогноз у оператора на ближайший период. Реализуются приемы оперативной коррекции ФС оператора. Принимаются меры по оказанию медицинской помощи и при необходимости производятся медицинская эвакуация и замена оператора.
При наличии достоверных признаков снижения работоспособности и дезорганизации поведения оператора ему в экстренном порядке должна быть оказана первая врачебная помощь, а при необходимости больного госпитализируют.
Информация документируется в установленном порядке. Информация о коррекции и реабилитации должна содержать данные о результатах оперативного контроля ФС, перечне и порядке назначения методов коррекции и реабилитации, заполняться в виде специальных карт, храниться в компьютерных базах данных и медицинских книжках (амбулаторных картах) операторов.
1Л и т е р а т у р а I
1. Львов В. М. Основы медицинской эргономики. Работоспособность и профессиональное здоровье операторов эргатических систем: учеб. пособие/Г. С. Г у т я нс к и й, Н. В. П а х о м о в. Тверь: Триада, 2005. 111 с.
УДК 519.81: 615.47
Е. А. Бурков, аспирант, П. И. Падерно, д-р техн. наук, Г. Н. Пахарьков, канд. техн. наук,
Санкт-Петербургский государственный электротехнический университет «ЛЭТИ»
Экспертиза: системные проблемы и пути их решения при выборе медицинской аппаратуры
Ключевые слова: агрегирование мнений, критерий согласованности, подбор экспертов, экспертиза
В статье рассмотрены основные системные проблемы, возникающие при осуществлении выбора медицинской аппаратуры с привлечением методологии экспертного оценивания, и предложены возможные пути их решения.
Введение
Одной из важнейших проблем, возникающих при проведении эргономической экспертизы, различных тендеров и конкурсов является получение обоснованного решения на базе экспертных оценок, которое должно всесторонне учитывать как состав экспертов и их квалификацию, так и согласованность их мнений. Зачастую для получения таких оценок необходимо разбиение экспертной группы на коалиции в соответствии с различными аспектами использования конкретного объекта.
Экспертизы по целям их проведения можно разделить на два типа: экспертиза соответствия объекта предъявляемым требованиям и определение наи-
лучшего объекта. В большинстве случаев в наиболее ответственных экспертизах преобладают экспертные оценки.
Экспертов целесообразно использовать:
• для построения структуры (иерархии) частных показателей качества;
• оценки весомости (степени влияния) частных показателей на общий показатель;
• оценки степени соответствия отдельных свойств объектов (проектов, технологий, систем и изделий медицинской техники) некоторой совокупности слабоформализованных требований.
При этом следует постоянно помнить, что для решения вышеперечисленных задач необходимо привлекать различных экспертов, т. е. использовать экспертов постоянно на каждом этапе экспертизы.
Системными проблемами наиболее часто являются как определение компетентности (значимости) экспертов, так и корректное агрегирование их мнений. Как правило, системные проблемы возникают при подготовке экспертизы, т. е. в процессе выполнения следующих обязательных работ, предваряющих проведение экспертизы:
• разработка программы и методики экспертизы;
• формирование экспертной группы;
• разработка метода агрегирования экспертных мнений с учетом их согласованности.
1. Разработка программы и методики экспертизы
Подготовку и проведение экспертизы осуществляет экспертная комиссия, состоящая из рабочей группы, которая обеспечивает работу экспертной комиссии, и группы экспертов (экспертная группа).
Всю деятельность экспертной комиссии можно подразделить на четыре основных этапа: подготовку, проведение, анализ результатов с принятием решения, оценку полученных комплексных показателей.
При организации экспертизы на рабочую группу возложено выполнение следующих функций:
• уточнение объекта и цели экспертизы;
• подготовка программы и методики экспертизы;
• выбор метода проведения экспертизы — аналитического, моделирования или опроса, а также принятие решения о необходимости испытаний;
• уточнение способов и процедуры оценки;
• формирование экспертной группы, т. е. определение количества входящих в нее экспертов и их отбор.
При определении методов и процедур оценки рабочая группа исходит из особенностей объекта, цели, сроков и условий проведения экспертизы, допустимой трудоемкости и областей возможного использования результатов.
Кроме того, на рабочую группу возлагается обязанность создать условия для полного ознакомления экспертов с информацией (исходной и появляющейся в процессе проведения экспертизы) и ее тщательного обдумывания, что обеспечивается для аналитических методов и методов моделирования на ЭВМ четким объяснением экспертам всех особенностей и ограничений используемых моделей, а также обо-
снованностью имеющихся исходных данных и источников их получения, для экспертного опроса — выполнением правил организации опроса экспертов, изложенных в обязательном приложении.
Экспертная группа проводит всесторонний анализ различных аспектов функционирования и свойств объекта по представленным методикам и после обсуждения представляет результаты экспертизы и рекомендации.
Наиболее часто применяемым способом работы с экспертами является опрос. Для его проведения рабочая группа разрабатывает анкету, которая состоит из пояснительной записки и карты опроса.
В пояснительной записке должны быть изложены цель, метод, способ и процедура проведения экспертизы, требования различных групп пользователей, применяемые математические модели, а также другая информация, которая может понадобиться экспертам в процессе проведения экспертизы.
Проблема — отсутствуют методики написания пояснительных записок, так что приходится довольствоваться аналогами.
В карте опроса приведен определенным образом организованный набор вопросов, для которых предусматривается характер ответа.
При необходимости уточнения результатов оценочных операций или представления дополнительной информации рекомендуется проводить опрос экспертов в два тура: 1) индивидуальный метод очного опроса смешанным анкетированием; 2) групповой метод со взаимодействием и с анкетированием.
При проведении второго тура результаты первого тура сводят в таблицу, и эксперты последовательно обсуждают значения всех оценок по каждому из показателей. Эксперты, назначившие минимальные, средние и максимальные оценки, выступают с их обоснованиями. Затем лицо, проводящее опрос, просит нескольких экспертов обосновать свои значения оценок или предлагает выступить желающим. После обсуждения эксперты
Таблица 1 Задачи рабочей и экспертной групп при подготовке и проведении экспертизы
Этап экспертизы Задача Исполнитель
Подготовка Формирование экспертной группы Рабочая группа
Разработка программы экспертизы
Разработка методики экспертизы
Создание экспертной группы Рабочая группа (после утверждения руководителя)
Проведение Обсуждение представленных программ и методик Экспертная группа
Корректировка (в случае необходимости) программы и методики экспертизы Экспертная и рабочая группы
Получение (в соответствии с программой и методикой) значений оцениваемых показателей Рабочая группа (возможно привлечение экспертов)
Экспертиза отдельных показателей (возможен возврат на два пункта назад) Экспертная группа. Организацию обеспечивает рабочая группа
Анализ результатов и принятие решений Получение комплексных показателей (оценок) Рабочая группа
Оценка комплексных показателей Разработка рекомендаций Экспертная группа. Организацию обеспечивает рабочая группа
биотехносфера |№ 2(8)/2010
проставляют значения оценок по данному показателю в карте опроса с учетом информации, полученной при обсуждении.
Таким образом, рабочая и экспертная группы, тесно взаимодействуя, выполняют ряд отдельных и совместных задач (табл. 1).
Проблема — программа и методика должны быть утверждены на высоком административном уровне, где, во-первых, могут отсутствовать специалисты, способные разобраться во всех имеющихся (возникающих) нюансах, а во-вторых, может не быть заинтересованности в объективных результатах экспертизы.
2. Формирование экспертной группы
Формирование экспертной группы заключается в определении структуры экспертной группы, ее профессионального состава, количества экспертов и отборе экспертов. Деление экспертной группы
на подгруппы производится при невозможности проведения всех необходимых оценочных операций всеми экспертами в зависимости от объектов, характера выполняемой экспертами задачи или групп оцениваемых эргономических показателей. Профессиональный состав специалистов, входящих в экспертную группу, должен обеспечить всесторонний анализ всего комплекса решаемых задач.
Численность экспертной группы зависит от трудоемкости опроса, сроков проведения экспертизы, возможности управления экспертной группой и возможностей организации, где создается экспертная группа.
К сожалению, экспертов высокого уровня информированности, имеющих должный практический опыт в различных областях, пока недостаточно.
Проблема — как из специалистов по различным областям знаний или использованию конкретного типа технических средств (технологий) собрать экспертную комиссию широкого профиля, обладающую требуемым уровнем компетентности и минимальным субъективизмом.
Сложность Время и
и широта проблемы средства
Компетентность эксперта по данной проблеме
Эффективность эксперта
Л-
Успешное участие
Образованность:
• ученая степень;
• ученое звание
V
Мотивация участия в эксперименте:
> денежное вознаграждение;
• личное знакомство с экспертом;
> участие авторитетов;
> престиж (известность);
> принуждение
Объективность эксперта:
• личная субъективность;
• лоббирование
Проведенный теоретический анализ:
• публикации по данной теме;
• ссылки по данной теме;
• участие в конференциях, семинарах
Производственный опыт:
• опыт работы в предмет-
ной области;
• стаж работы по специ-
альности;
• умения и навыки
Личные качества:
• психофизические характеристики;
• эрудиция;
• коммуникабельность
Рис. 1\ Факторы, влияющие на состав экспертной группы
Одним из подходов к решению этой проблемы служит всесторонний учет факторов, представленных на рис. 1. Наиболее значимым фактором является эффективность эксперта, учет которой обязателен при формировании экспертной группы.
Это обусловлено тем, что результативность экспертизы полностью зависит от экспертной компетентности членов экспертной группы и успешного выполнения стоящих перед ними задач.
Члены экспертной группы выступают в некотором смысле в роли «измерительных приборов», а также в роли аналитиков. В данном случае под компетентностью эксперта следует понимать не только его компетентность как специалиста в рассматриваемой проблемной области (квалификацию), но и его компетентность именно как эксперта, которая, в частности, включает: заинтересованность эксперта в участии в экспертизе (мотивация); непредвзятость его оценок и суждений (объективность); индивидуальные особенности эксперта, оказывающие влияние на его деятельность (личные качества).
На рис. 2 представлены иерархическая структура всех перечисленных основных показателей компетентности эксперта, а также их основные составляющие.
В табл. 2-6 представлены возможные составляющие и указаны их коэффициенты относительной значимости (веса) для таких основных показателей компетентности эксперта, как квалификация и личные качества.
Оценки мотивации представляются более сложными. В табл. 7 приведены различные факторы мотивации участия экспертов в экспертизе и веса их значений.
Необходимо заметить, что возможно использование не одного, а нескольких факторов для мотивации, например участие авторитетов и денежное вознаграждение. При комплексной оценке результирующая мотивация эксперта может быть рассчитана по формуле:
Мэ = 1 -П(1 -т;),
!
где произведение осуществляется по мотивациям, которые используются в конкретной экспертизе.
Квалификация
Образованность
Теоретический анализ
Производственный опыт
Моральная
Престиж
Личная субъективность Психофизические характеристики
Лоббирование Эрудиция
Коммуникабельность
Рис. 2 Иерархическая структура показателей компетентности эксперта
Таблица Л Теоретический анализ
Фактор (вес фактора) Значение Оценка значения Комплексная оценка
Публикации по данной теме (0,3) Более 80 1,0 0,30
50-80 0,7 0,21
20-50 0,4 0,12
Менее 20 0,2 0,06
Нет 0 0
Ссылки на работы (0,5) Более 30 1,0 0,50
20-30 0,7 0,35
10-20 0,4 0,20
Менее 10 0,2 0,10
Нет 0 0
Контакты, участие в конференциях (0,2) 10-7 1,0 0,20
7-5 0,6 0,12
5-3 0,3 0,06
3-0 0 0
биотехносфера |№ 2(8)/201С
Таблица з\ Образованность
Фактор (вес) Значение Оценка значения
Ученое звание (0,5) Академик 1,0
Член-корреспондент 0,9
Профессор 0,8
Доцент 0,5
Старший научный сотрудник 0,5
Ученая степень (0,5) Доктор наук 1,0
Кандидат наук 0,5
Нет 0
Таблица Л Производственный опыт
Фактор (вес) Значение, лет Оценка значения Комплексная оценка
Опыт работы в предметной области (0,3) Более 10 1,0 0,30
5-10 0,7 0,21
1-5 0,4 0,12
Менее 1 0,2 0,06
Нет 0 0
Стаж работы по специальности (0,5) Более 30 1,0 0,50
20-30 0,7 0,35
10-20 0,4 0,20
5-10 0,2 0,10
Менее 5 0 0
Умения и навыки (0,2) 10-7 1,0 0,20
7-5 0,6 0,12
5-3 0,3 0,06
3-0 0 0
Таблица 5 Эрудиция
Фактор (вес) Оценка фактора (баллы) Оценка значения Комплексная оценка
Разносторонность (0,34) 10-7 1,0 0,33
7-5 0,6 0,20
5-3 0,3 0,10
3-0 0 0
Оригинальность (0,33) 10-7 1,0 0,33
7-5 0,6 0,20
5-3 0,3 0,10
3-0 0 0
Уровень карьеры (0,33) 10-7 1,0 0,33
7-5 0,6 0,20
5-3 0,3 0,10
3-0 0 0
Таблица б| Психофизические характеристики
Фактор (вес) Оценка в баллах Оценка значения Комплексная оценка
10-7 1,0 0,34
Особенности памяти 7-5 0,6 0,20
(0,34) 5-3 0,3 0,10
3-0 0 0
10-7 1,0 0,33
Логические способности 7-5 0,6 0,20
(0,33) 5-3 0,3 0,10
3-0 0 0
10-7 1,0 0,33
Интуиция (0,33) 7-5 0,6 0,20
5-3 0,3 0,10
3-0 0 0
Таблица Л Факторы мотивации экспертов
Мотивация эксперта Вес т.
Личное знакомство 0,9
Участие авторитетов 0,7
Престиж 0,5
Денежное вознаграждение (в зависимости от суммы) 0,3-0,9
Принуждение 0,1
3. Разработка метода агрегирования экспертных мнений
После проведения экспертизы рабочая группа выполняет ряд работ по агрегированию (обобщению) экспертных мнений (оценок) и принятию решения. Агрегирование экспертных оценок может выполняться различными способами. Довольно часто используют примитивные способы агрегирования, базирующиеся на применении среднего арифметического и дающие большой разброс результатов, что негативно сказывается на достоверности полученных комплексных экспертных оценок.
Проблема — агрегирование показателей (оценок) должно производиться с учетом их различной важности (степени влияния на комплексный показатель), а также с учетом различной компетенции экспертов в каждой из конкретных областей.
Одним из наиболее перспективных подходов к решению данной проблемы является подход, обобщающий метод анализа иерархий (МАИ), на основе использования специальных методов матричного анализа, позволяющий не только корректно агрегировать мнения экспертов различного уровня компетентности, но и учитывать при этом различную весомость их мнений по каждому из сравниваемых показателей, объемы групп этих экспертов и возможную несогласованность их мнений.
4. Модификация метода анализа иерархий
В работе [1] была предложена модификация МАИ, позволяющая проводить обработку не конкретных мнений экспертов, представленных в виде матриц парных сравнений, а обработку результирующих матриц, отражающих мнения и компетентность групп экспертов, что значительно упрощает процедуру обработки, особенно когда каждая группа экспертов работает обособленно.
МАИ предполагает, что мнения экспертов представлены в виде матриц парных сравнений элементов иерархии. Обобщенное мнение экспертов формируется путем агрегирования мнений всех экспертов и представляет собой обобщенную матрицу парных сравнений следующего вида1:
к ,-
А = } ^ • (1)
1=1 \ 1=1 где символ ® после знака произведения обозначает адамарово (поэлементное) произведение матриц, а этот же символ в показателе степени обозначает обобщенную адамарову степень;А, = {а,.}; Я, = {а,,},
------I I] I I]
I = 1, И, I = 1, п, ] = 1, п — матрица парных сравнений п элементов иерархии 1-м экспертом и матрица компетентности 1-го эксперта, элемент которой а, — коэффициент компетентности эксперта при сравнении ¿-го элемента иерархии с у-м, причем % = а, и % 6 [0;1].
Перед агрегированием мнений различных экспертов необходимо определить, достаточно ли они согласованы между собой, так как агрегирование мнений экспертов, представления которых сильно противоречат друг другу, привело бы к резкому снижению достоверности результатов экспертизы.
Существующие подходы к анализу противоречивости оценок различных экспертов, которые
1 Для наглядности выражение (1) приведено для двухуров-
невой иерархии с одним элементом на первом и п элементами
на втором уровнях, причем согласно [2] п < 9.
биотехносфера
|№ 2(В)/2010
представляют собой результаты парных сравнений, ориентированы на методы экспертного оценивания, использующие порядковые шкалы. Отсюда следует и недостаток подобных подходов: не учитывается различие кардинальности предпочтений экспертов, т. е. различие мнений экспертов о том, во сколько раз одна альтернатива превосходит другую.
Еще одним недостатком является то, что в существующих подходах не предусмотрена возможность учета компетентности экспертов, т. е. того, что мнения экспертов могут иметь разную относительную значимость. Предлагается следующий критерий противоречивости результатов парных сравнений двух экспертов, применение которого позволяет избежать отмеченных недостатков при анализе противоречивости экспертных мнений:
ки = ^
, «1У
°2У
= Ш1П <
1п,
<21,
<ГЦ + <2и <1Ц + <24
(2)
(3)
где I и у — номера сравниваемых альтернатив; а^ и а2у — результаты сравнения альтернатив (оценки) 1-ми 2-м экспертами соответственно; основание логарифма выбрано равным 9 для того, чтобы выполнялось к. е [0,11; а,.— коэффициент компетентности 1-го эксперта при сравнении ¿-й и у-й
альтернатив, причем а.. = а.. и а. е [0,11; % —
.] ]. .]
весовой коэффициент, задающий значимость имеющегося противоречия между оценками экспертов (чем меньше разрыв в компетентности между экспертами, тем более важным является противоречие между их мнениями).
Предложенный критерий противоречивости экспертных мнений обладает следующими свойствами: 1) к.(а1, а2) = к.(а2, а^; 2) к]=к.; 3) к. е [0; 1]; 4) а1 = а2 : к.(а1, а2) = 0.
Обычно применение МАИ предполагает, что число сравниваемых альтернатив больше одной (но не превышает девяти), поэтому для проведения анализа противоречивости мнений двух экспертов необходимо сформировать матрицу коэффициентов противоречивости:
К!,2 = { Ь]}» *» 1 е [!' п].
(4)
Для каждого у-го столбца этой матрицы необходимо проверить выполнение следующего условия:
к} =--± к < 0,315.
п 11=1
(5)
Если для какого-то значения у данное условие не выполняется, это означает, что по у-й альтернативе противоречивость мнений экспертов превысила допустимое пороговое значение и агрегирование оценок этих двух экспертов недопустимо. Пороговое значение противоречивости, равное 0,315,
было получено в результате исследования возможных значений элементов матрицы коэффициентов противоречивости и их зависимости от результатов парных сравнений альтернатив по шкале отношений Саати двумя экспертами.
5. Проведение экспертизы — обоснование выбора электрокардиографа
В качестве примера рассмотрим экспертизу1 в целях выбора прибора (электрокардиографа) для службы скорой медицинской помощи (СМП), при проведении которой были учтены подходы к решению основных вышеперечисленных системных проблем.
На рис. 3 представлена обобщенная модель процесса оптимального выбора прибора для службы СМП, включающего в себя три основных этапа. Первый этап — проведение экспертного опроса в целях минимизации количества показателей, характеризующих альтернативы выбора, включающего в себя оценку компетентности экспертов, определение согласованности экспертов, определение статистической значимости с использованием критериев Фишера и Пирсона. Второй этап — применение модифицированного метода анализа иерархий. Третий этап — анализ полученного решения и его утверждение.
На рис. 4 представлена многоуровневая модель выбора электрокардиографа, построенная в результате работы экспертной и рабочей групп и представляющая собой иерархию критериев (показателей), которые должны учитываться при осуществлении выбора.
После оценивания важности критериев экспертами был рассчитан общий коэффициент конкор-дации2 для всех экспертов WoQщ, равный 0,62 (слабый). Было установлено, что все эксперты распадаются на три коалиции:
• 1-я коалиция — это 8 инженеров, ^инж = 0,85;
• 2-я коалиция — это 12 врачей, ^врач = 0,77;
• 3-я коалиция — это 4 продавца, ^прод = 0,24.
В результате были исключены мнения продавцов, после чего остались коалиции врачей и инженеров (две группы экспертов).
При получении единого мнения всех экспертов необходимо учитывать компетентность коалиций экспертов. На рис. 5 представлен алгоритм выработки единого мнения экспертов на основе модифицированного МАИ. Полученный вектор приоритетов сравниваемых N альтернатив (приборов) позволяет осуществить обоснованный и рациональный выбор лучшей из них.
1 Более подробно данная экспертиза и ее результаты рассмотрены в работе [3].
2 Процедура вычисления коэффициента конкордации и его смысл приведены в работе [4].
и ц
а
а Е
и ф
и
Определение компетентности коалиции экспертов по каждому критерию
Построение матриц парных сравнений для каждой коалиции
Условие агрегируемости Проверка согласованности *
Агрегирование мнений с учетом компетентности
Окончательное решение о выборе альтернативы
Рис. 3\ Обобщенная модель процесса оптимального выбора электрокардиографа
Цель: выбор электрокардиографа для СМП
Критерии 1-го уровня
Адекватность выбора
Научно-технический уровень
Экономичность использования
Эффективность применения
Рис. 4\ Многоуровневая модель выбора электрокардиографа
биотехносфера
|№ 2(8)/20Ю
Рис. 5\ Обобщенный алгоритм модифицированного МАИ
На основании проведенных исследований был выбран электрокардиограф, наиболее подходящий для оснащения СМП.
Заключение
В статье был рассмотрен ряд важных системных проблем, возникающих при проведении экспертиз в различных областях человеческой деятельности, в частности при решении задачи выбора медицинской аппаратуры. Предложенные подходы к решению данных проблем направлены на повышение эффективности различного рода экспертиз, а также на сведение к минимуму распространенных ошибок, совершаемых при подготовке и
проведении. Показано, как в процессе выбора медицинской техники решается значительная часть описанных проблем.
| Л и т е р а т у р а |
1. Падерно П. И., Попечителей Е. П. Надежность и эргономика биотехнических систем / Под общ. ред. Е. П. Попечителева. СПб.: Изд-во СПбГЭТУ,
2007. 288 с.
2. Саати Т. Принятие решений. Метод анализа иерархий. М.: Радио и связь, 1993. 278 с.
3. Пахарьков Г. Н., Хаймур М. О медико-техническом оснащении службы скорой медицинской помощи/ /Информационно-управляющие системы,
2008. № 5. С. 45-53.
4. Анохин А. Н. Методы экспертных оценок. Обнинск: ИАТЭ, 1996. 148 с.
Как оформить подписку?
• В любом отделении связи по каталогам «Роспечать» (по России) и «Прессинформ» (по Санкт-Петербургу и Ленобласти) — индекс № 45886.
• Через Интернет: по электронному каталогу «Книга-сервис» www.akc.ru — индекс № 29877.
• Через редакцию (с любого номера текущего года), отправив по факсу (812) 312-57-68 или электронной почте [email protected] заполненный запрос счета на подписку.
Стоимость одного номера журнала 550 руб. (в том числе НДС 10 %) с добавлением стоимости доставки (простой бандеролью). К каждому номеру журнала будут приложены накладная и счет-фактура. Журнал выходит 6 раз в год.
Отдельные номера можно заказать с получением наложенным платежом. Информация о журнале — www.polytechnics.ru.
Журнал «Биотехносфера» распространяется только по подписке в России и странах СНГ.
№ 2(B)/201Ö[
биотехносфера
