CC BY
26ванных свидетельствует о необходимости дальнейших исследований качества жизни рабочих, подвергающихся воздействию профессиональных вредностей.
В ы в о д ы. 1. У рабочих машиностроительных заводов в 80 % качество жизни соответствует нормальному, у рабочих виброопасных профессий в 76 %. 2. У рабочих, контактирующих с вибрацией, умеренное снижение качества жизни происходит по шкалам боль (76 баллов), общее здоровье (60,51), жизнеспособность (63,3), социальное функционирование (72). 3. При проведении периодических медицинских осмотров рабочих на машиностроительных заводах им рекомендуется заполнять анкету БГ-36 по качеству жизни, эти данные должны быть использованы при отборе рабочих в группы риска по развитию профзаболеваний, проведению профилактических мероприятий и оценке их эффективности. Рабочие с наиболее низкими показателями качества жизни
подлежат направлению в профцентр для углубленного обследования.
СПИСОК ЛИТЕРАТУРЫ
1. Новик А.А., Ионова Т.И. Руководство по исследованию качества жизни в медицине. М., 2007.
2. Чучалин А.Г., Белевский А.С., Черняк Б.А. и др. // Пульмонология. 2005. № 7. С. 93—102.
3. Шевченко ЮЛ. // Руководство по исследованию качества жизни в медицине. (А.А. Новик, Т.И. Ионова).
М., 2007. С. 14—16.
4. Al-Otaibi S, Tarlo SM. // Occup. Med. (London), 2005,. 55 (2). P. 88—92.
5. Coutu M.F., Durand M.Y, Laisel P. et al. // Y. Occup. Rehabil. 2005. 15 (3). P. 295—312.
6. Edimansyah B.A., Rusli B.N., Naing L. et al. // Jnd. Health. 2007, 43 (30). P. 437—438.
7. Elliehausen H.J., Fritzsche A., Konerding J. et al. // Lyesundheitswesen. 2004. 66 (8—9). P. 545—552.
8. Yamazaki S., Fukuhara S., Suzukamoy et al. //
Occup. Med. (London). 2007. 57 (4). P. 262—269.
Поступила 06.03.08
УДК 519.008.4:613.64
В.В. Горбунов
ЭКСПЕРТНАЯ ОЦЕНКА — МЕРЫ ОБЪЕКТИВИЗАЦИИ СУБЪЕКТИВНОГО
МНЕНИЯ
Авиационный научно-технический комплекс им. О.К. Антонова, Киев, Украина
Проблема надежности экспертного оценивания является актуальной для медицины труда, промышленной экологии, эргономики, психологии, спортивного судейства и спецэкспертиз при отсутствии инструментальных методов измерения параметров рабочего состояния, производственных условий, их опасности и т. п. В этой связи разработанный алгоритм математико-статистической обработки субъективных мнений повышает объективность экспертной оценки этих параметров.
Ключевые слова: субъективное мнение, алгоритм математико-статистической обработки, объективность экспертной оценки.
V.V. Gorbunov. Expert evaluation — measures to objectivize subjective opinion. Reliability of expert evaluation remains a topical problem for occupational medicine, industrial ecology, ergonomics, psychology, sport refereeing and special examinations without instrumental assessment of work state, conditions, their jeopardy, etc. In this connection, the algorithm of mathematic and statistic processing of subjective opinions increases objectivity of expert evaluation of such parameters.
Key words: subjective opinion, algorithm of mathematic and statistic processing, objectivity of expert evaluation.
М а т е р и а л ы и м е т о д и к и. Экспертное оценивание широко применяется в различных областях науки и техники, а также в спортивном судействе (в гимнастике, в фигурном катании) и
при проведении конкурсов, тендеров и т. п. в случае отсутствия аппаратурных средств измерения необходимых параметров или только «качественной» их оценки. Окончательное оценочное реше-
ние формируется на основании личного мнения человека — специалиста в определенной области, где он выступает в роли эксперта.
В медицине труда субъективное мнение экспертов (анкетный опрос) используется для оценки профессионального риска [14], условий труда и быта [13], успешности производственной деятельности [15], профессиональной подготовки [21], групповых и индивидуальных реакций организма работников на производственные факторы [12] и т. п. При решении задач промышленной экологии эксперты определяют источники экологической опасности; необходимый факторный набор показателей, требующих постоянного наблюдения; наиболее информативные показатели здоровья работающего населения и окружающей производственной среды; временные периоды осреднения наблюдений и т. п. [18, 22, 23]. Однако, как правило, при этом различия между объектами экспертного оценивания неизвестны или неявны, что затрудняет их использование для тестирования новых методик.
В эргономике, где научные результаты медицины труда и промышленной экологии используются для обеспечения безопасной, качественной и надежной работы человека-оператора, легче найти «тестовые» условия для проверки новых методических подходов, используя исследуемые экстремальные ситуации.
Эргономическая экспертиза является одним из основных экспериментальных приемов, с помощью которого оценивают операторскую деятельность с позиций человеческого фактора [7 —10]. При этом, независимо от научного направления (или эргономика, или медицина труда, или промышленная экология), в любом случае только от человека-эксперта зависит достоверность субъективных «измерений». В этой связи математико-статистическая обработка экспертных оценок является важным звеном в аналитической проверке этой достоверности.
Обычно под «экспертизой» понимают последовательность алгоритмических и математико-статистических процедур, направленных на получение от специалистов-экспертов субъективной информации для подготовки и выбора рационального решения [4]. Этот метод «измерения» наиболее часто применяют в ситуациях, когда качество объекта или отдельных его свойств (непараметрических) не может быть измерено с помощью известных измерительных приборов. Однако существует ряд факторов (предвзятость, заангажированность, индивидуальные особенности анализаторов и т.п.), которые обусловливают неоднозначность мнений экспертов
[1, 17]. В этих условиях повысить объективность экспертного метода, вне зависимости от области исследования, можно путем математико-статистической обработки субъективных данных для получения количественных критериев их достоверности. Такой подход будет успешен лишь при рассмотрении метода экспертного оценивания, как специфической процедуры измерения, в которой «человек-эксперт» выступает в роли своеобразного «очеловеченного» измерительного инструмента. В рамках этой концепции «человека-измерителя» корректность самой субъективной оценки и правильность «замеров» обеспечивается только при условии соблюдения всех требований измерительной техники, как к самому измерителю, так и к процедуре измерения [25]. Спроецированные на человека-эксперта они включают в себя его способности адекватно воспринимать физические, психические и т.п. воздействия и правильно оценивать эталонные образцы качества объекта, а также индивидуализацию размерности, диапазона, цены деления субъективной шкалы, понятий и градаций этого качества.
Согласно такому подходу, экспертное оценивание должно начинаться с контроля способности «человека-измерителя» адекватно воспринимать, с помощью соответствующих анализаторов, оцениваемое свойство во всем диапазоне его изменения. Если накануне экспертизы соответствующая проверка не была выполнена, то «измерение» качества конкретного свойства вообще может не состояться из-за «неработоспособности» соответствующей анализаторной системы или ненормального ее функционирования.
Для осуществления экспертизы, в первую очередь, необходимо подобрать группу экспертов с определенными свойствами задействованных анализаторов и профессиональными, личностными особенностями. Затем убедиться, что претенденты на «звание» эксперта правильно оценивают исследуемое качество, как минимум, в трех «тестовых» понятийных точках: «хорошее», «удовлетворительное» и «плохое». В результате при экспертизе все эксперты измерят качество исследуемого объекта однотипно, а полученные экспериментальные данные будут однозначными и сопоставимыми.
Групповая экспертиза предусматривает участие в субъективной оценке нескольких специалистов в соответствующей области. Их численность, в значительной мере, определяет достоверность результатов экспертизы. Если не предполагается статистическая обработка
экспериментальных данных, то достаточно привлечь только 29 экспертов для одноразовой, субъективной оценки качества объекта [27]. В противном случае целесообразно сократить численность экспертов за счет специальных математических приемов [4, 6, 20].
В связи с тем что каждый эксперт, как правило, «измеряет» качество объекта, на основании своих ощущений, с помощью баллов (по шкале «порядка» [24, 26]), то всесторонняя обработка экспертных оценок должна использовать специальные методические приемы для анализа непараметрических параметров. Математико-статистические критерии в этом случае будут характеризовать количественную меру качества отдельных признаков и объекта в целом, а также различную степень вариативности и согласованности мнений экспертов [2, 4, 11].
Поскольку в процессе экспертного оценивания человек-эксперт выступает в роли своеобразного измерительного устройства, то необходимо учитывать его разрешающую способность, зависящую от чувствительности задействованных анализаторов и количества градаций его субъективных суждений [28]. В настоящее время широко используют двух—десятибалльные шкалы без какого-либо обоснования выбранного диапазона возможных оценок [3]. Однако известно, что связь между величиной воздействующего внешнего раздражителя и интенсивностью ощущения описывается логарифмической или степенной зависимостями [16, 19]. В обоих случаях существуют участки, где человек способен различать слабые изменения действующего раздражителя и где его чувствительность резко снижается.
Так как мнение эксперта является результатом восприятия и анализа его ощущений, то, по-видимому, субъективные оценки должны подчиняться тем же закономерностям. В этой связи было показано, что разрешающая способность человека-эксперта при оценках «очень хорошего» и «очень плохого» качеств существенно ниже, чем в промежуточной области. Аналитическая зависимость между объективно существующим качеством объекта и субъективной балльной оценкой этого качества определяется с помощью частной (логарифмической) функции желательности. Эта функция изменяется от нуля до единицы и соответствует пяти, наиболее «надежным» словесным понятиям качества: «очень плохому», «плохому», «удовлетворительному», «хорошему» и «очень хорошему» [2].
Оценка качества одного и того же свойства несколькими экспертами может осуществляться с помощью обобщенного ранжирования. На
основе субъективных мнений отдельных экспертов вычисляется интегральный критерий, характеризующий качество оцениваемого свойства с точки зрения всей экспертной группы. Если учитывается компетентность экспертов, то значение обобщенной ранжировки умножается на соответствующий весовой коэффициент. При необходимости вычисляются единичные показатели качества путем соотношения значений экспериментально полученной и эталонной ранжировок [11].
Для определения достоверности результатов экспертизы необходимо учитывать разброс экспертных оценок. С этой целью вычисляют коэффициент вариации непараметрических параметров. Однако тот факт, что расхождение в оценках на один балл имеет такой же вес, что и расхождение в несколько баллов, снижает «чувствительность» этого коэффициента [4].
Более дифференцированную оценку рассогласования мнений экспертов обеспечивает мера вариации ответов по Беккеру. С ее помощью определяют степень согласованности мнений, которая равна единице при полном совпадении и равна нулю при полном расхождении ответов экспертов [4, 5].
Обобщенная оценка качества объекта всегда, в той или иной степени, подвержена влиянию слабо контролируемых факторов неоднозначности мнений экспертов. Чтобы их полностью устранить, обобщенную характеристику целостного объекта необходимо осуществлять аналитическим путем. Для этого вычисляют комплексный показатель качества, основываясь на единичных показателях качества его отдельных признаков. Дополнительно можно определить квалификационный комплексный показатель качества объекта с учетом уровня компетентности группы экспертов и степени важности каждого признака [11]. Используя частные функции желательности составляющих компонент, вычисляют обобщенную функцию качества всего объекта в целом [2].
При групповой экспертизе требуется определить степень согласованности мнений всех экспертов по всем свойствам, обусловливающим качество объекта в целом. Для этого вычисляют дисперсионный коэффициент ковариации. Если все эксперты дали одинаковые оценки, то коэффициент равен единице, а если связи между оценками не существует, то — нулю. Чтобы выявить факт разделения мнений экспертов на две противоположные группы определяют энтропийный коэффициент конкордации. Если такое разделение имеет место, то дисперсион-
ная конкордация равна нулю, а энтропийная стремится к единице. В случае большого числа составляющих признаков необходимо определить значимость коэффициента конкордации по критерию хи-квадрат. Он позволяет с помощью таблиц оценить вероятность совпадений мнений экспертов в экспертной группе [11].
В настоящее время технология обработки первичных данных (баллов) экспертного оценивания не представлена единым алгоритмом, что затрудняет корректный анализ результатов экспертизы. Поэтому обобщили существующие численные методы обработки экспертных оценок, составили вычислительный алгоритм и соответствующую компьютерную программу для расчета специальных математико-статистических критериев непараметрических параметров. Программа обеспечивает ввод, обработку и вывод на печать результатов экспертизы неограниченного числа оцениваемых объектов, каждый из которых характеризуется не более чем 30-ю свойствами. Количество экспертных оценок по каждому свойству — не более 30, что вполне обеспечивает низкую среднюю ошибку при групповой экспертизе. В результате получили ряд математико-статистических показателей. Для экспертизы в целом это: средний уровень компетентности группы экспертов и матрица частот проставленных экспертных оценок. Для каждого признака — коэффициент вариации качественного признака, меру согласованности мнений, меру вариации оценок по Беккеру, обобщенную ранжировку, единичный и квалификационный единичный показатель качества, среднее значение балльной оценки, частную функцию желательности, степень пригодности признака. А для каждого объекта — дисперсионную конкордацию, критерий хи-квадрат, энтропийную конкордацию, комплексный и квалификационный показатель качества, обобщенную функцию желательности, степень пригодности объекта (по оцениваемому качеству).
Р е з у л ь т а т ы и и х о б с у ж д е-н и е. Чтобы минимизировать отрицательный фактор возможной «необъективности» из-за индивидуализма экспертов был выбран такой «объект», при оценке которого преднамеренная или непреднамеренная субъективная ошибка могла бы привести к опасным последствиям. «Опасность полетной ситуации», по нашему мнению, и являлась именно таким объектом в отличие от тех показателей, которые обычно используются в медицине труда и промышленной экологии. Эксперты, участвующие в экспертизе, по роду своей профессиональной деятельности,
четко представляли всю свою ответственность за результат экспертизы. Поэтому, на наш взгляд, негативное «человеческое» влияние на объективность их оценок было минимальным, что нельзя было гарантировать при использовании других доступных нам объектов экспертного оценивания. В этой связи, пять (согласно статистике малых выборок [20]) высококвалифицированных летчиков-испытателей высказали свое экспертное мнение об уровне безопасности полета при моделировании на тренажере заходов на посадку самолета в трех, заведомо различающихся по летной опасности, полетных ситуациях: без отказа, с отказом одного и двух двигателей (таблица). Априори было известно, что наиболее опасным является заход на посадку с односторонним отказом двух двигателей, а наименее — безотказный полет. С помощью этих «тестовых» ситуаций проверили эффективность разработанного алгоритма математической обработки результатов экспертизы путем сравнения разрешающих способностей показателей, полученных как с помощью специальной, так и при обычной статистической обработке балльных оценок [6].
Проведенный анализ показал, что в целом экспертные оценки отражают уровни «априорной» опасности обследованных «полетных» ситуаций. Однако, согласно функции «желательности», уровень летной опасности между первой и третьей ситуацией отличался в 3,57 раза, между первой и второй — в 1,92, между второй и третьей — в 1,86 раза. В то же время по величине среднего арифметического балльных оценок (обычная статистическая обработка) различия выражены гораздо слабее, соответственно в 1,60, в 1,30 и в 1,26 (см. таблицу). Это свидетельствует о большей «чувствительности» обобщенной функции желательности по сравнению со средним арифметическим значением для количественной характеристики субъективного мнения летчиков об уровне безопасности полета даже при малочисленной экспертной группе.
В сравнительном плане, изменчивость (по коэффициенту вариации) значений уровней безопасности для всех обследованных заходов на посадку в случае обобщенной функции желательности составила 23 %, а для среднего арифметического — только 13 %, что подтверждает большую разрешающую способность первого показателя «качества» по сравнению со вторым.
Для определения согласованности субъективных мнений летчиков-экспертов об уровне летной безопасности применили — меру вариа-
ции экспертных оценок по Беккеру и обычный статистический показатель разброса результатов — среднее квадратическое отклонение. В рамках одной полетной ситуации разброс мнений «однотипных» экспертов значительно меньше в случае специальной статистической обработки балльных оценок по сравнению с обычной (см. таблицу). На этом основании можно считать, что специальные математико-статистические показатели более адекватно по сравнению с обычной статистикой отражают реальную опасность исследованных отказных ситуаций и, следовательно, разработанный алгоритм обработки экспертных оценок является более эффективным.
Таким образом, на наш взгляд, полученные результаты позволяют рекомендовать разработанную технологию экспертного оценивания не только для эргономических исследований в области авиации, но и в медицине труда, промышленной экологии при изучении факторов, свойства которых не могут быть измерены аппаратурными средствами.
В ы в о д ы. 1. Разработанная методика математико-статистической обработки балльных оценок обеспечивает более высокую достоверность результатов экспертизы объектов по сравнению с обычной статистикой. 2. Программная реализация алгоритма специальной математико-статистической обработки результатов экспертизы позволяет стандартизировать и автоматизировать обработку результатов экспертного оценивания объектов, «качество» которых не может быть измерено инструментальными средствами. 3. Методологический подход с позиций концепции «человека-измерителя» к проведению экспертизы может применяться в медицине труда, промышленной экологии, эр-
гономике, в психологии, а также в спортивном судействе и при проведении тендеров, конкурсов и т.п. для повышения достоверности субъективных мнений экспертов.
СПИСОК ЛИТЕРАТУРЫ
1. Адамович И.В. Управляемость машин, М.: Машиностроение, 1977.
2. Адлер Ю.П., Маркова Е.В., Грановский Ю. Планирование эксперимента при поиске оптимальных условий, М.: Наука, 1976.
3. Бешелев СД. Гурвич Ф.Г. Экспертные оценки, М.: Наука, 1973.
4. Бешелев С.Д. Гурвич Ф.Г. Математико-статистические методы экспертных оценок, М.: Статистика, 1974.
5. Валенкин Н.Я. Комбинаторика, М.: Наука,
1969.
6. Глас Дж., Стенли Дж. Статистические методы в педагогике и психологии, М.: Прогресс, 1976.
7. Горбунов В.В. // Мед. труда. 2000. № 8. С. 28—30.
8. Горбунов В.В. // Полет. 2002. № 4. С. 38—41.
9. Горбунов В.В. // Мед. труда. 2007. № 1. С. 11—16.
10. Доброленский Ю.П., Завалова НД., Пономарен-ко ВА., Туваев В.А. Методы инженерно-психологических исследований в авиации. М.: Машиностроение, 1975.
11. Евланов Л.Г., Кутузов В.А. Экспертные оценки в управлении. М.: Экономика, 1978.
12. Исмаилова АА., Мусина АА. // Мед. труда.
2006. № 3. С. 24—28.
13. Каракашян А.Н., Лепешкина Т.Р., Мартыновская Т.Ю. // Сб. Гигиена труд. К., 2000. Вып. 31. С. 39—47.
14. Ластков Д.О., Партас О.В., Ткаченко Л.Н. // Там же. С. 18—27.
15. Маслюк В.В. // Там же. С. 268—277.
Сравнительная оценка разрешающей способности различных математико-статистических показателей обработки результатов экспертизы безопасности полета
МЕТОД ОБРАБОТКИ Специальная математико-статистическая обработка Обычная статистическая обработка
ПОКАЗАТЕЛЬ ОБРАБОТКИ Уровень безопасности по обобщенной функции желательности Мера вариации по Беккеру Уровень безопасности по среднему значению балльной оценки Среднее квадра-тическое отклонение
1) Без отказа 0,25 0,016 5,26 1,15
ЗАХОД НА ПОСАДКУ 2) С отказом одного двигателя 0,13 0,015 4,02 0,92
3) С односторонним отказом двух двигателей 0,07 0,014 3,20 0,18
16. Милсум Дж. Анализ биологических систем управления. М.: Мир, 1988.
17. Монмолен М. Системы «человек и машина». М.:
Мир, 1973.
18. Опполь Н., Коробов Р. Эколого-гигиенический мониторинг: проблемы и решения. Кишинев, 2001.
19. Окс С. Основы нейрофизиологии. М.: Мир,
1969.
20. Плохинский НА. Биометрия. М.: МГУ, 1970.
21. Поляков А.А., Жолос Т.А. // Сб. Гигиена труд. К., 2000. Вып. 31. С. 284—295.
22. Сидоров П.И. // Мед. труда. 2007. № 2. С. 1—10.
23. Сидоров П.И., Совершаева СЛ., Скебцова Н.В. // Экология человека. 2006. № 5. С. 12—17.
24. Харвей Д. Научное объяснение в географии. (Общая методология науки и методология географии).
М.: Прогресс, 1974.
25. Харт Х. Введение в измерительную технику. М..: Мир, 1999.
26. Холл А. Опыт методологии для системотехники. М..: Совет. радио, 1975.
27. Dellrey N. The delphy method on experimental study of group opinion. Rapd. Memoranda RM-3999-PR, 1969.
28. Halmer O. The systematic use of expert judgment on operation research, Proceeding of 3-th IPORS Conf, Oslo, 1963.
Поступила 10.04.08
Ю Б h Л E h
J
КАРАМОВА ЛЕНА МИРЗАЕВНА
(к 70-летию со дня рождения)
Л.М. Карамова родилась 6 февраля 1939 г. в с. Старобалтачево Балтачевского района Республики Башкортостан (БАССР). В 1956 г. после окончания средней школы поступила в Башкортостанский государственный медицинский институт, который закончила в 1962 г. По направлению поехала работать в Учалин-ский район, где по 1966 г. работала в Мало-Учалинской участковой больнице (обслуживающей Учалинский горнодобывающий рудник и ГОК) акушером-гинекологом, главным врачом. Избиралась депутатом городского совета.
С 1966 по 1969 г. работала главным врачом Балтачевского района и занималась врачебной деятельностью по акушерству-гинекологии, хирургии, рентгену, фтизиатрии, экспертизе. Лена Мирзаевна внесла огромный вклад в укрепление сельского здравоохранения: в районе были открыты в дополнение к двум имеющимся еще 3 участковые больницы, 7 фельдшерско-акушерских пунктов, проектировалось строительство новой центральной районной больницы. В это же время прошла усовершенствование по организации здравоохранения в ГИДУВе г. Москвы и двухгодичную очно-заочную ординатуру в I Московском мединституте им. И.М. Сеченова.
В 1970 г., проработав главным врачом тубдиспансера г. Уфы, поступила в очную аспирантуру
на кафедру организации здравоохранения I Ленинградского медицинского института, которую закончила в 1973 г., защитила кандидатскую диссертацию. С 1973 г. работала заведующей оргметодотделом Уфимского НИИ гигиены и профзаболеваний и в 1974 г. назначена зам. заведующего горздравотделом г. Уфы, с 1975 по 1979 г. — председатель обкома профсоюзов медработников РБ. В эти годы избиралась депутатом городского совета, являлась постоянным председателем депутатской комиссии по здравоохранению, членом ЦК профсоюзов, членом РК КПСС, Международного комитета солидарности со странами Африки и Азии. Работая в разных учреждениях на руководящих должностях, продолжала совмещать научную работу в НИИ в должности младшего научного сотрудника.
В 1979 г. назначена директором Уфимского НИИ медицины труда и экологии человека. За период руководства Л.М. Карамовой решен ряд крупных научных проблем по санитарному проектированию, строительству предприятий добычи, переработки, хранения нефти, газа, нефтепродуктов и нефтехимии. Создана нормативная и законодательная база охраны здоровья работающих на этих предприятиях, а также на строительстве магистральных трубопроводов
