CC BY
60
НОВЫЙ МЕТОД ИНТЕГРАЛЬНОЙ ОЦЕНКИ
Описывается новый метод интегральной оценки сходных объектов. Подчеркивается важность оценочной функции вообще и интегральной оценки в особенности. Предлагаемый метод отличается точностью и вместе с тем простотой и наглядностью. Метод может применяться не только в научных исследованиях, но и в практической работе в разных сферах производства.
Функция оценки является одной из самых важных как в научных исследованиях, так и в комплексе управленческих функций. Более того, как справедливо утверждают многие авторы, процесс управления теряет смысл, если нет возможности оценить состояние управляемого объекта и степень отклонения его свойств от определенного уровня [10, 12]. Вместе с тем в большинстве научных и практических работ оценка сравниваемых объектов производится только по отдельным показателям. Даже если учитываются величины многих показателей, то выводы авторов научных работ все равно базируются только на сравнении величин отдельных показателей [2, 7, 8, 13]. В итоге невозможно правильно оценить объект и сделать верные выводы об отличии изучаемого объекта от сходных. Гораздо меньше попыток получения обобщенной оценки сравниваемых объектов [4, 6].
В начале девяностых годов мы предложили метод интегральной оценки сходных объектов «по сумме мест» или «по среднему занятому объектом месту» [3]. Десятилетний опыт применения этого метода и компьютерной программы Rang, в основу которой был положен этот метод [5, 9, 15, 17], показал следующее. При всей своей простоте метод позволял решать серьезные задачи по обобщенной оценке сравниваемых объектов, что было доказано и математически [14]. Метод хорошо справляется с задачей определить, кто лучший или худший в группе сравниваемых объектов. Часто этого бывает достаточно, например, при подведении итогов производственного соревнования, особенно если отсутствуют стандарты для сравниваемых объектов группы. Однако нередко требуется не только определить, кто лучший - худший в группе, но и точно установить, насколько «хороший» или «плохой» тот или иной объект по отношению к какому-то стандарту.
Чтобы выводить максимально точную обобщенную оценку сравниваемых объектов, дающую возможность не только определять, кто лучший в группе, но и устанавливать более точ-
ный рейтинг для каждого объекта, мы разработали новый метод интегральной оценки [16].
Суть метода сводится к следующему. После формирования группы сравниваемых объектов и группы показателей, по которым будет проводиться сравнение, заполнения таблицы величинами показателей и средними величинами производятся следующие действия. Сначала находится разница в величинах показателя у каждого сравниваемого объекта от величины средней с указанием знака отклонения: знак «плюс» для отклонения в лучшую сторону и знак «минус» для отклонения в худшую сторону. Операция повторяется по каждому показателю для каждого объекта. После этого находятся проценты каждой величины отклонения по каждому объекту с сохранением знака. Получение процента величин отклонений выполняет и функцию стандартизации (нормирования). Это необходимо, так как приходится иметь дело с самыми разными показателями (абсолютными, интенсивными и экстенсивными коэффициентами и т.д.). Затем проценты отклонений суммируются по каждому объекту данной группы с учетом знака, то есть находится их алгебраическая сумма. Эта сумма является суммарным рейтингом объекта, показывающим, на сколько процентов и в какую сторону отличается данный объект от среднего. При этом подразумевается, что рейтинг объекта, с которым проводилось сравнение, равен нулю. Для наглядности найденная сумма делится на количество показателей в группе, чтобы найти средний рейтинг (в пересчете на один показатель), который мы и называем рейтингом. В заключение объекты ранжируются по величине рейтингов от лучшего (первого) до последнего места, равного количеству объектов в группе, либо полученные рейтинги используются для построения графиков или диаграмм.
Мы предлагаем вместо средних величин по сравниваемой группе объектов брать средние величины максимально высокого уровня. Например, если сравниваются районы в каком-то регионе страны по набору показателей, отра-
жающему определенную сторону деятельности, то средними максимального уровня будут средние величины этих показателей по России. Для обозначения средних величин более высокого уровня мы ввели понятие «авторитетное среднее». Наиболее «авторитетными» средними величинами могли бы быть средние по нескольким странам или мировые средние. Для этого следовало бы провести мета-анализ [11], однако он обычно невозможен, так как в разных странах имеют место различные подходы к учету и статистические показатели, даже имеющие одинаковое название (например, «заболеваемость туберкулезом»), часто несопоставимы. Следовательно, для нашей страны авторитетными средними будем считать среднероссийские данные.
Математическое описание предлагаемого метода выглядит следующим образом. Сначала выведем формулу нахождения отклонения величины показателя от авторитетного среднего в процентах с учетом знака отклонения. Для показателей, которые «чем меньше, тем лучше», например «заболеваемость туберкулезом» формула выглядит так:
к = МА - Р1 хШ0 , (1)
‘ Ма ’ "
где Я.-отклонение величины конкретного показателя от величины авторитетного среднего в процентах;
МА - величина авторитетного среднего;
Р; - величина конкретного показателя.
Для тех показателей, которые «чем больше, тем лучше», например «доля выявленных при профосмотрах»:
к = Р1 ~ Ма х100. (2)
1 Ма ' '
После нахождения всех значений Я. находится итоговый показатель - рейтинг объекта (Я) по формуле:
1 п
к(3)
п 1=1
где п - количество показателей в группе.
Эта формула применима для тех случаев, когда веса показателей считаются равными. В тех случаях, когда определены веса показателей, формула нахождения рейтинга (3) принимает вид:
К = ]ГК1 х V , (4)
1=1
где Vi - нормированные веса всех показателей (сумма всех весов равна единице).
Таблица 1. Величины показателей логической группы, отражающей эпидситуацию по туберкулезу в сравниваемых территориях Приволжского ФО.
(Подготовительный этап: заполнение таблицы величинами показателей логической группы по сравниваемым объектам)
№ п/п X. Объекты Показатели X. Кировская область Нижегородская область Оренбургская область Пензенская область Пермская область Респ. Башкортостан Респ. Марий Эл Респ. Мордовия Респ. Татарстан Респ. Удмуртия Самарская область Саратовская область Ульяновская область Чувашская респ. Средние величины*
1 Заболеваемость туберкулезом по ф. N8 62,6 83,3 87,3 70,4 94,1 59,3 59,3 80,4 65,5 80,3 75,0 81,6 67,5 71,2 83,2
2 Заболеваемость туберкулезом по ф. N33 52,5 66,0 72,2 59,5 75,1 47,1 53,8 70,4 57,8 68,0 57,0 68,2 53,3 58,3 66,8
3 Заболеваемость детей туберкулезом 13,0 22,6 12,6 13,2 6,8 6,0 5,4 12,9 15,0 8,9 17,1 14,8 10,7 7,6 16,0
4 Заболеваемость подростков туберкулезом 18,4 29,1 33,4 19,2 33,5 16,7 20,1 39,0 19,4 14,4 31,7 26,4 19,5 14,4 32,0
5 Смертность от акт. туберкулеза по ГКС 9,7 22,3 15,9 15,8 21,2 12,2 10,2 14,0 12,2 19,4 19,6 17,2 15,1 12,0 21,9
6 Смертность от акт. туберкулеза по ф. N33 12,3 18,3 9,6 13,8 20,0 10,6 9,8 10,4 11,6 20,1 13,0 13,1 13,7 13,0 17,8
7 Распространенность туберкулеза 226,9 261,2 255,1 216,3 291,4 177,7 100,2 249,2 212,0 264,9 215,4 314,7 230,4 255,6 265,9
8 Распространенность деструкт. туберкулеза 48,4 90,7 82,5 63,2 90,7 49,5 37,8 72,7 55,9 80,5 65,5 73,2 70,2 80,5 81,7
9 Бациллярность, на 100 тыс. населения 85,7 82,0 84,6 69,0 114,2 57,5 74,9 62,0 69,7 87,2 79,2 87,8 66,0 82,1 88,6
10 Распространенность ФКТ 7,1 31,6 11,6 19,1 30,4 19,2 8,2 31,3 12,6 14,0 22,3 20,4 16,1 14,0 24,8
Примечание: *выбраны средние величины не по данной группе объектов, а по всем регионам РФ (то есть авторитетные средние величины)
Таблица 2. Абсолютные отклонения величин показателей от средних величин (в данном случае - от АС*) (1-й этап: вычисление абсолютных отклонений величин показателей от средних величин с учетом знака)
№ п/п Объекты Показатели Кировская область Нижегородская область Оренбургская область Пензенская область Пермская область Респ. Башкортостан Респ. Марий Эл Респ. Мордовия Респ. Татарстан Удмуртская респ. Самарская область Саратовская область Ульяновская область Чувашская респ. Средние величины*
1 Заболеваемость туберкулезом по ф. N8 20,6 -0,1 -4,1 12,8 -10,9 23,9 23,9 2,8 17,7 2,9 8,2 1,6 15,7 12,0 83,2
2 Заболеваемость туберкулезом по ф. N33 14,3 0,8 -5,4 7,3 -8,3 19,7 13,0 -3,6 9,0 -1,2 9,8 -1,4 13,5 8,5 66,8
3 Заболеваемость детей туберкулезом 3,0 -6,6 3,4 2,8 9,2 10,0 10,6 3,1 1,0 7,1 -1,1 1,2 5,3 8,4 16,0
4 Заболеваемость подростков туберкулезом 13,6 2,9 -1,4 12,8 -1,5 15,3 11,9 -7,0 12,6 17,6 0,3 5,6 12,5 17,6 32,0
5 Смертность от акт. туберкулеза по ГКС 12,2 -0,4 6,0 6,1 0,7 9,7 11,7 7,9 9,7 2,5 2,3 4,7 6,8 9,9 21,9
6 Смертность от акт. туберкулеза по ф. N33 5,5 -0,5 8,2 4,0 -2,2 7,2 8,0 7,4 6,2 -2,3 4,8 4,7 4,1 4,8 17,8
7 Распространенность туберкулеза 39,0 4,7 10,8 49,6 -25,5 88,2 165,7 16,7 53,9 1,0 50,5 -48,8 35,5 10,3 265,9
8 Распространенность деструкт. туберкулеза 33,3 -9,0 -0,8 18,5 -9,0 32,2 43,9 9,0 25,8 1,2 16,2 8,5 11,5 1,2 81,7
9 Бациллярность, на 100 тыс. населения 2,9 6,6 4,0 19,6 -25,6 31,1 13,7 26,6 18,9 1,4 9,4 0,8 22,6 6,5 88,6
10 Распространенность ФКТ 17,7 -6,8 13,2 5,7 -5,6 5,6 16,6 -6,5 12,2 10,8 2,5 4,4 8,7 10,8 24,8
Примечание: *средние величины в данном случае - средние по России, то есть авторитетные средние (АС)
Таблица 3. Стандартизированные отклонения показателей от средних величин и величины рейтингов объектов (в процентах) (2-й и 3-й этапы: стандартизация отклонений показателей от средних и вычисление рейтинга)
№ п/п X. Объекты Показатели х. 3 % £ вро са Нижегородская обл. Оренбургская обл. ая и к н езнн тса нл ё! 3 £ £ см с ма рл Респ. Башкортостан Респ. Марий Эл Респ. Мордовия Респ.Татарстан Респ. Удмуртия Самарская область Саратовская область Ульяновская область Чувашская респ. Средние величины
1 Заболеваемость туберкулезом по ф. N8 24,76 -0,12 -4,93 15,38 -3,10 28,73 28,73 3,37 21,27 3,49 9,86 1,92 18,87 14,42 83,2
2 Заболеваемость туберкулезом по ф. N33 21,41 1,20 -8,08 10,93 -2,43 29,49 19,46 -5,39 13,47 -1,80 14,67 -2,10 20,21 12,72 66,8
3 Заболеваемость детей туберкулезом 18,75 -1,25 21,25 17,50 57,50 62,50 66,25 19,38 6,25 44,38 -6,88 7,50 33,13 52,50 16,0
4 Заболеваемость подростков туберкулезом 42,50 9,06 -4,38 40,00 -4,69 47,81 37,19 -1,88 39,38 55,00 0,94 17,50 39,06 55,00 32,0
5 Смертность от акт. туберкулеза по ГКС 55,71 -1,83 27,40 27,85 3,20 44,29 53,42 36,07 44,29 11,42 10,50 21,46 31,05 45,21 21,9
6 Смертность от акт. туберкулеза по ф. N33 30,90 -2,81 46,07 22,47 -2,36 40,45 44,94 41,57 34,83 -12,92 26,97 26,40 23,03 26,97 17,8
7 Распространенность туберкулеза 14,67 1,77 4,06 18,65 -9,59 33,17 62,32 6,28 20,27 0,38 18,99 -8,35 13,35 3,87 265,9
8 Распространенность деструкт. туберкулеза 40,76 -1,02 -0,98 22,64 -1,02 39,41 53,73 11,02 31,58 1,47 19,83 10,40 14,08 1,47 81,7
9 Бациллярность, на 100 тыс. населения 3,27 7,45 4,51 22,12 -8,89 35,10 15,46 30,02 21,33 1,58 10,61 0,90 25,51 7,34 88,6
10 Распространенность ФКТ 71,37 -7,42 53,23 22,98 -2,58 22,58 66,94 -6,21 49,19 43,55 10,08 17,74 35,08 43,55 24,8
11 Алгебр. сумма стандартизированных отклонений -суммарный рейтинг 324,09 -4,96 138,15 220,54 -3,96 383,54 448,44 94,23 281,87 146,53 115,57 83,39 253,37 263,05 -
12 Рейтинг*(авторитетный рейтинг**) 32,41 -6,50 13,82 22,05 -5,40 38,35 44,84 9,42 28,19 14,65 11,56 8,34 25,34 26,30 ***
Примечания: *1) рейтинг - средний рейтинговый показатель (в пересчете на один показатель) конкретного объекта; **2) авторитетный рейтинг - рейтинг по отношению к средним максимально высокого уровня;
***3) среднестатистический российский регион имеет рейтинг = 0
Таблица 4. Ранжирование регионов Приволжского ФО - определение итогового места региона, по авторитетному рейтингу (российскому), отражающему благополучие эпидситуации по туберкулезу в 2003 г. (Заключительный этап: ранжирование по рейтингу)
Таблица 5. Ранжирование регионов Приволжского ФО - определение итогового места региона по среднему занятому объектом месту, отражающему благополучие эпидситуации по туберкулезу в 2003 г.
Субъекты Рейтинг Итоговое место
Респ. Марий Эл 44,84 1
Респ. Башкортостан 38,35 2
Кировская область 32,41 3
Респ. Татарстан 28,19 4
Чувашская респ. 26,3 5
Ульяновская область 25,34 6
Пензенская область 22,05 7
Респ. Удмуртия 14,65 8
Оренбургская область 13,82 9
Самарская область 11,56 10
Респ. Мордовия 9,42 11
Саратовская область 8,34 12
Пермская область -5,4 13
Нижегородская область -6,5 14
Субъекты Среднее занятое место Итоговое место
Респ. Марий Эл 2,85 1
Респ. Башкортостан 3,10 2
Кировская область 4,50 3
Респ. Татарстан 5,35 4
Ульяновская область 6,20 5
Чувашская респ. 6,50 6
Пензенская область 7,00 7
Респ. Мордовия 8,40 8
Самарская обл. 8,45 9
Оренбургская область 8,90 10
Респ. Удмуртия 9,05 11
Саратовская область 10,70 12
Нижегородская область 11,75 13
Пермская область 12,25 14
Примечание: рейтинг среднестатистического региона России = 0 Примечание: наилучшее возможное среднее занятое место - 1
Поясним принцип действия предлагаемого метода на примере изучения эпидемической обстановки по туберкулезу в территориях Приволжского ФО. В нашей предыщущей статье [17] подробно описаны правила подбора показателей в логическую группу для оценки той или иной стороны деятельности объектов и, в частности, для оценки эпидемической обстановки по туберкулезу. В таблице № 1 приводятся эти показатели и величины показателей по сравниваемым объектам, которыми в данном случае являются 14 территорий Приволжского ФО. В таблицах № 2 - № 3 демонстрируются этапы метода и выведение интегральной оценки эпидемической обстановки по туберкулезу по объектам. Для нахождения рейтингов в данном случае использовались формулы (1) и (3), так как все отобранные в группу эпидпоказатели подпадали под определение «чем меньше, тем лучше», а их веса были одинаковыми.
В таблице № 4 показан заключительный этап метода - ранжирование территорий Приволжского ФО по рейтингам, которые представляют собой интегральные оценки, выражающие эпидситуацию по туберкулезу.
Как видно из таблицы № 4 наиболее благоприятная эпидситуация по туберкулезу в 2003 году имела место в республиках Марий Эл и Башкортостан, а наименее благополучная - в Пермской и Нижегородской областях.
Для сравнения результатов обобщенной оценки эпидситуации по туберкулезу в субъек-
тах Приволжского ФО приводим итоги ранжирования тех же территорий, полученные старым методом - «по сумме мест» [3, 17] или «по среднему занятому месту» (табл. № 5). При сравнении результатов, полученных старым и новым методом можно отметить сходство результатов. Фактически только по двум территориям получены разные результаты (республики Удмуртия и Мордовия - 8 и 11 места). В остальных случаях результаты если и отличались, то на одну позицию. Однако при ранжировании по старому методу мы не могли знать насколько «хорошо» выглядит территория на среднероссийском уровне, даже если она заняла в своей группе первое (лучшее) место. При ранжировании же по новому методу мы можем сказать, что, например, республика Марий Эл не просто занимает лучшее место в Приволжском ФО по эпидблагополучию, но показатели, отражающие эпидобстановку в этой республике в среднем на 44,8% лучше, чем среднероссийские.
Как видно из приведенного примера, получаемые по нашему методу рейтинги объектов выражаются в наглядных и понятных величинах, пригодных без дополнительного преобразования для построения графиков. По сравнению с методом, описанным Брызгалиным Г.И. [1] и близкими ему методами получения обобщенных оценок наш метод более точен, так как в его алгоритме отсутствует округление величин при стандартизации (нормировании) раз-
ных показателей, обязательное при реализации других методов [1, 4, 6]. Немаловажно, что алгоритм предложенного метода, в отличие от перечисленных методов, легко воспроизводим в программе MS Excel из пакета MS Office, а этой программой владеют большинство современных пользователей ПЭВМ.
Таким образом, предлагаемый метод выведения интегральных оценок сравниваемых объектов по рейтингам позволяет извлекать дополнительную ценную и точную информацию, призванную обеспечить более высокий «уровень определенности» для правильных выводов и для принятия рациональных управленческих решений.
Несмотря на возможность реализации описанного метода в программе MS Excel вычисление интегральных оценок «вручную» становится затруднительным, если сравниваются несколько десятков и более объектов, причем по многим показателям. В таких случаях требуется машинная обработка массивов данных. Мы реализовали новый метод получения интегральных оценок и предыдущий метод [3] в компьютерной программе Rang 2. С этой программой можно ознакомиться на официальном сайте Оренбургского областного клинического противотуберкулезного диспансера по адресу www.orenotd.ru в разделе «Программы».
Список использованной литературы:
1. Брызгалин Г.И. О количественных методах определения эффективности и качества деятельности здравоохранения // Здравоохранение Российской Федерации.- 1986.- № 4.- С. 25-28.
2. К методологии оценки эффективности работы городских поликлиник / Ползик Е.В., Кацнельсон Б.А., Зингер В.Э. и др. // Здравоохранение Российской Федерации.- 1993.- № 11.- С. 9-11.
3. Сазыкин В.Л. Метод интегральной оценки объектов по сумме мест //Материалы областного совещания по итогам противотуберкулезной работы за 1993 год. - Оренбург, 1994.- С. 6-9.
4. Хрулева Т.С. Интегральная оценка качества диагностики и эффективности лечения больных туберкулезом // Туберкулез и экология. - 1995. - № 3. - С. 25-27.
5. Сазыкин В.Л. Сравнительная оценка противотуберкулезной работы с помощью компьютерной программы RANG //IV съезд научно-медицинской ассоциации фтизиатров. - Йошкар-Ола, 1999. - С. 244-245.
6. Лебедев В.Б. Интегральная экспертная оценка деятельности территориальных служб здравоохранения по оказанию противотуберкулезной помощи населению //Новые информационные технологии и мониторинг туберкулеза. - М., 2000. - С. 71-73
7. Левашов Ю.Н. Состояние и перспективы борьбы с туберкулезом на северо-западе России //Проблемы туберкулеза и болезней легких.- 2003. - № 10. - С. 3-9.
8. Онищенко Г.Г. Эпидемическая ситуация в Российской Федерации и меры по ее стабилизации // //Проблемы туберкулеза и болезней легких.- 2003. - № 11. - С. 4-9.
9. Sazykin V. Information technologies in regional anti-tuberculosis dispensary // International Journal on Immunorehabilitation. April, 2001. - Volume 3. - Number 1. - P. 74..
10. Сажин Ю.В. Статистические методы оценки качества продукции //Проблемы теории и практики статистики: Сборник научных трудов ОГАУ.- Оренбург, 2002. - С. 275-285.
11. Реброва О.Ю. Статистический анализ медицинских данных.- М.: Медиа Сфера, 2003.- С. 305.
12. Кудрин В.С. Оценка медицинской деятельности: концепция, методология, организация. Дис. ... докт. мед. наук. - Москва, 2003. - С. 351.
13. Перельман М.И. Основные итоги противотуберкулезной работы в России в 2001 г. // Проблемы туберкулеза.- 2003. - №2.-С. 3-10..
14. Чепасов В.И., Сазыкин В.Л. Математическое обоснование компьютерной программы Сазыкина Rang // Вестник Оренбургского государственного университета. - 2004. - № 6, июнь. - С. 145-147.
15. Sazykin V., Sazykina I. Epidemiological TB situation in Federal districts of Russia // 3-rd Congress of European Region International Union against Tuberculosis and Lung Diseases (IUATLD). Moscow, June 22-26, 2004. - P. 58.
16. Сазыкин В.Л. Блок-схема комплексной сравнительной оценки субъектов. Решение о выдача ПАТЕНТА на полезную модель от 9 сентября 2004 г. по заявке № 2004124121/22(026226) от 09.08.2004.
17. Сазыкин В.Л. Анализ противотуберкулезной работы в Оренбургской области с помощью метода интегральной оценки и компьютерной программы Rang //Вестник Оренбургского государственного университета. - 2004. - №10, октябрь. - С. 127-131.
