CC BY
73
Перейти в содержание Вестника РНЦРР МЗ РФ N11.
Текущий раздел: Хирургия
Опыт использования зарубежных нозонеспецифичных прогностических шкал у больных хирургического и онкологического профиля.
Потанина О.К. 1. Дорфман А.Г. 1, Швырёв С.Л.2, Зарубина Т.В. 2, ПетроваМ.В. 3
1 Департамент здравоохранения г.Москвы Государственное учреждение здравоохранения г.Москвы Научно-исследовательский институт скорой помощи имени Н.В. Склифосовского.
2 Государственное образовательное учреждение высшего профессионального образования «Российский государственный медицинский университет Федерального агентства по здравоохранению и социальному развитию». г.Москва,
3 Федеральное государственное учреждение «Российский научный центр рентгенорадиологии» Минздравсоцразвития РФ, г.Москва.
Адрес документа для ссылки: http://vestnik.mcrr.ru/vestnik/v11/papers/potan_v11.htm Статья опубликована 30 сентября 2011 года.
Идентификационный номер статьи в ФГУП НТЦ “ИНФОРМРЕГИСТР”:
Сведения об авторах:
Рабочий адрес:129010, г. Москва Б. Сухаревская пл., д.3.
Потанина О.К: врач анестезиолог-реаниматолог, кардиолог отделения реанимации и интенсивной терапии для кардиологических больных НИИ СП им. Н.В. Склифосовского, тел. (моб): +7(926)269-8359, e-mail: olga-honta@rambler.ru Дорфман А.Г.: д.м.н., профессор, заслуженный врач РФ, главный научный сотрудник НИИ СП им Н.В. Склифосовского, тел. (раб.): +7(495)628-6565, e-mail: dorfman@mail.ru
Рабочий адрес: 117997, Москва, ул.Островитянова, 1, ГБОУ ВПО РНИМУ им.
Н.И.Пирогова Минздравсоцразвития России
Швырёв С. Л.: к.м.н., старший преподаватель кафедры медицинской кибернетики и информатики ГБОУ ВПО РНИМУ им. Н.И.Пирогова, тел. (моб) +7(903)183-7854, email: interis@bk.ru
Зарубина Т.В., д.м.н., профессор, заведующая кафедрой медицинской кибернетики и информатики ГБОУ ВПО РНИМУ им. Н.И.Пирогова, тел. (раб). +7(495)434-5582, email: t zarubina@mail.ru
Рабочий адрес: 117997, г. Москва, ул. Профсоюзная, д. 86, ФГУ «РНЦРР»
Петрова М.В., д.м.н., руководитель сектора анестезиологии и реанимации
хирургического отдела Российского Научного Центра Рентгенорадиологии, профессор
кафедры анестезиологии и реаниматологии Российской медицинской академии
последипломного образования Росздрава, г. Москва, тел. (раб): +7(495)728-3742, тел.
(моб): +7(903) 749-6203, e-mail: 9692506@mail.ru
Ответственный за переписку:
Швырёв Сергей Леонидович, e-mail interis@bk.ru
Резюме
В работе публикуются собственные результаты использования пяти известных прогностических шкал (APACHE II, APACHE IV, SAPS II, MPM II 0 и POSSUM) для оценки вероятности летального исхода в группе реанимационных больных хирургического профиля. Проспективное исследование было проведено в период с июля 2009 по сентябрь 2010 года на базе отделения реанимации и интенсивной терапии для послеоперационных больных НИИ СП им Н.В. Склифосовского. Было обследовано 300 пациентов, летальность составила 19,3%. Шкалы APACHE II, APACHE IV, SAPS II, MPM II 0 продемонстрировали хорошую дискриминационную способность (площадь под ROC-кривой > 0,9). Удовлетворительная калибрационная способность, оцененная при помощи теста Хосмера-Лемешоу, была выявлена только у двух из пяти прогностических шкал: SAPS II и MPM II.
Ключевые слова. APACHE II; APACHE IV; SAPS II; MPM II 0; POSSUM; прогностические шкалы.
The experience of using foreign diagnosis nonspecific prognostic models for patients of
surgical and oncological profiles.
1 12 2 Potanina Olga , Dorfman Alexandr , Shvirev Sergey , Zarubina Tatiana , Petrova
Marina3.
1 N. V. Sklifosovsky Research Institute of Emergency Medicine. 129010. Moscow, Russia.
ul. B. Sykharevskaya, 3.
The Russian National Research Medical University named after N.I. Pirogov (RNRMU). 117997, Moscow, Ostrovityanova street, 1.
Federal State Establishment Russian Scientific Center of Roentgenoradiology of Ministry of Health and Social Development of Russian Federation. 117997 Moscow, Profsoyuznaya str., 86.
Summary
The results of using of five wide known prognostic scoring systems for severity conditions and lethal outcome probability estimation (APACHE II, APACHE IV, SAPS II, MPM II 0 and POSSUM) for ICU patients of surgical profile are published in the article. The prospective study is conducted in the period from July, 2009 till September, 2010 on the Intensive Care Unit for Postoperative patients of N. V. Sklifosovsky Research Institute of Emergency Medicine. Data required for the calculation of predictive models are collected on the status of 300 patients, the lethality is 19,3%. The prognostic scoring systems APACHE II, APACHE IV, SAPS II, MPM II 0 demonstrate good discriminatory ability (area under the ROC-curve>0,9). Satisfactory calibration which is estimated by Hosmer-Lemeshow's test is revealed in only two in five prognostic scoring systems: SAPS II and MPM II.
Key words. APACHE II; APACHE IV; SAPS II; MPMII0; POSSUM; prognostic scoring systems.
Оглавление: Введение Материалы и методы Результаты исследования и их обсуждение Заключение Список литературы Введение
Использование прогностических шкал в клинической практике позволяет получить объективизированную оценку тяжести состояния реанимационного больного, вероятность послеоперационных осложнений, дает возможность рассчитать
ориентировочные сроки пребывания пациента в отделении реанимации и интенсивной терапии (ОРИТ) и некоторые другие параметры [1, 8].
В настоящее время в литературе опубликовано несколько десятков шкал для оценки тяжести состояния пациентов, которые могут использоваться в ОРИТ любого профиля и при любой нозологии, в том числе, онкологической. Кроме того, существуют нозоспецифичные прогностические шкалы, которые используются при определенной группе заболеваний, например, у пациентов c онкологической патологией, сепсисом, травмой, панкреатитом, менингитом, инфарктом миокарда и рядом других нозологий [2, 3].
В зарубежной литературе существует большое количество исследований, посвященных использованию прогностических шкал для оценки тяжести состояния реанимационных больных. При этом результаты многочисленных работ, проведенных во многих странах на разных категориях пациентов, носят противоречивых характер, что объясняется неодинаковым удельным весом прогностических факторов в различных стационарах, изменением предсказательной мощности этих факторов во времени и многими другими причинами [8, 9, 11]. В отечественной литературе работы, посвященные сравнительному анализу прогностической ценности шкал в условиях российских ОРИТ, представлены недостаточно. По результатам в группе пациентов хирургического и онкологического профиля опубликованы только единичные работы [4, 5, 6]. Необходимость оценки валидности прогностических шкал в российских стационарах обусловило проведение сравнительного анализа эффективности и точности существующих прогностических моделей в условиях отечественного ОРИТ. Перейти в оглавление статьи >>>
Материалы и методы
Проспективное исследование было проведено в период с июля 2009 по сентябрь 2010 года на базе отделения реанимации и интенсивной терапии для послеоперационных больных НИИ СП им Н.В. Склифосовского. Критерии включения: пациенты с общей хирургической патологией, возраст старше 18 лет. Критерии исключения: пациенты с ожогами и кардиохирургические пациенты, нахождение в реанимации менее 4-х часов, повторное поступление в отделение реанимации, перевод пациента в другой стационар. Всего было обследовано 300 пациентов. Летальность составила 19,3%. Средний возраст 56,3 ± 20,0 лет. Лиц мужского пола было 186 (62%), женского пола - 114 (38%). 170 пациентов (56,7%) перенесли хирургическое вмешательство, 130 пациентам (43,3%) проводилась интенсивная консервативная терапия.
По причинам госпитализации пациенты распределились следующим образом: травмы различной локализации - 74 пациента, желудочно-кишечные кровотечения -39, острая кишечная непроходимость - 17, перфорация кишечника - 13, аневризма аорты - 36 пациентов, тромбозы или эмболии сосудов, включая массивную ТЭЛА - 34 пациента, онкологические заболевания - 22 (Таблица 1).
Таб. 1. Характеристика обследованных пациентов
Нозологические группы Всего пациентов Летальность в группе Количество осложнений в группе
Кол-во % Кол- во % Кол- во %
Травмы различных локализаций 74 25% 4 5% 22 30%
Желудочно-кишечное кровотечение 39 13% 8 21% 10 26%
Аневризмы брюшного и/или грудного отделов аорты 36 12% 22 61% 10 28%
Эмболии и тромбозы артерий и вен верхних и нижних конечностей 34 11% 5 15% 6 18%
Онкологические заболевания 22 7% 6 27% 7 32%
У большинства пациентов длительность пребывания в ОРИТ составила не более 4-5 койко/дней, а средняя продолжительность госпитализации была 16,9 ± 12,8 койко/дней. Для всех госпитализированных больных были рассчитаны шкалы APACHE II, APACHE IV, SAPS II, MPM II 0. Шкала POSSUM, разработанная для послеоперационных пациентов, вычислялась у пациентов, поступивших в ОРИТ после хирургических вмешательств. Сбор клиническо-лабораторных и инструментальных данных, необходимых для расчета прогностических шкал, производился в течение 24 часов после поступления пациента в ОРИТ в полном соответствии с требованиями разработчиков. Обязательным условием расчета всех шкал было наличие полного набора всех входных параметров. Результаты расчета шкал оценки тяжести состояния не были известны врачам, оказывающим медицинскую помощь пациентам ОРИТ, и не могли повлиять на результаты лечения.
Расчет шкал проводился в информационной системе «ИНТЕРИС», разработанной для отделений реанимации и интенсивной терапии и которая в течение многих лет успешно эксплуатируется в отделении анестезиологии и реанимации Российского Научного Центра Рентгенорадиологии (директор д.м.н., член-корреспондент РАМН, профессор, заслуженный врач РФ Солодкий В.А.). В «ИНТЕРИС» создан специализированный модуль оценки тяжести состояния реанимационных больных, в котором представлена справочная информация по сбору данных, реализованы и протестированы авторские алгоритмы расчета прогностических шкал, созданы формы сохранения и представления полученных результатов. Использование этого модуля в повседневной клинической практике работы отделения
5
облегчается тем, что большинство необходимых для проведения расчета данных, автоматически подгружается из базы данных «ИНТЕРИС» (Рис. 1) [7].
»Я1Л01112:51 г>щирт SAPS II
Haipan 75 т 41 балл
чсс :о5 corp./tarn Вероятное n, летального исхода
АД cutí. 70 трт ct Р = 0,27
1U
Температура *£ i I
ИвП (1 Т ч СРАР) S Группе
Ра 02 1C0.Q ЧЧ ф» ст, Г лл*сеаа сгисидо (! »строена опао*а*«
FID? 40 % Г спесчцл» X бмпо
ibtypi» 2. ОГО tfíyna« Хронически* эабопеалмия
Лейкоциты 12,0 MWN4 »«ЦкНЛ- С ИвТ1СГ4МН1 Г
33 (ь Ыбо П* Г
1*М4 1фС1И
Ни+ииа 1ны
нмн« СТИД» г
НСОЗ ппаэмы по
Ьилирубим оЬя. Шиле Глане 15 6imw(i)
Г Л
L8..0 S’ *4fW* *31 »• | Ы | а | * | »|
Г *rj*n
Рис. 1. Пример расчета шкалы SAPS II в информационной системе «ИНТЕРИС».
В результате расчета пяти прогностических шкал вычислялась вероятность летального исхода для каждого пациента. Калибрационная способность шкал анализировалась при помощи критерия согласия Хосмера-Лемешоу. Дискриминационная способность шкал определялась методом построения ROC-кривых и определения порогового значения для оптимального соотношения чувствительности и специфичности. Для статистического анализа использовалась свободная программная среда для статистического анализа и графического представления данных на основе вычислений с открытым исходным кодом R, version 2.12.1 [14].
Перейти в оглавление статьи >>>
Результаты и обсуждение
Усредненный прогноз вероятности летального исхода, определенный с помощью пяти прогностических шкал на выборке, включающей 300 пациентов, оказался сопоставимым с наблюдаемой в этой группе летальностью. У 3 шкал (APACHE II, SAPS II и MPM II 0) результаты предсказанной и наблюдаемой летальности оказались наиболее близки (Таблица 2). Прогноз, полученный по шкале
APACHE IV, был слишком заниженным (10,2 ± 2,0%). Результат расчета шкалы POSSUM, напротив, завышал предсказанную летальность (24,2 ± 2,2%).
Таб. 2. Результаты прогнозирования вероятности летального исхода
Шкала Среднее значение Ошибка среднего * Ст. отклонение Перцентили
0% 25% 50% 75% 100%
APACHE II 17,5 2,1 21,9 0,0 4,0 9,0 20,3 96,0
APACHE IV 10,2 2,0 20,7 0,0 1,0 2,0 5,3 99,0
SAPS II 17,1 2,4 25,6 0,0 2,0 6,0 17,3 99,0
MPM II 0 20,3 2,1 22,5 1,0 6,0 11,0 24,0 99,0
POSSUM 24,2 2,2 23,1 2,0 7,0 15,5 32,0 88,0
*ошибка среднего рассчитывалась при уровне достоверности 0,95
Расчет медиан и перцентилей показал аналогичную тенденцию: APACHE II (медиана - 9,0%; прецентиль 25 - 4,0%, процентиль 75 - 20,3%), SAPS II (медиана -6,0%; процентиль 25 - 2,0%, процентиль 75 - 17,3%), MPM II 0 (медиана - 11,0%; процентиль 25 - 6,0%, процентиль 75 - 24,0%). Значительное смещение медианных значений влево объясняется тем, что подавляющее большинство пациентов попало в первую группу с расчетной вероятностью летального исхода от 0 до 10%. Особенно это заметно в результатах расчета прогностической шкалы APACHE IV.
Анализ калибрационной способности прогностических шкал проводился с использованием H-критерия Хосмера-Лемешоу. Три из пяти прогностических шкал (APACHE II, APACHE IV, POSSUM) показали неудовлетворительную калибрационную способность на данной категории пациентов. Рассчитанные значения X для H-критерия теста Хосмера-Лемешоу достоверно отличались с уровнем значимости р<0,05. Таким образом, эти результаты указывают на то, что существует значительная разница между наблюдаемой и ожидаемой летальностью и, как следствие, что калибрационная способность этих прогностических шкал недостаточна. В то же время для моделей SAPS II и MPM II 0 тест не показал достоверных различий между распределениями прогнозируемой и наблюдаемой летальности (Таблица 3).
Таб. 3. Результаты оценки калибрационной способности прогностических шкал с использованием Н критерия Хосмера-Лемешоу
Шкала
Тест Хосмера-Лемешоу (H-критерий)
Значение x2 Степени свободы p-значение
APACHE II 23,2 8 0,0031*
APACHE IV 67,7 8 0,001*
SAPS II 14,5 8 0,0695
MPM II 0 10,7 8 0,2185
POSSUM 27,2 8 0,0001*
* - при р < 0,05 нулевая гипотеза о сходстве распределений отвергается.
Проведенный анализ позволяет заключить, что результаты расчета шкалы MPM
II 0 наиболее близки к ожидаемой летальности (наблюдаемая летальность близка к ожидаемой) по сравнению с другими шкалами. Несмотря на то, что прогностические модели продемонстрировали результаты, близкие к наблюдаемым значениям летальности в первых двух вероятностных группах, существуют значимые вариации в последующих вероятностных группах, что может быть связано с относительно малым числом пациентов в них.
Таким образом, анализ калибрационной способности пяти изученных нами прогностических моделей позволяет заключить, что только две из них (MPM II 0 и SAPS II) имеют удовлетворительную калибрационную способность для данной группы пациентов ОРИТ, в то время как у других шкал она явно недостаточна. Дискриминационная способность оценивалась по площади под ROC-кривой (AUROC — Area Under Receiver Operator Curve) [12, 13].
a
о
X
с
a
¿5
>.
T
0.0 0.2 0 4 0.6 0.8 1.0
1-Специфичность
Рис. 2. ROC-кривые, построенные для пяти прогностических шкал (в скобках указана площадь под ROC-кривой).
Четыре шкалы продемонстрировали высокую дискриминационную способность AUROC > 0,9, а шкала POSSUM - достаточную дискриминационной способность AUROC > 0,8 (Рисунок 2, Таблица 4).
Таб. 4. Дискриминационный анализ. Анализ площади под ROC-кривой
Шкала Площадь под ROC-кривой p-значение* 95% доверительн. интервал Стандартная ошибка**
APACHE II 0,941 <0,001 0,904-0,978 0,019
APACHE IV 0,964 <0,001 0,938-0,990 0,013
SAPS II 0,942 <0,001 0,903-0,980 0,019
MPM II 0 0,910 <0,001 0,866-0,954 0,022
POSSUM 0,861 <0,001 0,754-0,968 0,053
* - при р < 0,05 нулевая гипотеза о том, что площадь под кривой равна 0,5, отвергается. ** - непараметрическая оценка.
Калибрационная и дискриминационная способности прогностической модели являются комплиментарными, т.е. взаимодополняют друг друга и составляют единую систему характеристик, в которой неправдоподобность одного параметра означает неправдоподобность всей системы [10].
Также для всех прогностических шкал оценивалась чувствительность, или доля истинно положительных результатов; специфичность, или доля истинно отрицательных результатов; БМЯ - стандартизированное отношение смерти - отношение наблюдаемого количества летальных исходов к прогнозируемому числу летальных исходов; ценность положительного прогноза; ценность отрицательного прогноза. Также для всех рассчитанных шкал были найдены оптимальные уровни отсечения -пороговые значения вероятности (таблица 5).
Таб.5. Основные характеристики прогностических шкал на уровне отсечения 0,5 и оптимальной точке отсечения
Характеристики шкал APACHE II APACHE IV SAPS II MPM II 0 POSSUM
Уровень отсечения 0,50 0,15 50 0,04 50 0,12 50 0,15 50 0,18
Чувствительность 0,431 0,948 0,397 0,931 0,5б9 0,914 0,517 0,914 0,б11 0,944
Специфичность 0,992 0,814 0,99б 0,843 0,988 0,802 0,971 0,727 0,901 0,599
SMR - стандартизированное отношение смерти 2 148 0,58 2 417 0,б3 1 б11 0,574 1 5б8 0,487 0,б92 0,231
Ценность положительного прогноза 0,92б 0,55 0,958 0,587 0,917 0,525 0,811 0,445 0,423 0,218
Ценность отрицательного прогноза 0,879 0,985 0,873 0,981 0,905 0,975 0,894 0,972 0,951 0,989
Как уже подчеркивалось, шкалы APACHE II; APACHE IV; SAPS II; MPM II 0; POSSUM являются нозонеспецифическими и подходят для оценки вероятности летального исхода пациентов с любым клиническим диагнозом, в том числе и для пациентов с онкологическими заболеваниями. В нашем исследовании было 22 пациента, госпитализированных в ОРИТ в связи с онкологическими заболеваниями различной локализации, которым проводилась интенсивная терапия и оперативное лечение. Для данной группы пациентов шкалы также продемонстрировали высокую чувствительность, специфичность и дискриминационную способность. Площадь под ROC-кривой для шкал APACHE II и APACHE IV была выше 0,9 (0,969 и 0,948 соответственно), для шкал SAPS II и MPM II 0 составила 0,891 и 0,826 (таблица 6). В связи с небольшой выборкой пациентов с онкологическими заболеваниями, перенесшими оперативное лечение, площадь под ROC-кривой для шкалы POSSUM не оценивалась.
Таб. б. Дискриминационный анализ для группы пациентов с онкологическими заболеваниями. Анализ площади под ROC-кривой
Шкала Площадь под ROC-кривой p-значение 95% доверительный интервал Стандартная ошибка
APACHE II 0,9б9 <0,001 0,934-1,033 0,033
APACHE IV 0,948 0,002 0,8б0-1,03б 0,045
SAPS II 0,891 0,00б 0,751-1,030 0,071
MPM II 0 0,82б 0,020 0,б50-1,0б0 0,091
Перейти в оглавление статьи >>>
Заключение
При проведении анализа точности прогноза шкал оценки тяжести состояния реанимационных пациентов, только две шкалы - SAPS II, MPM II 0 -
продемонстрировали приемлемые уровни калибрационной и дискриминационной способности. По данным нашего исследования модели APACHE II, APACHE IV и POSSUM обладают неудовлетворительной калибрационной способностью, что ограничивает возможности их использования для прогнозирования летальности в условиях ОРИТ хирургического профиля. При этом прогностические шкалы APACHE
II, APACHE IV, SAPS II, MPM II 0 имеют высокую дискриминационную способность (площадь под ROC-кривой > 0,9), а шкала POSSUM удовлетворительную
дискриминационную способность (площадь под ROC-кривой > 0,8). При оценке дискриминационной способности шкал для группы пациентов с онкологическими заболеваниями площадь под ROC-кривой также была достаточно высока: APACHE II -
0.969. APACHE IV - 0,948, SAPS II - 0,891 и MPM II 0 - 0,826.
Таким образом, по данным нашего исследования только две из пяти прогностических шкал (SAPS II и MPM II 0) могут быть рекомендованы для оценки вероятности летального исхода в отделении реанимации хирургического профиля, в том числе и для группы пациентов с онкологическими заболеваниями. Для расчета шкал SAPS II и MPM II 0 требуется относительно небольшой набор доступных клинико-лабораторных параметров, и эти шкалы могут успешно использоваться в повседневной практике российских ОРИТ.
Перейти в оглавление статьи >>>
Список литературы:
1. Интегральные системы оценки тяжести состояния больных при политравме /Гельфанд Б.Р., Ярошецкий А.И., Проценко Д,Н., Романовский Ю.Я. //Вестник интенсивной терапии. 2004. №1. С. 1-10.
2. Евтюков Г.М., Александрович Ю.С., Иванов Д.О. Оценка тяжести состояния
больных, находящихся в критическом состоянии. URL:
http://www.airspb.ru/persp 23.shtml (Дата обращения 20.12.2010).
3. Габдулхаков Р.М. Прогнозирование исходов и интенсивная терапия при сочетанной травме: Автореф. дис. д-ра мед. наук/ Башкирский государственный
медицинский университет Федерального агентства по здравоохранению и социальному развитию. М., 2009. С. 47.
4. Лебедев Н.В., Корольков А.Ю. Системы объективных оценок тяжести состояния больных панкреонекрозом //Хирургия. Журнал им. Н.И. Пирогова. 2005. №7. С 61-65.
5. Сотников А.В., Кормуков И.А. Прогностическое значение шкал SAPS II и APACHE II у больных с синдромом полиорганной недостаточности раннего послеоперационного периода после онкохирургических вмешательств //Анестезиология и реаниматология. 2003. №2. С.37-39.
6. Лутфарахманов И.И., Тимербулатов В.М., Ишмухаметов И.Х., Миронов П.И. Прогностическая значимость систем оценки тяжести состояния при остром панкреатите // Анналы хирургии. 2005. N 5. С. 38-42.
7. Зарубина Т.В., Швырёв С.Л., Сидоров К.В. ИНТЕРИС - информационная система отделения реанимации и интенсивной терапии // Врач и информационные технологии. 2006. № 3. С.27-40.
8. Knaus W.A., Wagner D.P., Draper E.A. et al. The APACHE III prognostic system. Risk prediction of hospital mortality for critically ill hospitalized adults // Chest. 1991. V.100. P.1619-1636.
9. Le Gall J.R., Lemeshow S., Saulnier F. A new Simplified Acute Physiology Score (SAPS II) based on a European/North American multicenter study // JAMA. 1993. V.270. P.2957-2963.
10. Lemeshow S., Teres D., Klar J. et al. Mortality Probability Models (MPM II) based on an international cohort of intensive care unit patients // JAMA. 1993. V. 270. P.2478-2486.
11. Groeger J.S., Lemeshow S., Price K. et al. Multicenter outcome study of cancer patients admitted to the Intensive Care Unit: a probability of mortality Model // J Clin Oncol. 1998. V. 16. P.761-70.
12. Metz CE. Basic principles of ROC analysis. //Seminars in Nuclear Medicine. 1978. V. 8. P.283-298.
13. Zweig MH, Campbell G. Receiver-operating characteristic (ROC) plots: a fundamental evaluation tool in clinical medicine / /Clinical Chemistry. 1993. V. 39. P.561-577.
14. The GNU project: a language and environment for statistical computing and graphics. URL: http://www.r-project.org/ (Дата обращения 24.12.2010).
Перейти в оглавление статьи >>>
ISSN 1999-7264 © Вестник РНЦРР Минздрава России
