Научная статья на тему 'ПРОГНОСТИЧЕСКАЯ СПОСОБНОСТЬ НОМОГРАММЫ М ОТНОСИТЕЛЬНО СЕРЬЕЗНЫХ НЕБЛАГОПРИЯТНЫХ КАРДИАЛЬНЫХ И ЦЕРЕБРАЛЬНЫХ СОБЫТИЙ ПОСЛЕ ПЛАНОВЫХ КАРДИАЛЬНЫХ ОПЕРАЦИЙ, ВЫПОЛНЕННЫХ В УСЛОВИЯХ ИСКУССТВЕННОГО КРОВООБРАЩЕНИЯ'

ПРОГНОСТИЧЕСКАЯ СПОСОБНОСТЬ НОМОГРАММЫ М ОТНОСИТЕЛЬНО СЕРЬЕЗНЫХ НЕБЛАГОПРИЯТНЫХ КАРДИАЛЬНЫХ И ЦЕРЕБРАЛЬНЫХ СОБЫТИЙ ПОСЛЕ ПЛАНОВЫХ КАРДИАЛЬНЫХ ОПЕРАЦИЙ, ВЫПОЛНЕННЫХ В УСЛОВИЯХ ИСКУССТВЕННОГО КРОВООБРАЩЕНИЯ Текст научной статьи по специальности «Клиническая медицина»

CC BY
63
15
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КАРДИАЛЬНЫЕ ОПЕРАЦИИ / ИСКУССТВЕННОЕ КРОВООБРАЩЕНИЕ / MACE / MACCE / ОСЛОЖНЕНИЯ ПОСЛЕОПЕРАЦИОННОГО ПЕРИОДА / ПРОГНОСТИЧЕСКИЕ ШКАЛЫ

Аннотация научной статьи по клинической медицине, автор научной работы — Берикашвили Л.Б., Кузовлев А.Н., Ядгаров М.Я., Каданцева К.К., Ожиганова Е.А.

Цель исследования: оценка прогностической способности номограммы М относительно развития серьезных неблагоприятных кардиальных событий (MACE) и серьезных неблагоприятных кардиальных и церебральных событий (MACCE) после плановых кардиальных операций, выполненных в условиях искусственного кровообращения. Материалы и методы. Проведено ретроспективное когортное исследование прогностической способности номограммы М в отношении MACE и MACCE после плановых кардиальных операций, выполненных в условиях искусственного кровообращения. Размер выборки составляет 158 пациентов. Для оценки прогностической способности использовали ROC-анализ с расчетом чувствительности и специфичности. Результаты. Частота MACE и MACCE в период инициальной госпитализации составила 5,7% (9 из 158 пациентов) и 6,3% (10 из 158 пациентов) соответственно. Для MACE номограмма М имеет параметр AUC, равный 0,888 [0,825; 0,950] (p < 0,001), c точкой отсечения 12,5 балла (чувствительность - 88,89%, специфичность - 83,89%). Отношение шансов составило 41,67 [95%-ный ДИ 4,98; 348,61] (p < 0,001). Для MACСE номограмма М имеет параметр AUC, равный 0,893 [0,834; 0,951] (p < 0,001), с точкой отсечения 12,5 балла (чувствительность - 90,0%, специфичность - 84,46%). Отношение шансов составило 48,91 [95%-ный ДИ 5,91; 404,78] (p < 0,001). Заключение. Прогностическая способность номограммы М относительно возникновения MACE и MACCE в период госпитализации после выполнения плановых кардиальных операций в условиях искусственного кровообращения характеризуется как хорошая. Для MACE чувствительность составляет 88,89%, специфичность - 83,89%, для MACCE чувствительность составляет 90,0%, а специфичность - 84,46%.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по клинической медицине , автор научной работы — Берикашвили Л.Б., Кузовлев А.Н., Ядгаров М.Я., Каданцева К.К., Ожиганова Е.А.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

NOMOGRAM M PROGNOSTIC VALUE FOR MAJOR ADVERSE CARDIAC AND CEREBRAL EVENTS AFTER ELECTIVE CARDIAC SURGERY WITH CARDIOPULMONARY BYPASS

The objective: to evaluate the prognostic value of Nomogram M for major adverse cardiac events (MACE) and major adverse cardiac and cerebral events (MACCE) after elective cardiac surgery with cardiopulmonary bypass. Subjects and Methods. This is a retrospective cohort study of the Nomogram M prognostic value for MACE and MACCE after elective cardiac surgery with cardiopulmonary bypass. 158 patients were enrolled in the study. The prognostic value was estimated using ROC-analysis. Results. The frequency of MACE and MACCE during hospitalization made 5.7% (9 of 158 patients) and 6.3% (10 of 158 patients), respectively. AUC Nomogram M for MACE was 0.888 [0.825; 0.950] (p < 0.001). Cut-off value made 12.5 points (sensitivity - 88.89%, specificity - 83.89%). Odd ratio was 41.67 [95% CI 4.98; 348.61] (p < 0.001). AUC Nomogram M for MACCE was 0.893 [0.834; 0.951] (p < 0.001). Cut-off value made 12.5 points (sensitivity - 90.00%, specificity - 84.46%). Odd ratio was 48.91 [95% CI 5.91; 404.78] (p < 0.001) Conclusion. Nomogram M has a good prognostic value for the occurrence of MACE and MACCE after elective cardiac surgery with cardiopulmonary bypass. For MACE sensitivity made 88.89%, and specificity - 83.89%. For MACCE sensitivity was 90.00%, specificity - 84.46%.

Текст научной работы на тему «ПРОГНОСТИЧЕСКАЯ СПОСОБНОСТЬ НОМОГРАММЫ М ОТНОСИТЕЛЬНО СЕРЬЕЗНЫХ НЕБЛАГОПРИЯТНЫХ КАРДИАЛЬНЫХ И ЦЕРЕБРАЛЬНЫХ СОБЫТИЙ ПОСЛЕ ПЛАНОВЫХ КАРДИАЛЬНЫХ ОПЕРАЦИЙ, ВЫПОЛНЕННЫХ В УСЛОВИЯХ ИСКУССТВЕННОГО КРОВООБРАЩЕНИЯ»

Анестезиологическая и реаниматологическая помощь взрослым и детям/

Anaesthesiologic and intensive care for a dults and children ВеСТНИК аНеСТеЗИОЛОГИИ И реаНИМаТОЛОГИИ, ТОМ 19, № 2, 2022

2

http://doi.org/10.21292/2078-5658-2022-19-2-6-13

Прогностическая способность номограммы М относительно серьезных неблагоприятных кардиальных и церебральных событий после плановых кардиальных операций, выполненных в условиях искусственного кровообращения

Л. Б. БЕРИКАШВИЛИ12, А. Н. КУЗОВЛЕВ1, М. Я. ЯДГАРОВ1, К. К. КАДАНЦЕВА1, Е. А. ОЖИГАНОВА1, В. В. ЛИХВАНЦЕВ13

'Научно-исследовательский институт общей реаниматологии им. В. А. Неговского, Москва, РФ

2Московский областной научно-исследовательский клинический институт им. М. Ф. Владимирского, Москва, РФ

3Первый Московский государственный медицинский университет им. И. М. Сеченова (Сеченовский университет), Москва, РФ

Цель исследования: оценка прогностической способности номограммы М относительно развития серьезных неблагоприятных кардиальных событий (MACE) и серьезных неблагоприятных кардиальных и церебральных событий (MACCE) после плановых кардиальных операций, Й выполненных в условиях искусственного кровообращения.

Материалы и методы. Проведено ретроспективное когортное исследование прогностической способности номограммы М в отношении MACE и MACCE после плановых кардиальных операций, выполненных в условиях искусственного кровообращения. Размер выборки составляет 158 пациентов. Для оценки прогностической способности использовали ROC-анализ с расчетом чувствительности и специфичности.

Результаты. Частота MACE и MACCE в период инициальной госпитализации составила 5,7% (9 из 158 пациентов) и 6,3% (10 из 158 пациентов) соответственно. Для MACE номограмма М имеет параметр AUC, равный 0,888 [0,825; 0,950] (p < 0,001), c точкой отсечения 12,5 балла (чувствительность - 88,89%, специфичность - 83,89%). Отношение шансов составило 41,67 [95%-ный ДИ 4,98; 348,61] (p < 0,001). Для MACCE номограмма М имеет параметр AUC, равный 0,893 [0,834; 0,951] (p < 0,001), с точкой отсечения 12,5 балла (чувствительность -90,0%, специфичность - 84,46%). Отношение шансов составило 48,91 [95%-ный ДИ 5,91; 404,78] (p < 0,001).

Заключение. Прогностическая способность номограммы М относительно возникновения MACE и MACCE в период госпитализации после выполнения плановых кардиальных операций в условиях искусственного кровообращения характеризуется как хорошая. Для MACE чувствительность составляет 88,89%, специфичность - 83,89%, для MACCE чувствительность составляет 90,0%, а специфичность - 84,46%. Ключевые слова: кардиальные операции, искусственное кровообращение, MACE, MACCE, осложнения послеоперационного периода, прогностические шкалы

Для цитирования: Берикашвили Л. Б., Кузовлев А. Н., Ядгаров М. Я., Каданцева К. К., Ожиганова Е. А., Лихванцев В. В. Прогностическая способность номограммы М относительно серьезных неблагоприятных кардиальных и церебральных событий после плановых кардиаль-ных операций, выполненных в условиях искусственного кровообращения // Вестник анестезиологии и реаниматологии. - 2022. - Т. 19, № 2. - С. 6-13. DOI: 10.21292/2078-5658-2022-19-2-6-13

Nomogram M Prognostic Value for Major Adverse Cardiac and Cerebral Events after Elective Cardiac Surgery with Cardiopulmonary Bypass

L. B. BERIKASHVILI12, A. N. KUZOVLEV1, M. YA. YADGAROV1, K. K. KADANTSEVA1, E. A. OZHIGANOVA1, V. V. LIKHVANTSEV1 3

1V. A. Negovsky Reanimatology Research Institute, Moscow, Russia

2M. F. Vladimirsky Moscow Regional Research and Clinical Institute, Moscow, Russia

3I. M. Sechenov First Moscow State Medical University (Sechenov University), Moscow, Russia

The objective: to evaluate the prognostic value of Nomogram M for major adverse cardiac events (MACE) and major adverse cardiac and cerebral

< events (MACCE) after elective cardiac surgery with cardiopulmonary bypass. CC

Subjects and Methods. This is a retrospective cohort study of the Nomogram M prognostic value for MACE and MACCE after elective cardiac CD surgery with cardiopulmonary bypass. 158 patients were enrolled in the study. The prognostic value was estimated using ROC-analysis.

Results. The frequency of MACE and MACCE during hospitalization made 5.7% (9 of 158 patients) and 6.3% (10 of 158 patients), respectively. AUC Nomogram M for MACE was 0.888 [0.825; 0.950] (p < 0.001). Cut-off value made 12.5 points (sensitivity - 88.89%, specificity - 83.89%). Odd ratio was 41.67 [95% CI 4.98; 348.61] (p < 0.001).

AUC Nomogram M for MACCE was 0.893 [0.834; 0.951] (p < 0.001). Cut-off value made 12.5 points (sensitivity - 90.00%, specificity - 84.46%). Odd ratio was 48.91 [95% CI 5.91; 404.78] (p < 0.001)

Conclusion. Nomogram M has a good prognostic value for the occurrence of MACE and MACCE after elective cardiac surgery with cardiopulmonary bypass. For MACE sensitivity made 88.89%, and specificity - 83.89%. For MACCE sensitivity was 90.00%, specificity - 84.46%.

Key words: cardiac surgery, cardiopulmonary bypass, MACE, MACCE, postoperative complications, prognostic scales

For citations: Berikashvili L. B., Kuzovlev A. N., Yadgarov M. Ya., Kadantseva K. K., Ozhiganova E. A., Likhvantsev V. V. Nomogram M prognostic value for major adverse cardiac and cerebral events after elective cardiac surgery with cardiopulmonary bypass. Messenger of Anesthesiology and Resuscitation, 2022, Vol. 19, no. 2, P. 6-13. (In Russ.) DOI: 10.21292/2078-5658-2022-19-2-6-13

Для корреспонденции: Берикашвили Леван Бондоевич E-mail: levan.berikashvili@mail.ru

Correspondence:

Levan B. Berikashvili

Email: levan.berikashvili@mail.ru

В последнее десятилетие проблема серьезных неблагоприятных кардиальных (MACE) и серьезных неблагоприятных кардиальных и церебральных событий (MACCE) вызывает все больший интерес со стороны исследователей [1, 7, 12-14, 19, 20, 22, 23]. На данный момент известно, что частота упомянутых исходов в госпитальный период варьирует от 2,6 до 8,5% в зависимости от типа оперативного вмешательства [7, 18, 20]. Среди основных факторов риска возникновения MACE и MACCE выделяют возраст [2, 23], наличие сердечной недостаточности [2, 16], инфаркт миокарда в анамнезе [16], заболевание периферических артерий [2], хроническую болезнь почек 4-5-й стадии [16] и тип оперативного вмешательства [20]. В связи с потенциальной угрозой для жизни возможность прогнозирования наступления данных осложнений является крайне важной частью медицинской практики.

В настоящее время существует несколько моделей, которые могут быть использованы для прогнозирования развития MACE: Euroscore II [17] и Revised Cardiac Risk Index (RCRI) [11]. Согласно результатам проведенных исследований, прогностическая способность данных шкал является удовлетворительной [9, 10]. Подобное качество прогноза явно недостаточно на современном этапе развития кардиоанестезиологии.

Как было показано ранее, номограмма М обладает высокой прогностической способностью относительно 30-дневной летальности [4] и хорошей прогностической способностью относительно развития новых послеоперационных гемодинамически значимых аритмий [5].

В рамках данной работы проведена оценка прогностической способности номограммы М относительно MACE и MACCE.

Цель: оценка прогностической способности номограммы М относительно MACE и MACCE после плановых кардиальных операций, выполненных в условиях искусственного кровообращения (ИК).

Материалы и методы

Дизайн исследования

В период с июня 2014 г. по сентябрь 2017 г. в ГБУЗ МО «МОНИКИ им. М. Ф. Владимирского» было выполнено одноцентровое ретроспективное когортное исследование прогностической способности номограммы М в отношении вероятности возникновения MACE и MACCE у пациентов, перенесших операцию на сердце в условиях ИК.

Критерии включения в исследование: возраст более 18 лет и плановая операция на сердце в условиях ИК. Критерии исключения: операции по поводу врожденных пороков сердца.

В рамках настоящего исследования собраны и подвергнуты статистическому анализу следующие данные: рост, масса тела, возраст, пол, плохая мобильность (согласно критериям E-CABG [6] и Euroscore II [17]), скорость клубочковой фильтра-

ции, предоперационный уровень креатинина, возникновение острого повреждения почек, тяжесть предоперационного состояния пациентов (согласно критериям E-CABG [6] и Euroscore II [17]), недавний прием антиагрегантов [21], фракция изгнания левого желудочка, наличие хронической обструк-тивной болезни легких, инфаркта миокарда, цирроза, стенокардии покоя, хронического диализа, застойной сердечной недостаточности, заболеваний периферических артерий, артериальной гипертен-зии, сахарного диабета, инсульта, транзиторных ишемических атак в анамнезе, протеинурии, значение вазоактивной инотропной шкалы (VIS) в момент поступления в отделение реанимации и интенсивной терапии (ОРИТ) из операционной.

В качестве первичной конечной точки выбрана частота развития MACE и MACCE в период госпитализации.

MACE определяется как композитный исход, который включает в себя кардиальную смерть, инфаркт миокарда, нефатальную остановку сердца и проведение процедуры реваскуляризации миокарда [3].

MACCE определяется как композитный исход, который включает в себя кардиальную смерть, инфаркт миокарда, нефатальную остановку сердца, проведение процедуры реваскуляризации миокарда и инсульт.

На основании собранных данных для каждого пациента рассчитаны значения номограммы М (табл. 1), Euroscore II [17] и Revised Cardiac Risk Index (RCRI) [11].

Принцип использования номограммы М заключается в начислении баллов за каждый из 10 оцениваемых параметров: возраст, пол, индекс массы тела, плохая подвижность, класс скорости клубочковой фильтрации, стенокардия покоя, недавний прием антиагрегантов, фракция выброса левого желудочка, критическое предоперационное состояние и значение вазоактивной инотропной шкалы в момент поступления в ОРИТ из операционной. Важно отметить, что скорость клубочковой фильтрации рассчитывается по формуле MDRD [15], а класс скорости клубочковой фильтрации устанавливается на основании классификации хронической болезни почек [8]. Количество баллов, набираемое пациентом по каждому параметру, суммируется с целью определения суммарного балла по номограмме М. В дальнейшем подсчитанный суммарный балл по номограмме М сравнивается с баллом, который является точкой отсечения. Это позволяет прогнозировать обсуждаемые исходы у пациентов.

Методы статистического анализа

С целью сравнения прогностических способностей данных моделей относительно MACE и MACCE в период инициальной госпитализации проведен ROC-анализ. Для номограммы М рассчитана точка отсечения. Данное значение номограммы М послужило принципом разделения пациентов на две группы: 1-я группа - пациенты, набравшие

Таблица 1. Параметры и их относительный вес (в баллах), которые учитываются в номограмме М

Table 1. Parameters of Nomogram М and their relative weight (scores)

Показатель Баллы

VIS в момент поступления в ОРИТ (балл)

< 8 0 баллов

8-15 2 балла

> 15 4 балла

Критическое предоперационное состояние 4,5 балла

Фракция выброса левого желудочка (%)

> 50% 0 баллов

31-50% 1 балл

21-30% 5 баллов

< 20% 6,5 балла

Стенокардия покоя 2 балла

Плохая подвижность 3 балла

Недавний прием антиагрегантов 2 балла

MDRD eGFR (класс)

1 0 баллов

2 0 баллов

3a 1 балл

3b 4,5 балла

4 7 баллов

5 8 баллов

Индекс массы тела (кг/м2)

15 2 балла

20 2,5 балла

25 3 балла

30 4 балла

35 4,5 балла

40 5 баллов

50 6,5 балла

Женский пол 0,5 балла

Возраст (лет)

20 2 балла

30 3 балла

40 4 балла

50 5 баллов

60 6 баллов

70 7 баллов

80 8 баллов

Примечание: MDRD eGFR - рассчитанная скорость клубочковой фильтрации по формуле MDRD, VIS - вазоактивная инотропная шкала, ОРИТ - отделение реанимации и интенсивной терапии

баллов меньше, чем точка отсечения, 2-я группа -пациенты, набравшие большее или равное количество баллов, чем точка отсечения.

Для собранных данных проведена оценка нормальности распределения. Данные, имеющие нормальное распределение, представлены в виде среднего и стандартного отклонения, в то время как данные, распределение которых не соответствует нормальному, представлены в виде медианы и квартилей.

Статистический анализ данных проводили с использованием пакетов программного обеспечения IBM SPSS Statistics 25.0 и MedCalc® Statistical Software версии 20.008 (MedCalc Software Ltd, Остенде, Бельгия). Нормальность распределения оценивали с помощью теста Шапиро - Уилка. Критическое значение p-value установлено на уровне 0,05. Для оценки предикторной способности раз-

личных параметров использовали ИОС-анализ с оценкой параметра ЛИС (площадь под ИОС-кри-вой) и его 95%-ного доверительного интервала. Пороговое значение выбрано на основе оптимального соотношения чувствительность/специфичность в соответствии с результатами ИОС-анализа (статистика Юдена Для предикторов рассчитывали чувствительность, специфичность, точность и отношение шансов (ОИ).

Результаты

Участники

Изучена медицинская документация 520 пациентов. Критериям включения и исключения соответствовали 158 пациентов, данные которых и были использованы для итогового анализа (рис. 1).

Общее количество пациентов: 520

Количество пациентов, удовлетворяющих критериям включения: 158

Критерии включения не выполнены для 362 пациентов:

169 - менее 18 лет 193 - не использовали процедуру искусственного кровообращения

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

\_^ Критерии исключения обнаружены

^ у 0 пациентов:

Количество пациентов, включенных 0 - врожденные пороки сердца в итоговый анализ: 158

Рис. 1. Блок-схема, демонстрирующая порядок отбора и включения пациентов в исследование Fig. 1. Flow-chart of the study

Описательные данные

Некоторые демографические, антропометрические и клинико-лабораторные данные пациентов на этапе включения в исследование представлены в табл. 2.

Таблица 2. Некоторые демографические, антропометрические и клинико-лабораторные данные пациентов на этапе включения в исследование Table 2. Some demographic, anthropometric, clinical, and laboratory patients' data at the moment of inclusion in the study

Показатели Значение

Возраст, лет 60,19 ± 7,99

Количество мужчин, человек (%) 124 (78,48%)

Индекс массы тела, кг/м2 28,52 ± 3,78

Скорость клубочковой фильтрации, мл/мин 82,83 [66,19; 95,66]

Фракция изгнания левого желудочка, % 58,72 ± 10,22

Euroscore II, % 1,88 [1,30; 2,85]

RCRI, балл 3,0 [3,0; 3,0]

Примечание: Euroscore II - шкала оценки риска госпитальной летальности после кардиальной операции; шкала RCRI - шкала оценки риска периоперационных кардиальных осложнений

Хронические сопутствующие заболевания пациентов отражены в табл. 3.

Распределение пациентов в зависимости от типа оперативного вмешательства представлено в табл. 4.

Таблица 3. Некоторые сопутствующие заболевания пациентов

Table 3. Some chronic patients' diseases

Хронические заболевания Количество пациентов, п (%)

Хроническая обструктивная болезнь легких 9 (5,7%)

Активный эндокардит 4 (2,5%)

Инсулинопотребный сахарный диабет 9 (5,7%)

Инфаркт миокарда в течение 90 дней до операции 7 (4,4%)

Легочная артериальная гипертензия 23(14,6%)

Атеросклеротическое поражение некоронарных артерий 32 (20,3%)

Стенокардия покоя в анамнезе 6 (3,8%)

Таблица 4. Типы оперативного вмешательства, которые были проведены у пациентов, включенных в исследование

Table 4. Types of surgery performed in the patients included in the study

Тип операции Количество пациентов, п (%)

Аортокоронарное шунтирование 125 (79,12%)

Операция на любом одном клапане сердца 13(8,23%)

Аортокоронарное шунтирование в сочетании с аневризмэктомией левого желудочка 9 (5,7%)

Операция на любом одном клапане в сочетании с аневризмэктомией левого желудочка 5(3,17%)

Аортокоронарное шунтирование в сочетании с операцией на любом одном клапане 1 (0,63%)

Аортокоронарное шунтирование в сочетании с операцией на любом одном клапане и аневризмэктомия левого желудочка 1 (0,63%)

Операция на любых двух клапанах в сочетании с аневризмэктомией левого желудочка 2(1,26%)

Операция на любых двух клапанах в сочетании с аортокоронарным шунтированием 1 (0,63%)

Операция на трех клапанах в сочетании с аневризмэктомией левого желудочка 1 (0,63%)

Распределение исходов, включенных в MACE и МАССЕ, приведено в табл. 5.

Таблица 5. Частота исходов, включенных в МАСЕ и МАССЕ

Table 5. Frequency of outcomes included in MACE and МАССЕ

Причины повторного поступления в ОРИТ Количество пациентов, %

Кардиальная смерть 7 (4,4%)

Инфаркт миокарда 4 (2,5%)

Нефатальная остановка сердца 3(1,9%)

Реваскуляризация 1 (0,6%)

Инсульт 1 (0,6%)

Медианное значение вазоактивной инотропной шкалы в момент поступления в ОРИТ из операционной составляет 1,5 балла [1£Ж: 0; 5,0].

Медианное значение номограммы M составляет 10,0 балла [IQR: 9,0; 11,4].

МАСЕ

Частота развития MACE в период госпитализации составила 5,7% (9 из 158 пациентов). Номограмма M имеет параметр AU С = 0,888 [0,825; 0,950] (р<0,001) (рис. 2).

1,0

0,8

л

8 о,в

X

g, 0,4

0,2

0,0

0,0 0,2 0,4 0,6 0,8 1,0

1 - Специфичность

Рис. 2. ROC-кривые, демонстрирующие сравнительную оценку качества различных шкал в отношении риска возникновения МАСЕ у пациентов после выполнения операций на сердце в условиях ИК. Примечание: Euroscore II - шкала оценки риска госпитальной летальности после кардиальной операции, шкала RCRI - шкала оценки риска периоперационных кардиальных осложнений Fig. 2. ROC-cumes that demonstrate comparative quality assessment of the MACE predictors inpatients after cardiac surgery with СВР.

Note: Euroscore II - the score for assessing the risk of hospital mortality after cardiac surgery: RCRI - the tool for assessing the risk o fperioperative cardiac complications

Точкой отсечения является 12,5 балла (чувствительность - 88,89% [95%-ный ДИ 51,75%; 99,72%], специфичность - 83,89% [95%-ный ДИ 76,99%; 89,40%]). Точность прогностической модели -84,18% [95%-ный ДИ 77,53%; 89,49%]. Абсолютный риск развития МАСЕ в период госпитализации в

1-й группе (пациенты, набравшие менее 12,5 балла) соответствует 0,8% (1 из 126 пациентов), во

2-й группе (пациенты, набравшие 12,5 балла и более) - 25% (8 из 32 пациентов). Отношение шансов 2-й группы по отношению к 1-й группе равняется 41,67 [95%-ный ДИ 4,98; 348,61] (р < 0,001).

Euroscore II и RCRI не продемонстрировали статистической значимости для данных исходов: р = 0,277 ир = 0,988 соответственно. МАССЕ

Частота МАССЕ в период госпитализации составила 6,3% (10 из 158 пациентов). Номограмма М имеет параметр AUC = 0,893 [0,834; 0,951] (р< 0,001) (рис.3).

ROC-кривые

Г У -Г" / ---1

H

Г J

1 / yv

1-- _ / _ __1

J Источнин кривой _ RCRI

Номограмма M — — Euroscore II Опорная линия

ROC-кривые

0,4 0,6

1 - Специфичность

Рис. 3. ROC-кривые, демонстрирующие сравнительную оценку качества различных шкал в отношении риска возникновения МАССЕ у пациентов после выполнения операций на сердце в условиях ИК. Примечание: Euroscore II - шкала оценки риска госпитальной летальности после кардиальной операции, шкала RCRI - шкала оценки риска периоперационных кардиальных осложнений Fig. 3. ROC-curves that demonstrate comparative quality assessment of the МАССЕ predictors inpatients after cardiac surgery with СВР.

Note: Euroscore II - scale for assessing the risk of hospital mortality after cardiac surgery. RCRI scale - scale for assessing the risk of perioperative cardiac complications

Точкой отсечения является 12,5 балла (чувствительность - 90,0% [95%-ный ДИ 55,50%; 99,75%], специфичность - 84,46% [95%-ный ДИ 77,60%; 89,89%]). Точность прогностической модели -84,81% [95%-ный ДИ 78,25%; 90,02%]. Абсолютный риск развития МАССЕ в период госпитализации в 1-й группе (пациенты, набравшие менее 12,5 балла) соответствует 0,8% (1 из 126 пациентов), во 2-й группе (пациенты, набравшие 12,5 балла и более) - 28,1% (9 из 32 пациентов). Отношение шансов пациентов 2-й группы по отношению к 1-й группе равняется 48,91 [95%-ный ДИ 5,91; 404,78] (р < 0,001).

Euroscore II и RCRI не продемонстрировали статистической значимости для данных исходов: р = 0,127 ир = 0,963 соответственно.

Обсуждение

Ключевые результаты

По результатам проведенного исследования можно с уверенностью сказать, что прогностическая способность номограммы М относительно развития серьезных неблагоприятных кардиальных событий (МАСЕ) и серьезных неблагоприятных кардиальных и церебральных событий (МАССЕ) в период госпитализации после пла-

новых оперативных вмешательств на сердце, выполненных в условиях ИК, может быть признана хорошей: AUC = 0,888 [0,825; 0,950] (р < 0,001) для MACE и AUC = 0,893 [0,834; 0,951] (р < 0,001) для МАССЕ.

Важно, что точка отсечения для данных исходов одинакова и составляет 12,5 балла по номограмме М. Отношение шансов MACE и МАССЕ относительно точки отсечения составляет 41,67 [95%-ный ДИ 4,98; 348,61] и 48,91 [95%-ный ДИ 5,91; 404,78] соответственно. Отметим, что при наличии такого широкого доверительного интервала более верным подходом будет ориентироваться на нижнюю границу 95%-ного ДИ. В таком случае с вероятностью 95% можно утверждать, что шанс развития MACE у пациентов, которые набрали 12,5 балла и более по номограмме М, практически в 5 раз выше, чем шанс развития MACE у пациентов, которые набрали менее 12,5 балла по номограмме М. Шанс развития МАССЕ в аналогичных условиях практически в 6 раз выше.

В нашем исследовании ни Euroscore II, ни RCRI не обладали статистической значимостью ни в отношении MACE (р = 0,277 ир = 0,988 соответственно), ни в отношении МАССЕ (р = 0,127 и р = 0,963 соответственно). Ранее сходная оценка уже была проведена М. К. Ford, W. S. Beattie, D. N. Wijeysundera et. al. в отношении шкалы RCRI [ 10] и J. L. Fellahi, Y Le Manach, G. Daccache в отношении Euroscore II [9]. Было показано, что RCRI имеет параметр AUC = 0,75 [0,72; 0,79] (р < 0,001) [10]. Однако чувствительность данной шкалы не позволяет верно интерпретировать результат по причине доверительного интервала: чувствительность = 65% [95%-ный ДИ 46%; 81%] [16]. Дело в том, что нижняя граница 95%-ного доверительного интервала для чувствительности находится ниже 50%. Следовательно, вероятно, более чем половине пациентов будет выставлен неверный риск развития MACE. Данный аспект не позволяет рекомендовать использование RCRI в клинической практике.

Для Euroscore II были продемонстрированы неудовлетворительные результаты: AUC = 0,60 [0,55; 0,65] (р < 0,001), что также не позволяет рассматривать данную модель для прогнозирования MACE [9].

Внешняя валидность

По причине того, что в рамках данного исследования изучались клинические случаи, а не экспериментальные модели, внешняя валидность исследования может быть расценена как высокая. Тем не менее представленная выборка ограничена пациентами с приобретенными пороками сердца и ишемической болезнью сердца, таким образом, возможность экстраполяции полученных результатов на всю группу пациентов, оперированных на сердце в условиях ИК (например, операции по поводу врожденных пороков сердца), представляется сомнительной.

Ограничения

Для данного исследования было выявлено два ограничения. Во-первых, исследование является

одноцентровым ретроспективным и когортным. Следовательно, оно является менее значимым в сравнении с проспективными мультицентровыми исследованиями.

Во-вторых, подавляющему большинству пациентов, включенных в анализ (79,12%), была выполнена операция аортокоронарного шунтирования, что снижает точность экстраполяции полученных результатов на другие типы кардиальных оперативных вмешательств.

Вывод

Прогностическая способность номограммы М относительно MACE и MACCE в период госпитализации после плановых кардиальных операций, выполненных в условиях ИК, характеризуется как хорошая. Для MACE чувствительность составляет 88,89%, специфичность - 83,89%, для MACCE чувствительность составляет 90,0%, а специфичность - 84,46%.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Конфликт интересов. Авторы заявляют об отсутствии у них конфликта интересов.

Благодарность. Авторы выражают искреннюю благодарность заведующему кафедрой анестезиологии и реаниматологии ФУВ ГБУЗ МО «МОНИКИ им. М. Ф. Владимирского» профессору Алексею Мурадовичу Овезову и заведующему отделением анестезиологии ГБУЗ МО «МОНИКИ им. М. Ф. Владимирского» Олегу Николаевичу Герасименко за создание максимально благоприятных условий для выполнения настоящей работы. Conflict of Interests. The authors state that they have no conflict of interests.

Gratitude. The authors express their sincere gratitude to Professor Alexey M. Ovezov, the Head of Anesthesiology and Intensive Care Department of M.F. Vladimirsky Moscow Regional Research and Clinical Institute, and Oleg N. Gerasimenko, the Head of Anesthesiology Department, M.F. Vladimirsky Moscow Regional Research and Clinical Institute, for creating the most favorable conditions for the implementation of this study.

ЛИТЕРАТУРА

1. Akpek M., Kaya M. G., Lam Y. Y. et al. Relation of neutrophil/lymphocyte ratio to coronary flow to in-hospital major adverse cardiac events in patients with ST-elevated myocardial infarction undergoing primary coronary intervention // Am. J. Cardiol. - 2012. - Vol. 110, № 5. - Р. 621-627. doi:10.1016/j. amjcard.2012.04.041.

2. Baluja A., Rodríguez-Mañero M., Cordero A. et al. Prediction of major adverse cardiac, cerebrovascular events in patients with diabetes after acute coronary syndrome // Diab. Vasc. Dis. Res. - 2020. - Vol. 17, № 1. - 1479164119892137. doi:10.1177/1479164119892137.

3. Beattie W. S., Lalu M., Bocock M. et al. Systematic review and consensus definitions for the Standardized Endpoints in Perioperative Medicine (StEP) initiative: cardiovascular outcomes // Br. J. Anaesth. - 2021. - Vol. 126, № 1. -Р. 56-66. doi:10.1016/j.bja.2020.09.023.

4. Berikashvili L. B., Kuzovlev A. N., Yadgarov M. Ya. et al. Influence of pre-and intraoperative factors on hospital mortality after elective cardiac surgery with cardiopulmonary bypass. A retrospective study // Ann. Crit Care. - 2021. -№ 2. - Р. 128-135. DOI: 10.21320/1818-474X-2021-2-128-135.

5. Berikashvili L. B., Yadgarov M. Ya., Gerasimenko O. N. et al. Risk assessment of hemodynamically significant arrhythmias after elective cardiac operations with cardiopulmonary bypass using the modified nomogram (retrospective study) // General Reanimatol. - 2021. - Vol. 17, № 6. - Р. 20-26. https://doi. org/10.15360/1813-9779-2021-6-20-26.

6. Biancari F., Ruggieri V. G., Perrotti A. et al. European multicenter study on Coronary Artery Bypass Grafting (E-CABG registry): Study protocol for a prospective clinical registry and proposal of classification of postoperative complications // J. Cardiothorac. Surg. - 2015. - № 10. - Р. 90. Published 2015 Jun 30. doi:10.1186/s13019-015-0292-z.

7. Bosiers M. J., Tran K., Lee J. T. et al. Incidence and prognostic factors related to major adverse cerebrovascular events in patients with complex aortic diseases treated by the chimney technique // J. Vasc. Surg. - 2018. - Vol. 67, № 5. -Р. 1372-1379. doi:10.1016/j.jvs.2017.08.079.

8. Eknoyan G., Lameire N. KDIGO 2012 clinical practice guideline for the evaluation and management of chronic kidney disease // Kidney Int. - 2013. -Vol. 1, № 3. - Р. 5-14. doi:10.1038/kisup.2012.3.

9. Fellahi J. L., Le Manach Y., Daccache G. et al. Combination of EuroSCORE and cardiac troponin I improves the prediction of adverse outcome after cardiac surgery // Anesthesiology. - 2011. - Vol. 114, № 2. - Р. 330-339. doi:10.1097/ALN.0b013e31820166.

10. Ford M. K., Beattie W. S., Wijeysundera D. N. Systematic review: prediction of perioperative cardiac complications and mortality by the revised

REFERENCES

1. Akpek M., Kaya M.G., Lam Y.Y. et al. Relation of neutrophil/lymphocyte ratio to coronary flow to in-hospital major adverse cardiac events in patients with ST-elevated myocardial infarction undergoing primary coronary intervention. Am. J. Cardiol., 2012, vol. 110, no. 5, pp. 621-627. doi:10.1016/j. amjcard.2012.04.041.

2. Baluj a A., Rodríguez-Mañero M., Cordero A. et al. Prediction of maj or adverse cardiac, cerebrovascular events in patients with diabetes after acute coronary syndrome. Diab. Vasc. Dis. Res., 2020, vol. 17, no. 1, 1479164119892137. doi:10.1177/1479164119892137.

3. Beattie W.S., Lalu M., Bocock M. et al. Systematic review and consensus definitions for the Standardized Endpoints in Perioperative Medicine (StEP) initiative: cardiovascular outcomes. Br. J. Anaesth., 2021, vol. 126, no. 1, pp. 56-66. doi:10.1016/j.bja.2020.09.023.

4. Berikashvili L.B., Kuzovlev A.N., Yadgarov M.Ya. et al. Influence of pre- and intraoperative factors on hospital mortality after elective cardiac surgery with cardiopulmonary bypass. A retrospective study. Ann. Crit. Care, 2021, no. 2, pp. 128-135. doi: 10.21320/1818-474X-2021-2-128-135.

5. Berikashvili L.B., Yadgarov M.Ya., Gerasimenko O.N. et al. Risk assessment of hemodynamically significant arrhythmias after elective cardiac operations with cardiopulmonary bypass using the modified nomogram (retrospective study). General Reanimatol., 2021, vol. 17, no. 6, pp. 20-26. https://doi. org/10.15360/1813-9779-2021-6-20-26.

6. Biancari F., Ruggieri V.G., Perrotti A. et al. European multicenter study on Coronary Artery Bypass Grafting (E-CABG registry): Study protocol for a prospective clinical registry and proposal of classification of postoperative complications. J. Cardiothorac. Surg., 2015, no. 10, pp. 90. Published 2015 Jun 30. doi:10.1186/s13019-015-0292-z.

7. Bosiers M.J., Tran K., Lee J.T. et al. Incidence and prognostic factors related to major adverse cerebrovascular events in patients with complex aortic diseases treated by the chimney technique. J. Vasc. Surg., 2018, vol. 67, no. 5, pp. 1372-1379. doi:10.1016/j.jvs.2017.08.079.

8. Eknoyan G., Lameire N. KDIGO 2012 clinical practice guideline for the evaluation and management of chronic kidney disease. Kidney Int., 2013, vol. 1, no. 3, pp. 5-14. doi:10.1038/kisup.2012.3.

9. Fellahi J.L., Le Manach Y., Daccache G. et al. Combination of EuroSCORE and cardiac troponin I improves the prediction of adverse outcome after cardiac surgery. Anesthesiology, 2011, vol. 114, no. 2, pp. 330-339. doi:10.1097/ALN.0b013e31820166.

10. Ford M.K., Beattie W.S., Wijeysundera D.N. Systematic review: prediction of perioperative cardiac complications and mortality by the revised

cardiac risk index // Ann. Intern. Med. - 2010. - Vol. 152, № 1. - P. 26-35. doi:10.7326/0003-4819-152-1-201001050-00007.

11. Goldman L., Caldera D. L., Nussbaum S. R. et al. Multifactorial index of cardiac risk in noncardiac surgical procedures // N. Engl. J. Med. - 1977. - Vol. 297, № 16. - P. 845-850. doi:10.1056/NEJM197710202971601.

12. Golubovic M., Peric V., Stanojevic D. et al. Potential new approaches in predicting adverse cardiac events one month after major vascular surgery // Med. Princ. Pract. - 2019. - Vol. 28, № 1. - P. 63-69. doi:10.1159/000495079.

13. Hawn M. T., Graham L. A., Richman J. S. et al. Risk of major adverse cardiac events following noncardiac surgery in patients with coronary stents [published correction appears in JAMA. - 2014;311(5):528] // JAMA. - 2013. - Vol. 310, № 14. - P. 1462-1472. doi:10.1001/jama.2013.278787.

14. Hou Z. H., Lu B., Gao Y. et al. Prognostic value of coronary CT angiography and calcium score for major adverse cardiac events in outpatients // JACC Cardiovasc. Imaging. - 2012. - Vol. 5, № 10. - P. 990-999. doi:10.1016/j. jcmg.2012.06.006.

15. Levey A. S., Bosch J. P., Lewis J. B. et al. A more accurate method to estimate glomerular filtration rate from serum creatinine: a new prediction equation. Modification of Diet in Renal Disease Study Group // Ann. Intern. Med. - 1999. -Vol. 130, № 6. - P. 461-470. doi:10.7326/0003-4819-130-6-199903160-00002.

16. Lin F. J., Tseng W. K., Yin W. H. et al. Residual risk factors to predict major adverse cardiovascular events in atherosclerotic cardiovascular disease patients with and without diabetes mellitus // Sci. Rep. - 2017. - Vol. 7, № 1. - P. 9179. Published 2017 Aug 23. doi:10.1038/s41598-017-08741-0.

17. Nashef S. A., Roques F., Sharples L. D. et al. EuroSCORE II // Eur. J. Cardiothorac. Surg. - 2012. - Vol. 41, № 4. - P. 734-745. doi:10.1093/ejcts/ezs043.

18. Sabate S., Mases A., Guilera N. et al. Incidence and predictors of major perioperative adverse cardiac and cerebrovascular events in non-cardiac surgery // Br. J. Anaesth. - 2011. - Vol. 107, № 6. - P. 879-890. doi:10.1093/bja/aer268.

19. Shon H. S., Bae J. W., Kim K. O. et al. Biomarker for the prediction of major adverse cardiac events in patients with Non-ST-Segment elevation myocardial infarction // Osong. Public Health Res. Perspect. - 2017. - Vol. 8, № 4. -P. 237-246. doi:10.24171/j.phrp.2017.8.4.02.

20. Smilowitz N. R., Gupta N., Ramakrishna H. et al. Perioperative major adverse cardiovascular and cerebrovascular events associated with noncardiac surgery // JAMA Cardiol. - 2017. - Vol. 2, № 2. - P. 181-187. doi:10.1001/jamacardio.2016.4792.

21. Sousa-Uva M., Head S. J., Milojevic M. et al. 2017 EACTS Guidelines on perioperative medication in adult cardiac surgery // Eur. J. Cardiothorac. Surg. - 2018. - Vol. 53, № 1. - P. 5-33. doi:10.1093/ejcts/ezx314.

22. Ueshima D., Ashikaga T., Yoshikawa S. et al. Effect of over-2-year dual antiplatelet therapy on the rate of major adverse cardiac and cerebral events for everolimus-eluting stent implantation: The landmark analysis from Tokyo-MD PCI registry // J. Cardiol. - 2017. - Vol. 69, № 6. - P. 815-822. doi:10.1016/j. jjcc.2016.08.015.

23. Yao C., Zhou L., Huang Q. The occurrence and potential predictive factors of major adverse cardiac and cerebral events in end-stage renal disease patients on continuous ambulatory peritoneal dialysis: A prospective cohort study // Medicine (Baltimore). - 2021. - Vol. 100, № 10. - P. e24616. doi:10.1097/MD.0000000000024616.

ИНФОРМАЦИЯ ОБ АВТОРАХ:

Научно-исследовательский институт общей реаниматологии им. В. А. Неговского, 107031, Москва, Петровка, д. 25 с. 2.

Берикашвили Леван Бондоевич

научный сотрудник отделения клинических исследований. E-mail: levan.berikashvili@mail.ru https://orcid.org/0000-0001-9267-3664

Кузовлев Артем Николаевич

доктор медицинских наук, руководитель. E-mail: artem_kuzovlev@fnkcrr.ru https://orcid.org/ 0000-0002-5930-0118

cardiac risk index. Ann. Intern. Med., 2010, vol. 152, no. 1, pp. 26-35. doi:10.7326/0003-4819-152-1-201001050-00007.

11. Goldman L., Caldera D.L., Nussbaum S.R. et al. Multifactorial index of cardiac risk in noncardiac surgical procedures. N. Engl. J. Med., 1977, vol. 297, no. 16, pp. 845-850. doi:10.1056/NEJM197710202971601.

12. Golubovic M., Peric V., Stanojevic D. et al. Potential new approaches in predicting adverse cardiac events one month after major vascular surgery. Med. Princ. Pract., 2019, vol. 28, no. 1, pp. 63-69. doi:10.1159/000495079.

13. Hawn M.T., Graham L.A., Richman J.S. et al. Risk of major adverse cardiac events following noncardiac surgery in patients with coronary stents. (Published correction appears in JAMA. 2014, 311(5):528), JAMA, 2013, vol. 310, no. 14, pp. 1462-1472. doi:10.1001/jama.2013.278787.

14. Hou Z.H., Lu B., Gao Y. et al. Prognostic value of coronary CT angiography and calcium score for major adverse cardiac events in outpatients. JACC Cardiovasc. Imaging, 2012, vol. 5, no. 10, pp. 990-999. doi:10.1016/j.jcmg. 2012.06.006.

15. Levey A.S., Bosch J.P., Lewis J.B. et al. A more accurate method to estimate glomerular filtration rate from serum creatinine: a new prediction equation. Modification of Diet in Renal Disease Study Group. Ann. Intern. Med., 1999, vol. 130, no. 6, pp. 461-470. doi:10.7326/0003-4819-130-6-199903160-00002.

16. Lin F.J., Tseng W.K., Yin W.H. et al. Residual risk factors to predict major adverse cardiovascular events in atherosclerotic cardiovascular disease patients with and without diabetes mellitus. Sci. Rep., 2017, vol. 7, no. 1, pp. 9179. Published 2017 Aug 23. doi:10.1038/s41598-017-08741-0.

17. Nashef S.A., Roques F., Sharples L.D. et al. EuroSCORE II. Eur. J. Cardiothorac. Surg., 2012, vol. 41, no. 4, pp. 734-745. doi:10.1093/ejcts/ezs043.

18. Sabate S., Mases A., Guilera N. et al. Incidence and predictors of major perioperative adverse cardiac and cerebrovascular events in non-cardiac surgery. Br. J. Anaesth., 2011, vol. 107, no. 6, pp. 879-890. doi:10.1093/bja/aer268.

19. Shon H.S., Bae J.W., Kim K.O. et al. Biomarker for the prediction of major adverse cardiac events in patients with Non-ST-Segment elevation myocardial infarction. Osong. Public Health Res. Perspect., 2017, vol. 8, no. 4, pp. 237-246. doi:10.24171/j.phrp.2017.8.4.02.

20. Smilowitz N.R., Gupta N., Ramakrishna H. et al. Perioperative major adverse cardiovascular and cerebrovascular events associated with noncardiac surgery. JAMA Cardiol., 2017, vol. 2, no. 2, pp. 181-187. doi:10.1001/jamacardio.2016.4792.

21. Sousa-Uva M., Head S.J., Milojevic M. et al. 2017 EACTS Guidelines on perioperative medication in adult cardiac surgery. Eur. J. Cardiothorac. Surg., 2018, vol. 53, no. 1, pp. 5-33. doi:10.1093/ejcts/ezx314.

22. Ueshima D., Ashikaga T., Yoshikawa S. et al. Effect of over-2-year dual antiplatelet therapy on the rate of major adverse cardiac and cerebral events for everolimus-eluting stent implantation: The landmark analysis from Tokyo-MD PCI registry. J. Cardiol, 2017, vol. 69, no. 6, pp. 815-822. doi:10.1016/ j.jjcc.2016.08.015.

23. Yao C., Zhou L., Huang Q. The occurrence and potential predictive factors of major adverse cardiac and cerebral events in end-stage renal disease patients on continuous ambulatory peritoneal dialysis: A prospective cohort study. Medicine (Baltimore), 2021, vol. 100, no. 10, pp. e24616. doi:10.1097/MD.0000000000024616.

INFORMATION ABOUT AUTHORS:

V.A. Negovsky Reanimatology Research Institute, 25 Build. 5, Petrovka St., Moscow, 107031.

Levan B. Berikashvili

Researcher of Clinical Trial Department. Email: levan.berikashvili@mail.ru https://orcid.org/0000-0001-9267-3664

Artem N. Kuzovlev

Doctor of Medical Sciences, Head. Email: artem_kuzovlev@fnkcrr.ru https://orcid.org/ 0000-0002-5930-0118

Ядгаров Михаил Яковлевич

научный сотрудник отделения клинических исследований. E-mail: mikhail.yadgarov@mail.ru https://orcid.org/0000-0003-3792-1682

Mikhail Ya. Yadgarov

Researcher of Clinical Trial Department. Email: mikhail.yadgarov@mail.ru https://orcid.org/0000-0003-3792-1682

Ожиганова Екатерина Александровна

врач-ординатор.

E-mail: Ozhika97@mail.ru

https://orcid.org/0000-0001-7386-4895

Ekaterina A. Ozhiganova

Resident Physician.

Email: Ozhika97@mail.ru

https://orcid.org/0000-0001-7386-4895

Каданцева Кристина Кирилловна Kristina K. Kadantseva

научный сотрудник отделения клинических исследований. Researcher of Clinical Trial Department.

E-mail: kristina161093@gmail.com Email: kristina161093@gmail.com

https://orcid.org/0000-0002-6593-8580 https://orcid.org/0000-0002-6593-8580

Лихванцев Валерий Владимирович

доктор медицинских наук, профессор, заместитель руководителя. E-mail: lik0704@gmail.com https://orcid.org/0000-0002-5442-6950

Valeriy V. Likhvantsev

Doctor of Medical Sciences, Professor, Deputy Head. Email: lik0704@gmail.com https://orcid.org/0000-0002-5442-6950

i Надоели баннеры? Вы всегда можете отключить рекламу.