Научная статья на тему 'Модель персонифицированного выбора стратегии реваскуляризации у пациентов с симультанным поражением каротидных и коронарных артерий: прогнозирование госпитальных исходов'

Модель персонифицированного выбора стратегии реваскуляризации у пациентов с симультанным поражением каротидных и коронарных артерий: прогнозирование госпитальных исходов Текст научной статьи по специальности «Клиническая медицина»

CC BY
238
39
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
КАРОТИДНАЯ ЭНДАРТЕРЭКТОМИЯ / СТРАТИФИКАЦИЯ РИСКА / МУЛЬТИФОКАЛЬНЫЙ ТЕГИИ "ГИБРИДНОЙ РЕВАСКУЛЯРИЗАЦИИ" КОРОНАРНЫЕ АТЕРОСКЛЕРОЗ / КОРОНАРНОЕ ШУНТИРОВАНИЕ / CORONARY BYPASS / CAROTID ENDARTERECTOMY / MULTIFOCAL ATHEROSCLEROSIS / RISK STRATIFICATION

Аннотация научной статьи по клинической медицине, автор научной работы — Тарасов Р.С., Казанцев А.Н., Каган Е.С., Глинчиков К.Е., Барбараш Л.С.

Цель. Разработать модель выбора оптимальной стратегии реваскуляризации для пациентов с мультифокальным атеросклерозом (МФА). Методы. Для создания модели прогноза госпитальных осложнений были отобраны 3 группы факторов риска: клинико-демографические, коронарные и цереброваскулярные. Для выбора наиболее оптимальной тактики реваскуляризации были оценены прогностические коэффициенты всех уровней факторов риска для каждой тактики и на их основе рассчитаны интеграальные показатели, характеризующие комплексную оценку факторов риска для соответствующей хирургической тактики. Для выбора порога, позволяющего улучшить качество прогноза (чувствительность и специфичность), был проведен ROC-анализ. Результаты. Для стратегий «поэтапное КШ с последующей КЭЭ» и «сочетанная операция КШ и КЭЭ» регрессионный анализ оставил в качестве наиболее значимых группу клинико-демографических факторов и цереброваскулярных факторов риска. Для стратегии «гибридной реваскуляризации» коронарные и цереброваскулярные факторы. Для стратегии «поэтапное КЭЭ с последующим КШ» клинико-демографические и цереброваскулярные факторы. Разработанная модель позволила создать интерактивный калькулятор, позволяющий определить вероятность неблагоприятных кардиоваскулярных событий для пациентов с МФА при реализации четырех хирургических стратегий и выбрать сопряженную с минимальным риском госпитальных осложнений. Выводы. Таким образом, разработанная модель и калькулятор для персонифицированного выбора оптимальной хирургической стратегии, основанная на комплексной оценке факторов риска неблагоприятного исхода (клинико-демографических, коронарных и цереброваскулярных) позволяет прогнозировать вероятность развития неблагоприятных кардиоваскулярных событий для пациентов с симультанным гемодинамически значимым поражением брахиоцефального и коронарного русла.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по клинической медицине , автор научной работы — Тарасов Р.С., Казанцев А.Н., Каган Е.С., Глинчиков К.Е., Барбараш Л.С.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

PERSONALIZED MODEL FOR SELECTING OPTIMAL REVASCULARIZATION STRATEGY IN PATIENTS WITH SIMULTANEOUS CAROTID AND CORONARY ARTERY DISEASE: PROGNOSIS OF IN-HOSPITAL OUTCOMES

R.S. TARASOVi, A.N. KAZANTSEV1 E.S. KAGAN2, K.E. GLINCHIKOV2, L.S. BARBARASHi

Текст научной работы на тему «Модель персонифицированного выбора стратегии реваскуляризации у пациентов с симультанным поражением каротидных и коронарных артерий: прогнозирование госпитальных исходов»

УДК 616.132.2-089

DOI: 10.17802/2306-1278-2017-6-4-60-70

МОДЕЛЬ ПЕРСОНИФИЦИРОВАННОГО ВЫБОРА СТРАТЕГИИ РЕВАСКУЛЯРИЗАЦИИ У ПАЦИЕНТОВ С СИМУЛЬТАННЫМ ПОРАЖЕНИЕМ КАРОТИДНЫХ И КОРОНАРНЫХ АРТЕРИЙ: ПРОГНОЗИРОВАНИЕ ГОСПИТАЛЬНЫХ ИСХОДОВ

P.C. ТАРАСОВ1, А.Н. КАЗАНЦЕВ1, Е.С. КАГАН2, К.Е. ГЛИНЧИКОВ2, Л.С. БАРБАРАШ1

'Федеральное государственное бюджетное научное учреждение «Научно-исследовательский институт комплексных проблем сердечно-сосудистых заболеваний», Кемерово, Россия

Федеральное государственное бюджетное образовательное учреждение высшего образования «Кемеровский государственный университет», Кемерово, Россия

Резюме

Цель. Разработать модель выбора оптимальной стратегии реваскуляризации для пациентов с муль-тифокальным атеросклерозом (МФА).

Методы. Для создания модели прогноза госпитальных осложнений были отобраны 3 группы факторов риска: клинико-демографические, коронарные и це-реброваскулярные. Для выбора наиболее оптимальной тактики реваскуляризации были оценены прогностические коэффициенты всех уровней факторов риска для каждой тактики и на их основе рассчитаны интегральные показатели, характеризующие комплексную оценку факторов риска для соответствующей хирургической тактики. Для выбора порога, позволяющего улучшить качество прогноза (чувствительность и специфичность), был проведен ДОС-анализ.

Результаты. Для стратегий «поэтапное КШ с последующей КЭЭ» и «сочетанная операция КШ и КЭЭ» регрессионный анализ оставил в качестве наиболее значимых группу клинико-демографических факторов и цереброваскулярных факторов риска. Для стратегии «гибридной реваскуляризации» - коронарные

и цереброваскулярные факторы. Для стратегии «поэтапное КЭЭ с последующим КШ» - клинико-демо-графические и цереброваскулярные факторы. Разработанная модель позволила создать интерактивный калькулятор, позволяющий определить вероятность неблагоприятных кардиоваскулярных событий для пациентов с МФА при реализации четырех хирургических стратегий и выбрать сопряженную с минимальным риском госпитальных осложнений.

Выводы. Таким образом, разработанная модель и калькулятор для персонифицированного выбора оптимальной хирургической стратегии, основанная на комплексной оценке факторов риска неблагоприятного исхода (клинико-демографических, коронарных и цереброваскулярных) позволяет прогнозировать вероятность развития неблагоприятных кардиоваскулярных событий для пациентов с симультанным гемодинамически значимым поражением брахиоцефального и коронарного русла.

Ключевые слова: коронарное шунтирование, каротидная эндартерэктомия, мулыпифокальный атеросклероз, стратификация риска.

Для цитирования: Тарасов Р.С., Казанцев А.Н., Каган Е.С., Глинчиков К.Е., Барбараш, Л.С. Модель персонифицированного выбора стратегии реваскуляризации у пациентов с симультанным поражением каротидных и коронарных артерий: прогнозирование госпитальных исходов. Комплексные проблемы сердечно-сосудистых заболеваний. 2017;6(4):60-70. DOI: 10.17802/2306-1278-2017-6-4-60-70

ш-

PERSONALIZED MODEL FOR SELECTING OPTIMAL REVASCULARIZATION STRATEGY IN PATIENTS WITH SIMULTANEOUS CAROTID AND CORONARY ARTERY DISEASE: PROGNOSIS OF IN-HOSPITAL OUTCOMES

R.S. TARASOV1, A.N. KAZANTSEV1, E.S. KAGAN2, K.E. GLINCHIKOV2, L.S. BARBARASH1

1 Federal State Budgetary Institution «Research Institute for Complex Issues of Cardiovascular Diseases», Kemerovo, Russia 2Federal State Budget Educational Institution of Higher Education «Kemerovo State University», Kemerovo, Russia

Abstract

Aim: To develop a prediction model for selecting optimal revascularization strategy for patients with poly-vascular disease based on the evaluation of hospital outcomes of various surgical treatment strategies for patients with simultaneous coronary and carotid artery disease.

Methods: 391 patients with combined hemodynami-cally significant atherosclerotic lesions of the coronary and internal carotid arteries underwent reconstruction heart surgeries. Group 1 patients (n = 151,38.6%) underwent coronary artery bypass grafting (CABG) and subsequent carotid endarterectomy (CEA). Group 2 patients (n = 141, 36%) underwent combined CABG and CEA. Group 3 patients (n = 28, 7.2%) underwent hybrid percutaneous coronary intervention (PCI) and CEA. Group 4 patients (n = 71,18.2%) underwent CEA and subsequent CABG. 3 groups of risk factors (clinical and demographic risk factors, risk factors of coronary and cerebrovascular adverse events), were selected to develop the prediction model for evaluating the probability of in-hospital complications, such as death, myocardial infarction, acute cerebrovascular accident / transient ischemic attack, significant hemorrhagic complications > BARC type 3 bleeding. The prognostic coefficients of all risk factors for each surgical treatment strategy were evaluated to select optimal revascularization strategy. Then, the integrated indicators, representing a comprehensive assessment of the risk factors related to each surgical treatment

strategy, were calculated. The ROC-analysis was performed to set a threshold allowing improving the quality of the prognosis (sensitivity and specificity).

Results: Clinical and demographic factors and cerebrovascular risk factors were significantly associated with adverse prognosis in Group 1 and 2 patients according to the regression analysis. Coronary and cerebrovascular factors were reported to affect prognosis in patients undergoing hybrid revascularization, whereas clinical and demographic risk factors and cerebrovascular risk factors worsen the prognosis of patients undergoing CEA and subsequent CABG. The prediction model allowed creating an interactive calculator able to determine the probability of adverse cardiovascular events in patients with polyvascular disease undergoing four types of surgical treatment strategies and to select the optimal one that will be associated with a minimal risk of in-hospital complications.

Conclusion: The prediction model and personalized calculator for selecting an optimal surgical treatment strategy based on the comprehensive risk assessment for adverse outcomes (clinical and demographic factors, coronary and cerebrovascular factors) allows predicting the probability of adverse cardiovascular events in patients with simultaneous carotid and coronary artery disease.

Keywords: coronary bypass, carotid endarterectomy, multifocal atherosclerosis, risk stratification.

For citation: Tarasov R.S., Kazantsev A.N., Kagan E.S., Glinchikov K.E., Barbarash L.S. Personalized model for selecting optimal revascularization strategy in patients with simultaneous carotid and coronary artery disease: prognosis of in-hospital outcomes. Complex Issues of Cardiovascular Diseases. 2017;6(4): 60-70. (InRuss.) DOhlO. 17802/2306-1278-2017-6-4-60-70

Список сокращений:

БЦА - брахиоцефальные артерии ВСА - внутренние сонные артерии ГО - госпитальное осложнение ИБС - ишемическая болезнь сердца ИМ - инфаркт миокарда КАС - коронарная ангиопластика со стенти-рованием

КШ - коронарное шунтирование КЭЭ - каротидная эндартерэктомия

Введение

В последние десятилетия проблема атеросклероза занимает значимое место среди причин смертности населения [1]. В связи с нередким симультанным поражением нескольких артериальных бассейнов у пациентов был введен термин мультифокальный атеросклероз (МФА). Его прогрессирующее развитие может приводить к формированию критических состояний, таких как инфаркт миокарда (ИМ) и острое нарушение мозгового кровообращения (ОНМК) [2, 3, 4]. Наличие гемодинамически значимых стенозов в коронарном и каротидном русле отрицательно влияет на прогноз лечения и затрудняет выбор оптимальной хирургической коррекции, что вызвано отсутствием крупных рандомизированных исследований по дан-

МФА - мультифокальный атеросклероз ОНМК - острое нарушение мозгового кровообращения

ПИКС - постинфарктный кардиосклероз СКФ - скорость клубочковой фильтрации СтЛКА - ствол левой коронарной артерии ТИА - транзиторная ишемическая атака ХБП - хроническая болезнь почек ЧКВ - чрескожное коронарное вмешательство

ной проблеме и неопределенностью в Российских и международных рекомендациях по выбору оптимальной хирургической стратегии [3,4].

Суть существующих рекомендаций сводится к необходимости коррекции атеросклеротических поражений брахиоцефального бассейна, а затем венечного, либо наоборот. В ряде случаев может применяться сочетанная одноэтапная реваскуляризация. При поэтапном подходе неоптимальное определение последовательности операций может привести к неблагоприятным кардиоваскулярным событиям в артериальном русле, хирургическое вмешательство на котором было отложено на второй этап, тогда как место, эффективность и безопасность одноэтапной хирургической коррекции также окончательно не

определены [3,4].

Показаниями для проведения каротидной эндар-терэктомии (КЭЭ) служат: наличие симптомного стеноза более 60%, либо бессимптомного - 70 - 99%; нестабильная симптомная атеросклеротическая бляшка со стенозом 50 - 60% (изъязвление, кровоизлияние в бляшку, флотация интимы, пристеночный тромб) [2]. Данные характеристики определяются инструментальными методами исследования: цветное дуплексное сканирование, магнитно-резонансная ангиография, компьютерная томография с ангиографией, рентгеноконтрастная ангиография. Для выбора тактики лечения коронарного бассейна с гемодинами-чески значимыми стенозами >10% или ствола левой коронарной артерии (СтЛКА) >50% учитывается выраженность клиники, коморбидного фона пациента, применяются такие виды диагностики, как стресс-тесты, сцинтиграфия миокарда, коронарография, вну-трисосудистые методы (измерение фракционного резерва кровотока, внутрисосудистое ультразвуковое исследование, оптическая когерентная томография). Тем не менее, данные всех вышеупомянутых методов исследования далеко не всегда позволяют определить бассейн, с хирургического лечения которого следует начинать хирургическую стратегию, связанную с минимальным риском неблагоприятных исходов [2,5,6].

В настоящее время отсутствуют данные проспективных рандомизированных исследований касательно выбора способа коррекции атеросклеротических поражений каротидных артерий - КЭЭ или каротид-ная ангиопластика со стентированием (КАС), не в полной мере изучены результаты одномоментной гибридной операции КАС и КШ. Отсутствие опыта в большом количестве пациентов и ограничения в достаточном объеме долгосрочных результатов, а также необходимость агрессивной антитромбоци-тарной терапии ограничивают широкое признание стентирования сонных артерий. Но данный способ реваскуляризации применяется в тех условиях, когда выполнение КЭЭ невозможно или это сопряжено с чрезвычайно высоким риском осложнений [2,3, 7].

Отсутствие четких международных рекомендаций по выбору оптимальной стратегии реваскуляризации у пациентов с гемодинамически значимым поражением внутренних сонных артерий (ВСА) и коронарного русла связано с крайней вариабельностью клинических и инструментальных данных в группе больных МФА. В этой связи не может существовать универсальной хирургической стратегии реваскуляризации. Речь может идти лишь о совершенствовании персонифицированного способа определения хирургической стратегии, ассоциированной с минимальной вероятностью развития неблагоприятных кардиова-скулярных событий у конкретного пациента [2,3,7].

Таким образом, существует необходимость разработки моделей, которые на основании комплекса объективных данных (клинических и морфологических - коронарных и цереброваскулярных) и прогностиче-

ских шкал позволят выбрать оптимальную стратегию лечения (поэтапную или одноэтапную, хирургическую или с применением эндоваскулярных методов) для пациентов с МФА. Целью настоящего исследования стало создание модели персонифицированного выбора оптимальной стратегии реваскуляризации головного мозга и миокарда, ориентированной на прогнозирование вероятности неблагоприятных исходов в госпитальном периоде наблюдения.

Материал и методы

С 2011 по 2015 гг. в Научно-исследовательском институте комплексных проблем сердечно-сосудистых заболеваний выполнена 391 операция у пациентов с сочетанным атеросклеротическим поражением коронарного русла и ВСА. Настоящее исследование было одобрено локальным этическим комитетом НИИ КПССЗ (10.10.2016 г.). В зависимости от реализованной хирургической стратегии больные были разделены на четыре группы: группа 1 - поэтапная хирургия в объеме КШ с последующей КЭЭ (гр. КШ-КЭЭ, п=151, 38,6%); группа 2 - сочетанная операция КШ и КЭЭ (гр. КШ+КЭЭ, 11=141, 36%); группа 3 - гибридная реваскуляризация в объеме чрескожного коронарного вмешательства (4KB) и КЭЭ (гр. п=28, 7,2%); группа 4 - поэтапная хирургия в объеме КЭЭ с последующей операцией КШ, п=71,18,2%)

Пациенты оценивались при по мощи следующих прогностических шкал: EuroScore II (выраженность сопутствующей патологии, тяжесть клинического статуса и риск хирургических осложнений) (http:// www.euroscore.org/calc) и SYNTAX (выраженность коронарного атеросклероза) (http://www.rnoik.ru/ files/syntax), рассчитанных с использованием соответствующих интерактивных калькуляторов. Выбор стратегии хирургического лечения осуществлялся мультидисциплинарной командой на основе комплекса клинико-инструментальных данных, выраженности коронарного атеросклероза по шкале SYNTAX, риске хирургического вмешательства по шкале EuroScorell, существующих рекомендаций и внутренних протоколов. В состав команды входил сердечно-сосудистый хирург, специалист по рентге-ноэндоваскулярному лечению, кардиолог и невролог.

При поэтапной хирургической реваскуляризации (КШ-КЭЭ или КЭЭ-КШ) второй хирургический этап в большинстве случаев был реализован в период времени от 3 до 12 мес. При сочетанной хирургической операции (КШ+КЭЭ) в рамках одной операции первым этапом выполнялась КЭЭ, затем КШ. Гибридная стратегия реваскуляризации (ЧКВ+КЭЭ) подразумевала выполнение 4KB со стентированием коронарных артерий и КЭЭ в течение одного дня, при этом исходно пациенты получали ацетилсалициловую кислоту, а нагрузочная доза клопидогреля 600 мг назначалась пациентам в течение 6 часов после КЭЭ.

Конечными точками исследования стали такие

неблагоприятные кардиоваскулярные события, как смерть, инфаркт миокарда (ИМ), острое нарушение мозгового кровообращения/транзиторная ишеми-ческая атака (ОНМК/ТИА), повторная незапланированная реваскуляризация, клинически значимое кровотечение по шкале BARC(Bleeding Academic Research Consortium). В группах КШ+КЭЭ и ЧКВ+КЭЭ неблагоприятные кардиоваскулярные события регистрировали на протяжении госпитального периода, тогда как при поэтапной хирургии (КШ-КЭЭ и КЭЭ-КШ) учет осложнений производили в период времени, начиная с первичного госпитального периода, заканчивая госпитальным периодом при последующем хирургическом этапе.

Статистический анализ проводился при помощи программного пакета GraphPad Prism (GraphPad Software) и STATISTICA (dataanalysissoftwaresystem) version 8.0 (StatSoft, Inc.URL: www.statsoft.com). Распределение было не нормальным, поэтому сравнение количественных признаков в группах проводили с помощью критерия Манна-Уитни; при оценке качественных признаков использовали критерий/2 Пирсона с поправкой Йетса. Анализ прогностических факторов осуществлялся при помощи расчета отношения шансов с использованием таблиц 2x2. Различия принимались как статистически значимые при р<0,05. Оценка нормальности распределения оценивалась по критериям дАгостино-Пирсона и Колмогорова-Смирнова. Данные были представлены с помощью среднего со стандартным отклонением от среднего в случае нормального распределения и медианы с 25-м и 75-м процентилями в случае распределения, отличного от нормального. В случае бинарных признаков сравнение между группами проводилось по критерию хи-квадрат с последующим сравнением долей в случае необходимости, в случае порядковых признаков либо количественных признаков с распределением, отличным от нормального, - по U-критерию Ман-на-Уитни. В случае необходимости поправка на множественные сравнения проводилась вычислением средней доли ложных отклонений гипотез (falsediscoveryrate). С целью выявления факторов риска развития неблагоприятного исхода и смерти в отдаленном и госпитальном периоде была проведена бинарная логистическая регрессия с пошаговым включением и исключением предикторов (stepwise logistic régression). Р-значения ^ 0,05, в случае необходимости скорректированные с учетом поправки на множественные сравнения, признавались статистически значимыми. Логистические регрессии формировалась индивидуально для каждой группы пациентов, а полученные результаты обрабатывались с помощью программы SPSS. Использовался модуль «логистическая регрессия», метод «пошагового включения».

Методология построения модели персонифицированного выбора стратегии реваскуляризации

Для выбора наиболее значимых факторов, влияющих на риск развития госпитальных осложнений (ГО), на первоначальном этапе исследования была построена модель бинарной логистической регрессии. В качестве метода использовался метод пошагового включения, оставляющий только наиболее значимые факторы для прогноза. Данный метод оставил в качестве значимого фактора только фактор, характеризующий функциональный класс стенокардии. При этом специфичность модели составила 100%, чувствительность - 0%, площадь под ROC-кpивoй равна 0,695.

В клинической практике для комплексной оценки хирургического риска используется шкала ЕигоБсогеП. Однако построенная на ее основе логистическая модель не являлась адекватной (специфичность модели составила 100%, чувствительность -0%, площадь под ROC-кpивoй равна 0,502).

Для улучшения прогностической способности модели и комплексной оценки факторов риска был построен интегральный показатель. Для его построения были рассчитаны прогностические коэффициенты, соответствующие риску развития госпитальных осложнений (ГО) для каждого класса (уровня) фактора (табл. 1).

В Таблице 1 - означает риск развития ГО для )-ого уровня ¿-ого фактора. Тогда интегральный показатель, характеризующий комплексную оценку риска развития ГО на основе факторов риска, можно рассчитать по формуле (рис. 1).

R = ^PiJ

Рисунок 1. Формула расчета интегрального показателя, отражающего риск неблагоприятного исхода различных хирургических тактик реваскуляризации у пациентов с симультанным поражением брахиоцефальных и коронарных артерий

Figure 1. The formula for calculating the integral index, related to the risk of adverse outcomes in patients with simultaneous carotid and coronary artery disease undergoing different revascularization strategies

На следующем этапе на основе интегрального показателя была построена логистическая регрессия. Специфичность данной модели составила 98,1%, чувствительность - 7,2%, площадь под ROC-кривой равна 0,729.

Для выбора наиболее подходящей хирургической тактики в модель прогноза риска развития ГО, помимо интегрального показателя, был включен фактор «хирургическая тактика». Данный показатель был включен в модель как фиктивная переменная, для описания которой введены 3 переменные: Х2, Х3, Х4. Если применяется реваскуляризация в объеме КШ с последующей КЭЭ (ХТ1), то переменные принимают значения: Х2=1, Х3=0, Х4=0. Если применяется симультанная реваскуля-

Таблица 1. Прогностические коэффициенты различных классов (уровней) факторов риска Table 1. Prognostic coefficients of different types of risk factors

Фактор риска Класс (уровень) фактора Риск развития го IP у) Фактор риска Класс (уровень) фактора Риск развития го (/V

возраст 1 0,196078 ХПН нет 0,201613

2 0,217993 есть 0,421053

пол 1 0,209302 СД нет 0,202166

2 0,222222 есть 0,236842

ФК стенокардии 0 0,060606 ПИКС нет 0,205714

1 0,043478 есть 0,217593

2 0,222798 Реваскуляриза ции ранее нет 0,193182

3,4 0,4 есть 0,251969

Фракция выброса 1 0,2 Коронарный атеросклероз 1 0,344828

2 0,157895 2 0,140351

3 0,218855 3 0,184466

Аневризма ЛЖ нет 0,21164 4 0,272727

есть 0,230769

Примечание: «0» - отсутствие признака; «1»- наличие признака; «1, 2, 3, 4» -различные градации признака; Возраст: «1» - не пожилые (до 60 лет); «2» -пожилые (с 60 лет); Пол: «1»-мужской; «2» -женский; ФК-функциональный класс стенокардии; Фракции выброса - фракция выброса левого желудочка: «1»- 40 - 54% (умеренно снижена); «2»-менее 40% - выражение снижена; «3» - 55% и более (норма); Аневризма ЛЖ- аневризма левого желудочка; ХПН - хроническая почечная недостаточность; СД - сахарный диабет; ПИКС - постинфарктный кардиосклероз; Реваскуляризация ранее

- наличии реконструктивных операций на сосудистых бассейнах ранее; Коронарный атеросклероз - по данным корон орографии «1» - однососудистое поражение; «2» - двухсосудистое поражение; «3» - трехсосудистое поражение; «4» - поражение ствола левой коронарной артерии изолированно либо в комбинации с другими коронарными артериями

Note: "О" is the absence ofthesing; "1"-the presence of the sign; "1, 2, 3, 4" - different grades of the sign;Age: "1" - patients under 60 years of age; "2"-patients over 60 years ofage;Cender: "1"-male; "2" - female;FC -functional class of angina pectoris; Left ventricular ejection fraction: "1" - 40 - 54% (moderately reduced); "2" -less than 40% - significantly reduced; "3"-i 55 (normal values);LV aneurysm - left ventricular aneurysm; CRF - chronic renal failure; DM - diabetes mellitus; PICS-postinfarction cardiosclerosis; Coronary atherosclerosis according to the coronary angiography findings: "1" - one-vessel disease; "2" - two-vessel disease; "3"

- three-vessel disease; "4"-isolated lesion of left main coronary artery or combined with other coronary artery lesions

ризация в объеме КШ+КЭЭ (ХТ2), то переменные принимают значения: Х2=0, Х3=1, Х4=0. Если применяется гибридная реваскуляризация в объеме ЧКВ+КЭЭ (ХТЗ), то переменные принимают значения: Х2=0, Х3=0, Х4=1. Если применяется поэтапная реваскуляризация в объеме КЭЭ с последующим КШ (ХТ4), то переменные принимают значения: Х2=0, Х3=0, Х4=0. Проведенный регрессионный анализ (метод пошагового включения) качестве значимых оставил в модели оба этих фактора. Основные результаты регрессионного анализа представлены в таблице 2.

Чем выше значение интегрального показателя Я, тем выше вероятность риска развития ГО. По

результатам сравнительного анализа влияния вида хирургической тактики на риск развития ГО можно сделать следующие выводы: наиболее сильно снижает риск развития ГО ХТ 1 (КШ с последующим КЭЭ).

Используя данные, представленные в таблице 2, оценить вероятность неблагоприятного исхода для пациента можно с помощью логистической модели (рис. 2).

Проведенный ШЭС-анализ показал, что при пороге классификации равном 0,5 специфичность модели составила 97,4%, чувствительность -12% (рис. 3, табл. 3).

Таблица 2. Основные результаты бинарной логистической регрессии Table 2. Binary logistic regression data

Показатель В (коэффициент регрессии) S.E. (стандартная ошибка) Wald (статистика Вальда) Sig (уровень значимости) Ехр(В)

R КШ-КЭЭ (X1) 45,913 9,924 21,405 0,0001 8.709Е19

Хирургическая тактика 16,381 0,001

КШ+КЭЭ (Х2) -1,473 0,438 11,297 0,001 0,229

ЧКВ+КЭЭ (ХЗ) -,282 0,330 0,731 0,392 0,754

КЭЭ-КШ (Х4) ,440 0,516 0,728 0,394 1,553

Constant -10,762 2,222 23,462 0,0001 0,0001

P(Y = \/XuX2,X3,X4) =

I e-(-10,762+45,913-Xi -1,473-Хг -0,282-Хз +0,44X4)

Рисунок 2. Логистическая модель для оценки вероятности неблагоприятного исхода различных стратегий реваскуляризации у пациентов с симультанным атеросклеротическим поражением коронарных и брахиоцефальных артерий

Figure 2. Logistic model for assessing the probability of adverse outcomes in patients with simultaneous carotid and coronary artery disease undergoing different revascularization strategies

0.0 02

0.4

0.» 0.8

1.0

1 - Специфичность

Рисунок 3. График ROC-кривой Figrure 3. ROC-curve

Таблица 3. Результаты оценки площади под ROC-кривой Table 3. The area under ROC curve

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Площадь под кривой (AU С) Стд. ошибка Асимптотическая значимость Асимптотический 95% доверительный интервал

Нижняя граница Верхняя граница

0,764 0,027 0,0001 0,711 0,816

Для улучшения качества классификации, используя результаты ДОС-анализа, был изменен порог классификации. Если выбрать в качестве критерия «одинаковые значения специфичности и чувствительности», то новый порог классификации должен быть равен 0,243. При этом пороге чувствительность модели составит

На основании полученных расчетов следует вывод, что применение симультанной тактики (КШ+КЭЭ) сопряжено с наименьшим риском развития неблагоприятных событий. Однако у данного пациента была применена поэтапная хирургическая тактика (КШ -КЭЭ) и произошло развитие неблагоприятного события в виде ОНМК по ишемическому типу.

Таким образом, разработанная модель комплексной оценки факторов риска неблагоприятного исхода после реализации той или иной стратегии реваскуля-ризации позволяет на основании ряда клинико-демо-графических и ангиографических показателей прогнозировать вероятность развития неблагоприятных кардиоваскулярных событий для пациента с симультанным поражением брахиоцефального и коронарного русла и осуществлять персонифицированный выбор оптимальной стратегии реваскуляризации.

Обсуждение

Результаты представленного исследования продемонстрировали, что ИМ, ОНМК/ТИА в анамнезе являются значимыми факторами риска для всех стратегий хирургического лечения симультанного поражения БЦА и коронарных артерий. Данные факторы являются актуальными для стратификации риска у пациентов с ишемической болезнью сердца (ИБС), планируемых для выполнения операции КШ [8,9,10]. Они косвенно отражают выраженность и распространенность окклюзионно-стено-тических поражений в артериальных бассейнах и, несомненно, указывают на риски развития серьезных неблагоприятных кардиоваскулярных событий в соответствующем регионе. В представленном исследовании дополнительным значимым фактором неблагоприятного исхода, ассоциированным с неблагоприятным 30-дневным прогнозом, стал высокий функциональный класс стенокардии.

Преимуществом и одновременно недостатком существующих прогностических шкал, используемых в сердечно-сосудистой хирургии, является их универ-

71,1%; специфичность составляет 70,1%.Если вероятность риска развития ГО больше 0,243, то пациент будет отнесен к классу пациентов с ГО.

В таблице 4 представлены диапазоны вероятностей риска развития ГО с их качественной характеристикой в группах пациентов с ГО и без них.

сальность, что не дает возможности точного прогнозирования неблагоприятных исходов при различных видах хирургической реконструкции сосудистых бассейнов. Важным результатом настоящего исследования явился комплексный анализ широкого спектра факторов (клинико-инструментальных, анатомо-ан-гиографических и периоперационных), который позволил выделить предикторы неблагоприятного исхода в сложной группе пациентов с сочетанным поражением коронарного русла и БЦА, подвергающихся различным видам реконструктивных операций.

В настоящее время известен способ стратификации риска послеоперационных осложнений при помощи интерактивного калькулятора ЕигоБсоге II (ШЬ:Ьир://шшш.еиго5соге.о^), благодаря которому определяются факторы, повышающие риск неблагоприятных исходов при оперативных вмешательствах, приводящих к смерти.

Недостатком этого способа, по данным рекомендаций по реваскуляризации миокарда, является то, что он не прогнозирует риски послеоперационных осложнений у каждого конкретного пациента и не учитывает анатомо-ангиографических параметров больного несмотря на существенную роль этих показателей в формировании исходов лечения заболевания в целом и реваскуляризации в частности [3,11]. Данный калькулятор позволяет определить хирургический госпитальный риск смерти в процентах, но он не является узкоспециализированным и предназначен для определения риска смерти в госпитальном периоде при хирургическом лечении в целом. Применение ЕигоБсоге II не позволяет выбрать конкретную стратегию хирургического лечения, ассоциированную с наименьшим риском неблагоприятных исходов в отдаленном периоде наблюдения.

Известна следующая аналогичная модель: «Способ определения тактики хирургического лечения больных с сочетанным поражением коронарных и сонных артерий» (http://bd.patent.su/2193000-2193999/ ра1/5егу1/5егу1е1б78е.Ьйп1). На основании данных

Таблица 4. Распределение пациентов по интервалам риска возможности развития ГО

Table 4. Distribution of patients according to the risk intervals for developing complication in in-hospital period

Диапазон изменения вероятности Качественная характеристика диапазона Процент пациентов

Без ГО с ГО

0-0,15 Низкий риск развития ГО 51% 10,8%

0,15-0,4 Средний риск развития ГО 39,3% 56,7%

0,4-1 Высокий риск развития ГО 9,7% 32,5%

Таблица 5. Неблагоприятные события в госпитальном периоде наблюдения или между этапами в зависимости от стратегии реваскуляризации

Table 5. Adverse events in in-hospital period or between surgical stages, depending on the revascularization strategy

Показатели КШ- КЭЭ (п=151) КШ -t КЭЭ 4KB + КЭЭ КЭЭ -КШ Р*

(Гр. 1) (п=14Г (Гр. 2) (п=28) (гр. 3) (п=71) (Гр. 4)

п % п % п % п %

Смерть 2 1,3 2 1,4 0 0 2 5,6 -

Инфаркт миокарда 2 1,3 2 1,4 0 0 0 0 -

ОНМК/ТИА 1 0,7 6 4,2 1 3,6 5 7 Гр. 1-2-0,04 Гр. 1-4-0,006

Кровотечения, 0 0 10 7,1 - - 1 1,4 Гр. 1-2-0,04

связанные с КШ и

потребовавшие

ремедиастинотомии

Острая гематома, 3 2 0 0 1 3,6 0 0 -

связанная с КЭЭ,

потребовавшая

ревизии

Примечание: OHMK-острое нарушение мозгового кровообращения; ТИА- транзиторная ишемическая атака; КШ - коронарное шунтирование; КЭЭ -каротидная эндартерэктомия;

* - статистически значимые межгрупповые различия

Note: ACVA - acute cerebrovascular accident; TIA - transient ischemic attack; CABC - coronary artery bypass grafting; CEA - carotid endarterectomy;

* - statistically significant differences between the groups

электрокардиограммы, центрального дуплексного сканирования сонных артерий, которые проводят до велоэргометрии и после, с помощью оригинальной математической формулы оценивается цереброва-скулярный резерв, по результатам которого больные распределяются на группу с повышенным и меньшим оперативным риском, что позволяет повысить точность диагностики состояния венечного и брахио-цефального бассейнов для выбора очередности реваскуляризации. Однако данный способ основан на узком спектре диагностических исследований и не учитывает ангиографическую выраженность поражения коронарного русла, тяжесть коморбидного фона, пол,

наличие реваскуляризаций в анамнезе. При этом исследование по признанию его эффективности проводилось на малом количестве пациентов (п=18). Авторы изобретения опускают возможность проведения симультанных и гибридных вмешательств в данной когорте пациентов, сокращая выбор до двух тактик поэтапного хирургического лечения в объеме КЭЭ, а затем КШ, и наоборот.

В настоящее время не существует прогностической модели, с помощью которой можно было бы рассчитать риск развития неблагоприятных кардио-васкулярных событий для больных с симультанным атеросклеротическим поражением коронарного и

%

Рисунок 4. Коронарография Figure 4. Coronary angiography

Изображение: архив НИИ КПССЗ images: the archive of the Federal State Budgetary Institution "Research Institute for Complex Issues of Cardiovascular Diseases"

пациента

Figure 5. Aortic angiography: aortic arch and aortic branches in the patient

Изображение: архив НИИ КПССЗ images: the archive of the Federal State Budgetary Institution "Research Institute for Complex Issues of Cardiovascular Diseases"

брахиоцефального артериальных бассейнов в зависимости от той или иной стратегии р е в ас куля р и з ац и и. В связи с вышеперечисленным, существует необходимость разработки моделей, которые на основании комплекса объективных данных и прогностических шкал позволят выбрать оптимальную стратегию лечения (поэтапную или одноэтапную, хирургическую или с применением эндоваскулярных методов).

В рамках настоящего исследования была разработана прогностическая модель для оценки вероятного исхода реваскуляризации в зависимости от выбранной стратегии для больных с симультанным атеро-склеротическим поражением брахиоцефальных и коронарных артерий и выбор оптимальной тактики хирургического вмешательства. В модели учитывается широкий спектр клинико-демографических, инструментальных и анатомо-ангиографических факторов. На основании этой модели в программе Excel создан интерактивный калькулятор, включающий ряд наиболее важных в прогностическом аспекте клинико-демографических, анатомо-анги-ографических и инструментальных параметров. Для определения оптимальной стратегии хирургического лечения (одной из четырех) в соответствующие колонки необходимо будет ввести нужные качественные характеристики (0 - фактор риска отсутствует, 1 - фактор риска имеет место), в результате будет произведен автоматический расчет вероят-

ности неблагоприятного исхода при использовании каждой из четырех стратегий лечения. Станет возможным выбрать наиболее безопасную стратегию. Данный калькулятор крайне прост и удобен для применения и может быть использован в любой клинике на любом персональном компьютере, содержащем стандартный объем программного обеспечения.

Сочетанная одномоментная хирургия брахиоцефальных и коронарных артерий имеет ряд особенностей, в частности, она может ассоциироваться с риском развития как инсульта, так и ИМ, что отмечено в международных рекомендациях в связи с критическими поражениями обоих сосудистых бассейнов [11-14].

Говоря о структуре неблагоприятных событий в зависимости от стратегии реваскуляризации, необходимо подчеркнуть их невысокую встречаемость в госпитальном периоде наблюдения с учетом плановой хирургической операции, а также существенную роль технических недочетов в течение операции, связанных с выполнением анастомозов и вшивании заплаты. Помимо этого, не следует забывать и о роли реперфузионных поражений головного мозга в результате длительного пережатия магистральных сосудов, гипоксического воздействия.

Таким образом, разработанная модель комплексной оценки факторов риска неблагоприятного исхода после реализации той или иной стратегии реваскуляризации позволяет на основании ряда клинико-демографических и ангиографических показателей прогнозировать вероятность развития неблагоприятных кардиоваскулярных событий для пациента с симультанным поражением брахиоцефального и коронарного русла и осуществлять дифференцированный выбор оптимальной стратегии реваскуляризации.

Заключение

Конечным результатом проведенного исследования стала разработка персонифицированной модели и интерактивного калькулятора, позволяющего вычислить риск развития неблагоприятных событий в госпитальном послеоперационном периоде при реализации четырех различных хирургических тактик. Концепция применения данного подхода включает клинико-демографические, ангиографические характеристики пациентов с расчетом прогностических коэффициентов и интегральных показателей, что способствует оптимизации персонифицированного выбора той или иной опции реваскуляризации и подразумевает снижение частоты развития неблагоприятных кардиоваскулярных событий в сложной когорте больных МФА. Внедрение данной модели в клиническую практику воплощает принципы трансляционной и персонифицированной медицины, что может способствовать снижению смертности пациентов от сердечно-сосудистой патологии и является одним из приоритетов современной национальной системы здравоохранения. С учетом крайней разно-

W У ъ- о*

ГЛАВНАЯ

о %

Вставить

ВСТАСКА РАЗМЕТКА СТРАНИЦЫ СОРМУЛЫ

калькулятор для ГО [Режим ДАННЫЕ РЕЦЕНЗИРОСАКИЕ

Буфер обмена г.

УЗ

Anal

10

• Л Л

Ж К У

Шрифт

А •

= = = ií Bt р!Гки( эки*г

m

Общий

^ - % осо Щ % Число г»

пв,

и®

Условное форчатиоован

X ✓ fx =Cyf»'.M(03:X3)/10

E F G H i J К L M N Y 2 АА

1 ПСЛ S03P3CT «к: 'ов ■ вития JT ХПН СД ПИКС :есасх;П ране(корэн кар рисх KB ом

2 1 2 0 1 0 0 0 0 1 3 0.19454E94S

3 1 2 0 3 0 0 0 1 0 2 0.191741629 ппмчина рис .а

внести ичзрсуцлю о шил^нте » i. yo¡o дачг«

1-м Г ж

1 - непэжллой (д 2 - псжкг.эй (с 60)

1 - 40-54 чсренно снижена

2 - менее 30 выраженно снижена 3-норма

13 )Н4гЬри1иа ЛЖ 1 есть О-пет 1 - есть

0-нет

1-естъ О-нет 1 • есть 0-нет

Регэаоляризами ранее 1.КЭЭ ЧКВ КАС:

1 - бьчи

2 не были Общая корокагная картина

1 - поражение 1 коронарной артерии

2 - поражение 2 коронарных артерий

3 поражение 3 коронарных артерий

4 - поражение стЛКА изолировано или с коронарными артериями

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

пол

■эзргет

10 t3

11 Е

v 15

1Г хпн 1'

18 СД

19

20 21 22

23

24

25

26 27 26 29

ПИКС

Рисунок 6. Определение величины риска на основании имеющихся факторов риска Figure 6. Calculation of the total risk based on the assessment of the existing risk factors

АС АС AS AF AG АН AI

Xkpvpr«itaa-¡_7iint-i Mkpyft «44aaj_7arr»i32,X3) :^р>-рг» ч кш_7ас._аЗ Д4) COT.JtJT.! «я: -1.47; с и -м.то С 229-K3S9 0.z29'KJS9 O.z29-eo:59

1 ЭОС С 1 с с С 0 1 с

-:.7«ÎÏ723^ -:.5225723е8 û.*SÎ42?t32 -0.2435722Í8 2 в.®70»37 0.123^:423 0.54&3S2323 9«МШ< ееооятжгть

'¡ЯЛ"'»' ргя • L» ' и — 1 вьсоогк р;сс et xi У о л ;ее>-ь|к э»

ХТ1 *Т2 <гз ХТ4

ка,-<ээ <ÜJ+<33 "<В+КЭЗ КЭЭ-CL

1 - wjottî Di'CK

2 - cDejjbiv рисс

3 - ВЬ »Dï р.с

Рисунок 7. Расчёт риска развития ГО для различных хирургических тактик реваскуляризации Figure 7. Calculation of the risk for in-hospital complications after different revascularization strategies

родности пациентов по сопутствующей патологии, клиническим и анатомо-ангиографическим данным, касающимся как коронарного, так и прецеребрально-го атеросклероза, единой оптимальной стратегии лечения для них быть не может, в связи с чем созданная модель персонифицированного выбора реваскуля-

ризации является актуальной. Снижение смертности среди пациентов с МФА имеет важное медико-социальное и экономическое значение, реализуемое посредством увеличения продолжительности жизни пациентов, снижением инвалидизации и увеличения доли пациентов, вернувшихся к труду.

СПИСОК ЛИТЕРАТУРЫ/REFERENCES

1. Сумин А.Н., Безденежных А.В., Иванов С.В., Барбараш О.Л., Барбараш JI.C. Мультифокальный атеросклероз у больных ишемиче-ской болезнью сердца: влияние на непосредственные результаты коронарного шунтирования. Сердце: журнал для практикующих врачей. 2014; 1 (75) :11 -17. [Sumin A.N., Bezdenezhnykh A.V., Ivanov S.V., Barbarash O.L., Barbarash L.S. Multifocal atherosclerosis in patients with ischemic heart disease: effect on immediate coronary bypass results. Heart: a journal for practicing doctors. 2014; 1(75): 11-17. (InRuss)].

2. Национальные рекомендации по ведению пациентов с заболеваниями брахиоцефальных артерий. Ангиология и сосудистая хирургия. 2013; 2(19): 4-68. [National guidelines for management of patients with brachiocephalic artery diseases. Angiologyandvascularsurgery. 2013; 2 (19):4-68. (InRuss)].

3. Рекомендации Европейского общества кардиологов по диагностике и лечению заболеваний периферических артерий. Рациональная Фармакотерапия в Кардиологии. 2012; 4: 4-73. [ Reco mmendationsoftheEuropeanSocietyofCardiologyondiagnosisandtreatme ntofperipheralarterialdiseases. Rational Pharmacotherapy in Cardiology. 2012; 4:4-73. (InRuss)].

4. Слатова Л.Н. Множественная нестабильность атеро-склеротических бляшек некоронарной локализации у пациентов с острым коронарным синдромом. Аспирантский вестник Поволжья. 2013; 1-2: 213-218. [SlatovaLN. Multiplein stability of atherosclerotic plaquesofnon-coronary localization in patient swith a cutecoronary syndrome. Postgraduate Herald of theVolgaRegion. 2013; 1-2: 213-218. (InRuss)].

5. Карпов Ю.А. Диагностика и лечение хронической ише-мической болезни сердца. Кардиологический вестник. 2015; 4: 3-33. [KarpovYuA. Diagnosis and treatment of chronic ischemic heart disease. Cardiological bulletin. 2015; 4:3-33. (InRuss)].

6. Миронов B.M., Меркулов E.B., Терещенко A.C., Милень-кин Б.И., Самко А.Н. Клиническое применение внутрисосудистого ультразвукового исследования коронарных артерий. Вестник рентгенологии и радиологии. 2013; 5: 38-49. [Mironov V.M., MerkulovYe.V., Tereshchenko AS., Milen'kin B.I., Samko A.N. Clinical application of intravascular ultrasound examination of coronary arteries. Herald of radiology and radiology.2013; 5:38-49. (InRuss)]

7. Calvet D. Advances in carotid angioplasty and stenting. International Journal of Stroke. 2016; 11:19-27.

8. Алтарев C.C., Поданева Ю.Е. Факторы риска неблагоприят-

ного долгосрочного прогноза пациентов, перенесших операции коронарного шунтирования. Сердце: журнал для практикующих врачей. 2015;14 (5):263-272. [Altarev S.S., Podaneva Y.E. Risk factors for adverse long-term prognosis of patients undergoing coronary bypass surgery. Heart: a journal for practicing physicians. 2015; 14 (5): 263-272. (InRuss)].

9. Shahian D.M., O'Brien S.M., Filardo G. et al. The Society of Thoracic Surgeons 2008 cardiac surgery risk models: part 1 - coronary artery bypass grafting surgery. Am Thorac Surg. 2009;88: S2-22.

10. Nashef S.A., Roques F., Michel P. et al. European system for cardiac operative risk evaluation (EuroSCORE). Eur J Cardiothorac Surg. 1999;16 (1):9-13

11. Windecker S., Kolh P., Alfonso F. et al. Guidelines on myocardial revascularization: The Task Force on Myocardial Revascularization of the European Society of Cardiology (ESC) and the European Association for Cardio-Thoracic Surgery (EACTS). Eur Heart J. 2014; 35:2541-2619.

12. Тарасов P.C., Иванов C.B., Казанцев A.H. и др. Госпитальные результаты различных стратегий хирургического лечения пациентов с сочетанным поражением коронарного русла и внутренних сонных артерий. Комплексные проблемы сердечно-сосудистых заболеваний. 2016; 4(5): 15-24. [Tarasov R.S., Ivanov S.V., Kazantsev AN. The hospital results of various strategies for the surgical treatment of patients with combined lesions of the coronary bed and internal carotid arteries. Complex problems of cardiovascular diseases. 2016; 4 (5): 15-24. (InRuss)].

13. Казанцев A.H., Тарасов P. С. Факторы неблагоприятного прогноза различных хирургических стратегий лечения пациентов с сочетанным поражением коронарного русла и сонных артерий в 30-дневном послеоперационном периоде. Материалы Инновационного конвента. 2016: 332-335. [Kazantsev A.N., Tarasov R.S. Factors of unfavorable prognosis of various surgical strategies for treating patients with concomitant lesion of the coronary bed and carotid arteries in a 30-day postoperative period. Materials of the Innovation Convent. 2016:332335. (InRuss)].

14. Казанцев A.H. Персонифицированный выбор оптимальной стратегии хирургического лечения пациентов с сочетанным поражением коронарного руста и брахиоцефальных артерий. Сибирский медицинский журнал. 2017; 32(1): 74-78. [Kazantsev A.N. Personalized choice of the optimal strategy for surgical treatment of patients with combined lesion of the coronary bed and brachiocephalic arteries. Sibirskij medicinskij zhurnal. 2017; 32 (1): 74-78. (InRuss)].

Вклад авторов:

Разработка концепции исследования, экспертная оценка клинической части работы: P.C. Тарасов. Сбор клинической информации, написание текста статьи: А.Н. Казанцев. Разработка алгоритмического обеспечения: Е. С. Каган.

Разработка программного обеспечения: К.Е. Глинчиков.

Окончательное утверждение версии для публикации: Л.С. Барбараш.

ПОСТУПИЛА В РЕДАКЦИЮ: 31.05.2017 ПРИНЯТА К ПЕЧАТИ: 26.09.2017

Для корреспонденции:

Казанцев Антон Николаевич

Адрес: 650002, г. Кемерово, Сосновый бульвар, д. 6

Тел. +7-923-616-77-79, e-mail: dr.antonio.kazantsev@mail.ru

For correspondence:

Kazantsev Anton

Address: 6, Sosnoviy blvd., Kemerovo, 650002, Russian Federation

Tel. +7-923-616-77-79, e-mail: dr.antonio.kazantsev@mail.ru Конфликт интересов:

Авторы заявляют об отсутствии конфликта интересов. Источник финансирования:

Работа выполнена при поддержке гранта (№ 12090ГУ/2017), предоставленного Фондом содействия инновациям, в рамках реализации проекта «УМНИК-2016» (Кемерово).

i Надоели баннеры? Вы всегда можете отключить рекламу.