CC BY
60
(сс)
doi: 10.21518/2079-701X-2020-17-82-90 Оригинальная статья / Original article
Прогнозирование длительности стационарного лечения пациентов с COVID-19
В.В. Цветков1®, ORCID: QQQQ-QQQ1-5195-9316, e-mail: suppcolor@gmail.com И.И.Токин12, ORCID: QQQQ-QQQ2-9824-3945, е-mail: ivan.tokin@influenza.spb.ru Д.А. Лиознов1,3, ORCID: QQQQ-QQQ3-3643-7354, e-mail: dlioznov@yandex.ru Е.В. Венев1,4, ORCID: QQQQ-QQQ3-2769-4586, е-mail: evgenyvenev@gmail.com А.Н. Куликов3, ORCID: QQQQ-QQQ2-4544-2967, e-mail: ankulikov2QQ5@yandex.ru
1 Научно-исследовательский институт гриппа им. A.A. Смородинцева, 197376, Россия, Санкт-Петербург, ул. Профессора Попова, д. 15/17
2 Северо-Западный государственный медицинский университет им. И.И. Мечникова; 191Q15, Россия, Санкт-Петербург, ул. Кирочная, д. 41
3 Первый Санкт-Петербургский государственный медицинский университет им. академика И.П. Павлова; 197Q22, Россия, Санкт-Петербург, ул. Льва Толстого, д. 6-8
4 Клиническая инфекционная больница им. С.П. Боткина; 195Q67, Россия, Санкт-Петербург, Пискарёвский проспект, д. 49
Резюме
Введение. В условиях высокой нагрузки на все звенья в структуре оказания медицинской помощи больным COVID-19 решение вопроса эффективной медицинской сортировки пациентов представляется чрезвычайно актуальным. Длительность стационарного лечения является одним из наиболее объективных и однозначно интерпретируемых показателей, которые могут быть использованы для косвенной оценки тяжести состояния пациента.
Цель. Разработать модель машинного обучения для прогнозирования длительности стационарного лечения пациентов с COVID-19 на основании рутинных клинических показателей, оцениваемых на догоспитальном этапе.
Материалы и методы. Всего обследовано 564 пациента с диагнозами «UQ7.1 COVID-19, вирус идентифицирован» (n = 367) и «UQ7.2 COVID-19, вирус не идентифицирован» (n = 197). В исследование включено 27Q пациентов, из них у 5Q,37% больных длительность стационарного лечения не превышала 7 дней, у 49,63% больных продолжительность стационарного лечения была более 1Q дней. В качестве наиболее важных предикторов для прогнозирования длительности стационарного лечения были выбраны 11 клинических параметров: возраст, рост и вес пациента, уровень SpO2, температура тела, индекс массы тела, частота пульса, количество дней от начала болезни, частота дыхательных движений, систолическое и диастолическое артериальное давление.
Результаты. Точность разработанной нами модели машинного обучения для прогнозирования длительности стационарного лечения более 1Q дней составила 83,75% (95% ДИ: 73,82-91,Q5%), чувствительность - 82,5Q%, специфичность - 85,QQ%, AUC = Q,86. Заключение. Разработанный нами метод на базе машинного обучения характеризуется высокой точностью прогнозирования длительности стационарного лечения больных COVID-19, что позволяет рассматривать его как новый перспективный инструмент для поддержки принятия врачебных решений о дальнейшей тактике ведения пациента и решения вопроса о необходимости госпитализации.
Ключевые слова: COVID-19, клинические показатели, прогнозирование, длительность лечения, машинное обучение
Благодарности. Коллектив авторов выражает благодарность за содействие в проведении исследования сотрудникам ФГБОУ ВО «ПСПбГМУ им. акад. И.П. Павлова» Минздрава России Евгению Aлeксандровичу Бакину и Оксане Владимировне Станевич.
Для цитирования: Цветков В.В., Токин И.И., Лиознов ДА, Венев Е.В., Куликов A.H. Прогнозирование длительности стационарного лечения пациентов с COVID-19. Медицинский совет. 2Q2Q;(17):82-9Q. doi: 1Q.21518/2Q79-7Q1X-2Q2Q-17-82-9Q.
Конфликт интересов: авторы заявляют об отсутствии конфликта интересов.
Predicting the duration of inpatient treatment for COVID-19 patients
Valeriy V. Tsvetkov1®, ORCID: QQQQ-QQQ1-5195-9316, e-mail: suppcolor@gmail.com Ivan I. Tokin1,2, ORCID: QQQQ-QQQ2-9824-3945, е-mail: ivan.tokin@influenza.spb.ru Dmitry A. Lioznov1,3, ORCID: QQQQ-QQQ3-3643-7354, e-mail: dlioznov@yandex.ru Evgeny V. Venev1,4, ORCID: QQQQ-QQQ3-2769-4586, е-mail: evgenyvenev@gmail.com Alexandr N. Kulikov3, ORCID: QQQQ-QQQ2-4544-2967, e-mail: ankulikov2QQ5@yandex.ru
1 Smorodintsev Research Institute of Influenza; 15/17, Professor Popov St., St Petersburg, 197376, Russia
2 North-Western State Medical University named after I.I. Mechnikov, 191Q15, St Petersburg, Russia
3 Pavlov First Saint Petersburg State Medical University; 6-8, Lev Tolstoy St., St Petersburg, 197Q22, Russia
4 Clinical Infectious Disease Hospital named after S.P. Botkin; 49, Piskaryovsky Ave., St Petersburg, 195Q67, Russia
82 МЕДИЦИНСКИЙ СОВЕТ 2020;(17):82-90
© Цветков В.В., Токин И.И., Лиознов Д.А., Венев Е.В., Куликов А.Н., 2020
Abstract
Introduction. In the context of a high Load on all Links in the structure of providing medical care to patients with COVID-19, solving the issue of effective triage of patients seems to be extremely urgent. The duration of inpatient treatment is one of the most objective and unambiguously interpreted indicators that can be used to indirectly assess the severity of the patient's condition. Objective. Develop a machine learning model to predict the duration of inpatient care for patients with COVID-19 based on routine clinical indicators assessed at the prehospital stage.
Materials and methods. A total of 564 patients were examined with diagnoses: U07.1 COVID-19, virus identified (n = 367) and U07.2 COVID-19, virus not identified (n = 197). The study included 270 patients, of whom in 50.37% of patients the duration of inpatient treatment did not exceed 7 days, in 49.63% of patients the duration of inpatient treatment was more than 10 days. Eleven clinical parameters were chosen as the most important predictors for predicting the duration of inpatient treatment: age, height and weight of the patient, SpO2 level, body temperature, body mass index, pulse rate, number of days from the onset of illness, respiratory rate, systolic and diastolic arterial pressure.
Results. The accuracy of our machine learning model for predicting the duration of inpatient treatment more than 10 days was 83.75% (95% CI: 73.82-91.05%), sensitivity - 82.50%, specificity - 85.00%. AUC = 0.86.
Conclusion. The method developed by us based on machine learning is characterized by high accuracy in predicting the duration of inpatient treatment of patients with COVID-19, which makes it possible to consider it as a promising new tool to support medical decisions on further tactics of patient management and to resolve the issue of the need for hospitalization.
Keywords: COVID-19, clinical scores, prediction, duration of treatment, machine learning
Acknowledgments. The team of authors would like to express their gratitude for the assistance in conducting the study to the employees of the Pavlov First Saint Petersburg State Medical University of the Ministry of Health of the Russian Federation Evgeniy A. Bakin and Oksana V. Stanevich.
For citation: Tsvetkov V.V., Tokin I.I., Lioznov D.A., Venev E.V., Kulikov A.N. Predicting the duration of inpatient treatment for COVID-19 patients. Meditsinskiysovet = Medical Council. 2020;(17):82-90. (In Russ.) doi: 10.21518/2079-701X-2020-17-82-90.
Conflict of interest: the authors declare no conflict of interest.
ВВЕДЕНИЕ
Развитие пандемии коронавирусной инфекции СОУЮ-19 поставило перед специалистами здравоохранения новые задачи: в кратчайшие сроки разработать диагностические тест-системы, алгоритмы оказания медицинской помощи, а также меры и средства профилактики в отношении неизвестного ранее инфекционного заболевания. Во многих странах мира по-прежнему предпринимаются колоссальные усилия для организации медицинской помощи больным СОУЮ 19.
Сегодня известно, что в 80% случаев заболевание протекает в легкой форме [1, 2]. Вместе с тем у абсолютного большинства госпитализированных пациентов регистрируют пневмонию, а у 10-15% больных развиваются тяжелые, у 5% - крайне тяжелые формы течения заболевания, та кие как пневмония с острой дыхательной недостаточностью, острый респираторный дистресс синдром (ОРДС), сепсис и септический шок [2, 3]. Наиболее частыми клиническими проявлениям СОУЮ-19 считаются повышение температуры тела более 38 °С, кашель, сухой или с небольшим количеством мокроты и одышка [4]. Выраженность и время появления симптомов могут свидетельствовать о тяжести или клинической форме заболевания. Например, среди пациентов с пневмонией у 99% больных наблюдается лихорадка, у 70% - выраженная утомляемость, у 59% - сухой кашель, у 40% - анорексия, у 35% - боли в мышцах и лишь у 31% больных наблюдается одышка, а у 27% - продуктивный кашель [5]. Кроме того, есть основания полагать, что больные СОУЮ-19 с симптомами поражения желудочно-кишечного тракта (ЖКТ) имеют более высокий риск развития неблагоприятного или летального исхода заболевания, чем пациенты
без нарушений со стороны ЖКТ [6]. Группы риска развития тяжелых форм течения и неблагоприятных исходов заболевания продолжают изучаться. Среди пациентов с тяжелым течением инфекции чаще встречаются больные старше 50-60 лет, а также лица с такими сопутствующими заболеваниям, как сахарный диабет, онкология, артериальная гипертензия и другие сердечно-сосудистые заболевания [3, 7-12]. Летальные исходы заболевания чаще наблюдаются среди больных старше 65 лет, кроме того, пожилые пациенты с СОУЮ-19 чаще нуждаются в госпитализации и проведении интенсивной терапии [13-16]. Пожилой возраст больного, наличие нейтрофилии и повышение уровней лактатдегидрогеназы и Э-димера увеличивают риск развития ОРДС и смерти [17, 18].
В условиях высокой нагрузки на все звенья организации медицинской помощи больным СОУЮ-19 решение вопроса эффективной медицинской сортировки пациентов представляется чрезвычайно актуальным. На этапе первичного обращения больного с подозрением на СОУЮ-19 за медицинской помощью первоочередной задачей является решение вопроса о необходимости госпитализации. В свою очередь, на этапе стационарного обследования главной задачей медицинской сортировки является определение приоритетов лечения больного, а также необходимости проведения интенсивной терапии и инвазивной вентиляции легких. В настоящее время в условиях ограниченного количества имеющихся сведений о СОУЮ-19 при оказании медицинской помощи таким пациентам по-прежнему приходится руководствоваться алгоритмами, разработанными ранее для отдельных синдромов и неотложных состояний. Вместе с тем далеко не всегда такие универсальные алгоритмы являются оптимальными, т. к. характер клинического течения в большей
степени может быть обусловлен этиологией заболевания, а также иными внешними или внутренними факторами. Разработка алгоритмов быстрой, точной и ранней оценки тяжести заболевания у пациентов с COVID-19 является приоритетным условием для создания систем поддержки принятия врачебных решений и материально-технического планирования.
Технологии машинного обучения позволяют разработать высокоэффективные математические модели для прогнозирования исходов заболевания по неограниченному количеству пре дикторов [19]. Исследователи из Нью-Йоркского университета одними из первых разработали экспериментальную модель поддержки принятия врачебных решений для первичной сортировки больных с подозрением на COVID-19. Анализ демографических, лабораторных и рентгенологических данных позволил выявить три наиболее значимых предиктора тяжелого течения заболевания: повышенный уровень гемоглобина, глубокие мышечные боли и повышенный уровень алани-наминотрансферазы. Разработанная авторами модель машинного обучения продемонстрировала высокую точность (80%) для прогнозирования риска развития ОРДС у пациентов с подозрением на COVID-19 без явных клинических признаков тяжелого течения заболевания [20]. Сегодня также известны методы диагностики COVID-19 с помощью мобильного приложения и на основании одних только симптомов заболевания [21, 22], прогнозирования тяжелого течения COVID-19 [23-26] и летального исхода [27, 28]. В мае 2020 г. в журнале Nature Machine Intelligence была опубликована научная статья, в которой был представлен новый, простой и интерпретируемый алгоритм оценки риска смерти больных COVID-19 по уровню лак-татдегидрогеназы, количеству лимфоцитов и уровню С-реактивного белка [29]. В недавнем обзоре представлен сравнительный анализ 27 клинических исследований, направленных на разработку моделей на базе машинного обучения для неспецифической диагностики COVID-19 и прогнозирования развития тяжелых форм и неблагоприятных исходов заболевания [30]. Несмотря на оптимистичные результаты, в большинстве подобных исследований были выявлены существенные недостатки, такие как использование нерепрезентативных и несбалансированных выборок, необоснованное исключение пациентов из исследования, а также отсутствие валидационной и тестовой выборок.
Цель исследования. Разработать математическую модель машинного обучения для прогнозирования длительности стационарного лечения пациентов с COVID-19 на основании рутинных клинических показателей, оцениваемых на догоспитальном этапе.
МАТЕРИАЛЫ И МЕТОДЫ
Ретроспективное исследование было проведено на базе Центра по лечению новой коронавирусной инфекции COVID-19 при федеральном государственном бюджетном образовательном учреждении высшего образования «Первый Санкт-Петербургский государственный медицин-
ский университет имени академика И.П. Павлова». Всего в рамках исследования были проанализированы деперсонализированные данные, полученные из 564 электронных медицинских карт (ЭМК) пациентов с диагнозами «1107.1 СОУЮ-19, вирус идентифицирован» (п = 367) и «1107.2 СОУЮ-19, вирус не идентифицирован» (п = 197). При первичном осмотре больного, поступившего в стационар, проводился сбор анамнеза жизни и анамнеза заболевания, опрос жалоб, а также объективный осмотр с пульсокси-метрией и оценкой жизненно важных показателей. В качестве рутинных параметров, которые могут быть определены у каждого пациента с подозрением на СОУЮ-19 на догоспитальном этапе и которые могут являться потенциальными предикторами длительности стационарного лечения, в настоящем исследовании анализировались следующие показатели: пол, возраст, рост, вес и индекс массы тела (ИМТ) больного, наличие жалоб (кашель, общая слабость, одышка, головная боль, диарея, насморк, боль в горле, боли в мышцах, снижение обоняния, дискомфорт/боль в грудной клетке), наличие сопутствующих хронических заболеваний (сахарный диабет, гипертоническая болезнь и другие хронические заболевания сердечно-сосудистой системы (ССС), заболевания ЖКТ, респираторные заболевания и заболевания почек), количество дней от даты появления первых симптомов заболевания до даты госпитализации, периферическая сатурация гемоглобина кислородом артериальной крови (БрО2), частота пульса, частота дыхательных движений (ЧДД), систолическое и диастолическое артериальное давление (АД), а также температура тела пациента. Для определения прогнозируемого события (длительность стационарного лечения менее 7 дней или более 10 дней) рассчитывалось количество дней от даты госпитализации до даты выписки из стационара у всех больных или до даты летального исхода у пациентов с длительностью стационарного лечения более 10 дней.
В соответствии с процедурой отбора (рис. 1) в исследование было включено 270 пациентов, из них у 50,37% больных (п = 136) длительность стационарного лечения не превышала 7 дней, у 49,63% больных (п = 134) продолжительность стационарного лечения была более 10 дней.
Все пациенты были распределены в две группы (выборки). Традиционно для названия выборок, используемых в процессе разработки моделей машинного обучения, применяются термины: «обучающая выборка» и «тестовая выборка». Данные обучающей выборки используются для разработки и валидации модели машинного обучения. В свою очередь, данные тестовой выборки не используются непосредственно в процессе обучения модели, однако позволяют протестировать модель и являются контрольными. В обучающую выборку случайным образом с учетом стратификации по количеству дней стационарного лечения были отобраны 190 больных, из них лиц мужского пола - 45,26% (п = 86), женского -54,74% (п = 104). Средний возраст пациентов обучающей выборки составил по медиане 53,00 года (42,00-63,00 года), средний индекс массы тела - 28,76 кг/м2 (25,1032,46 кг/м2). Диагноз «1107.1 СОУЮ-19, вирус идентифицирован» был установлен у 63,16% больных (п = 120),
• Рисунок 1. Правила отбора пациентов в исследование
• Figure 1. Study selection rules
о
vH ■
q
>
о <->
диагноз «1107.2 СОУЮ-19, вирус не идентифицирован» -у 36,84% пациентов (п = 70). Средняя длительность стационарного лечения пациентов обучающей выборки составила по медиане 6,00 дней (5,00-13,00 дней). Доля больных с длительностью госпитализации менее 7 дней составила 50,53%, более 10 дней - 49,47% (табл. 1). В тестовую выборку были включены 80 пациентов, из них лиц мужского пола - 46,25% (п = 37), женского - 53,75% (п = 43). Средний возраст больных тестовой выборки составил по медиане 56,00 года (44,00-66,00 года), средний индекс массы тела - 28,01 кг/м2 (26,00-31,78 кг/м2). Диагноз «1107.1 СОУЮ-19, вирус идентифицирован» был установлен у 67,50% пациентов (п = 54), диагноз «1107.2 СОУЮ-19, вирус не идентифицирован» - у 32,50% пациентов (п = 26). Средняя длительность стационарного лечения пациентов тестовой выборки составила по медиане 8,50 дня (5,00-12,00 дня). Доля больных с длительностью госпитализации менее 7 дней составила 50,00%, более 10 дней - 50,00%.
Математическая и статистическая обработка полученных данных проводилась с использованием программной среды статистического анализа <<^>. В качестве мер центральной тенденции рассчитывались значения медианы. В качестве мер изменчивости данных рассчитывались значения квартилей. Нормальность распределения количественных признаков в выборке оценивалась с помощью Ш-критерия Шапиро - Уилка. Гомогенность дисперсий количественных признаков в двух независимых выборках оценивалась с помощью критерия Бартлетта. Для оценки различий между двумя независимыми выборками по качественным (категориальным) признакам строились таблицы сопряженности и применялся точный критерий Фишера. Для оценки различий между двумя независимыми выборками по количественным признакам использовался непараметрический и-критерий Манна - Уитни. Для оценки прогностической информативности моделей машинного обучения рассчитывались показатели точности с определением 95% дове-
рительного интервала (ДИ), чувствительности и специфичности, коэффициент Каппа Коэна, прогностичность положительного и отрицательного результатов теста, а также проводился ROC-анализ с расчетом площади под ROC-кривой (AUC).
Модели машинного обучения на базе градиентного бустинга разрабатывались в программной среде статистического анализа «R» с использованием классического пакета «GBM». В качестве функции потерь использовалась гауссова функция потерь - средняя квадратичная ошибка (MSE). Исходные данные обучающей выборки и тестовой выборки были нормализованы в диапазоне от 0 до 1. Данные, содержащие информацию о количестве дней от даты по явления первых симптомов заболевания до даты госпитализации, весе, индексе массы тела и частоте пульса пациентов, были предварительно логарифмированы. Все пропущенные значения были заменены на «-1». Для выбора предикторов, оптимизации гиперпараметров и обучения моделей использовались данные только обучающей выборки с проведением 3-кратной перекрестной проверки. Данные тестовой выборки не применялись для обучения моделей или подбора оптимального набора гиперпараметров и были использованы только один раз для определения показателей информативности теста. Для выбора оптимального набора предикторов оценивалось относительное влияние каждого предиктора на точность предсказания. Предикторы с наибольшим средним снижением MSE считались наиболее важными. Предварительная модель машинного обучения использовала в качестве предикторов все изучаемые клинические показатели. Оптимальная скорость обучения (shrinkage) предварительной модели составила 0,05, оптимальная глубина дерева решений (interaction. depth) - 3, оптимальное минимальное число наблюдений в терминальных узлах деревьев решений (n.minobsin-node) - 25, оптимальная доля используемых обучающих наблюдений (bag.fraction) - 0,65, количество деревьев решений - 129. Окончательная модель машинного обуче-
1 Таблица 1. Сравнительная характеристика пациентов обучающей и тестовой выборок
i Table 1. Comparative characteristics of patients of training and test samples
Показатели «Обучающая выборка» (n = 190) «Тестовая выборка» (n = 80)
Пол Мужской Женский 86 / 45,26 104 / 54,74 37 / 46,25 43 / 53,75
Возраст, лет 53,00 (42,00-63,00) 56,00 (44,00-66,00)
Рост, см 168,00 (162,00-176,00) 170,00 (164,00-176,00)
Вес, кг 81,00 (70,00-95,00) 86,00 (72,00-95,00)
Индекс массы тела, кг/м2 28,76 (25,10-32,46) 28,01 (26,00-31,78)
Код МКБ-10
U07.1 120 / 63,16 54 / 67,50
U07.2 70 / 36,84 26 / 32,50
День болезни, дней 7,00 (5,00-9,00) 7,00 (5,00-10,00)
Жалобы*
Общая слабость 138 из 178 / 77,53 54 из 71 / 76,06
Кашель 127 из 177 / 71,75 55 из 76 / 72,37
Одышка 62 из 175 / 35,43 20 из 73 / 27,40
Головная боль 54 из 166 / 32,53 24 из 70 / 34,29
Снижение обоняния 45 из 168 / 26,79 20 из 68 / 29,41
Боли в мышцах 44 из 169 / 26,04 21 из 70 / 30,00
Дискомфорт в грудной клетке 30 из 167 / 17,96 9 из 66 / 13,64
Диарея 28 из 164 / 17,07 14 из 70 / 20,00
Боль в горле 23 из 168 / 13,69 10 из 69 / 14,49
Насморк 21 из 165 / 12,73 11 из 68 / 16,18
Сопутствующие заболевания*
Заболевания ССС 55 из 137 / 40,15 23 из 63 / 36,51
Гипертоническая болезнь 48 из 137 / 35,04 21 из 63 / 33,33
Заболевания ЖКТ 21 из 137 / 15,33 13 из 63 / 20,63
Сахарный диабет 2-го типа 10 из 137 / 7,30 5 из 63 / 7,94
Заболевания почек 9 из 137 / 6,57 2 из 63 / 3,17
Респираторные заболевания 8 из 137 / 5,84 6 из 63 / 9,52
Данные объективного обследования*
Бр02, % 98,00 (96,00-99,00) 98,00 (96,00-99,00)
Частота пульса, уд/мин 83,50 (77,00-92,00) 82,00 (76,00-90,00)
ЧДД, дв/мин 18,00 (16,00-19,50) 17,00 (16,00-20,00)
Систолическое АД, мм рт. ст. 130,00 (120,00-140,00) 130,50 (121,50-140,00)
Диастолическое АД, мм рт. ст. 80,00 (73,00-90,00) 80,00 (75,50-88,50)
Температура тела 38 °С и выше 109 из 182 / 59,89 44 из 77 / 57,14
Длительность лечения, дней 6,00 (5,00-13,00) 8,50 (5,00-12,00)
Менее 7 дней 96 / 50,53 40 / 50,00
Более 10 дней 94 / 49,47 40 / 50,00
* В таблице приведены данные, имеющиеся в ЭМК на момент проведения исследования; в таблице групповые количественные показатели приведены в виде медианы с указанием интерквартильного размаха - Ме (1_0-Н0), качественные (категориальные) - в виде абс. /%.
ния использовала в качестве предикторов только часть наиболее важных клинических показателей. Оптимальная скорость обучения (shrinkage) окончательной модели составила 0,05, оптимальная глубина дерева решений (interaction. depth) - 4, оптимальное минимальное число наблюдений в терминальных узлах деревьев решений (n. minobsinnode) - 15, оптимальная доля используемых обучающих наблюдений (bag. fraction) - 0,85, количество деревьев решений - 64.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
С помощью классических методов статистического анализа нами было выявлено несколько клинических показателей, значения которых существенным образом отличались у пациентов с разной длительностью стационарного лечения (табл. 2).
Так, средний возраст больных с длительностью госпитализации менее 7 дней составил по медиане 49,00 года (38,50-57,00 года) против 61,00 года (50,50-70,00 года) среди пациентов с длительностью госпитализации более 10 дней (p < 0,001) (рис. 2a).
Жалобы при поступлении в стационар существенным образом не отличались. Между тем доля больных, предъявляющих жалобы на одышку, была больше в группе пациентов, требующих длительного стационарного лечения, и составила 39,06% против 26,67% в группе больных с дли-
Ш Рисунок2. Распределение клинических показателей в зависимости от длительности стационарного лечения i Figure 2. Distribution of clinical indicators depending on the duration of inpatient treatment
90 80 h 70
ш p 60
I 50
о
и
40 30 20
менее 7 дней более 10 дней
99 97 95
Î, 93
э
* 91 89 87
as
менее 7 дней более 10 дней
a) возраст пациентов (лет); age of patients (years)
b) уровень SpO2 (%); SpO2 level (%)
менее 7 дней более 10 дней
120 . "О . 100 90 80 70 . 60
менее 7 дней более 10 дней
c) HAD, (ab/mmh); d) AMacranM4ecKoe AD (mm pT. ct.)
respiratory rate (beats per minute) diastolic blood pressure (mmHg)
тельностью стационарного лечения менее 7 дней (p = 0,043). Кроме того, среди пациентов, требующих длительного стационарного лечения, статистически значимо чаще наблюдалось наличие сопутствующих заболеваний сердечно-сосудистой системы (p < 0,001), в частности гипертонической болезни (p = 0,025).
Среди показателей объективного обследования наибольшие различия между пациентами с разной длительностью стационарного лечения наблюдались по уровню SpO2 (p < 0,001) (рис 2b), частоте пульса (p = 0,019), ЧДД (p < 0,001) (рис. 2c) и диастолическому АД (p = 0,002) (рис 2d). Среди больных с длительностью стационарного лечения более 10 дней доля пациентов с температурой тела 38 °C и выше была больше и составила 75,19% против 43,08% в группе больных с длительностью лечения «менее 7 дней» (p < 0,001).
С помощью методов машинного обучения нами были разработаны несколько математических моделей для прогнозирования длительности стационарного лечения больных COVID-19. Предварительная модель машинного обучения (модель 1), учитывающая все изучаемые клинические показатели, на данных обучающей выборки достигла MSE = 0,3085, точность прогнозирования длительности стационарного лечение более 10 дней составила 89,47% (95% ДИ: 84,21-93,45%). На данных тестовой выборки показатели информативности предварительной модели были значительно хуже: MSE = 0,4024, точность -77,50% (95% ДИ: 66,79-86,09%) (табл. 3).
На рис. 3 представлены уровни относительного влияния изучаемых клинических показателей на точность прогноза предварительной модели.
• Рисунок 3. Уровни относительного влияния клинических предикторов длительности стационарно го лечения на точность прогноза предварительной модели машинного обучения
• Figure 3. Levels of the relative influence of clinical predictors of inpatient treatment duration on the prediction accuracy of the preliminary machine learning model
Возраст SpO2
Температура тела 38 °С и выше Индекс массы тела Частота пульса День болезни ЧДД
Диастолическое АД Рост Вес Одышка Заболевания ССС Систолическое АД Снижение обоняния Пол
Головная боль Общая слабость Боли в мышцах Кашель
Сахарный диабет 2 типа Респираторные заболевания Насморк Заболевания почек Заболевания ЖКТ Дискомфорт в грудной клетке Диарея
Гипертоническая болезнь Боль в горле
1 Таблица 2. Сравнительная характеристика двух групп больных COVID-19 в зависимости от длительности стационарного лечения (менее 7 дней или более 10 дней) i Table 2. Comparative characteristics of two groups of patients with COVID-19, depending on the duration of inpatient treatment (less than 7 days or more than 10 days)
Группы больных
Показатели Менее 7 дней (n = 136) Более 10 дней (n = 134) p value
Пол • Мужской • Женский 2 / 45,59 74 / 54,41 1 / 45,52 73 / 54,48 1,000
Возраст, лет 49,00 (38,50-57,00) 61,00 (50,50-70,00) <0,001
Рост, см 169,00 (162,00-176,00) 169,00 (164,00-176,00) 0,849
Вес, кг 81,00 (70,00-95,00) 82,00 (73,00-95,00) 0,491
Индекс массы тела, кг/м2 28,01 (24,34-31,89) 28,69 (25,92-32,80) 0,129
День болезни, дней 7,00 (4,75-10,00) 7,00 (5,00-8,00) 0,247
Жалобы*
Общая слабость 92 из 122 / 75,41 100 из 127 / 78,74 0,549
Кашель 87 из 127 / 68,50 95 из 126 / 75,40 0,263
Одышка 32 из 120 / 26,67 50 из 128 / 39,06 0,043
Головная боль 32 из 117 / 27,35 46 из 119 / 38,66 0,073
Снижение обоняния 37 из 119 / 31,09 28 из 117 / 23,93 0,245
Боли в мышцах 30 из 122 / 24,59 35 из 117 / 29,91 0,385
Дискомфорт в грудной клетке 20 из 115 / 17,39 19 из 118 / 16,10 0,861
Диарея 22 из 118 / 18,64 20 из 116 / 17,24 0,865
Боль в горле 17 из 121 / 16,35 16 из 116 / 13,79 1,000
Насморк 19 из 121 / 15,70 13 из 112 / 11,61 0,447
Сопутствующие заболевания*
Заболевания ССС 29 из 104 / 27,88 49 из 96 / 51,04 <0,001
Гипертоническая болезнь 28 из 104 / 26,92 41 из 96 / 42,71 0,025
Заболевания ЖКТ 18 из 104 / 17,31 16 из 96 / 16,67 1,000
Сахарный диабет 2-го типа 5 из 104 / 4,81 10 из 96 / 10,42 0,180
Заболевания почек 4 из 104 / 3,85 7 из 96 / 7,29 0,359
Респираторные заболевания 6 из 104 / 5,77 8 из 96 / 8,33 0,583
Данные объективного обследования*
Бр02, % 98,00 (97,00-99,00) 97,00 (94,00-98,00) <0,001
Частота пульса, уд/мин 80,00 (75,00-90,00) 86,00 (78,00-93,00) 0,019
ЧДД, дв/мин 17,00 (16,00-18,00) 18,00 (17,00-20,00) <0,001
Систолическое АД, мм рт. ст. 131,50 (120,00-140,80) 130,00 (120,00-140,00) 0,658
Диастолическое АД, мм рт. ст. 80,00 (80,00-90,00) 80,00 (70,00-86,00) 0,002
Температура тела 38 °С и выше 56 из 130 / 43,08 97 из 129 / 75,19 <0,001
* В таблице приведены данные, имеющиеся в ЭМК на момент проведения исследования; в таблице групповые количественные показатели приведены в виде медианы с указанием интерквартильного размаха - Ме (1_0-Н0), качественные (категориальные) - в виде абс. /%.
• Таблица 3. Показатели информативности моделей машинного обучения для определения длительности стационарного лечения больных COVID-19 более 10 дней
• Table 3. Indicators of informativeness of machine learning models for determining the duration of inpatient treatment of patients with COVID-19 more than 10 days
о
vH ■
о
>
о <->
Расчетные индексы более 10 дней (абс.) менее 7 дней (абс.) Kappa Sens (%) Spec (%) PPV (%) NPV (%) Acc (%)
На данных «обучающей выборки»
Модель 1 • ¿0,5 • <0,5 85 9 11 85 0,7895 90,43 88,54 88,54 90,43 89,47
Модель 2 • ¿0,5 • <0,5 85 9 11 85 0,7895 90,43 88,54 88,54 90,43 89,47
На данных «тестовой выборки»
Модель 1 • ¿0,5 • <0,5 29 11 7 33 0,5500 72,50 82,50 80,56 75,00 77,50
Модель 2 • ¿0,5 • <0,5 33 7 6 34 0,6750 82,50 85,00 84,62 82,93 83,75
Примечание. Модель 1 - предварительная модель; модель 2 - окончательная модель; Kappa - коэффициент Каппа Коэна; Sens - чувствительность; Spec - специфичность; PPV - положительное предсказательное значе ние; NPV - отрицательное предсказательное значение; Acc - точность.
Установлено, что возраст и результаты объективного обследования больного, такие как уровень Бр02, температура тела, индекс массы тела, частота пульса, ЧДД и показатели АД, являются наиболее важными предикторами длительности стационарного лечения.
Исключение из набора предикторов клинических показателей, которые не влияли или слабо влияли на точность прогноза, позволило разработать окончательную модель машинного обучения (модель 2), учитывающую только 11 из 28 параметров: возраст пациента, уровень Бр02, температуру тела, индекс массы тела, частоту пульса, количество дней от начала болезни, ЧДД, диастолическое АД, рост, вес и систолическое АД. Точность окончательной модели для прогнозирования длительности стационарного лечения пациентов с С0УЮ-19 более 10 дней на данных тестовой выборки составила 83,75% (95% ДИ: 73,82-91,05%), чувствительность - 82,50%, специфичность - 85,00%, МБЕ = 0,3895. Площадь под ЮС-кривой окончательной модели машинного обучения на данных обучающей выборки и тестовой выборки составила ЛЫС = 0,96 и ЛЫС = 0,86 соответственно (рис. 4).
Длительность стационарного лечения является одним из наиболее объективных и однозначно интерпретируемых показателей, коррелирующих с тяжестью состояния пациента и требуемым объемом медицинской помощи. Несмотря на свою объективность, данный показатель может быть подвержен влиянию не связанных с состоянием пациента факторов, таких как день недели, в который был госпитализирован больной или планировалась выписка пациента, загруженность и территориальная доступность стационара, а также различные правила медицинского страхования в разных странах. По мнению авторов, исключение из исследования пациентов с длительностью госпитализации от 7 до 10 дней включитель-
но позволяет максимально избежать влияния не связанных с состоянием больного факторов и подчеркнуть различия в клинических показателях между пациентами, не требующими и требующими длительного стационарного лечения.
Разработанная нами модель машинного обучения на базе градиентного бустинга характеризуется высокой
• Рисунок4. ROC-кривые окончательной модели машинного обучения для прогнозирования длительности стационарного лечения пациентов с COVID-19
• Figure 4. ROC curves of the ultimate machine learning model to predict inpatient treatment duration of COVID-19 patients
0.2 0 20 2 10.10.1 0.10 1 0.100
0.5 0.4 0.5 ® 0.3
0.5 0.6 0.6
J
0.7 0.7 0.8 f ■
Э 0.7
0.8 0.8 0.9 0 0.9 .8
1 1 AUC
1 Inf «Обучающая выборка» (0.96) «Тестовая выборка» (0.86)
1 - Specificity
точностью прогнозирования длительности стационарного лечения больных СОУЮ-19 более 10 дней (точность -83,75%, чувствительность - 82,50%, специфичность -85,00%). Для прогнозирования не требуется приобретение дорогостоящего оборудования или наборов реагентов, достаточно результатов рутинного клинического обследования больного с оценкой таких показателей, как возраст, рост, вес, индекс массы тела, количество дней от начала болезни, температура тела, частота пульса, ЧДД, диастолическое и систолическое АД, а также уровень БрО2. Все эти клинические показатели могут быть оценены на догоспитальном этапе, что позволяет использовать разработанную модель на этапе первичной сортировки для поддержки принятия врачебных решений о дальнейшей тактике ведения пациента, решения вопроса о необходимости госпитализации и определения объемов медицинской помощи. Большинство известных нам аналогичных моделей машинного обучения для прогнозирования длительности стационарного лечения или тяжести течения заболевания пациентов с СОУЮ-19 требуют проведения лабораторных или инструментальных исследований, которые в реальной клинической практике могут быть не доступны на догоспитальном этапе. Используя разработанную модель, врач уже на догоспитальном этапе сможет мгновенно получить оценку состояния пациента и на основании совокупности клинических данных принять решение о необходимости госпитализации больного. В свою очередь, на этапе первичного осмотра и обследования пациента в приемном отделении стационара врач также сможет получить дополнительную информацию о предполагаемой длительности лечения пациента и тяжести его состояния. Прогнозирование тяжести течения заболевания представляется нам особенно важным в период эпидемий и пандемий, когда нагрузка на медицинских работников достигает своего максимума, а недостаток медицинских
ресурсов проявляется наиболее остро. Для практического применения и прогнозирования длительности госпитализации больных COVID-19 может быть использована электронная форма, размещенная на сайте НИИ гриппа им. А.А. Смородинцева.
Несмотря на то что в нашем исследовании не использовались нерепрезентативные и несбалансированные выборки, не проводилось необоснованное исключение больных из исследования, а для оценки точности прогноза использовалась независимая тестовая выборка, разработанная модель машинного обучения требует проведения внешней верификации в других стационарах с другими условиями оказания медицинской помощи больным COVID-19. Также представляется целесообразным проведение дальнейших исследований с целью оценки влияния внедрения данной модели в медицинскую практику на клиническую и клинико-экономическую эффективность лечения больных COVID-19.
ЗАКЛЮЧЕНИЕ
Длительность стационарного лечения является одним из наиболее объективных и однозначно интерпретируемых показателей, которые могут быть использованы для косвенной оценки тяжести состояния пациента. Разработанный нами метод на базе машинного обучения характеризуется высокой точностью прогнозирования длительности стационарного лечения больных COVID-19, что позволяет рассматривать его как новый перспективный инструмент для поддержки принятия врачебных решений о дальнейшей тактике ведения пациента, решения вопроса о необходимости госпитализации и определения объемов медицинской помощи.
Поступила / Received 03.10.2020 Поступила после рецензирования / Revised 20.10.2020 Принята в печать / Accepted 20.10.2020
-Список литературы / References-
1. Авдеев С.Н., Адамян Л.В., Алексеева Е.И., Багненко С.Ф., Баранов А.А., Баранова Н.Н. и др. Профилактика, диагностика и лечение новой коронавирусной инфекции (COVID-19). Временные методические рекомендации. Версия 8 (03.09.2020). М.: Министерство здравоохранения Российской Федерации; 2020. 218 с. Режим доступа: http://mzdnr.ru/en/ system/files/2_5370990447713847164.pdf.
Avdeev S.N., Adamyan L.V., Alekseeva E.I., Bagnenko S.F., Baranov A.A., Baranova N.N. et al. Prevention, diagnosis and treatment of new coronavirus infection (COVID-19). Temporary guidelines. Version 8 (03.09.2020). Mosraw: Ministry of Health of the Russian Federation; 2020. 218 p. (In Russ.) Available at: http//mzdnr.ru/en/system/files/2_5370990447713847164.pdf.
2. Wu Z., McGoogan J.M. Characteristics of and important lessons from the coronavirus disease 2019 (COVID-19) outbreak in China: summary of a report of 72 314 cases from the Chinese Center for Disease Control and Prevention. JAMA. 2020;323(13):1239-1242. doi: 10.1001/ jama.2020.2648.
3. Guan WJ., Ni Z.Y., Hu Y., Liang W.H., Ou C.Q., He J.X. et al. Clinical characteristics of coronavirus disease 2019 in China. N Engl J Med. 2020;382(18):1708-1720. doi: 10.1056/NEJMoa2002032.
4. Li L.Q., Huang T., Wang Y.Q., Wang Z.P., Liang Y., Huang T.B. et al. COVID-19 patients' clinical characteristics, discharge rate, and fatality rate of metaanalysis. J Med Virol. 2020;92(6):577-583. doi: 10.1002/jmv.25757.
5. Huang C., Wang Y., Li X., Ren L., Zhao J., Hu Y. et al. Clinical features of patients infected with 2019 novel coronavirus in Wuhan, China. Lancet. 2020;395(10223):497-506. doi: 10.1016/S0140-6736(20)30183-5.
6. Pan L., Mu M., Yang P., Sun Y., Wang R., Yan J. et al. Clinical characteristics of COVID-19 patients with digestive symptoms in Hubei, China: a descrip-
tive, cross-sectional, multicenter study. Am J Gastroenterol. 2020;115(5):766-773. doi: 10.14309/ajg.0000000000000620.
7. Del Rio C., Malani P.N. 2019 novel coronavirus - important information for clinicians. JAMA. 2020;323(11):1039-1040. doi: 10.1001/jama.2020.1490.
8. Tenforde M.W., Kim S.S., Lindsell CJ., Billig Rose E., Shapiro N.I., Files D.C. et al. Symptom duration and risk factors for delayed return to usual health among outpatients with COVID-19 in a multistate health care systems network - United States. MMWR Morb Mortal Wkly Rep. 2020;69(30):993-998. doi: 10.15585/mmwr.mm6930e1.
9. Liang X., Shi L., Wang Y., Xiao W., Duan G., Yang H. et al. The association of hypertension with the severity and mortality of COVID-19 patients: Evidence based on adjusted effect estimates. J Infect. 2020;81(3):e44-e47. doi: 10.1016/j.jinf.2020.06.060.
10. Ou M., Zhu J., Ji P., Li H., Zhong Z., Li B. et al. Risk factors of severe cases with COVID-19: a meta-analysis. Epidemiol Infect. 2020;148:e175. Available at: https://pubmed.ncbi.nlm.nih.gov/32782035/.
11. Rastad H., Ejtahed H.S., Mahdavi-Ghorabi A., Arzaghi M., Safari A., Shahrestanaki E. et al. Factors associated with the poor outcomes in diabetic patients with COVID-19. J Diabetes Metab Disord. 2020;1-10. doi: 10.1007/s40200-020-00646-6.
12. Hussain A., Mahawar K., Xia Z., Yang W., Shamsi E.H. Obesity and mortality of COVID-19. Meta-analysis. Obes Res Clin Pract. 2020;14(4):295-300. doi: 10.1016/j.orcp.2020.07.002.
13. CDC COVID-19 Response Team. Severe Outcomes Among Patients with Coronavirus Disease 2019 (COVID-19) - United States, February 12-March 16, 2020. MMWR Morb Mortal Wkly Rep. 2020;69(12):343-346. doi: 10.15585/mmwr.mm6912e2.
14. Zheng Z., Peng F., Xu B., Zhao J., Liu H., Peng J. et al. Risk factors of critical & mortal COVID-19 cases: A systematic literature review and meta-analysis. J Infect. 2020;81(2):e16-e25. doi: 10.1016/j.jinf.2020.04.021.
15. Pan F., Yang L., Li Y., Liang B., Li L., Ye T. et al. Factors associated with death outcome in patients with severe coronavirus disease-19 (COVID-19): a case-control study. Int J Med Sci. 2020;17(9):1281-1292. doi: 10.7150/ijms.46614.
16. Wang B., Li R., Lu Z., Huang Y. Does comorbidity increase the risk of patients with COVID-19: evidence from meta-analysis. Aging (Albany NY). 2020;12(7):6049-6057. doi: 10.18632/aging.103000.
17. Wu C., Chen X., Cai Y., Zhou X., Xu S., Huang H. et al. Risk factors associated with acute respiratory distress syndrome and death in patients with coro-navirus disease 2019 pneumonia in Wuhan, China. JAMA Intern Med. 2020;180(7):934-943. doi: 10.1001/jamainternmed.2020.0994.
18. Wang D., Hu B., Hu C., Zhu F., Liu X., Zhang J. et al. Clinical characteristics of 138 hospitalized patients with 2019 novel coronavirus-infected pneumonia in Wuhan, China. JAMA. 2020;323(11):1061-1069.
doi: 10.1001/jama.2020.1585.
19. Assaf D., Gutman Y., Neuman Y., Segal G., Amit S., Gefen-Halevi S. et al. Utilization of machine learning models to accurately predict the risk for critical COVID-19. Intern Emerg Med. 2020;15(8):1435-1443. doi: 10.1007/s11739-020-02475-0.
20. Jiang X., Coffee M., Bari A., Wang J., Jiang X., Huang J. et al. Towards an artificial intelligence framework for data-driven prediction of coronavirus clinical severity. CMC: Computers, Materials & Continua. 2020;63(1):537-551. doi: 10.32604/cmc.2020.010691.
21. Menni C., Valdes A.M., Freidin M.B., Sudre C.H., Nguyen L.H., Drew DA. et al. Realtime tracking of self-reported symptoms to predict potential COVID-19. Nat Med. 2020;26(7):1037-1040. doi: 10.1038/s41591-020-0916-2.
22. Brinati D., Campagner A., Ferrari D., Locatelli M., Banfi G., Cabitza F. Detection of COVID-19 Infection from Routine Blood Exams with Machine
Learning: a Feasibility Study. J Med Syst. 2020;44(8):135. doi: 10.1007/ S10916-020-01597-4.
23. Gao Y., Li T., Han M., Li X., Wu D., Xu Y. et al. Diagnostic utility of clinical laboratory data determinations for patients with the severe COVID-19. J Med Virol. 2020;92(7):791-796. doi: 10.1002/jmv.25770.
24. Razavian N., Major V.J., Sudarshan M., Burk-Rafel J., Stella P., Randhawa H. et al. A validated, real time prediction model for favorable outcomes in hospitalized COVID-19 patients. NPJ Digit Med. 2020;3:130. doi: 10.1038/ s41746-020-00343-x.
25. Burdick H., Lam C., Mataraso S., Siefkas A., Braden G., Dellinger R.P. et al. Prediction of respiratory decompensation in Covid-19 patients using machine learning: The READY trial. Comput Biol Med. 2020;124:103949. doi: 10.1016/j.compbiomed.2020.103949.
26. Hu H., Yao N., and Oiu Y. Comparing Rapid Scoring Systems in Mortality Prediction of Critically Ill Patients With Novel Coronavirus Disease. Acad Emerg Med. 2020;27(6):461-468. doi: 10.1111/acem.13992.
27. Al-Najjar H., Al-Rousan N. A classifier prediction model to predict the status of Coronavirus CoVID-19 patients in South Korea. Eur Rev Med Pharmacol Sci. 2020;24(6):3400-3403. doi: 10.26355/eurrev_202003_20709.
28. Das A.K., Mishra S., Saraswathy Gopalan S. Predicting CoVID-19 community mortality risk using ma chine learning and development of an online prognostic tool. Peer J. 2020;8:e10083. doi: 10.7717/peerj.10083.
29. Yan L., Zhang H.T., Goncalves J., Xiao Y., Wang M., Guo Y. et al. An interpretable mortality prediction model for COVID-19 patients. Nat Mach Intell. 2020;2:283-288. doi: 10.1038/s42256-020-0180-7.
30. Wynants L., Van Calster B., Bonten M.M., Collins G.S., Debray T.P., De Vos M. et al. Prediction mod els for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. BMJ. 2020;369:m1328. doi: 10.1136/bmj.m1328.
Информация об авторах:
Цветков Валерий Владимирович, к.м.н., старший научный сотрудник, Федеральное государственное бюджетное учреждение «Научно-исследовательский институт гриппа имени А.А. Смородинцева» Министерства здравоохранения Российской Федерации; 197376, Россия, Санкт-Петербург, ул. Профессора Попова, д. 15/17; е-mail: suppcolor@gmail.com
Токин Иван Иванович, к.м.н., ведущий научный сотрудник, заведующий отделом экспериментально-клинических исследований, Федеральное государственное бюджетное учреждение «Научно-исследовательский институт гриппа имени А.А. Смородинцева» Министерства здравоохранения Российской Федерации; 197376, Россия, Санкт-Петербург, ул. Профессора Попова, д. 15/17; доцент кафедры инфекционных болезней, Федеральное государственное бюджетное учреждение высшего образования «Северо-Западный государственный медицинский университет им. И.И. Мечникова» Министерства здравоохранения Российской Федерации; 191015, Россия, Санкт-Петербург, ул. Кирочная, д. 41; е-mail: ivan.tokin@influenza.spb.ru
Лиознов Дмитрий Анатольевич, д.м.н., и.о. директора, Федеральное государственное бюджетное учреждение здравоохранения «Научно-исследовательский институт гриппа имени А.А. Смородинцева» Министерства здравоохранения Российской Федерации; 197376, Россия, Санкт-Петербург, ул. Профессора Попова, д. 15/17; заведующий кафедрой инфекционных болезней и эпидемиологии, Федеральное государственное бюджетное образовательное учреждение высшего образования «Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова» Министерства здравоохранения Российской Федерации; 197022, Россия, Санкт-Петербург, ул. Льва Толстого, д. 6-8; e-mail: dlioznov@yandex.ru
Венев Евгений Валерьевич, очный аспирант, старший преподаватель, Федеральное государственное бюджетное учреждение «Научно-исследовательский институт гриппа имени А.А. Смородинцева» Министерства здравоохранения Российской Федерации; 197376, Россия, Санкт-Петербург, ул. Профессора Попова, д. 15/17; врач-инфекционист, Санкт-Петербургское государственное бюджетное учреждение «Клиническая инфекционная больница им. С.П. Боткина»; 195067, Россия, Санкт-Петербург, Пискарёвский проспект, д. 49; е-mail: evgenyvenev@gmail.com Куликов Александр Николаевич, д.м.н., профессор, заместитель главного врача клиники по терапии, руководитель отдела клинической физиологии и функциональной диагностики, Федеральное государственное бюджетное образовательное учреждение высшего образования «Первый Санкт-Петербургский государственный медицинский университет имени академика И.П. Павлова» Министерства здравоохранения Российской Федерации; 197022, Россия, Санкт-Петербург, ул. Льва Толстого, д. 17, корп. 54; e-mail: ankulikov2005@yandex.ru
Information about the authors:
Valeriy V. Tsvetkov, Cand. of Sci (Med.), Senior Researcher, Federal State Budgetary Institution "Smorodintsev Research Institute of Influenza" of the Ministry of Health of the Russian Federation; 15/17, Professor Popova St., St Petersburg, 197376, Russia; е-mail: suppcolor@gmail.com Ivan I. Tokin, Cand. of Sci (Med.), Leading Researcher, Head of the Department of Clinical Experimental Research, Federal State Budgetary Institution "Smorodintsev Research Institute of Influenza" of the Ministry of Health of the Russian Federation; 15/17, Professor Popova St., St Petersburg, 197376, Russia; Associate Professor of the Department of Infectious Diseases, Federal State Budgetary Institution of Higher Education "North-Western State Medical University named after I.I. Mechnikov" of the Ministry of Health of the Russian Federation; 41, Kirochnaya St., St Petersburg, 191015, Russia; е-mail: ivan.tokin@influenza.spb.ru
Dmitry A. Lioznov, Dr. of Sci. (Med.), Acting director, Federal State Budgetary Institution "Smorodintsev Research Institute of Influenza" of the Ministry of Health of the Russian Federation; 15/17, Professor Popov St., St Petersburg, 197376, Russia; Head of the Department of Infectious Diseases and Epidemiology, Federal State Budgetary Educational Institution of Higher Education "Pavlov First Saint Petersburg State Medical University" of the Ministry of Healthcare of Russian Federation; 6-8, Lev Tolstoy St., St Petersburg, 197022, Russia; e-mail: dlioznov@yandex.ru Evgeny V. Venev, Postgraduate Student, Senior Lecturer, Federal State Budgetary Institution "Smorodintsev Research Institute of Influenza" of the Ministry of Health of the Russian Federation; 15/17, Professor Popov St., St Petersburg, 197376, Russia; infectious disease doctor, St Petersburg State Budgetary Institution "Clinical Infectious Disease Hospital named after S.P. Botkin"; 49, Piskaryovsky Ave., St Petersburg, 195067, Russia; e-mail: evgenyvenev@gmail.com
Alexandr N. Kulikov, Dr. of Sci. (Med.), Professor, Deputy Chief Physician of the Clinic for Therapy, Head of the Department of Clinical Physiology and Functional Diagnostics, Federal State Budgetary Educational Institution of Higher Education "Pavlov First Saint Petersburg State Medical University" of the Ministry of Healthcare of Russian Federation; 17, Bldg. 54, Lev Tolstoy St., St Petersburg, 197022, Russia; e-mail: ankulikov2005@yandex.ru
