CC BY
0
Последовательный анализ исследований в анестезиологии и реаниматологии: систематический обзор
Для корреспонденции:
Михаил Яковлевич Ядгаров, mikhail.yadgarov@mail.ru
Поступила в редакцию 3 февраля 2024 г. Исправлена 18 марта 2024 г. Принята к печати 20 марта 2024 г.
Цитировать: Ядгаров М.Я., Берикашвили Л.Б., Поляков П.А., Каданцева К.К., Смирнова А.В., Кузнецов И.В., Яковлев А.А., Лихванцев В.В. Последовательный анализ исследований в анестезиологии и реаниматологии: систематический обзор. Патология кровообращения и кардиохирургия. 2024;28(1):26-40. https:// doi.org/10.21688/1681-3472-2024-1-26-40
Финансирование
Исследование не имело спонсорской поддержки.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Вклад авторов
Концепция и дизайн работы: М.Я. Ядгаров Сбор и анализ данных: М.Я. Ядгаров, Л.Б. Берикашвили, П.А. Поляков Статистическая обработка данных: М.Я. Ядгаров, П.А. Поляков Написание статьи: М.Я. Ядгаров, Л.Б. Берикашвили, К.К. Каданцева, А.В. Смирнова, И.В. Кузнецов, А.А. Яковлев Исправление статьи: В.В. Лихванцев Утверждение окончательного варианта статьи: все авторы
ORCID
М.Я. Ядгаров,
https://orcid.org/0000-0003-3792-1682 Л.Б. Берикашвили,
https://orcid.org/0000-0001-9267-3664 П.А. Поляков,
https://orcid.org/0009-0009-6185-349X К.К. Каданцева,
https://orcid.org/0000-0002-6593-8580 А.В. Смирнова,
https://orcid.org/0000-0001-7860-6609 И.В. Кузнецов,
https://orcid.org/0009-0000-7776-9537 26
М.Я. Ядгаров 1, Л.Б. Берикашвили 1' 2, П.А. Поляков 1,
К.К. Каданцева 13, А.В. Смирнова 1, И.В. Кузнецов 1, А.А. Яковлев 1,
В.В. Лихванцев 1 4
1 Федеральное государственное бюджетное научное учреждение «Федеральный научно-клинический центр реаниматологии и реабилитологии», Лыткино, Московская область, Российская Федерация
2 Государственное бюджетное учреждение здравоохранения Московской области «Московский областной научно-исследовательский клинический институт им. М.Ф. Владимирского», Москва, Российская Федерация
3 Государственное бюджетное учреждение здравоохранения города Москвы «Московский клинический научно-практический центр имени А.С. Логинова Департамента здравоохранения города Москвы», Москва, Российская Федерация
4 Федеральное государственное автономное образовательное учреждение высшего образования Первый Московский государственный медицинский университет имени И.М. Сеченова Министерства здравоохранения Российской Федерации (Сеченовский Университет), Москва, Российская Федерация
Аннотация
Актуальность. Достоверность статистического анализа и его результатов выходит на первый план научного дискурса, оттесняя вопросы статистической значимости. Систематические обзоры и метаанализы характеризуются серьезными статистическими и методологическими ограничениями, среди которых недостаточная статистическая мощность, клиническая и статистическая неоднородность, систематические ошибки, возможное низкое качество включенных исследований, ограниченная доступность данных в исследованиях и публикационное смещение. В этом контексте последовательный анализ исследований — перспективный методологический инструмент, применяемый в качестве дополнения к метаанализам с целью повышения точности и устойчивости научных выводов.
Цель. Продемонстрировать сценарии использования последовательного анализа исследований и его роль в улучшении достоверности научных выводов на примере метаанализов в российских журналах по анестезиологии-реаниматологии, а также метаанализов авторов. Методы. Выполнили систематический обзор без подробного описания исследований. Осуществили поиск метаанализов по ключевым словам: метаанализ, летальность, делирий, седация. Два исследователя провели независимую проверку названий и аннотаций отобранных метаанализов, а также извлекли данные. Для всех метаанализов выполнили последовательный анализ исследований с использованием программного обеспечения TSA software (Копенгаген, Дания).
Результаты. Рассмотрели 6 исследований и осуществили 7 последовательных анализов исследований. Шесть из семи оценок подтвердили выводы соответствующих метаанализов. В одном последовательном анализе кумулятивная Z-линия не достигла необходимого размера выборки, что подчеркивает необходимость в дополнительных исследованиях для
A.А. Яковлев,
https://orcid.org/0000-0002-8482-1249
B.В. Лихванцев,
https://orcid.org/0000-0002-5442-6950
© Ядгаров М.Я., Берикашвили Л.Б., Поляков П.А., Каданцева К.К., Смирнова А.В., Кузнецов И.В., Яковлев А.А., Лихванцев В.В., 2024
окончательного подтверждения результата. В двух последовательных анализах размер выборки был недостаточен для формирования окончательных выводов. Последовательный анализ исследований в этих случаях мог бы обеспечить более обоснованные и осторожные выводы. Заключение. Использование последовательного анализа исследований для повышения достоверности и клинической релевантности научных выводов обосновано.
Ключевые слова: анестезиология; делирий; летальность; метаанализ; последовательный анализ исследований; седация; систематический обзор
Введение
В течение последних 15 лет систематические обзоры и метаанализы, наряду с рандомизированными контролируемыми исследованиями (РКИ), являлись золотым стандартом в иерархии доказательной медицины, занимая вершину пирамиды доказательств. Тем не менее метаанализы не лишены серьезных статистических и методологических ограничений, в числе которых клиническая и статистическая неоднородность, систематические ошибки (англ. bias), возможное низкое качество включенных исследований, ограниченная доступность данных в исследованиях и публикационное смещение (англ. publication bias) [1; 2]. Эти ограничения послужили катализатором для пересмотра пирамиды доказательств: начиная с 2016 г. систематические обзоры и метаанализы покинули ее вершину и теперь рассматриваются как автономный, но по-прежнему критически важный инструмент синтеза доказательств [3].
Одним из ключевых ограничений метаанали-зов, использующих частотный подход с 5%-м критическим уровнем значимости и 95%-ми доверительными интервалами, является потенциальная недостаточность статистической мощности, обусловленная ограниченными объемом включенных исследований и числом пациентов. Недостаточная статистическая мощность может увеличивать риск получения ложноотрицательных (ошибки второго рода) результатов. Такие смещения снижают надежность результатов и приводят к ошибочным заключениям [4-6]. Поскольку метаанализ может быть неоднократно обновлен при появлении нового клинического исследования, большое значение приобретает также увеличение вероятности ложнопо-ложительных результатов (ошибки первого рода) в результате множественного последовательного тестирования гипотез [7]. По данным G. Imberger и соавт., актуальный риск ошибки первого рода в метаанализах может варьироваться от 10 до 30 %.
То есть до трех из десяти анализируемых медицинских вмешательств могут быть неверно классифицированы как эффективные [8].
В 2007 г. впервые упоминается последовательный анализ исследований (ПАИ, англ. Trial Sequential Analysis, TSA) как апостериорный метод оценки достоверности результатов метаана-лиза [9]. В 2014 г. представлено наиболее известное и широко используемое специализированное программное обеспечение — TSA software Копенгагенского университета (Дания). В базе данных PubMed за период с 2014 по 2023 г. насчитывается свыше 1 600 публикаций, в которых упоминается метод ПАИ, из них более 400 работ по анестезиологии. Подход использовался в метаанализах, опубликованных в таких высокорейтинговых журналах, как New England Journal of Medicine [10], Lancet (EClinicalMedicine) [11], JAMA [12], Nature [13], Critical Care Medicine [14] и BMC Anesthesiology [14]. По состоянию на 2023 г. только в двух метаанализах, опубликованных в российских журналах одной исследовательской группой, применялся последовательный анализ исследований [15; 16].
Метод интегрирует как частотные, так и Байесовские статистические подходы, представляя собой инструмент оценки достаточности доказательств. Это делает его особенно полезным для клинических исследователей, поскольку ПАИ может математически обосновывать необходимость в дальнейших исследованиях и подтверждать результаты мета-анализа, а также позволяет планировать размер выборки для будущих клинических исследований.
Цель данной работы — демонстрация сценариев использования ПАИ и его роли в улучшении достоверности научных выводов на примере метаанализов в российских журналах по анестезиологии-реаниматологии, а также метаанализов авторов. Несмотря на амбициозную задачу проиллюстрировать преимущества и ограничения ПАИ, а также оценить его актуальность для клинических
исследователей, авторы не претендуют на исчерпывающий анализ данного метода.
Методы
Исследование выполнили в соответствии с рекомендациями Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA). Поиск метаанализов проводили по ключевым словам «мета-анализ», «летальность», «делирий», «седация» в журналах «Анестезиология и реаниматология», «Общая реаниматология», «Вестник интенсивной терапии им. А.И. Салтанова» и «Вестник анестезиологии и реаниматологии»; также включили метаанализы авторов настоящей статьи, опубликованные в вышеописанных и зарубежных журналах. Подбор журналов должен обеспечить широкий охват исследовательских работ, отражающих разнообразные сценарии использования ПАИ в анестезиологии-реаниматологии и интенсивной терапии.
Два исследователя провели независимую проверку названий и аннотаций отобранных метаанализов. После идентификации работ, соответствующих критериям включения, они независимо проанализировали и оценили каждую. Из всех включенных исследований собрали данные: первый автор, год публикации, общий объем выборки, информация о группе вмешательства и контрольной группе в отношении исследуемого исхода. Рассматривали наиболее информативный для демонстрации возможностей метода исход.
Для всех метаанализов проводили ПАИ с использованием программного обеспечения TSA software. Применяли ту же меру эффекта и статистическую модель, что и в метаанализе. Необходимый объем выборки оценивали по рассчитанному в метаанализе размеру эффекта вмешательства с учетом ошибки первого рода 5 % и мощности 80, 90 или 95 %. Границы эффективности, вреда и бесполезности строили с использованием а-функции О'Брайена - Флеминга.
Описание метода последовательного
анализа исследований
Термин «последовательный анализ», или sequential analysis, изначально использовался в статистических методах анализа клинических исследований, где конечное число анализируемых пациентов не задается заранее (размер выборки предварительно не оценивается). Вместо этого набор пациентов в проспективном исследовании регулируется заранее установленными правилами, та-
кими как достижение статистической значимости, и может быть остановлен при выполнении определенных условий. В частности, его могут остановить по причине выраженной эффективности методики, развития нежелательных явлений или бесполезности (или тщетности, англ. futility) [17-20]. Это позволяет исследователям сделать выводы заблаговременно, оптимизируя расход времени, усилий и ресурсов. Концепцию последовательного анализа впервые предложил Абрахам Вальд в 1940-е гг [21]. Позднее Питер Эмитэдж адаптировал метод для медицинских исследований, введя строгие критерии уровня значимости для возможности преждевременного завершения исследования до набора заранее определенного числа пациентов. Это стало первым обоснованием для использования промежуточного анализа в клинических исследованиях [22].
Метод используется в метаанализах для оценки надежности и валидности результатов. Он адаптирует принципы последовательного анализа для систематических обзоров и метаанализов, по сути, заменяя пациента на клиническое исследование, и может служить мощным инструментом для подтверждения или опровержения результатов традиционных метаанализов. Метод направлен на минимизацию ошибок первого и второго типа путем установления границ эффективности и вреда (англ. monitoring boundaries), а также границ бесполезности (англ. futility boundaries) [23; 24]. ПАИ также позволяет определить необходимый объем выборки для получения достоверных и клинически релевантных результатов. Это уникальный гибрид частотных и Байесовских методов, учитывающий априорное знание о предполагаемом эффекте вмешательства, полученное из метаанализа.
Интуитивным и практичным подходом к пониманию ПАИ является аналогия с РКИ. В последнем исследователи заранее рассчитывают необходимый размер выборки на основе предположений: размера эффекта, уровня значимости и статистической мощности [25]. Однако в контексте метаанализа каждое отдельное исследование может включать разные популяции пациентов, использовать различные схемы вмешательств и методологии. Это может привести к гетерогенности между включенными исследованиями (определяемой коэффициентом I2 в метаанализе), что увеличивает необходимый размер выборки для надежного принятия или отклонения нулевой гипотезы [9]. Кроме того, при проведении нескольких хронологически последовательных метаанализов в одной предметной обла-
сти возникает проблема множественной проверки гипотез [26]. Множественные сравнения увеличивают вероятность ошибки первого рода. Например, если статистический анализ проводится при общепринятом уровне значимости (а) 5 % и нулевая гипотеза статистического анализа верна, то вероятность ошибки первого типа составляет 5 %. Однако если бы статистический анализ для одной и той же ситуации проводился 60 раз, то ожидаемое число ошибок первого рода составило бы 3, а вероятность появления хотя бы одной ошибки первого рода —
95,4 %. В связи с этим крайне важно корректировать уровень а так, чтобы суммарная вероятность ошибки первого типа не превышала установленного порога. Метод ПАИ разработан для решения этих методологических проблем.
В клинических исследованиях широко применяются методы коррекции для множественных сравнений, такие как поправки Бонферрони, Холма и Тьюки [27]. Для промежуточных анализов в исследованиях с адаптивным дизайном часто используются а-границы Покока и Хейбитла - Пето [17].
A
Зона эффективности
Исследовании 2017
1сследо- Исследование 3, вание 4,
Исследование 2, 2018
'°ст'й'аЪп^ -"Ранена'-л
Необходимый размер выборки j
Исследование 5, 2023
Z-кривая
6eci
.none'
Зонд истинного отсутствия эффекта
......
.ф ...........
Зона "вреда"
Количество пациентов
< Z = -1,96
Z = +1
C
B
D
Рис. 1. Последовательный анализ исследований: А — зона эффективности; B — зона отсутствия статистической значимости; C — зона истинного отсутствия эффекта (внутренний клин, англ. inner wedge); D — зона вреда Примечание. Отображены результаты последовательного анализа исследований, выполненного для метаанализа пяти рандомизированных контролируемых исследований. Метаанализ показал эффективность методики относительно снижения частоты летального исхода. Ось X — количество пациентов, включенных в метаанализ. Ось Y — значения Z-статистики, или Z-значения, которые рассчитываются путем деления логарифма объединенного эффекта вмешательства на его стандартную ошибку. При каждом обновлении метаанализа TSA software рассчитывает Z-значение, а затем выдает Z-кривую, на которой изображен ряд последовательных кумулятивных значений. Горизонтальные коричневые линии — традиционные границы статистической значимости при постоянном значении Z, равном ±1,96, что в метаанализе соответствует значению p, равному 0,05. Пунктирные линии в верхней, нижней и правой частях рисунка — модифицированные границы О'Брайена - Флеминга: зоны эффективности, вреда и бесполезности (или зоны истинного отсутствия эффекта). Черная линия — кумулятивная Z-кривая, отражающая накопление информации по мере добавления исследований (в хронологическом порядке слева направо), каждая точка — отдельное исследование. Зеленая вертикальная линия — необходимый размер выборки. В примере видно, что метаанализ продемонстрировал статистическую значимость: кривая Z за пределами горизонтальных коричневых линий. Однако последовательный анализ показывает, что, хотя Z-кривая находится в зоне эффективности за границей О'Брайена - Флеминга, она не достигла необходимого размера выборки, чтобы с уверенностью отвергнуть нулевую гипотезу. Это означает необходимость проведения дальнейших исследований.
Однако эти критерии неприменимы для метаана-лиза по причине их консервативности, предположения о независимости исследований и возможной неоднородности в метаанализах [28]. О'Брайен и Флеминг [29] предложили метод промежуточного анализа, который впоследствии был доработан для использования в метаанализах [30; 31]. В TSA software этот подход реализован для построения границ эффективности, вреда и бесполезности, и результатом анализа является построение графика ПАИ (рис. 1).
TSA software позволяет оценивать необходимый размер выборки с учетом гетерогенности исследований в метаанализе. Программа использует дополнительную меру неоднородности D2 помимо коэффициента I2 [26]. Расчет размера выборки в ПАИ производится автоматически с учетом количества пациентов в метаанализе, заданной вероятности ошибки первого рода, статистической мощности, величины эффекта (снижения относительного риска или разницы средних) и коэффициента гетерогенности. Есть два принципиальных подхода к определению величины эффекта в TSA software: произвольное указание (исходя из клинической значимости) или указание полученного в метаанализе эффекта. Первый способ позволяет снизить число ложно-положительных результатов метаанализа на 93 %, а второй — на 80-85 % [8].
Как и в традиционном метаанализе, TSA software позволяет оценивать величину эффекта с использованием относительного риска, разности рисков, отношения шансов, отношения шансов по методу Пето или разности средних. Также есть возможность применять различные модели оценки эффекта, в частности модель фиксированных эффектов и три модели случайных эффектов: метод ДерСимо-ниана - Лэрда, метод Сидика - Джонкмана и метод Биггерстаффа - Твиди [32; 33]. Метод ДерСимониа-на - Лэрда используется по умолчанию в программе Review Manager (RevMan) 5.3 (Cochrane, Лондон, Великобритания), которая наиболее часто применяется в метаанализах [34]. TSA software также позволяет делать прямой экспорт данных из RevMan.
Возможности метода последовательного
анализа исследований
1. Определение достоверности результатов метаанализа. Если Z-кривая пересекла границы эффективности/вреда и линию необходимого размера выборки, то результат окончательный и последующие исследования вряд ли смогут его изменить.
2. Оценка необходимости проведения дальнейших исследований. Возможны пять вариантов:
1) Z-кривая за пределами коридора значимости (статистически значимый результат в метаанализе) в зоне эффективности/ вреда, но не достигает необходимого размера выборки. Вывод не окончательный, требуются дополнительные исследования;
2) Z-кривая за пределами коридора значимости (статистически значимый результат в метаанализе), но не достигает границ эффективности/вреда и необходимого размера выборки. Невозможно сделать вывод, где будет находиться кумулятивная Z-кривая в будущих исследованиях. По результатам метаанализа можно заключить, что получена статистически значимая разница, но результат не подтверждается в ПАИ, требуются дальнейшие исследования;
3) кумулятивная Z-кривая в зоне истинного отсутствия эффекта. Дальнейшие исследования бесперспективны, поскольку вряд ли смогут изменить положение об отсутствии эффекта;
4) Z-кривая в области отсутствия статистической значимости, но не достигает области истинного отсутствия эффекта и необходимого размера выборки. Возможны два варианта: отсутствие эффекта от вмешательства или недостаточная мощность метаанализа, однако в любом случае требуются дальнейшие исследования;
5) Z-кривая в области эффективности/вреда за границей необходимого размера выборки (окончательный результат).
3. Планирование размера выборки. Для планирования клинических исследований такой подход потенциально полезен, поскольку может дать информацию о необходимом количестве участников в будущих испытаниях, чтобы «заполнить пробел». Так как расчет размера выборки в ПАИ производится с учетом клинической неоднородности пациентов, его оценка более точная в сравнении с расчетом размера выборки по одному рандомизированному контролируемому исследованию [35].
DC
s
TO
s
г
н
и
н
и
р
к
и
р Анализ полнотекстовых
о
б статей
тО (n = 9)
Исключено (п = 3) расчет отношения шансов/отношения рисков недостаточная информативность для демонстрации возможностей последовательного анализа исследований
о
н
е
ч
ю
л
к
В
Включено в оценку последовательного анализа исследований (n = 6)
Рис. 2. Отбор исследований
Результаты
В ходе первоначального поиска выявили 9 метаанализов [36-44] (рис. 2). Три из них исключили из дальнейшего рассмотрения [37; 42; 43]. Два исключения обусловлены использованием предварительно рассчитанных отношения шансов [42] и отношения рисков [37] (TSA software не позволяет работать с данным типом метаанализов). Поскольку основная цель нашего исследования — продемонстрировать разнообразные сценарии применения ПАИ, один метаанализ [43] исключили из-за отсутствия уникальных или примечательных элементов для такого анализа.
Темы метаанализов включали: связь риска развития пневмонии с однонуклеотидными полиморфизмами в генах TLR2 [41]; связь ранних послеоперационных нейрокогнитивных нарушений с послеоперационным делирием и летальностью [40]; влияние блокады плоскости разгибателя спины на
клинически значимые исходы, в том числе длительность искусственной вентиляции легких [39]; влияние кислородно-гелиевой смеси на летальность [44]; влияние тотальной и ингаляционной анестезии на иммунологические параметры при раке молочной железы [38]; влияние пропофола и ингаляционных анестетиков, используемых при седации в отделениях реанимации и интенсивной терапии, на клинически значимые исходы [36].
В.В. Лихванцев и соавт. (2023) выявили девятикратное увеличение риска развития послеоперационного делирия у пациентов с ранними послеоперационными нейрокогнитивными нарушениями, p < 0,001 [40]. Кумулятивная Z-линия пересекла границу для достижения необходимого размера выборки как для мощности 80 %, так и для 90 %. Фактически необходимый объем информации получен еще в 2018 г., и последующие исследования для данной конечной точки избыточны (рис. 3).
31
Рис. 3. Последовательный анализ исследований влияния ранних послеоперационных нейрокогнитивных нарушений на частоту развития послеоперационного делирия
Аналогичная оценка связи ранних послеоперационных нейрокогнитивных нарушений с госпитальной летальностью показала двухкратное увеличение риска летального исхода у пациентов с ранними послеоперационными нейрокогнитив-
.û I I
о
s ^
го о. ш с о ш с и о с
X
и s
О-
ными нарушениями (p = 0,01) [40]. В ПАИ кумулятивная Z-линия пересекла границу О'Брайена -Флеминга, но не достигла необходимого размера выборки для подтверждения результата при анализе для уровня мощности 80 % (рис. 4).
ш 7 Si 7
Необходимый размер выборки (мощность 80 %) = 3 935
Количество пациентов
Z-кривая Windholt, 2019
Рис. 4. Последовательный анализ исследований влияния ранних послеоперационных нейрокогнитивных нарушений на госпитальную летальность
Рис. 5. Последовательный анализ исследований влияния блокады плоскости разгибателя спины на длительность искусственной вентиляции легких
Р.Е. Лахин и соавт. (2022) показали снижение продолжительности искусственной вентиляции легких при использовании блокад плоскости разгибателя спины (p < 0,001) [39]. Кумулятивная Z-линия пересекла границу для достижения необходимого размера выборки как для мощности 80 %, так и для 95 % (рис. 5). При этом в случае проведения аналогичного метаанализа в 2020 г. мог быть получен ложно-отрицательный результат, что подтверждает важность последовательного анализа исследований.
С.В. Смирнова и Л.Е. Сальникова (2015) выявили статистически значимую связь между наличием полиморфных вариантов генов TLR2 и пневмонией ф = 0,006) [41]. Однако рассчитанное отношение шансов составило 1,90 (95% доверительный интервал 1,02-3,54), и нижняя граница доверительного интервала не соответствует клинически значимому увеличению риска. В ПАИ необходимый объем выборки был достигнут уже к 2009 г. (Endeman, 2009), при этом 7-кривая оставалась в области истинного
Необходимый размер выборки (мощность 90 %) = 1 053
Tellera-Orriols, 2013
Schnetzke, 2015 Z-кривая
Рис. 6. Последовательный анализ исследований связи полиморфных вариантов генов TLR2 с пневмонией
ии 8
з
зет 7 с7
е н
ТО 6 й о
нн 5
е
в
о. 4
3
в з
.û 2 л о = 1
\ Необходимый размер выборки (мощность 80 %) = 732
Woo, 2015 Ch0, 2017 X Z-кривая / Deegan 2010 Ni Eochagain, 2018
/
пациентов -»
236
/
Рис. 7. Последовательный анализ исследований сравнения влияния ингаляционной и тотальной внутривенной анестезии на уровень лейкоцитов у пациентов с раком молочной железы
отсутствия эффекта (рис. 6). С добавлением последнего исследования, проведенного в 2015 г., статистическая значимость была достигнута; однако размер эффекта в этой последней работе значительно превышал данные предыдущих исследований. Авторы метаанализа подчеркивают наличие высокой клинической и статистической гетерогенности. Результат, полученный в метаанализе, не является устойчивым, если при исключении любого из исследований вывод метаанализа изменяется. Это отражает одно из ограничений ПАИ: все ограничения и потенциальные искажения, присущие метаана-лизу, сохраняются и в последовательном анализе.
Сравнительная оценка влияния тотальной внутривенной и ингаляционной анестезии у пациентов с раком молочной железы, проведенная в метаанализе В.В. Лихванцева и соавт. (2022), показала снижение уровня лейкоцитов при использовании тотальной внутривенной анестезии в сравнении с ингаляционной анестезией (p = 0,020) [38]. В ПАИ результат не подтвержден: кумулятивная Z-линия не достигла ни одной границы О'Брайена - Флеминга и осталась в зоне отсутствия статистической значимости, что означает необходимость дополнительных исследований (рис. 7). Так как в ПАИ уже учтено 236 пациентов и оцененный необходимый объем выборки составляет 732 пациента, для проведения нового РКИ потребуется набрать 496 пациентов.
34
Сравнительная оценка влияния внутривенных и ингаляционных анестетиков, используемых для седации в отделениях реанимации и интенсивной терапии, в метаанализе В.В. Лихванцева и соавт. (2023) не показала разницы в длительности пребывания в отделении реанимации и интенсивной терапии (p = 0,93) [36]. В ПАИ данный результат подтвержден (рис. 8). При статистической мощности 80 % Z-кривая располагается внутри внутреннего клина (в зоне истинного отсутствия эффекта), что указывает на недостаток оснований для проведения дальнейших исследований. В то же время при уровне мощности 90 % результаты свидетельствуют о необходимости дополнительных исследований. Несмотря на отсутствие указаний или четких рекомендаций по выбору мощности для анализа, этот результат демонстрирует еще одно ограничение ПАИ: выбор статистической мощности может субъективно влиять на интерпретацию результатов.
В метаанализе Р.Е. Лахина и соавт. (2022) не показано влияния добавления кислородно-гелиевой смеси к традиционной терапии на летальность у взрослых пациентов с пневмонией (p = 0,28) [44]. Как и в предыдущем случае, результат подтвержден, но необходимый объем выборки не достигнут. Это указывает на необходимость проведения дополнительных клинических исследований для окончательной верификации результатов (рис. 9).
Рис. 8. Последовательный анализ исследований влияния внутривенных и ингаляционных анестетиков, используемых при седации, на длительность госпитализации в отделении реанимации и интенсивной терапии
Необходимый размер выборки (мощность 80 %) = 4 559
Maggiore, "a™4, 2021 2010 ■ Z-кривая Jolliet, 2016 -------------"
, 832 Jolliet, 2003 — Количество пациентов
Рис. 9. Последовательный анализ исследований влияния добавления кислородно-гелиевой смеси к традиционной терапии на летальность у взрослых пациентов с пневмонией
Обсуждение
G. Imberger и соавт. подтвердили, что в метаанализах, посвященных анестезиологическим вмешательствам, часто наблюдается дефицит достоверных данных [45]. Авторы определили, что медианное количество включенных исследований в 50 случайно отобранных метаанализах составляло всего 8, медианное количество участников — 964, медианное число участников с релевантным исходом — 202. Эти показатели могут указывать на недостаточную статистическую мощность большинства метаанализов. После применения ПАИ лишь 6 из 50 метаанализов (12 %) обладали статистической мощностью выше 80 %. Только 16 из 50 (32 %) смогли поддерживать риск ошибки первого рода на уровне менее 5 % [26; 46].
В последующем анализе 100 Кокрановских систематических обзоров и метаанализов с бинарными исходами G. Imberger и соавт. выявили, что ложно-положительные результаты обнаруживаются в 14 % всех работ [8]. Применение ПАИ позволило бы предотвратить свыше 93 % таких искажений [8]. Авторы отметили, что публикации метаанализов с достаточной статистической мощностью и отрицательным исходом являются редкостью [8]. Это может указывать на системное искажение в публикационной практике, когда исследования с «непривлекательными» отрицательными результатами публикуются реже (так называемое публикационное смещение, англ. publication bias). Следовательно, ПАИ может не только повысить качество уже изданных работ, но и стимулировать более сбалансированный и объективный подход к публикации результатов клинических исследований и метаанализов.
ПАИ увеличивает достоверность результатов метаанализов: уменьшает риск ложноположитель-ных и ложноотрицательных результатов, делает выводы более надежными и устойчивыми. Предоставляет математическую основу для оценки необходимости в дополнительных исследованиях, позволяет определить, достаточен ли текущий объем данных для формирования убедительных выводов. Метод можно использовать для планирования размера выборки в клинических исследованиях. Это ценный способ улучшения качества и надежности исследований и дополнительный инструмент для оценки целесообразности внедрения новых медицинских технологий или препаратов в клиническую практику.
В нашем исследовании шесть из семи ПАИ подтвердили выводы соответствующих метаанализов, однако лишь в четырех из них (рис. 2, 4, 5 и 7) до-
стигнут необходимый размер выборки. Это указывает на достоверность результатов, делая маловероятным их изменение в будущих РКИ. В одном ПАИ (рис. 3), несмотря на статистическую значимость эффекта, кумулятивная Z-линия не достигла нужного размера выборки, что подчеркивает необходимость в дополнительных исследованиях для окончательного подтверждения результата. В двух ПАИ (рис. 6 и 8), где Z-линия находилась в зоне отсутствия статистической значимости, размер выборки в метаанализе был недостаточен для окончательного заключения. Применение ПАИ в этих случаях могло бы обеспечить более обоснованные и осторожные выводы.
В последние годы применение ПАИ расширяется. Однако этот подход все еще считается дискуссионным и подвергается критике [23; 47]. Особое внимание уделяется необходимости предварительной регистрации протокола ПАИ в рамках протокола систематического обзора. Этот шаг критичен для предопределения таких ключевых параметров, как уровень значимости а, статистическая мощность и методология оценки величины эффекта при расчете необходимого размера выборки. Наши данные подчеркивают, что при разной статистической мощности кумулятивная Z-линия может достигать или не достигать необходимого размера выборки, что, в свою очередь, может влиять на клиническую интерпретацию результата. Отсутствие четко определенных параметров может существенно сказаться на валидности исследования, подвергая риску субъективного искажения выводы метаанализа. Кроме того, все ограничения, свойственные для метаанализов, также применимы и к ПАИ. Метод не может полностью исключить систематические ошибки или смещения, возникающие на уровне отдельных исследований. Дополнительным ограничением ПАИ является его неприменимость к метаанали-зам, в которых в качестве основных статистических показателей используются предварительно рассчитанные в исходных исследованиях отношение шансов, относительный риск или отношение рисков, а также в случаях, когда мерой оценки эффекта выступает стандартизованная разница средних.
Важный вопрос — возможность проведения исследований с объемом выборки, заведомо меньшим рассчитанного в ПАИ. Объем выборки, рассчитанный на основании ПАИ, зачастую может составлять тысячи пациентов. Имеет ли смысл проводить исследования с меньшим объемом выборки, если не будут достигнуты достоверность и окончательность выводов по изучаемой теме? Однозначного отве-
та нет. Тем не менее, исходя из современных представлений о важности репрезентативности (повторяемости) результата и его устойчивости в условиях отличающихся протоколов ведения пациентов, исследовательских групп и варьирующих характеристик когорт пациентов, коллектив авторов считает, что с целью увеличения внешней валидности проведение множества высококачественных исследований со средними объемами выборки не только не теряет актуальность, но и является основой получения доказательств в общемировых реалиях. Вопросы изменения клинической практики остаются задачей всего медицинского сообщества и не могут решаться одной исследовательской группой.
Ограничения
В систематическом обзоре мы рассматривали только публикации в определенных специализированных журналах, что могло ограничить охват исследовательского пространства и исключить значимые работы из других источников. Качество включенных метаанализов может существенно варьироваться, влияя на достоверность результатов ПАИ, что подчеркивает необходимость критического отношения к интерпретации их выводов в контексте возможных систематических ошибок или смещений.
Заключение
Последовательный анализ исследований может улучшить качество и надежность выводов метаанализа. Метод не только снижает вероятность получения ложных результатов, но и дает дополнительные возможности для планирования клинических исследований. Наши результаты подчеркивают важность использования этого инструмента для повышения достоверности и клинической релевантности научных выводов.
Список литературы / References
1. Lee Y.H. Strengths and limitations of meta-analysis. Korean J Med. 2019;94(5):391 -395. https://doi.org/10.3904/ kjm.2019.94.5.391
2. Greco T., Zangrillo A., Biondi-Zoccai G., Landoni G. Meta-analysis: pitfalls and hints. Heart Lung Vessel. 2013;5(4):219-225. PMID: 24364016; PMCID: PMC3868184.
3. Murad M.H., Asi N., Alsawas M., Alahdab F. New evidence pyramid. Evid Based Med. 2016;21 (4):125-127. PMID: 27339128; PMCID: PMC4975798. https://doi.org/10.1136/ ebmed-2016-110401
4. Pereira T.V., Ioannidis J.P.A. Statistically significant metaanalyses of clinical trials have modest credibility and inflated effects. J Clin Epidemiol. 2011;64(10):1060-1069. PMID:
21454050. https://doi.org/10.1016/uclinepi.2010.12.012
5. Afshari A., Wetterslev J., Smith A.F. Can systematic reviews with sparse data be trusted? Anaesthesia. 2017;72(1 ):12-16. PMID: 27804113. https://doi.org/10.1111/anae.13730
6. Turner R.M., Bird S.M., Higgins J.P.T. The impact of study size on meta-analyses: examination of underpowered studies in Cochrane reviews. PLoS One. 2013;8(3):e59202. PMID: 23544056; PMCID: PMC3609745. https://doi.org/10.1371/ journal.pone.0059202
7. Borm G.F., Donders A.R.T. Updating meta-analyses leads to larger type I errors than publication bias. J Clin Epidemiol. 2009;62(8):825-830.e10. PMID: 19136233. https://doi. org/10.1016/j.jclinepi.2008.08.010
8. Imberger G., Thorlund K., Gluud C., Wetterslev J. False-positive findings in Cochrane meta-analyses with and without application of trial sequential analysis: an empirical review. BMJ Open. 2016;6(8):e011890. PMID: 27519923; PMCID: PMC4985805. https://doi.org/10.1136/ BMJ0PEN-2016-011890
9. Wetterslev J., Thorlund K., Brok J., Gluud C. Trial sequential analysis may establish when firm evidence is reached in cumulative meta-analysis. J Clin Epidemiol. 2008;61(1):64-75. PMID: 18083463. https://doi.org/10.1016/j. jclinepi.2007.03.013
10. Holgersson J., Meyer M.A.S., Dankiewicz J., Lilja G., Ullén S., Hassager C., Cronberg T., Wise M.P., Bélohlávek J., Hovdenes J., Pelosi P., Erlinge D., Schrag C., Smid 0., Brunetti I., Rylander C., Young P.J., Saxena M., Aneman A., Cariou A., Callaway C., Eastwood G.M., Haenggi M., Joannidis M., Keeble T.R., Kirkegaard H., Leithner C., Levin H., Nichol A.D., Morgan M.P.G., Nordberg P., 0ddo M., Storm C., Taccone F.S., Thomas M., Bro-Jeppesen J., Horn J., Kjaergaard J., Kuiper M., PellisT., Stammet P., Jaeger Wanscher M., Friberg H., Nielsen N., Jakobsen J.C. Hypothermic versus normothermic temperature control after cardiac arrest. NEJM Evid. 2022;1(11):EVIDoa2200137. PMID: 38319850. https://doi.org/10.1056/evidoa2200137
11. Groenen H., Jalalzadeh H., Buis D.R., Dreissen Y.E.M., Goosen J.H.M., Griekspoor M., Harmsen W.J., IJpma F.F.A., van der Laan M.J., Schaad R.R., Segers P., van der Zwet W.C., de Jonge S.W., Orsini R.G., Eskes A.M., Wolfhagen N., Boermeester M.A. Incisional negative pressure wound therapy for the prevention of surgical site infection: an up-to-date meta-analysis and trial sequential analysis. EClinicalMedicine. 2023;62:102105. PMID: 37538540; PMCID: PMC10393772. https://doi.org/10.1016/J.ECLINM.2023.102105
12. de Oliveira Ascef B., Almeida M.O., de Medeiros-Ribeiro A.C., Oliveira de Andrade D.C., de Oliveira Junior H.A., de Soárez P.C. Therapeutic equivalence of biosimilar and reference biologic drugs in rheumatoid arthritis: a systematic review and meta-analysis. JAMA Netw Open. 2023;6(5):e2315872. PMID: 37234004; PMCID: PMC10220520. https://doi.org/10.1001/ jamanetworkopen.2023.15872
13. Kitano T., Nabeshima Y., Kataoka M., Takeuchi M. Trial sequential analysis of efficacy and safety of direct oral anticoagulants and vitamin K antagonists against left ventricular thrombus. Sci Rep. 2023;13(1 ):13203. PMID: 37580355; PMCID: PMC10425444. https://doi.org/10.1038/ s41598-023-40389-x
14. Sharif S., Greer A., Skorupski C., Hao Q., Johnstone J., Dionne J.C., Lau V., Manzanares W., Eltorki M., Duan E., Lauzier F., Marshall J.C., Heels-Ansdell D., Thabane L., Cook D.J., Rochwerg B. Probiotics in critical illness: a systematic review
and meta-analysis of randomized controlled trials. Crit Care Med. 2022;50(8):1175-1186. PMID: 35608319. https://doi. org/10.1097/CCM.0000000000005580
15. Павлов Ч.С., Варганова Д.Л., Семенистая М.Ч., Кузнецова Е.А., Усанова А.А., Свистунов А.А. Урсодезоксихолевая кислота: эффективность и безопасность в лечении неалкогольной жировой болезни печени (метаанализ). Вестник Российской академии медицинских наук. 2018;73(5):294-305. https://doi.org/10.15690/vramn975
Pavlov C.S., Varganova D.L., Semenistaia M.C., Kuznetsova E.A., Usanova A.A., Svistunov A.A. Ursodeoxycholic acid: efficacy and safety in the treatment of nonalcoholic fatty liver disease (meta-analysis). Annals of the Russian Academy of Medical Sciences. 2018;73(5):294-305. (In Russ.) https://doi. org/10.15690/vramn975
16. Павлов Ч.С., Варганова Д.Л., Касаца Д., Тсочатис И., Николо-ва Д., Глуд К. Глюкокортикостероиды в лечении алкогольного гепатита (Кокрейновский метаанализ). Терапевтический архив. 2019;91(8):52-66. https://doi.org/10.26442/00403 660.2019.08.000354
Pavlov C.S., Varganova D.L., Casazza G., Tsochatzis E., Nikolova D., Gluud C. Glucocorticosteroids for people with alcoholic hepatitis (Cochrane review). Therapeutic Archive. 2019;91(8):52-66. (In Russ.) https://doi.org/10.26442/004036 60.2019.08.000354
17. Ciolino J.D., Kaizer A.M., Bonner L.B. Guidance on interim analysis methods in clinical trials. J Clin Transl Sci. 2023;7(1 ):e124. PMID: 37313374; PMCID: PMC10260346. https://doi.org/10.1017/cts.2023.552
18. Schuler S., Kieser M., Rauch G. Choice of futility boundaries for group sequential designs with two endpoints. BMC Med Res Methodol. 2017;17(1):119. PMID: 28789615; PMCID: PMC5549398. https://doi.org/10.1186/s12874-017-0387-4
19. Asakura K., Hamasaki T., Evans S.R. Interim evaluation of efficacy or futility in group-sequential trials with multiple co-primary endpoints. Biom J. 2017;59(4):703-731. PMID: 27757980; PMCID: PMC6222168. https://doi.org/10.1002/ bimj.201600026
20. Wetterslev J., Jakobsen J.C., Gluud C. Trial Sequential Analysis in systematic reviews with meta-analysis. BMC Med Res Methodol. 2017;17(1 ):39. PMID: 28264661; PMCID: PMC5397700. https://doi.org/10.1186/s12874-017-0315-7
21. Wald A. Contributions to the theory of statistical estimation and testing hypotheses. Ann Math Stat. 1939;10(4):299-326. https://doi.org/10.1214/aoms/1177732144
22. McPherson C.K., Armitage P. Repeated significance tests on accumulating data when the null hypothesis is not true. J R Stat Soc Ser A Stat Soc. 1971 ;134(1 ):15-25. https://doi. org/10.2307/2343971
23. Kang H. Trial sequential analysis: novel approach for metaanalysis. Anesth Pain Med. 2021 ;16(2):138-150. PMID: 33940767; PMCID: PMC8107247. https://doi.org/10.17085/ apm.21038
24. De Cassai A., Tassone M., Geraldini F., Sergi M., Sella N., Boscolo A., Munari M. Explanation of trial sequential analysis: using a post-hoc analysis of meta-analyses published in Korean Journal of Anesthesiology. Korean J Anesthesiol. 2021;74(5):383-393. PMID: 34283909; PMCID: PMC8497914. https://doi.org/10.4097/KJA.21218
25. Лихванцев В.В., Ядгаров М.Я., Берикашвили Л.Б., Каданцева К.К., Кузовлев А.Н. Определение объема выборки. Ане-
стезиология и реаниматология. 2020;(6):77-87. https://doi. org/10.17116/anaesthesiology202006177 Likhvantsev V.V., Yadgarov M.Ya., Berikashvili L.B., Kadantseva K.K., Kuzovlev A.N. Sample size estimation. Russian Journal of Anesthesiology and Reanimatology. 2020;(6):77-86. (In Russ.) https://doi.org/10.17116/anaesthesiology202006177
26. Shah A., Smith A.F. Trial sequential analysis: adding a new dimension to meta-analysis. Anaesthesia. 2020;75(1):15-20. PMID: 31106849. https://doi.org/10.1111/anae.14705
27. Noble W.S. How does multiple testing correction work? Nat Biotechnol. 2009;27(12):1135-1137. PMID: 20010596; PMCID: PMC2907892. https://doi.org/10.1038/nbt1209-1135
28. Bender R., Bunce C., Clarke M., Gates S., Lange S., Pace N.L., Thorlund K. Attention should be given to multiplicity issues in systematic reviews. J Clin Epidemiol. 2008;61(9):857-865. PMID: 18687287. https://doi.org/10.1016/Uclinepi.2008.03.004
29. O'Brien P.C., Fleming T.R. A multiple testing procedure for clinical trials. Biometrics. 1979;35(3):549-556. https://doi. org/10.2307/2530245
30. Hu M., Cappelleri J.C., Lan K.K.G. Applying the law of iterated logarithm to control type I error in cumulative meta-analysis of binary outcomes. Clin Trials. 2007;4(4):329-340. PMID: 17848494. https://doi.org/10.1177/1740774507081219
31. Kim K., DeMets D.L. Confidence intervals following group sequential tests in clinical trials. Biometrics. 1987;43(4):857-864. https://doi.org/10.2307/2531539
32. Higgins J.P.T., Thompson S.G., Spiegelhalter D.J. A re-evaluation of random-effects meta-analysis. J R Stat Soc Ser A Stat Soc. 2009;172(1):137-159. PMID: 19381330; PMCID: PMC2667312. https://doi.org/10.1111/j.1467-985X.2008.00552.x
33. IntHout J., Ioannidis J.P.A., Borm G.F. The Hartung-Knapp-Sidik-Jonkman method for random effects meta-analysis is straightforward and considerably outperforms the standard DerSimonian-Laird method. BMC Med Res Methodol. 2014;14:25. PMID: 24548571; PMCID: PMC4015721. https:// doi.org/10.1186/1471-2288-14-25
34. Kontopantelis E., Springate D.A., Reeves D. A re-analysis of the Cochrane library data: the dangers of unobserved heterogeneity in meta-analyses. PLoS One. 2013;8(7):e69930. PMID: 23922860; PMCID: PMC3724681. https://doi. org/10.1371/journal.pone.0069930
35. Claire R., Gluud C., Berlin I., Coleman T., Leonardi-Bee J. Using Trial Sequential Analysis for estimating the sample sizes of further trials: example using smoking cessation intervention. BMC Med Res Methodol. 2020;20(1):284. PMID: 33256626; PMCID: PMC7702700. https://doi.org/10.1186/s12874-020-01169-7
36. Likhvantsev V., Landoni G., Ermokhina N., Yadgarov M., Berikashvili L., Kadantseva K., Grebenchikov O., Okhinko L., Kuzovlev A. Halogenated anesthetics vs intravenous hypnotics for short and long term sedation in the intensive care unit: A meta-analysis. Med Intensiva (Engl Ed). 2023;47(5):267-279. PMID: 36344342. https://doi. org/10.1016/j.medine.2022.03.006
37. Лихванцев В.В., Ядгаров М.Я., Di Piazza M., Каданцева К.К. Ингаляционная vs тотальная внутривенная анестезия: где маятник сейчас? (мета-анализ и обзор). Общая реаниматология. 2020;16(6):91-104. https://doi.org/10.15360/1813-9779-2020-6-91-104
Likhvantsev V., Yadgarov M., Di Piazza M., Kadantseva K. Inhalation vs total intravenous anesthesia in cancer surgery:
where is the «pendulum» now? (meta-analysis and review). General Reanimatology. 2020;16(6):91-104. (In Russ.) https:// doi.org/10.15360/1813-9779-2020-6-91-104
38. Лихванцев В.В., Ландони Д., Субботин В.В., Каданцева К.К., Жукова Л.А., Ядгаров М.Я., Белетти А., Новиков А.А., Бе-рикашвили Л.Б., Кузовлев А.Н. Влияние выбора метода анестезии на иммунный ответ пациенток, перенесших радикальную операцию по поводу рака молочной железы (мета-анализ сравнительных клинических исследований). Общая реаниматология. 2022;18(4):20-28. https://doi. org/10.15360/1813-9779-2022-4-20-28
Likhvantsev V.V., Landoni G., Subbotin V.V., Kadantseva K.K., Zhukova L.A., Yadgarov M.Ya., Beletti A., Novikov A.A., Berikashvili L.B., Kuzovlev A.N. Impact of anesthesia method on immune response in patients undergoing radical surgery for breast cancer (a meta-analysis of comparative clinical studies). General Reanimatology. 2022;18(4):20-28. (In Russ.) https://doi.org/10.15360/1813-9779-2022-4-20-28
39. Лахин Р.Е., Шаповалов П.А., Щеголев А.В., Стукалов А.В., Цветков В.Г., Уваров Д.Н. Эффективность использования erector spinae plane блокады при кардиохирургических операциях: систематический обзор и метаанализ. Анестезиология и реаниматология. 2022;(6):29-43. https://doi. org/10.17116/anaesthesiology202206129
Lakhin R.E., Shapovalov P.A., Shchegolev A.V., Stukalov A.V., Tsvetkov V.G., Uvarov D.N. Effectiveness of erector spinae plane blockade in cardiac surgery: a systematic review and meta-analysis. Russian Journal of Anesthesiology and Reanimatology. 2022;(6):29-43. https://doi.org/10.17116/ anaesthesiology202206129
40. Likhvantsev V.V., Landoni G., Berikashvili L.B., Ermokhina N.V., Yadgarov M.Ya., Kotani Yu., Kadantseva K.K., Makarevich D.M., Grechko A.V. The effects of early postoperative neurocognitive disorders on clinically relevant outcomes: a meta-analysis. Korean J Anesthesiol. 2023;76(5):490-500. PMID: 37232073; PMCID: PMC10562076. https://doi.org/10.4097/kja.23126
41. Смирнова С.В., Сальникова Л.Е. Риск развития пневмонии и полиморфизм генов TLR2 и TLR4: мета-анализ. Общая реаниматология. 2015;11 (6):6-18. https://doi. org/10.15360/1813-9779-2015-6-6-18
Smirnova S.V., Salnikova L.E. Risk for pneumonia and TLR2 and TLR4 gene polymorphisms: a meta-analysis. General Reanimatology. 2015;11 (6):6-18. (In Russ.) https://doi. org/10.15360/1813-9779-2015-6-6-18
42. Сивков А.О., Шень Н.П., Лейдерман И.Н., Сивков О.Г. Шкала mNUTRIC как предиктор летального исхода у критически больных пациентов с COVID-19: систематический обзор
и метаанализ. Вестник анестезиологии и реаниматологии. 2023;20(4):54-60. https://doi.org/10.24884/2078-5658-2022-20-4-54-60
Sivkov A.O., Shen N.P., Leyderman I.N., Sivkov O.G. mNUTRIC score as a predictor of the lethal outcome in critically ill patients with COVID-19: systematic review and metaanalysis. Vestnik anesteziologii i reanimatologii = Messenger of Anesthesiology and Resuscitation. 2023;20(4):54-60. (In Russ.) https://doi.org/10.24884/2078-5658-2022-20-4-54-60
43. Махарин О.А., Женило В.М. Влияние полиморфизма ||-опиоидного рецептора OPRM1 A118G на потребность в наркотических анальгетиках в ранний послеоперационный период (метаанализ). Вестник интенсивной терапии имени А.И. Салтанова. 2017;(3):48-52. https://doi. org/10.21320/1818-474x-2017-3-48-52
Makharin O.A., Genilo V.M. The influence of polymorphism of the |-opioid receptor OPRM1 A118G on the doses of narcotic analgesics in the early postoperative period (meta-analysis). Annals of Critical Care. 2017;(3):48-52. (In Russ.) https://doi. org/10.21320/1818-474X-2017-3-48-52
44. Лахин Р.Е., Шаповалов П.А., Щеголев А.В., Козлов К.В., Жданов А.Д. Эффективность использования кислородно-гелиевой смеси в интенсивной терапии пневмоний у взрослых пациентов: систематический обзор и метаанализ. Вестник интенсивной терапии имени А.И. Салтанова. 2022;(2):52-69. https://doi.org/10.21320/1818-474X-2022-2-52-69 Lakhin R.E., Shapovalov PA, Shchegolev A.V., Kozlov K.V., Zhdanov A.D. Efficacy of using helium-oxygen mixture in the intensive care of pneumonia in adult patients: a systematic review and meta-analysis. Annals of Critical Care. 2022;(2):52-69. (In Russ.) https://doi.org/10.21320/1818-474X-2022-2-52-69
45. Imberger G., Gluud C., Boylan J., Wetterslev J. Systematic reviews of anesthesiologic interventions reported as statistically significant: problems with power, precision, and type 1 error protection. Anesth Analg. 2015;121 (6):1611-1622. PMID: 26579662. https://doi.org/10.1213/ ANE.0000000000000892
46. Doleman B., Williams J.P., Lund J. Why most published meta-analysis findings are false. Tech Coloproctol. 2019;23(9):925-928. PMID: 31240417. https://doi.org/10.1007/s10151-019-02020-y
47. Riberholt C.G., Olsen M.H., Milan J.B., Gluud C. Major mistakes and errors in the use of Trial Sequential Analysis in systematic reviews or meta-analyses — protocol for a systematic review. Syst Rev. 2022;11 (1 ):114. PMID: 35659769; PMCID: PMC9166392. https://doi.org/10.1186/s13643-022-01987-4
Trial sequential analysis in anesthesiology and intensive care: a systematic review
Mikhail Ya. Yadgarov 1, Levan B. Berikashvili 1 2, Pyotr A. Polyakov 1, Kristina K. Kadantseva 1 3, Anastasiya V. Smirnova 1, Ivan V. Kuznetsov 1, Alexey A. Yakovlev 1, Valery V. Likhvantsev 1 4
1 Federal Research and Clinical Center of Reanimatology and Rehabilitation, Lytkino, Moscow Region, Russian Federation
2 M.F. Vladimirsky Moscow Regional Research and Clinical Institute, Moscow, Russian Federation
3 Loginov Moscow Clinical Scientific Center, Moscow, Russian Federation
4 Sechenov University, Ministry of Health of the Russian Federation, Moscow, Russian Federation Corresponding author: Mikhail Ya. Yadgarov, mikhail.yadgarov@mail.ru
Abstract
Introduction: The reliability of statistical analysis and its results is becoming a focal point in scientific discourse, overshadowing concerns about statistical significance. Systematic reviews and meta-analyses are characterized by a range of serious statistical and methodological limitations, including insufficient statistical power, clinical and statistical heterogeneity, systematic errors, potential low quality of included examinations, limited data availability, and publication bias. In this context, "Trial Sequential Analysis" (TSA) emerges as a promising methodological tool used in combination with meta-analyses to enhance the precision and robustness of scientific conclusions.
Objective: The study is aimed to demonstrating potential scenarios for the using TSA and its role in improving the reliability of scientific conclusions through meta-analyses published in Russian journals on anesthesiology-resuscitation, as well as the authors' own meta-analyses.
Methods: This study is a systematic review without a detailed description of the case studies. The search for meta-analyses was conducted using the keywords "meta-analysis", "mortality", "delirium", "sedation". Two researchers independently reviewed the titles and abstracts of the selected meta-analyses and extracted data. TSA was conducted for all meta-analyses using "TSA software" (Copenhagen, Denmark).
Results: 6 studies were considered, and 7 TSA evaluations were performed. Six out of the seven TSA evaluations confirmed the conclusions of the pertinent meta-analyses. In one TSA, the cumulative Z-line did not reach the required sample size, highlighting the need for additional studies to definitively confirm the result. In two TSAs, the sample size in the meta-analysis was insufficient to draw definitive conclusions. The application of TSA in these cases could provide more substantiated and cautious conclusions.
Conclusion: This study explores various scenarios for the application of TSA in meta-analyses published in both Russian and international journals in the fields of anesthesiology and resuscitation. The significance of TSA for enhancing the validity and clinical relevance of research findings was substantiated.
Keywords: Anesthesiology; Critical Care; Delirium; Meta-Analysis; Mortality; Publication Bias; Sample Size; Sedation; Systematic Review
Received 3 February 2024. Revised 18 March 2024. Accepted 20 March 2024.
Funding: The study did not have sponsorship.
Conflict of interest: The authors declare no conflict of interest.
Contribution of the authors
Conception and study design: M.Ya. Yadgarov
Data collection and analysis: M.Ya. Yadgarov, L.B. Berikashvili, P.A. Polyakov Statistical analysis: M.Ya. Yadgarov, P.A. Polyakov
Drafting the article: M.Ya. Yadgarov, L.B. Berikashvili, K.K. Kadantseva, A.V. Smirnova, I.V. Kuznetsov, A.A. Yakovlev Critical revision of the article: V.V. Likhvantsev
Final approval of the version to be published: M.Ya. Yadgarov, L.B. Berikashvili,
P.A. Polyakov, K.K. Kadantseva, A.V. Smirnova, I.V. Kuznetsov, A.A. Yakovlev, V.V. Likhvantsev
ORCID
M.Ya. Yadgarov, https://orcid.org/0000-0003-3792-1682 L.B. Berikashvili, https://orcid.org/0000-0001-9267-3664 P.A. Polyakov, https://orcid.org/0009-0009-6185-349X K.K. Kadantseva, https://orcid.org/0000-0002-6593-8580 A.V. Smirnova, https://orcid.org/0000-0001-7860-6609 I.V. Kuznetsov, https://orcid.org/0009-0000-7776-9537 A.A. Yakovlev, https://orcid.org/0000-0002-8482-1249 V.V. Likhvantsev, https://orcid.org/0000-0002-5442-6950 Copyright: © 2024 Yadgarov et al.
How to cite: Yadgarov M.Ya., Berikashvili L.B., Polyakov P.A., Kadantseva K.K., Smirnova A.V., Kuznetsov I.V., Yakovlev A.A., Likhvantsev V.V. Trial sequential analysis in anesthesiology and intensive care: a systematic review. Patologiya krovoobrashcheniya i kardiokhirurgiya = Circulation Pathology and Cardiac Surgery. 2024;28(1):26-40 (In Russ.) https://doi.org/10.21688/1681-3472-2024-1 -26-40
