CC BY
105
ВЕСТНИК ТОМСКОГО ГОСУДАРСТВЕННОГО УНИВЕРСИТЕТА
№ 275
апрель
2002
ОБЗОРЫ
УДК [61:57] (083.41)
В. П. Леонов
НАУКОМЕТРИКА СТАТИСТИЧЕСКОМ ПАРАДИГМЫ ЭКСПЕРИМЕНТАЛЬНОЙ БИОМЕДИЦИНЫ
Приведены результаты наукометрического анализа 1540 отечественных и 392 зарубежных журнальных статей, а также 160 отечественных диссертаций биомедицинской тематики, опубликованных в последние 10 лет. Были изучены 34 ведущих отечественных биомедицинских журнала. Англоязычные статьи были опубликованы в журналах «Journal of Experimental Medicine», «Journal of Immunology», «Nature Genetics», «Journal of Cell Biology», «American Journal of Cardiology», «American Journal of Hypertension», «American Journal of Pathology», «American Journal of Clinical Pathol-ogy», «Biologische Medizin», «Biomedicine and Pharmacotherapy», «BMJ», «British Journal of Radiology», «Cancer», «Epidemiologie, Microbiologie, Immunologie», «European Psychiatry», «Immunology and Cell Biology», «JAMA», «Ecology», «General Physiology and Biophysics», «New England Journal of Medicine». Проведена оценка относительных частот применения различных методов статистики, сравнение частот между собой, а также реконструкция на основе структуры этих частот латентно существующей в отечественной биомедицине статистической парадигмы. Идентифицирована сдвиговая парадигма, которая заключается в доминировании представления, что основное (а возможно, и единственное) различие между группами сравнения заключается в механическом сдвиге среднего значения исследуемой переменной. При этом игнорируются остальные параметры распределения, такие как меры рассеяния, меры формы, корреляции между признаками, структура наблюдений и переменных и т.д. В отечественных публикациях преобладает использование t-критерия Стьюдента, в большинстве случаев с нарушением условий его применимости. Крайне редко используются проверка нормальности распределения, многомерные методы, анализ таблиц сопряженности, непараметрические критерии и анализ выживаемости.
Последнее десятилетие для отечественной биомедицины характеризуется бурным внедрением персональных компьютеров. Однако совпадение этого процесса по времени с экономическим спадом и специфика финансирования науки деформировали его результаты. В итоге широкое использование компьютеров в отечественной биомедицине не привело к качественному скачку в статистической методологии исследований [1-6]. За рубежом данный процесс происходил порядка 20-25 лет назад. Приведем несколько цитат из книги С. Гланца «Primer of Bio-statistics», недавно переведенной в России [7]. «С тех пор многое изменилось. Важность грамотного использования статистических методов осознается все шире. И хотя ошибки не исчезли, все больше журналов прилагают усилия к их искоренению. Во многих из них рецензирование включает отдельный этап проверки статистической правильности предлагаемых работ. Приведу подтверждение, наиболее ощутимое для меня. Я являюсь внештатным редактором «Journal of the American College of Cardiology», и моя работа состоит в выявлении статистических ошибок в поступающих статьях. Доля статей, содержащих ошибки, как и раньше, составляет около половины, но теперь уже половины предлагаемых к публикации, а не опубликованных работ». Представляет интерес сравнение статистических технологий отечественных исследователей и их зарубежных коллег. Не менее важно на основе этого анализа сформулировать существующую в отечественной биомедицине статистическую парадигму.
Статистические аргументы или ... статистические гитики?
Статистические методы использовались в 82 % отечественных статей (R-статьи), в зарубежных публикациях (E-статьи) эта доля составила 87 %. Однако в 52 % R-статей авторы вообще никак не описывали используемые ими методы статистики. О том, что авторы применяли методы статистики, можно догадаться только по выражениям вида р<0,05 и М±т, поскольку они могут быть получены только
при использовании конкретных статистических критериев. Напротив, в 83 % E-статей сообщается, с помощью каких именно статистических критериев производилась проверка конкретных гипотез.
Для многих R-статей характерно наличие в описании методов статистики бессмысленных и абсурдных выражений, представляющих собой комбинации ме-мов - клише, заимствованных из других работ. Термин «мем» пришел в наукометрику из относительно новой науки меметики, концепции которой позволяют описывать в терминах генетики размножение, распространение, отбор, мутации и рекомбинации, а также и смерть мемов - элементарных единиц, квантов культуры. Детальный анализ статистических мемов нередко обнаруживает их камуфляжный характер, вследствие чего несколько лет назад нами (http:// www.biometrica.tomsk. ru/lib/lis/index21.htm) было введено понятие камуфляжного мема. По своему стилю такие мемы, некоторые из которых есть уродливые рекомбинации элементарных мемов, созвучны речи героев произведений А. Платонова «Котлован» и «Чевенгур» или высказываниям экс-премьера В.С. Черномырдина («У меня нет вопросов к русскому языку», «... моя специальность и жизнь проходили в атмосфере нефти и газа»). Многочисленные примеры таких описаний даны в нашей работе «Долгое прощание с лысенковщиной» (http://www. biometrica.tomsk.ru/lib/ lis/index.htm). Приведем лишь два из них: «Вероятность случайности различий соответствует достоверности», «Различие считалось достоверным при p<0,05, т.е. в тех случаях, когда вероятность различия составляла больше 95 %». Обилие этих недостатков в текстах биомедицинских статей и диссертаций свидетельствует как минимум о четырех вероятных причинах этого явления.
Во-первых, низкая статистическая культура исследователей. Причины этого достаточно очевидны:
в медицинских вузах готовят врачей, а не исследователей, и поэтому выпускники этих вузов не имеют необходимой для исследователя статистической подготовки. Этот же вывод можно сделать и на основе содержания Приложений 14 и 15 к приказу Минздрава РФ от 25.12.97 № 380 [8]. Во всех аналогичных квалификационных характеристиках в разделе «Знание смежных дисциплин» вообще отсутствует упоминание математики. И это вполне разумно, поскольку медицинский вуз не может, да и не должен обеспечивать выпускникам профессиональный уровень владения биометрикой. Его задача - подготовить хороших врачей, а не специалистов по биостатистике. Сказываются до сих пор и последствия периода «лысенковщины», когда математика, и особенно статистика, активно изгонялись из биологии и медицины. Более того, известны случаи, когда в те годы ВАК СССР отказывал в присвоении ученых степеней из-за того, что медики использовали в своих диссертациях статистику.
Во-вторых, отсутствие в структурах биологических и медицинских НИИ и вузов специализированных лабораторий биостатистики, призванных обеспечить исследователю квалифицированный статистический анализ наблюдений. Немногочисленные лаборатории, имеющиеся в таких НИИ и вузах (ЦНИЛ), комплектуются в основном теми же выпускниками медвузов и биологических факультетов. Редко в них работают специалисты с соответствующим образованием.
Третья причина - отсутствие отраслевой нормативной базы (отраслевые стандарты, стандарты предприятий и т.п.) регламентирующей этап статистического анализа. Парадоксально, но сегодня анализ крови или мочи выполняется в лабораториях по утвержденным Минздравом документам и только людьми со специальным образованием, тогда как статистический анализ экспериментальных данных -завершающий этап кропотливой работы многих специалистов - в большинстве случаев выполняется самоучками, людьми, не имеющими профессиональной подготовки в этой области.
Четвертая причина - отсутствие квалифицированной статистической экспертизы в редакциях отечественных журналов, диссертационных и экспертных советах ВАК [4]. Впрочем, это отсутствие, возможно, и не случайно, поскольку повышение уровня требований к статистической корректности статей и диссертаций приведет к сокращению их числа. Нетрудно догадаться, чем это грозит для периодических изданий и диссертационных советов. Низкое качество статистического анализа экспериментальных данных в диссертациях по биологии и медицине признает и ВАК РФ. В 1997 г. «Бюллетень ВАК РФ» опубликовал статью [9] на эту тему. А в 1999 г. на публикацию в газете «Поиск» статьи «В новый век - с доказательной биомедициной» [10] авторам ответил начальник отдела диссертационных советов ВАК РФ В. Л. Мамаев: «Ваше письмо рассмотрено; считаю, что высказанная Вами позиция и Ваши предложения, безусловно, справедливы. ВАК России также серьезно обеспокоен потоком работ, в которых приводятся сомнительные ссылки на применение методов статобработки результатов и «расчеты», выполненные с применением вычислительной техники».
Такую же позицию начинают занимать и наиболее прогрессивные редакторы отечественных медицинских журналов. В статье «Статистика умеет много гитик» [5] президент издательства «Медиа-Сфера», издающего около 20 отечественных медицинских журналов, С.Е. Бащинский пишет: «По сути, эти клише представляют собой магические заклинания, служащие, по мысли авторов, «пропуском в науку». Статистике в биомедицинских исследованиях отводится роль «гитик», звучные и непонятные авторам термины нужны для достижения основной цели -придания работе научного «веса», достаточного для опубликования в журнале или для защиты диссертации. Редакторы научных журналов, публикующие подобные статьи, вольно или невольно становятся соучастниками игры в научный «фокус»: в надежность результатов исследования изначально никто не верит, свидетельством его научности становится сам факт публикации, а важнейшим условием публикации - упоминание о статистических «гитиках». Так будет происходить до тех пор, пока редакторы, устанавливающие правила игры, не объявят о серьезно -сти своих намерений отбирать и публиковать только действительно научные статьи».
Какие статистические методы и критерии предпочитают авторы Я-статей
В таблице приведены результаты сравнения относительных частот использования статистических методов и критериев в русскоязычных и англоязычных журналах. Общее количество статистических методов и критериев, использованных в англоязычных статьях, составило более 100. Из этого многообразия мы выбрали только наиболее известные, объединив их в 53 группы. После оценки относительных частот использования того или иного метода в Я- и Е-ста-тьях, производилась проверка статистической гипотезы о равенстве этих пропорций с использованием 2-критерия [11]. Для 51 группы достигнутые уровни значимости «р» имели значение гораздо меньшие 5 %, что позволяет утверждать статистически значимое различие этих частот. Только для парных коэффициентов корреляции Пирсона (р=0,1445) и нелинейных преобразований переменных (р=0,0961) были приняты нулевые гипотезы о равенстве частот использования этих методов в Я- и Е-статьях. Для всех остальных групп сравнения эти частоты отличались статистически значимо (р<<0,05). Для сравнения приоритетов в группах полученные результаты в таблице отсортированы по убыванию относительных частот.
Сложные проблемы всегда имеют простые, легкие для понимания неправильные решения
Согласно таблице после дескриптивных статистик и выражений типа р<.... отечественные исследователи предпочитают проверку гипотез о равенстве двух средних с использованием /-критерия Стьюдента. Практически во всех работах вообще не проверяются условия возможности применения этого критерия, что приводит к сомнительности полученных авторами выводов. С многочисленными
Частота использования статистических методов и критериев в Я- и Е-статьях
Обозначения:
1. МЯ - метод проверки статистических гипотез или критерий по убыванию относительной частоты в
Я-статьях;
К - относительная частота использования в Я-статьях;
ЕЯ - относительная частота использования в Е-статьях.
2. МЕ - метод проверки статистических гипотез или критерий по убыванию относительной частоты в
Е-статьях;
ЕЕ - относительная частота использования в Е-статьях;
ЯЕ - относительная частота использования в Я-статьях.
3. МЕ,к - метод проверки статистических гипотез или критерий по убыванию отношения частот в Е- и
Я-статьях.
№ п/п Мк Як Ея ЕЯ/КЯ МЕ Ее Яе Ее/Яе МЕ,Я
1 2 3 4 5 6 7 8 9 10
1 Оценка дескриптивных статистик 0,86 0,768 0,893 Использование выражений вида р < ... 0,873 0,823 1,06 Оценка частных коэффициентов корреляции
2 Использование выражений вида р < .... 0,82 0,873 1,06 Оценка дескриптивных статистик 0,768 0,86 0,893 Проверка гипотез о равенстве дисперсий с помощью Е-критерия
3 Проверка гипотез о равенстве средних /-критерием Стьюдента 0,581 0,11 0,189 Критерий Пирсона хи-квадрат 0,194 0,073 2,666 Проверка гипотез о равенстве нескольких дисперсий
4 /-критерий Стьюдента 0,566 0,082 0,144 Дисперсионный анализ (ДА) 0,171 0,04 4,315 Проверка гипотез о равенстве относительных частот (долей)
5 Оценка парных коэффициентов корреляции Пирсона 0,081 0,099 1,226 Непараметрические критерии 0,145 0,022 6,59 Проверка гипотез о равенстве нескольких коэффициентов корреляции
6 Критерий Пирсона хи-квадрат 0,073 0,194 2,666 Оценка коэффициентов корреляции Спирмэна или Кендалла 0,117 0,005 25,82 Построение доверительного интервала для относительной частоты (доли)
7 Дисперсионный анализ 0,04 0,171 4,315 Проверка гипотез о равенстве двух средних /-критерием Стьюдента 0,11 0,581 0,189 Ковариационный анализ
8 Множественный регрессионный анализ 0,04 0,082 2,061 Р-критерий Фишера 0,11 0,023 4,692 Критерий знаков Диксо-на-Муда
9 Р-критерий Фишера 0,023 0,11 4,692 Оценка коэффициентов корреляции Пирсона 0,1 0,081 1,226 Проверка гипотез об отношении шансов
10 Непараметрические критерии 0,022 0,145 6,57 Оценка закона распределения вероятностей 0,087 0,008 11,13 Сравнение двух кривых выживаемости
11 Критерий Манна-Уитни 0,02 0,071 3,549 Анализ таблиц дожития и оценка уравнений кривых выживаемости 0,087 0,003 33,39 Логистическая регрессия с биномиальной переменной отклика
12 Нелинейный регрессионный анализ 0,011 0,059 5,315 Ь-критерий Стью-дента 0,082 0,566 0,144 Критерий Зигеля и Тью-ки
13 Оценка закона распределения вероятностей 0,008 0,087 11,13 Множественный регрессионный анализ 0,082 0,04 2,06 Сравнение пропорций в нескольких выборках
14 Анализ главных компонент 0,008 0,049 6,22 Критерий Манна-Уитни 0,071 0,02 3,55 Многомерное шкалирование
15 и-критерий Вилкоксо-на 0,007 0,059 8,214 Нелинейный регрессионный анализ 0,059 0,011 5,315 Построение доверительного интервала для отношения шансов
16 Множественные линейные контрасты в ДА 0,005 0,059 11,29 Ц-критерий Вил-коксона 0,059 0,007 8,21 Логистическая регрессия с мультиномиальной переменной отклика
17 Оценка коэффициентов ранговой корреляции 0,005 0,117 25,81 Множественные линейные контрасты в ДА 0,059 0,005 11,29 Логлинейный анализ
1 2 3 4 5 6 7 8 9 10
18 Факторный анализ 0,005 0,038 8,419 Проверка нормальности распределения вероятностей 0,054 0,001 82,49 Использование байесовских оценок
19 Дискриминантный анализ 0,004 0,046 11,79 Анализ главных компонент 0,049 0,008 6,22 Анализ соответствий в таблицах сопряженности
20 Анализ таблиц сопряженности 0,004 0,038 9,82 Дискриминантный анализ 0,046 0,004 11,79 Н-критерий Краскела-Валлиса
21 Кластерный анализ 0,004 0,031 7,86 Факторный анализ 0,038 0,005 8,42 Проверка нормальности распределения вероятностей
22 Оценка кривых «Доза-Эффект» 0,003 0,031 9,43 Анализ таблиц сопряженности 0,038 0,004 9,82 Анализ таблиц дожития и оценка уравнений кривых выживаемости
23 Анализ таблиц дожития и оценка уравнений кривых выживаемости 0,003 0,087 33,39 Методы теории планирования экспериментов 0,036 0,002 18,33 Оценка коэффициентов ранговой корреляции
24 Методы теории планирования экспериментов 0,002 0,036 18,33 Оценка частных коэффициентов корреляции 0,036 0,000 — Оценка аллометрических уравнений
25 Критерий Колмогорова - Смирнова 0,002 0,018 9,17 Кластерный анализ 0,031 0,004 7,86 Последовательный анализ Вальда
26 Нелинейные преобразования переменных 0,002 0,008 3,93 Оценка кривых «Доза-Эффект» 0,031 0,003 9,43 Анализ временных рядов
27 Последовательный анализ Вальда 0,001 0,028 21,61 Проверка гипотез о равенстве дисперсий с помощью Е-критерия 0,031 0,000 — Анализ канонических корреляций
28 Анализ временных рядов 0,001 0,028 21,61 Последовательный анализ Вальда 0,028 0,001 21,61 Методы теории планирования экспериментов
29 Оценка отношения шансов 0,001 0,023 17,68 Анализ временных рядов 0,028 0,001 21,61 Оценка отношения шансов
30 Проверка равенства двух законов распределения вероятностей 0,001 0,015 11,79 Оценка отношения шансов 0,023 0,001 17,68 Проверка равенства двух законов распределения вероятностей
31 Проверка нормальности распределения вероятностей 0,001 0,054 82,5 Проверка гипотез о равенстве нескольких дисперсий 0,023 0,000 — Дискриминантный анализ
32 Оценка аллометриче-ских уравнений 0,001 0,015 23,58 Проверка гипотез о равенстве нескольких относительных частот 0,023 0,000 — Множественные линейные контрасты в ДА
33 Анализ канонических корреляций 0,001 0,013 19,65 Проверка гипотез о равенстве нескольких коэффициентов корреляции 0,02 0,000 — Оценка закона распределения вероятностей
34 Оценка частных коэффициентов корреляции 0,000 0,036 — Критерий Колмогорова - Смирнова 0,018 0,002 9,17 Анализ двухвходовых таблиц сопряженности
35 Проверка гипотез о равенстве дисперсий с помощью Е-критерия Фишера 0,000 0,031 — Построение доверительного интервала для относительной частоты 0,018 0,000 — Оценка кривых «Доза-Эффект»
36 Проверка гипотез о равенстве нескольких дисперсий 0,000 0,023 — Ковариационный анализ 0,018 0,000 — Критерий Колмогорова -Смирнова
37 Проверка гипотез о равенстве относительных частот 0,000 0,023 — Критерий знаков Диксона-Муда 0,018 0,000 — Факторный анализ
38 Проверка гипотез о равенстве коэффициентов корреляции 0,000 0,02 — Проверка гипотез о равенстве двух законов распределения вероятностей 0,015 0,001 11,79 и-критерий Вилкоксона
39 Построение доверительного интервала для относит. частоты 0,000 0,018 — Оценка аллометри-ческих уравнений 0,015 0,001 23,58 Кластерный анализ
40 Ковариационный анализ 0,000 0,018 — Проверка гипотез об отношении шансов 0,015 0,000 — Использование непараметрических критериев
1 2 3 4 5 6 7 8 9 10
41 Критерий знаков Дик-сона-Муда 0,000 0,018 — Сравнение двух кривых выживаемости 0,015 0,000 — Анализ главных компонент
42 Проверка гипотез об отношении шансов 0,000 0,015 — Анализ канонических корреляций 0,013 0,001 19,65 Нелинейный регрессионный анализ
43 Сравнение двух кривых выживаемости 0,000 0,015 — Логистическая регрессия с биномиальной переменной отклика 0,013 0,000 — Р-критерий Фишера
44 Логистическая регрессия с биномиальной переменной отклика 0,000 0,013 — Критерий Зигеля и Тьюки 0,013 0,000 — Дисперсионный анализ
45 Критерий Зигеля и Тьюки 0,000 0,013 — Сравнение пропорций в нескольких выборках 0,01 0,000 — Нелинейные преобразования переменных
46 Сравнение пропорций в нескольких независимых выборках 0,000 0,01 — Многомерное шкалирование 0,01 0,000 — Критерий Манна - Уитни
47 Многомерное шкалирование 0,000 0,01 — Нелинейные преобразования переменных 0,008 0,002 4,0 Критерий Пирсона хи-квадрат
48 Построение доверительного интервала для отношения шансов 0,000 0,008 — Построение доверительного интервала для отношения шансов 0,008 0,000 — Множественный регрессионный анализ
49 Логистическая регрессия с мультиномиальной переменной отклика 0,000 0,008 — Логистическая регрессия с мультиномиальной переменной отклика 0,008 0,000 — Оценка коэффициентов корреляции Пирсона
50 Логлинейный анализ 0,000 0,008 — Логлинейный анализ 0,008 0,000 — Использование выражений вида р < ....
51 Использование байесовских оценок 0,000 0,008 — Использование байесовских оценок 0,008 0,000 — Оценка дескриптивных статистик
52 Анализ соответствий в таблицах сопряженности 0,000 0,005 — Анализ соответствий в таблицах сопряженности 0,005 0,000 — Проверка равенства средних /-критерием Стьюдента
53 Н-критерий Краскела -Валлиса 0,000 0,005 — Н-критерий Крас-кела - Валлиса 0,005 0,000 — /-критерий Стьюдента
примерами таких работ читатели могут познакомиться в разделе «КУНСТКАМЕРА» электронного журнала (http://www. biometrica.tomsk.ru/kk/ index. htm) БИОМЕТРИКА. К сожалению, встречаются среди них и работы, выполненные в ТГУ.
Разница между значениями частот в третьей и четвертой строках (0,581 и 0,566) таблицы объясняется тем, что в ряде статей авторы просто упоминали об использовании /-критерия Стьюдента, но не приводили его значения. Отметим также, что следующий за критерием Стьюдента метод - оценка коэффициентов корреляции Пирсона - имеет частоту почти в 7 раз меньше, чем у предшествующего метода. Иными словами, скачок в 48,5 % между частотой применения критерия Стьюдента и корреляцией по Пирсону означает дискретность нашего распределения и безусловное доминирование сравнения двух средних по Стьюденту по отношению ко всем остальным методам и критериям. Обратим также внимание на то, что частота проверки нормальности распределения, которую необходимо проводить в обязательном порядке при использовании критерия Стьюдента, примерно в 944 раза меньше, чем частота использования критерия Стьюдента. Тогда как проверка равенства двух генеральных дисперсий, также
обязательное условие при использовании критерия Стьюдента, в Я-статьях вообще не проводилась. Сумма относительных частот всех прочих методов и критериев, кроме критерия Стьюдента и дескриптивных статистик, составляет 0,377.
В таблице отчетливо виден дискретный характер распределения частот в Я-статьях, в которых доминируют 4 метода. Первые два из них имеют частоту 86 и 82 %, а третий и четвертый соответственно 58 и 56,6 %, тогда как следующий, шестой метод, имеет относительную частоту всего лишь 8%. Коварная простота вычисления /-критерия Стьюдента, а также его наличие в большинстве статистических пакетов привели к широкому его использованию даже в тех условиях, когда применять его нельзя. В течение 5 лет мы провели опрос более 300 медиков и биологов, занятых научными исследованиями. Задавался вопрос: «Каковы достаточные и необходимые условия использования /-критерия Стьюдента при сравнении групповых средних»? Ни один из опрашиваемых не смог полностью и правильно ответить на него. Около 50 % говорили о нормальности распределения, однако не могли при этом объяснить, как реально проверить нормальность распределения. О необходимости выполнения второго обязательного условия вообще никто из опрашиваемых не говорил.
За последние 10 лет нами был выполнен статистический анализ более 200 массивов реальных биомедицинских данных. Эти исследования показали, что в 50-70 % случаев биомедицинские количественные показатели не подчиняются нормальному распределению. Наиболее характерно это для групп больных пациентов или экспериментальных образцов исследуемых объектов. К чему приводит игнорирование условий применения этого критерия, мы показали в работах [1, 6]. Между тем с упорством, достойным лучшего применения, многочисленные отечественные исследователи продолжают эту порочную практику. Особенно характерно это для авторов «Бюллетеня экспериментальной биологии и медицины», для которых в КУНСТКАМЕРЕ даже открыта специальная экспозиция. Проведенный нами анализ публикаций в выпусках этого журнала за 2000 г. показал, что подавляющее большинство статей содержит сомнительные результаты, полученные именно вследствие некорректного применения /-критерия Стьюдента! Наиболее типичен в этом отношении 10-й выпуск.
Какие статистические методы и критерии предпочитают англоязычные авторы
Из данных таблицы мы видим, что характер распределения частот используемых методов и критериев в англоязычных статьях имеет совершенно иной характер. Если учесть, что выражение типа р<... не является конкретным методом проверки статистических гипотез, то вместо ярко выраженного унимодального распределения в Я-статьях мы имеем плавное экспоненциально уменьшающееся распределение относительных частот по всем 52 методам и критериям. Сумма относительных частот по этим методам составляет 2,3265, что означает в среднем по 2-3 метода или критерия на одну Е-статью. Отметим, что наиболее часто используются критерий Пирсона хи-квадрат, дисперсионный анализ, непараметрические критерии и коэффициенты корреляции Спирмэна и Кендалла. И только на 5-м месте располагается /-критерий Стьюдента. Частота использования критерия Стьюдента равна частоте применения множественного регрессионного анализа. На рис.1 представлено распределение используемых методов по каждой из сравниваемых групп.
Относительные частоты в Я- и Е-статьяк
в —1—-—1—1—
£ : 4 Е-статьи
и 0,15 ; к* Частоты
“ 0,10 1*^* I!.-статьи I-Стьюдента *
I о№ п............;...;...;....и*-!
I 0,00 ‘—г---■---■---■----■-----■---:
р 0,0 0,1 0,2 0.3 0,4 0.5 0,6
Рис.1. Распределение относительных частот статистических методов в Е- и Я-статьях
На графике отсутствуют частоты первых двух строк таблицы: «Оценка дескриптивных статистик» и «Использование выражений вида р Важным моментом этого распределения частот является достаточно
высокая доля 11 сугубо многомерных методов, таких как множественный регрессионный анализ (0,0816), анализ главных компонент (0,0485), дискриминантный анализ (0,0459), факторный анализ (0,0383), теории планирования экспериментов (0,0357), оценка частных коэффициентов корреляции (0,0357), кластерный анализ (0,0306), ковариационный анализ (0,0179), анализ канонических корреляций (0,0128), многомерное шкалирование (0,0102), логлинейный анализ (0,0077) и анализ соответствий в таблицах сопряженности (0,0051). Сумма частот этих многомерных методов составляет 0,3343, т.е. в каждой третьей Е-статье используются многомерные методы. Из 11 перечисленных выше многомерных методов в Я-статьях обнаружены только 7, суммарная доля которых составила 0,0322. Таким образом, зарубежные исследователи в 10 раз чаще используют многомерные методы, нежели авторы Я-статей. Это говорит о том, что в статистической парадигме зарубежных исследователей в области биомедицины многомерный подход к исследованию изучаемых объектов играет существенную роль.
Из таблицы и рис.1 отчетливо видно, что наблюдается монотонное уменьшение относительной частоты по всему спектру методов, используемых в Е-статьях. Из этих же результатов следует, что 21 метод и критерий, используемые в Е-статьях, не были обнаружены в Я-статьях. Далее весьма примечательно, что наибольшее отношение частот между Е- и Я-статьями наблюдается для процедуры проверки нормальности распределения вероятностей - более 82. Из этого можно сделать вывод, что зарубежные исследователи больше внимания уделяют этапу выбора между параметрическими и непараметрическими критериями. Зарубежные исследователи в 33 раза чаще используют методы анализа таблиц дожития и оценки кривых выживаемости. Это позволяет высказать предположение о том, что конечной целью многих зарубежных биомедицинских исследований является не столько обнаружение локального эффекта, сколько оценка совокупной связи этого эффекта с
длительностью жизни пациентов.
Сдвиговая статистическая парадигма
отечественной биомедицины
Используя результаты данного наукометрического анализа, сформулируем существующую в российской биомедицинской науке статистическую парадигму, которая проявляет себя как латентная, скрытая закономерность только при анализе достаточно большого количества публикаций [2-5, 6, 9, 10]. Суть этой парадигмы, названной нами сдвиговой, заключается в доминировании у отечественных исследователей в области биологии и медицины представления, что основное (а возможно, и единственное!) различие между группами сравнения заключается в тривиальном, механическом сдвиге среднего значения исследуемой переменной. Неявно при этом подразумевается, что все остальные параметры распределения исследуемых признаков остаются неизменными. Вследствие этого игнорируются анализ и сравнение всех остальных не менее важных параметров, таких как меры рассеяния
*-------■----■-----■-----■-----
Е-статьи
Частоты
Е.-статьи 1:-Сгьвдента * ------------ •
0,0 0,1 0,2 0.3 0,4 0.5 0,
Частоты е Е.-статьяк
(дисперсия, размах и т.д.) и меры формы (эксцесс и асимметрия), корреляции между признаками и т. д. Более того, игнорируются возможные и весьма важные изменения самого характера законов распределения вероятностей в сравниваемых группах, изменения структуры связей между объектами исследования. Такой подход можно идентифицировать как одномерный, механистический взгляд на сугубо многомерные взаимодействующие системы.
Данный подход является деформацией нормальной научной методологии, базирующейся на системном анализе. Для иллюстрации ущербности такой парадигмы приведем искусственный пример. Предположим, что мы поставили задачу сравнить между собой температуру тела персонала больницы с температурой тела всех пациентов этой больницы. Проверка (статистически вполне корректная) показала, что средние температуры двух сравниваемых групп статистически значимо не различаются. Между тем эти две группы имеют принципиальное различие в вариации этого показателя. Действительно, если принять во внимание, что персонал больницы исполняет свои обязанности будучи здоровым, то разброс температуры персонала будет сравнительно мал. Иное дело пациенты этой больницы, среди которых будут находиться больные с повышенной температурой, выздоравливающие пациенты с нормальной температурой, и пациенты с пониженной температурой, исход лечения которых оказался летальным. В результате средняя температура пациентов будет равна средней температуре персонала, однако существенное различие групп по этому показателю будет заключаться в минимальных и максимальных значениях. Несмотря на искусственный характер этого примера, в реальных исследованиях такая ситуация встречается достаточно часто. Причем именно эти минимальные и максимальные значения, как правило, и несут нередко важнейшую информацию о сравниваемых группах.
Крайне редкое применение многомерных статистических методов говорит о том, что исследуемые признаки изучаются авторами в неявном предположении об изолированности отдельных подсистем объекта друг от друга. Несмотря на то, что исследователи изучают изначально многомерные системы, независимо от того, клеточный ли это уровень, или организменный, или же популяционный (применительно к эпидемиологическим исследованиям), их анализ фактически не поднимается выше одномерных подсистем. Более того, это еще и свидетельство того, что авторы подобных публикаций, зная о существовании таких взаимосвязей в исследуемых объектах, игнорируют этот аспект и сужают тем самым собственное исследование до более утилитарных и конъюнктурных целей. В результате применение статистики в исследовании становится не инструментом поиска нового знания, а средством онаучивания заранее продекларированного эффекта изменения среднего значения того или иного признака. Деструкция важнейшего элемента системного анализа - выделение структуры и исследование связей между частями этой структуры - и приводит в итоге к «статистическим гитикам».
Возможные пути решения данной проблемы
Игнорирование этой деформации научной методологии со стороны Минздрава РФ, РАМН, Минобразования РФ, ВАК РФ, руководителей НИИ РАМН, журнальных редакций и диссертационных советов приводит к воспроизведению одних и тех же статистических нелепиц в сотнях и тысячах статей и диссертаций биомедицинской тематики. Повышению экономической эффективности и качества экспериментальных биомедицинских исследований способствовали бы создание в биомедицинских НИИ и отделениях РАМН специализированных лабораторий биостатистики, разработка соответствующих отраслевых стандартов, а также введение независимой статистической экспертизы в редакциях биомедицинских журналов (что является обычной практикой за рубежом), в диссертационных и экспертных советах ВАК.
В нынешних экономических условиях редкий аспирант или докторант имеет возможность выехать в Москву или Санкт-Петербург для работы с диссертациями своих предшественников. В статье «В новый век - с доказательной биомедициной» среди прочих предложений была высказана идея об организации выпуска на лазерных компакт-дисках профилированных ежегодных сборников диссертаций и их авторефератов, защищаемых в России в области биомедицины. Разумность тиражирования диссертаций наши предки понимали еще два века назад, когда все диссертации, защищаемые в Военно-медицинской академии, издавались тиражом в 400 экз. и рассылались по библиотекам России. Наряду с этим тиражом в 300 экз. издавались авторефераты этих диссертаций. Благодаря этому многие из них и сейчас доступны в Научной библиотеке ТГУ. При этом вполне естественным было бы введение требования о сдаче в диссертационные советы и в ВАК или ВИНИТИ электронных копий диссертаций. Вновь это же предложение прозвучало в статье «Куплю 500 диссертаций» (http://www.biometrica. tomsk.ru/lib/naukoved/leonov 500.htm; «Медицинская газета» от 14 февраля 2001 г.). Однако в обоих случаях руководство Минздрава и Минобразования РФ, РАН, РАМН и ВАК РФ так и не рискнуло высказать свое отношение к этим предложениям. Между тем за рубежом в марте 2001 г. под эгидой ЮНЕСКО был проведен уже 4-й Международный симпозиум ЕТ0-2001 (http://library.caltech.edu/etd/) по электронным диссертациям, на котором присутствовали представители 15 стран. Уже организуется и международная сеть подобных библиотек, в которой более 100 членов.
Как уже говорилось выше, отмеченные недостатки характерны и для исследований данного профиля, проводимых в ТГУ. Полагаю, что в Томском государственном университете имеются все возможности для устранения этих недостатков, не дожидаясь того времени, когда данная проблема начнет решаться на государственном уровне. Как минимум для этого необходимо понимание самого факта существования этой проблемы, осознание ее важности для качества университетской науки и
заинтересованность в ее решении со стороны руко- служить испытательным полигоном для проверки водства ТГУ. новых зарубежных фармпрепаратов. Остается лишь
Наступивший XXI век не без оснований назы- надеяться на то, что новая команда руководителей
вают веком биологии и медицины. Совершенно биомедицинской науки, которая рано или поздно
очевидно, что, имея на своем вооружении «сдвиго- сменит нынешних руководителей, подобно тому,
вую парадигму», отечественная биология и меди- как это произошло в силовых министерствах, осоз-
цина будут все больше отставать от передовых нает эти проблемы и примется за их решение.
стран. А Россия тем временем по-прежнему будет
ЛИТЕРАТУРА
1. Бащинский С.Е. Некоторые вопросы журнальной этики // Кардиология. 1995. № 35(6). С. 89-92.
2. Леонов В.П., Ижевский П.В. Применение статистики в статьях и диссертациях по медицине и биологии. 1. Описание методов статистического анализа в статьях и диссертациях // Международный журнал медицинской практики. 1998. Вып. 4. С. 7-12.
3. Леонов В. П. Применение статистики в статьях и диссертациях по медицине и биологии. 2. История биометрии и ее применения в России // Международный журнал медицинской практики. 1999. Вып. 4. С. 7-19. (http://www.biometrica.tomsk.ru/biom-2000/history.htm).
4. Леонов В.П. Применение статистики в статьях и диссертациях по медицине и биологии. 3. Проблемы взаимодействия АВТОР -РЕДАКЦИЯ - ЧИТАТЕЛЬ // Международный журнал медицинской практики. 1999. Вып. 12. С. 7-13. (http://www.
biometrica.tomsk.ru/lib/problem1.htm).
5. Бащинский С.Е. Статистика умеет много гитик // Международный журнал медицинской практики. 1998. Вып. 4. С. 12-15. (http://www.biometrica.tomsk.ru/ lib/misc/ gitiki.htm).
6. Леонов В.П., Ижевский П.В. Применение статистики в медицине и биологии: анализ публикаций 1990-1997 гг. // Сибирский медицинский журнал. 1997. Вып. 3-4. С. 64-74.
7. Гланц С. Медико-биологическая статистика: Пер. с англ. М.: Практика, 1998. 459 с.
8. Квалификационная характеристика специалиста с высшим биологическим образованием: Приложение 15 к приказу Минздрава РФ от 25.12.97 № 380 // Здравоохранение. 1998. Вып. 7. С. 91-102.
9. Леонов В.П., Ижевский П.В. Об использовании прикладной статистики при подготовке диссертационных работ по медицинским и биологическим специальностям // Бюллетень ВАК РФ. 1997. Вып. 5. С. 56-61.
10. Леонов В.П., Реброва О.Ю., Солнцев В.Н. и др. В новый век - с доказательной биомедициной // Поиск. 1999. № 20 (522). (http://www.biometrica.tomsk.ru:8101 /lib /naukoved /poisk.htm).
11 Fleiss J.L. Statistical Methods for Rates and Proportions. Divasion of Biostatistics, School of Public Heath, Columbia University. 1981 by John Wiley&Sons, Inc.
Статья представлена кафедрой теоретической информатики факультета информатики Томского государственного университета, поступила в научную редакцию номера 3 декабря 2001 г.
