CC BY
157
УДК [001.891:61.001.5 (051)] (574)
ОЦЕНКА ИСПОЛЬЗОВАНИЯ СТАТИСТИЧЕСКИХ МЕТОДОВ В НАУЧНЫХ СТАТЬЯХ МЕДИЦИНСКИХ ЖУРНАЛОВ КАЗАХСТАНА
© 2013 г. 1А. А. Аканов, 1,2Б. С. Турдалиева,
1А. К. Изекенова, 1М. А. Рамазанова, 1Э. Т. Абдраимова, 3,4А. М. Гржибовский
1Школа общественного здравоохранения им. Х. Досмухамбетова, Казахский национальный медицинский университет,
2Центр доказательной медицины, г. Алматы, Казахстан 3Школа общественного здравоохранения, Северный государственный медицинский университет, г. Архангельск, Россия Национальный институт общественного здравоохранения, г. Осло, Норвегия
Как показывает мировая практика, для публикации в рецензируемых журналах необходимо соблюдать определенные требования, одним из критериев которых является корректное использование статистических методов исследования [2].
В современных условиях стратегические задачи управления наукой и оценки эффективности научной деятельности могут быть решены наукометрическими методами путем количественного анализа библиографической информации, имеющейся в таких базах данных, как Science Citation Index (SCI). Наукометрический анализ применим для оценки уровня развития науки, продуктивности отдельных исследователей и показателя значимости отечественных периодических изданий.
В соответствии с законом «О науке» представляется важной задачей разработка научно обоснованных критериев научной деятельности. Во-первых, задача эта сложная, и в мире не существует объективных критериев для этой цели. Во-вторых, очевидно, что с развитием науки и социально-экономической деятельности в целом такие критерии могут сильно изменяться.
Очевидно также, что подобный критерий является комплексным, агрегированным. В разные времена придавалась различная значимость отдельным его составляющим: количеству научных публикаций; количеству выступлений ученого на конференциях, симпозиумах и других научных форумах; авторитету ученого в научном мире и признанию коллегами; участию ученого в работе различных организаций и структур — ученых и диссертационных советов, комиссий; ученым степеням и званиям как на национальном, так и на международном уровнях. В частности, формализованным критерием оценки труда ученого в вузе и научно-исследовательском институте на протяжении ряда лет является количество научных публикаций.
На современном этапе обилия информации, непрерывно увеличивающегося количества научных статей и других публикаций и еще более динамично растущего количества попутных информационных материалов публикации зачастую осуществляются без должного отбора, рецензирования и редактирования, что девальвирует их ценность, поэтому критерий их количества уже не представляется столь значимым.
На смену упомянутому критерию на первый план выдвинулись такие, как количество публикаций в рецензируемых журналах и индекс цитирования публикаций ученого. Поскольку индекс цитирования отдельных публикаций ученого определять достаточно затруднительно, остановились на публикациях в периодических научных изданиях, имеющих импакт-фактор.
Импакт-фактор — показатель важности научного журнала. С 1960-х
Медицинские журналы Казахстана движутся в международное пространство, однако сегодня ни один из них не имеет Science Citation Index и не входит в базу данных Web of knowledge, соответственно статьи, опубликованные в казахстанских журналах, не могут выйти на международный уровень.
Это обусловливает необходимость анализа и определения ключевых проблем, которые «не способствуют» распространению результатов исследования казахстанских ученых. Цель работы - оценить использование статистики и соответствующего программного обеспечения авторами оригинальных статей в журналах, рекомендованных Казахским Национальным центром научно-технической экспертизы и включенных в базу данных еИЬгагу.к2.
Исследование проводилось в соответствии с протоколом, по которому оценивались его дизайн и методы статистического анализа. При оценке дизайна исследования авторами статей чаще всего использовались описание серии случаев, исследования «случай -контроль», описание отдельных случаев. Расчет размера выборки был произведен только в 21,8 % работ, в 63,9 % описание, каким образом проводилась выборка, отсутствовало.
Ключевые слова: статистические методы исследования, распространение результатов исследования
годов он ежегодно рассчитывается Институтом научной информации (Institute for Scientific Information, в 1992 г. был приобретен корпорацией Thomson и ныне называется Thomson Scientific) и публикуется в журнале «Journal Citation Report». Индекс ци-тируемости, или импакт-фактор, журнала — количество процитированных статей из журнала за два предыдущих года, отнесенное к общему количеству опубликованных статей в этом же журнале за эти годы. Частота цитирования статей из того или иного журнала определяет его рейтинг. Однако много значат также возраст журнала, заслуженная безупречная репутация и политика главного редактора. Импакт-фактор позволяет по формальным признакам сравнивать разные журналы и исследовательские группы. При присуждении грантов, выдвижении на научные премии (включая Нобелевскую) эксперты непременно обращают внимание на наличие у соискателя публикаций в журналах, охватываемых Journal Citation Reports. Кроме импакт-фактора используются еще «индекс немедленного цитирования» и «период полужизни» статьи. Однако именно импакт-фактор заслужил в последние годы особое внимание.
Импакт-фактор как наукометрический критерий имеет следующие достоинства и недостатки (таблица).
Основные положительные и отрицательные стороны индекса цитируемости
№ Положительная сторона Отрицательная сторона
1. Результаты расчета импакт-фактора публичны и легкодоступны Природа результатов в различных областях исследования приводит к различной частоте публикации результатов, которые оказывают влияние на импакт-факторы. Так, например, медицинские журналы часто имеют более высокие импакт-факторы, чем математические
2. Широкий охват научной литературы (в 2010 г. 151 индексировал свыше 16 500 журналов из более чем 60 стран) Языковой барьер — наибольшее число читаемых (и соответственно цитируемых) журналов приходится на англоязычные издания
3. Легкость понимания и использования Промежуток времени, когда учитываются цитирования, слишком короток (классические статьи часто цитируются даже через несколько десятилетий после публикации)
В соответствии с импакт-фактором оценивают уровень журналов, качество статей, опубликованных в них, дают финансовую поддержку исследователям и принимают сотрудников на работу. Это в первую очередь относится к «западному» научному сообществу. Однако все большее значение импакт-фактор приобретает и в Казахстане. Публикации в журналах с высоким импакт-фактором в последние годы имеют большой вес для преподавателя при решении вопроса о дифференцированной оплате труда, при избрании по конкурсу на вакантную должность и т. д.
Методы
Мы провели анализ некоторых казахстанских журналов, рекомендованных Комитетом по контролю в сфере образования Министерства образования и науки Республики Казахстан. Исследование проводилось в соответствии с протоколом исследования, по которому оценивались его дизайн, методы статистического анализа.
В паспортной части учитывались такие критерии, как название журнала, его специфика (общественное здравоохранение, клиническая медицина, фарм. медицина), номер выпуска, год издания, количество авторов по местам работы.
Вид исследования оценивался по критериям: обзор, метаанализ, информация о конференциях, некрологи, представление лауреатов, оригинальное исследование, другое.
Дизайн исследования определялся по названию: рандомизированное контролируемое исследование, когортное исследование, исследование «случай — контроль», перекрестные аналитические случаи, описание серии случаев, описание отдельных случаев.
Методы статистического анализа определялись по следующим критериям:
— методы расчета выборки;
— применение методов статистической обработки (ручная обработка, обработка при помощи пакета статистических программ MS Excel, SPSS, Statgraphics, SAS);
— соответствие названия методологии его содержанию (соответствие мнения автора/оценка эксперта);
— какие статистические методы применялись для обработки данных: величина р, средние арифметические, стандартная ошибка средней арифметической, среднеквадратическое отклонение, средние геометрические, средние гармонические, медианы, квартили (перцентили), частоты и доли, доверительные интервалы (либо для долей, либо для средних), проверялась ли нормальность распределения (по критериям Шапиро — Уилка или Колмогорова — Смирнова), непарный критерий Стьюдента, парный критерий Стьюдента, поправка Бонферрони для множественых сравнений, критерий Манна — Уитни, критерий Вилкоксона для парных выборок, однофакторный дисперсионный анализ, критерий Краскела — Уоллиса, дисперсионный анализ для парных наблюдений, критерий Фридмана, корреляционный анализ с расчетом коэффициента Пирсона, корреляционный анализ с расчетом коэффициента Спирмена, корреляционный анализ с расчетом коэффициента Кендалла, одномерный (простой, однофакторный) линейный регрессионный анализ, многомерный (множественный, многофакторный) линейный регрессионный анализ, критерий хи-квадрат Пирсона, представлен ли расчет размера выборки в разделе методы, логистический регрессионный анализ, таблицы дожития, анализ выживаемости по методу Каплана — Майера, лог-ранговый критерий и
его аналоги (Вилкоксона — Гехана, Тарона — Варе), анализ пропорциональных рисков Кокса (регрессия Кокса), характеристические кривые (ROC-кривые), анализ временных рядов (любой вид), математическое моделирование (любое, если не подходит под описание выше).
Выборка журналов для проведения исследования проводилась сплошным методом за 2011 год (4 издания за один год) по следующим критериям включения и исключения:
1. Журналы, включенные в перечень рекомендованных Комитетом по контролю в сфере образования и науки, всего 44 журнала.
2. Из них журналы, включенные в базу данных еНЬгагу.кг, находящиеся в свободном доступе в онлайн-режиме, рекомендованные Казахским Национальным центром научно-технической экспертизы. Всего на сайте еНЬгагу.^ в области здравоохранения было 8 журналов: из них в доступном онлайн-режиме два. По этическим соображениям, названия журналов обозначаться не будут.
Генеральная совокупность составила 189 статей. Анализировались только оригинальные работы, всего 133 статьи (70,4 % от объема генеральной совокупности). Обзоры, некрологи, информации о международных конференциях, отчеты о работе диссертационного совета — всего 56 статей (29,6 % от генеральной совокупности), в которых не использовались методы статистического анализа, не учитывались.
Нами был составлен протокол исследования, по которому оценивались дизайн исследования, методы статистического анализа.
Результаты
Всего было проанализировано 133 статьи. Количество авторов в одной статье в среднем — два человека. По местам работы чаще всего публиковались сотрудники научно-исследовательских институтов
— 116 работ, что составило 87,2 % от числа проанализированных. Самыми активными оказались научные сотрудники из г. Алматы — 54 работы (40,6 %). Количество опубликованных работ авторами из городов Атырау, Караганда, а также из Южно-Казахстанской области составило по 13 с каждого региона, каждый — по 9,8 %. От авторов из городов Уральск, Павлодар, Талдыкорган, Актобе было принято и опубликовано по 6 работ, что составило по 4,5 % на каждый указанный регион. Также встречались работы из стран Содружества Независимых Государств, в частности Баку (Азербайджан) — 7 работ (5,3 %).
В 11 научных работах (8,3 %) отсутствовала полная информация об авторе (название организации, город, контактные данные и т. д.). Только в 23 работах (17,3 %) есть ссылки на пакет применяемых программ. Из упомянутых наиболее часто исследователи применяли MS Excel — в 11 случаях, что составило 47,8 %; SPSS — в 7 случаях (30,4 %); Statgraphics
— в 4 (17,4 %); SAS — 1 (4,3 %). Хотя, по данным некоторых авторов, применение программы MS Excell
является наименее удачным, так как не дает возможности исследователю проверить тип распределения данных и имеет в наличии лишь параметрические методы статистики [1]. При оценке дизайна исследования авторами статей чаще всего использовались: описание серии случаев — 84 работы, что составило 63,2 %; исследования «случай — контроль» — 36 (27,1 %); описание отдельных случаев — 13 (9,8 %). Рандомизированные контролируемые исследования, когортные исследования, перекрестные аналитические случаи авторами не использовались.
Расчет размера выборки в разделе «Методы исследования» был произведен только в 29 случаях (21,8 %); в 85 случаях (63,9 %) отсутствовало описание, каким образом проводилась выборка; в 18 (13,5 %) выборка отсутствовала вообще, что является неприемлемым при проведении исследования и может привести к заведомо ложным результатам. Методы аналитической статистики применялись в 61 работе (46,0 %): критерий Стьюдента в 24 (39,3 %), корреляционный анализ — в 22 (36,1 %), регрессионный анализ — в 9 (15,4 %), дисперсионный анализ — в 6 (9,8 %). В 30 случаях, что составляет 49,2 %, статистический метод не указан, что уже дает право читателю усомниться в ценности данных исследований. Что касается применения критерия Стьюдента, то ни в одной из работ не проводилась проверка всех трех из необходимых для его применения условий: две группы, нормальность распределения, равенство дисперсии. Такие статистические методы, как доверительные интервалы для долей, для средних; нормальность распределения (по критериям Шапиро
— Уилка или Колмогорова — Смирнова), поправка Бонферрони для множественых сравнений; критерий Манна — Уитни, Вилкоксона и т. д. для обработки данных не использовались.
Обсуждение результатов
Критический анализ научных публикаций не является научной новизной, и проведенные зарубежные и отечественные исследования, где приводится достаточно доказательств того, что ошибки могут встречаться во время планирования, проектирования, анализа и интерпретации статистических данных, служат тому подтверждением [1,3, 5]. Отрицательным моментом является то, что практически нет литературы, демонстрирующей неправильный расчет и общие недостатки компьютерных программ [6]. Хотя использование исходных данных Бенфорда в биомедицинских исследованиях изучено очень хорошо [4]. Вывод один, все исследования с критическим анализом научных публикаций на корректность использования статистических методик призваны обеспечить практикующих врачей качественной и достоверной информацией.
Выявленные погрешности и недостатки в использовании статистических методов исследования в проанализированных работах убедительно свидетельствуют о необходимости пересмотра «статистической
политики» авторами научных статей, публикуемых в отечественных журналах. Авторам также следует повысить подготовку в вопросах анализа данных, необходимого для критического изучения собственных публикации путем литературного поиска в рецензируемых журналах.
Авторы заявляют, что не имеют конкурирующих интересов.
Авторы благодарят профессора Гржибовско-го А. М. (Северный государственный медицинский университет, г. Архангельск, Россия) за ценные советы во время проведения исследования.
Список литературы
1. Гржибовский А. М. Применение статистики в терапии. Критический анализ публикации // Бюллетень СГМУ 2000. № 2. С. 22-23.
2. Единые требования к рукописям, представляемым в научно-практический журнал «Экология человека» // Экология человека. 2011. № 12. С. 55-60.
3. Altman D. G. Statistics in medical journals: Developments in the 1980s. // Statistics in Medicine. 1991. Vol. 10. P. 1897-1913.
4. Diaconis P., Freedman D. On rounding percentages // J. Amer. Stat. Assoc. 1979. Vol. 74. P. 359-364.
5. Gardenier J. S., Resnik D. B. The misuse of statistics: concepts, tools, and a research agenda // Accountability in Research. 2002. Vol. 9. P. 65-74.
6. McCullough B. D. On the accuracy of statistical procedures in Microsoft Excel 97 // Comput Statist Data Anal. 1999. Vol. 31. P. 27-37. Publisher Full Text.
References
1. Grzhibovskij A. M. Primenenie statistiki v terapii. Kriticheskij analiz publikacii [Statistics application in therapy. Critical analysis of the publication]. Bjulleten' SGMU [Bulletin of Northern State Medical University]. 2000, no. 2, pp. 22-23. [in Russian]
2. Edinye trebovanija k rukopisjam, predstavljaemym v nauchno-prakticheskij zhurnal “Jekologija cheloveka" [Standard requirements to manuscripts submitted to scientific practical Journal "Human Ecology"]. Ekologija cheloveka [Human Ecology]. 2011, no. 12, pp. 55-60. [in Russian]
3. Altman D. G. Statistics in medical journals: Developments in the 1980s. Statistics in Medicine. 1991, vol. 10, pp. 18971913.
4. Diaconis P., Freedman D. On rounding percentages. J. Amer. Stat. Assoc. 1979, vol. 74, pp. 359-364.
5. Gardenier J. S., Resnik D. B. The misuse of statistics: concepts, tools, and a research agenda. Accountability in Research. 2002, vol. 9, pp. 65-74.
6. McCullough B. D. On the accuracy of statistical procedures in Microsoft Excel 97. Comput Statist Data Anal. 1999, vol. 31, pp. 27-37. Publisher Full Text.
ASSESSMENT OF USE OF STATISTICAL METHODS IN SCIENTIFIC ARTICLES OF THE KAZAKHSTAN’S MEDICAL JOURNALS
1А. А. Akanov, 11 2B. S. Turdalieva, 1A. K. Izekenova,
1M. A. Ramazanova, E. T. Abdraimova,
3i 4A. M. Grjibovski
1Scool of Public Health, Kazakh National Medical University, Almaty, Kazakhstan
2Center of Evidence Based Medicine, Almaty, Kazakhstan 3International School of Public Health, Northern State Medical University, Arkhangelsk, Russia 4Department of International Public Health, Norwegian Institute of Public Health, Oslo, Norway
Medical journals of Kazakhstan intergrate to the international space, however today none of them has Science Citation Index and doesn't enter into the Web of knowledge database, according to this, articles published in Kazakhstan’s journals can't come to the international level. The said problem determines the necessity of an analysis and the identification of the key problems, which “prevents” from spreading the research results achieved by the Kazakhstan scientists. The work objective is to evaluate the use of statistics and appropriate software by the authors of original articles in such journals as recommended by the Kazakh National Centre for Scientific & Technical Expertise and included in the Database еШта^^. We have taken a certain standard statistical analysis methods of investigation.
In the evaluation of the research design, the authors of articles mostly used as follows: a series of cases, a control study and description of specific cases. A scope of selection in Section “Research Methods” was only calculated in 21,8 % of cases, and in 63,9 % of cases there was no description how the selection was carried out.
Keywords: statistical methods of research, distribution of results of research
Контактная информация:
Изекенова Айгульсум Кулынтаевна - докторант Школы общественного здравоохранения Казахского национального медицинского университета имени С. Д. Ас-фендиярова
Адрес: 050012, Республика Казахстан, г. Алматы, ул. Толеби, д. 94
E-mail: aik-99@mail.ru
