CC BY
273
© И.П. Гайдышев, 2005
Статистика в публикациях
И.П. Гайдышев
Statistics in publications
I.P. Gaidyshev
Федеральное государственное учреждение науки «Российский научный центр "Восстановительная травматология и ортопедия" им. академика Г.А. Илизарова Росздрава», г. Курган (директор — заслуженный деятель науки РФ, член-корреспондент РАМН, д.м.н., профессор В.И. Шевцов)
Рассмотрены источники и прокомментированы требования по адекватному представлению статистических результатов в научных публикациях на основе методологии науки и принципов доказательной медицины. Соблюдение рассмотренных требований улучшит планирование научных исследований, поможет авторам выполнять качественный анализ экспериментальных и клинических данных и облегчит принятие статей к публикации в научных журналах.
Ключевые слова: требования для авторов, научная публикация, методология науки, прикладная статистика, ортопедия, травматология.
Sources have been considered and requirements have been commented concerning the adequate presentation of statistical results in scientific publications on the basis of science methodology and the principles of conclusive medicine. Adherence to the requirements considered will improve planning of scientific studies, help authors to make a qualitative analysis of experimental and clinical data and facilitate acceptance of works for publication in scientific journals. Keywords: requirements for authors, scientific publication, science methodology, applied statistics, orthopaedics, trauma-tology.
Использование прикладной статистики в медицинской науке наравне с другими методами исследования обосновано тем, что статистические свойства - это такие же полноценные объективные характеристики, как и любые физические, химические и другие параметры, получаемые инструментально. Статистика может быть использована исследователями неверно настолько же, насколько выбран неадекватный метод исследования, неграмотно использован какой-либо прибор, неверно интерпретированы результаты, предложена ошибочная теория. Задача устранения таких неприятностей решается на всем пути от планирования исследования до обнародования результатов - исследователями, руководителями проектов, редакторами научных журналов и читателями. Это - серьезная позиция, базирующаяся на принципах доказательной медицины [5, 9]. Напомним, что термин «доказательная медицина» является адаптированным переводом «evidence-based medicine». Иначе доказательная медицина (научно-доказательная медицина) означает «медицину, основанную на фактах» [9, с. 3]. Важность затронутой нами темы подтверждается тем, что рассмотренные требования к рукописям, представляемым в биомедицинские журналы, подробно рассматриваются в каждом источнике по доказательной медицине.
История вопроса В 1978 г. редакторы ведущих медицинских журналов собрались в г. Ванкувер (Канада) для
решения вопроса о единых технических требованиях к рукописям, представляемым в редактируемые ими журналы. Небольшая группа редакторов стала известна как Ванкуверская группа. Ее требования были впервые опубликованы в 1979 г. Позже Ванкуверская группа была преобразована в Международный комитет редакторов медицинских журналов (International Committee of Medical Journal Editors, ICMJE), сформулировавший «Единые требования к рукописям, представляемым в биомедицинские журналы» (далее - «Требования»). В настоящее время Всемирная ассоциация редакторов медицинских журналов (World Association of Medical Editors, WAME), объединяющая редакторов более 700 научных журналов1 из почти 80 стран, на официальном сайте www.wame.org дает ссылку на требования ICMJE. Оригинальная версия «Требований» под названием «Uniform Requirements for Manuscripts Submitted to Biomedical Journals: Writing and Editing for Biomedical Publication» опубликована [1], а также общедоступна через Интернет по ссылке www.icmje.org на официальном сайте ICMJE. Документ распространяется свободно. Его повсеместное распространение в информационных целях и приведение требований для авторов всех медицинских журналов в соответствие с данным документом приветствуется ICMJE. Перевод на русский язык указан
1 В данный список на момент публикации входят журналы из других стран СНГ, но не России.
ссылкой www.mediasphera.aha.ru/trebov.htm.
Следует обратить особое внимание, что речь идет именно о «Требованиях», а не о рекомендациях. Это означает, что статьи, не удовлетворяющие «Требованиям», не будут приняты к публикации по формальному признаку. Многие из требований не являются новыми для отечественных авторов и некоторые публикации им удовлетворяют, что является скорее доброй волей исследователей, чем результатом целенаправленной работы в области организации и планирования научных исследований.
Особенно важно решение поднятой проблемы в фундаментальных и прикладных исследованиях в травматологии, ортопедии и смежных научных дисциплинах, т.к. в данных разделах медицинской науки математико-статистический анализ является незаменимым и традиционным инструментом.
Статистика в публикации
«Требования» содержат формальные правила для авторов относительно состава публикации, стиля оформления, представления библиографии. Затрагиваются такие основные проблемы подготовки рукописи, как «Этические вопросы» и «Методы». В действующую редакцию «Требований» входят и раздел «Статистика», а также «Таблицы». Некоторые положения разделов «Методы», «Статистика» и «Таблицы» дублируют или дополняют друг друга, поэтому для избежания повторений логически объединим их в следующие разделы: 1. Исходные данные; 2. Методы анализа; 3. Источники; 4. Программное обеспечение; 5. Терминология. Обсудим данные разделы подробно и прокомментируем, где это необходимо.
1. Исходные данные.
• «Ясно и подробно опишите, каким образом отбирались больные или лабораторные животные для наблюдений и экспериментов (в том числе и в контрольные группы); укажите их возраст, пол и другие важные характеристики». «Сообщения о проведении рандомизированных контролируемых исследований должны содержать информацию обо всех основных элементах исследования, включая протокол (изучаемая популяция, способы лечения или воздействия, исходы и обоснование статистического анализа), назначение лечения (методы рандомизации, способы сокрытия формирования групп лечения) и методы маскировки (обеспечения «слепого» контроля). Авторы, представляющие обзоры литературы, должны включить в них раздел, в котором описываются методы, используемые для нахождения, отбора, получения информации и синтеза данных. Эти методы также должны быть приведены в резюме». «Приведите детали процесса рандомизации. Опишите, какие методы были применены для обеспечения «сле-
пого» контроля и насколько успешно. Укажите на осложнения, возникшие в процессе лечения».
Под рандомизацией понимают случайное распределение пациентов по группам [5, с.101]. Рандомизация предполагает соблюдение двух условий: непредсказуемый характер распределения пациентов по группам и «слепой» отбор [9, с.8].
Рандомизация может осуществляться с использованием различных аппаратных, программных и аппаратно-программных генераторов равномерно распределенных случайных чисел или соответствующих таблиц. Наилучшие результаты наиболее экономичным путем в настоящее время могут быть получены с помощью специального программного обеспечения, генерирующего качественную последовательность псевдослучайных чисел. Под качеством случайных чисел подразумевают их соответствие определенным условиям, с которыми можно ознакомиться, например, на сайтах, посвященных программному обеспечению Statistica или AtteStat.
«Слепые» исследования призваны максимально уменьшить знания участвующих в исследовании сторон (пациент, врач, организатор и обработчик результатов) о том, какое лечение получает конкретный пациент. Это делается с целью исключения субъективного влияния на результаты исследования. Различают типы «слепых» исследований [9, с.45]: открытые (врач и пациент знают, какой метод лечения назначен), простые слепые (пациент не знает, а врач располагает такой информацией), двойные слепые (ни врач, ни пациент не знают назначенного метода лечения), тройные слепые (ни пациент, ни врач, ни организатор исследования не знают назначенного метода лечения у конкретного пациента до завершения анализа полученных результатов). Иногда типы слепых исследований не могут быть реализованы по этическим соображениям, поэтому к изложенному в настоящем абзаце требованию стоит отнестись критически.
2. Методы анализа.
«Опишите методы, аппаратуру (в скобках укажите ее производителя и его адрес — страну или город) и все процедуры в деталях, достаточных для того, чтобы другие исследователи могли воспроизвести результаты исследования. Приведите ссылки на общепринятые методы, включая статистические ...; дайте ссылки и краткое описание уже опубликованных, но еще недостаточно известных методов; опишите новые и существенно модифицированные методы, обоснуйте их использование и оцените их ограничения». «Описывайте статистические методы настолько детально, чтобы грамотный читатель, имеющий доступ к исходным данным, мог проверить полученные Вами результаты. По возможности, подвергайте полученные данные количественной оценке и представляйте их с соответствующими показате-
лями ошибок измерения и неопределенности (такими как доверительные интервалы). Не следует полагаться исключительно на статистическую проверку гипотез, например, на использование значений р, которые не отражают всей полноты информации. Обоснуйте выбор экспериментальных объектов». «Поместите общее описание методов в раздел «Методы». При суммировании данных в разделе «Результаты» укажите, какие статистические методы были использованы для их анализа. Ограничьтесь теми таблицами и рисунками, которые необходимы для подтверждения основных аргументов статьи и для оценки степени их обоснованности. Используйте графики в качестве альтернативы таблицам с большим числом данных; не дублируйте материал в графиках и в таблицах». «Приведите количество наблюдений. Сообщите число случаев, когда наблюдение осуществлялось не до конца исследования (например, количество больных, выбывших из клинического испытания)». «Укажите, какие статистические меры использовались для представления вариабельности данных, например, стандартное отклонение или ошибка средней».
Требование детального описания в биомедицинской публикации, особенно в ограниченной по объему статье, применяемых статистических методов мы полагаем чрезмерным. Достаточно назвать метод и привести ссылку на авторитетный источник, лучше на монографию.
Статистический анализ данных всегда начинается с установления факта, является ли распределение эмпирической выборки нормальным. Это необходимо для выбора метода анализа, соответствующего представленным данным. Многие исследователи ошибочно полагают, что нормальность распределения можно проверить только для больших выборок, утверждая, что малый размер выборки автоматически означает невозможность проверки данного факта и, следовательно, к таким выборкам нельзя применять, например, параметрические методы анализа. Это - распространенное заблуждение. Существуют методы проверки нормальности для выборок численностью от трех вариант. Кроме того, данные процедуры стандартизованы [7, 14], реализованы в лучших компьютерных программах и не должны вызывать непонимания исследователей. Другое распространенное заблуждение гласит, что распределение является нормальным тем вернее, чем больше выборка. Это не так, и проверки нормальности избежать не удастся в любом случае.
Примитивные аналитические алгоритмы обработки данных находят большее понимание исследователей, поэтому применяются чаще, в совокупности принося больше пользы, чем сложные. Тем менее при использовании любых алгоритмов возможны ошибки, когда исходные данные и методы их обработки не соответству-
ют друг другу по шкале измерения. Отметим, что в некоторых компьютерных программах реализованы методы обработки данных, измеренных в различных шкалах. Например, программа AtteStat позволяет выполнять факторный и кластерный анализ качественных, порядковых, количественных выборок и данных, измеренных в смешанных шкалах.
Использование в работе ошибок средних и доверительных интервалов предлагается во многих рекомендациях. Следует помнить, что формулы вычисления названных показателей зависят от типа распределения. Как правило, в программах данные алгоритмы реализованы только для нормально распределенных выборок.
Вопреки «Требованиям», на статистическую проверку гипотез можно полагаться, если соблюдены все предпосылки применения данного статистического метода. Если получены парадоксальные результаты, задача исследователя - не отвергнуть якобы неправильный метод, а объяснить наблюдаемые факты и попробовать скорректировать или предложить новую теорию.
Использование объемных числовых таблиц оправдано только в одном случае - для представления в приложении к работе всех исходных данных. В любом случае такой работой является диссертация.
В работе следует использовать графики различных типов. Графический анализ статистических данных [17] получил особенно широкое распространение после того, как компьютеры стали обладать великолепными графическими системами, а совершенный графический интерфейс пользователя сделал доступным чрезвычайно легкое и удобное управление построением графиков различных типов. Графический анализ упрощает и делает наглядными результаты исследования. В некоторых случаях только графический анализ способен дать компактное представление результатов, осознать которые другими способами невозможно в силу большого объема.
Существует класс статистических методов, так называемые бутстреп-процедуры, предназначенных для анализа данных, когда часть наблюдений по различным причинам оказывается незавершенной. С обзором данных методов можно ознакомиться по лучшей в своем роде монографии Б. Эфрона [18]. Имеется и специальное программное обеспечение. Следует также обратить внимание на методы восстановления пропущенных данных и методы исключения резко выделяющихся наблюдений, реализованные во многих программах статистического анализа данных. При использовании указанных процедур следует оценить их, сверяясь с надежным источником [6, с.111].
Проблема правильности, с точки зрения прикладной статистики, представления и анализа результатов медико-биологических исследова-
ний поднималась неоднократно, в том числе на самом высоком уровне [12]. Подробные материалы на эту тему, включающие обширный каталог удручающих примеров, собраны на сайте www.biometrica.tomsk.ru.
3. Источники.
«При описании структуры исследования и статистических методов ссылки должны приводиться, по возможности, на известные руководства и учебники (с указанием страниц), а не на статьи, в которых впервые встречается их описание».
В связи с увеличением количества статей даже ознакомление с их рефератами в конкретной области, например, ортопедии и травматологии, становится нелегкой задачей. Только монографии имеют шанс не потеряться в океане информации. Если говорить о прикладной статистике, то данное требование не покажется чрезмерным, т.к. предложенный метод анализа обязательно должен многократно практически доказать правильность, прежде чем ему будет доверять научное сообщество.
Вопрос о заслуживающих доверия источниках - это предмет отдельного исследования. Отметим только, что суждения некоторых авторов вызывают, по меньшей мере, удивление. Ссылки на материалы, размещенные в Интернете, допустимо приводить в точном соответствии с международными стандартами серии Ш0-960, однако пройдет ещё немало времени, сменится поколение ученых, прежде чем к материалам, опубликованным в сети, будет испытываться точно такое же уважение, как и к печатным источникам.
Многим отечественным авторам тот или иной метод становится известным из зарубежных источников. Для публикации на русском языке рекомендуется, прежде чем давать ссылку на иностранный источник, попробовать найти его отечественный аналог или даже перевод на русский язык. Именно так поступают наиболее грамотные переводчики научной литературы.
4. Программное обеспечение.
«Укажите, какие компьютерные программы, доступные для широкого пользователя, применялись в Вашей работе».
Применение той или иной программы статистического анализа данных не гарантирует, что анализ будет выполнен верно, однако выбор правильного программного инструмента дает больше оснований надеяться, что это будет так. Номенклатура программного обеспечения статистического анализа данных, представленного на мировом рынке, насчитывает сотни наименований универсальных и специализированных программных продуктов. С самым полным обзором, за исключением, возможно, Российских программ и программ из других стран СНГ, всегда можно ознакомиться на сайте www.statistics.com. Рассмотрим программные продукты для операционной системы Microsoft Windows, ставшей стандартом де-факто как в России, так и за рубежом, хотя большинство программ имеет версии и для других операционных систем. Наиболее известные профессиональные версии зарубежных программных продуктов, применяемых в научных экспериментальных и клинических исследованиях зарубежными биомедицинскими центрами и университетами, указаны в таблице 1 (в алфавитном порядке).
Производители обычно указывают рекомендованные группы пользователей, что не мешает использовать программы для анализа любых, в том числе и биомедицинских, данных. Продукты SAS ориентированы на банковское и финансовое дело, страховые компании, телекоммуникации; SPSS - на исследования в области социальных наук. Продукт SYSTAT - на науки об окружающей среде, науки о жизни и поведении, медицинские исследования. Продукты StatSoft -на статистические исследования в промышленности, медицине и других областях.
Доступность программ для российского пользователя определяется двумя параметрами: возможностью их приобретения на территории России (хотя заказать можно любой продукт) и наличием локализации. Рекомендуемое программное обеспечение, удовлетворяющее этим требованиям, приводится в таблице 2 (в алфавитном порядке).
Таблица 1
Универсальные статистические программы
Производитель
Insightful Corp. Manugistics Inc. Minitab Inc.
Продукт
S-PLUS
Источник
Ссылка
STATGRAPHICS*Plus
[8]
MINITAB
www.insightful.com
www.statgraphics.com
www.minitab.com
NCSS Statistical Software
NCSS
www.ncss.com
SAS Institute Inc.
JMP
www.jmp.com
SPSS Inc.
SPSS
StatSoft Inc.
Statistica
[3] [2]
www.spss.com
www. statsoft. com
Systat Software Inc.
SYSTAT
www.systat.com
Таблица 2
Рекомендуемое программное обеспечение
Производитель Продукт 1 Источник Ссылка
A. Simachov Статистика+ www.statplus.nm.ru
SPSS Rus 1 SPSS Russian ll[3] www.spss.ru 1
StatSoft Russia Statistica Russian [2] www.statsoft.ru
А. Кулаичев 1 ¡STADIA ll[10] www.protein.bio.msu.su/~akula 1
И. Гайдышев AtteStat [6] www.ilizarov.ru/Attestat/Index.htm
Анализ программных продуктов отечественной разработки показал, что в «живых»2 из обилия статистических программ, которое существовало в России середины 1990-х годов, осталась одна - всемирно известная STADIA - Statistical Dialogue System. Доступность программ не менее важна, чем доступность исходных данных для анализа. Программы, выполненные по заказу или для внутрикорпоративного применения, обычно недоступны широкому кругу исследователей. От упоминания таких специальных программ в научной публикации следует воздерживаться. Важно, что на территории России программное обеспечение защищено от незаконного использования Законом РФ от 23 сентября 1992 г. № 3523-1 «О правовой охране программ для электронных вычислительных машин и баз данных», а указание в публикации нелицензионной компьютерной программы мы рассматриваем аналогично фантастическому упоминанию, что исследование было выполнено с помощью похищенного прибора.
Если нет возможности приобрести указанные программы, для прикладного статистического анализа с успехом могут применяться электронные таблицы, например, Microsoft Excel [13]. Несмотря на ограниченность номенклатуры методов, работают они надежно, а функциональность может быть легко расширена. Прекрасные графические свойства [17] и возможность программирования пользовательских процедур [6] позволяют рекомендовать Excel в качестве полноценной замены статистическим программным продуктам.
Отметим правовые ограничения применения всего программного обеспечения, в том числе упомянутого в данной публикации. Порядок применения программного обеспечения (запрещение, разрешение, обязательность сертификации, рекомендации применения и т.п.) в специальных областях, в частности, в здравоохранении, регулируется действующими законодательными нормами Российской Федерации: указами, федеральными законами и ведомственными приказами и распоряжениями. Аналогичные нормы могут действовать и на территории дру-
2 О «живости» программы свидетельствуют: возможность
приобретения, наличие сайта в Интернете, регулярное появление обновлений, поддержка пользователей и цитируе-мость.
гих государств.
5. Терминология.
• «Избегайте употребления статистических терминов, таких как «рандомизированный» (что означает случайный способ отбора), «значимый», «корреляции» и «выборка», для обозначения нестатистических понятий. Дайте определение статистическим терминам, сокращениям и большинству символов».
Каждая отрасль науки имеет свой лексикон зарезервированных слов, которые, при их употреблении в «бытовом» смысле, могут ввести в заблуждение читателя. К числу специальных терминов, употреблять которые вне связи со статистическим анализом не рекомендуется, мы отнесли бы также: «многофакторный анализ», «моделирование», «достоверность», «нормаль-ность»3, «робастность» и др. Рекомендуется согласовывать статистические термины, прежде всего, с энциклопедиями и энциклопедическими словарями [4]. В энциклопедических и толковых словарях при необходимости можно найти замену, что не только послужит соблюдению рассматриваемого требования, но и улучшит литературный стиль публикации. При написании фамилий иностранных авторов следует, во-первых, придерживаться общепринятой транскрипции (источники по убывающей - энциклопедии и энциклопедические словари, монографии, статьи), во-вторых, по возможности, в скобках приводить написание фамилии на языке оригинала.
Следует строго придерживаться стандартных формулировок статистических выводов и обязательно расшифровывать результаты расчетов, выданные статистическими программами, на языке, понятном читателям - не специалистам в области статистики. Впрочем, лучшие в интеллектуальном и эргономическом отношении статистические программы способны выдавать такие формулировки.
Как Вам нравится термин «ненормальность»? - этот артефакт из уважаемого источника способен вызвать лишь улыбку.
ЗАКЛЮЧЕНИЕ
В соответствии с рекомендациями ЮНЕСКО [15], науки подразделяются на естественные, инженерные и технические, медицинские, сельскохозяйственные, социальные и гуманитарные. В медицинские науки входят анатомия, стоматология, медицина, уход за больными, акушерство, оптометрия, остеопатия, фармакология, физиотерапия, здравоохранение и другие смежные области. При этом в большинстве областей науки исследования могут классифицироваться иа фундаментальные или прикладные:
• Фундаментальные исследования: экспериментальная или теоретическая деятельность, направленная, прежде всего, на получение новых знаний об основах явлений и наблюдаемых фактов, без какой-либо особой или конкретной цели, связанной с применением или использованием (курсив автора).
• Прикладные исследования: оригинальные исследования, предпринятые в целях приобретения новых знаний. Они направлены, прежде всего, на достижение конкретной практической цели или задачи.
Исходя из данной классификации медицинские науки следует отнести к прикладным наукам. Российский законодатель [16] усиливает практическую направленность науки, отождествляя прикладные исследования с практическим внедрением:
• Фундаментальные научные исследования - экспериментальная или теоретическая деятельность, направленная на получение новых знаний об основных закономерностях строения, функционирования и развития человека, общества, окружающей природной среды.
• Прикладные научные исследования - направлены преимущественно на применение новых знаний для достижения практических целей и решения конкретных задач.
Возможно, такая своеобразная трактовка рекомендаций ЮНЕСКО создает проблемы особенно с финансированием в ряде естественных и технических наук, но для медицинской науки нельзя не заметить положительный эффект.
Наука ради науки в биомедицинских исследованиях неприемлема по этическим принципам. Поэтому важно четко сформулировать критерии оценки результатов медицинских исследований, принятые в доказательной медицине.
Основными критериями оценки эффективности в медицинских исследованиях должны быть клинически важные результаты или исходы лечения [9, с.11]: выздоровление, продолжительность и качество жизни, отдаленные результаты, степень реабилитации. Но многие авторы в качестве критерия оценки принимают суррогатные исходы. Под суррогатным исходом понимают лабораторный или иной показатель, обнаружение физического эффекта или биологической закономерности, заменяющие клинически важный результат лечения. Предполагается, что изменения этого показателя должны отразиться и на клинически исходе. К сожалению, суррогатные исходы не всегда взаимосвязаны с клиническими исходами. Более того, анализируя тот или иной суррогатный исход, при неполном учете иных факторов, невозможно сделать определенные выводы о клиническом исходе. Все это значительно снижает научную ценность работы. Если в отечественных медицинских научных журналах такие статьи пока еще охотно публикуются, то при попытке публикации в зарубежных изданиях, членах WAME, а это почти все серьезные издания, авторы рискуют получить отказ. Совершенно очевидны пробелы в математико-статистическом образовании исследователей [12], что поправимо при осознании важности системы непрерывного образования, улучшении мотивации исследователей и внедрении интеллектуального программного обеспечения. Совершенствование законодательства о науке, базирование любой исследовательской программы на глубоких философских позициях [11], стандартизация процессов в научных исследованиях, внедрение принципов доказательной медицины и международных стандартов качества расставят все на свои места.
ЛИТЕРАТУРА
1. Uniform requirements for manuscripts submitted to biomedical Journals / International committee of medical Journal editors // Ann. Int. Med. - 1997. - Vol. 126. - P. 36-47.
2. Боровиков, В. П. STATISTICA: искусство анализа данных на компьютере. Для профессионалов / В. П. Боровиков. - СПб. : Питер, 2001.
3. Бююль, А. SPSS: искусство обработки информации. Анализ статистических данных и восстановление скрытых закономерностей / А. Бююль , П. Цефель. - СПб. : ООО «ДиаСофтЮП», 2001.
4. Вероятность и математическая статистика : Энциклопедия. - М. : Научное изд-во «Большая Российская энциклопедия», 1999.
5. Власов, В. В. Введение в доказательную медицину / В. В. Власов. - М. : Медиа Сфера, 2001.
6. Гайдышев, И. П. Решение научных и инженерных задач средствами Excel, VBA и C/C++ / И. П. Гайдышев. - СПб: БХВ-Петербург, 2004.
7. ГОСТ Р ИСО 5479-2002. Статистические методы. Проверка отклонения распределения вероятностей от нормального распределения. - М.: Издательство стандартов. 2002.
8. Дюк, В. Обработка данных на ПК в примерах / В. Дюк. - СПб: Питер, 1997.
9. Котельников, Г. П. Доказательная медицина. Научно-обоснованная медицинская практика / Г. П. Котельников, А. С. Шпигель.
- Самара: СамГМУ, 2000.
10. Кулаичев, А. П. Методы и средства анализа данных в среде Windows. STADIA / А. П. Кулаичев. - М. : Информатика и компьютеры, 1999.
11. Лакатос, И. Методология исследовательских программ / И. Лакатос. - М. : ООО «Издательство АСТ»: ЗАО НПП «Ермак», 2003.
12. Леонов, В. П. Об использовании прикладной статистики при подготовке диссертационных работ по медицинским и биологическим специальностям / В. П. Леонов, П. В. Ижевский // Бюллетень ВАК. 1997. - № 5.
13. Макарова, Н. В. Статистика в Excel: Учебное пособие / Н. В. Макарова , В. Я. Трофимец. - М. : Финансы и статистика, 2002.
14. Рекомендации по стандартизации Р 50.1.037-2002. Прикладная статистика. Правила проверки согласия опытного распределения с теоретическим. Ч. II. Непараметрические критерии. - М. : Госстандарт России, 2002.
15. Рекомендация «О стандартизации международной статистики в области науки и техники» принята ЮНЕСКО на 20-й сессии Генеральной конференции ЮНЕСКО в г. Париже 27.11.78 г. // Международные нормативные акты ЮНЕСКО. - М. : Логос, 1993. - С. 556-570 ; Свод нормативных актов ЮНЕСКО.- М. : Международные отношения, 1991. - С. 556-570.
16. Федеральный закон от 23.08.96 г. N° 127-ФЗ «О науке и государственной научно-технической политике // Собрание законодательства Российской Федерации, 1996, № 35, ст. 4137. В редакции Федеральных законов от 19.07.98 г. № 111, от 17.12.98 г. № 189-ФЗ, от 03.01.2000 г. № 41-ФЗ // Собрание законодательства Российской Федерации. - 2000. - № 2. - С. 162.
17. Чекотовский, Э. В. Графический анализ статистических данных в Microsoft Excel 2000 / Э. В. Чекотовский - М.: Издательский дом «Вильямс», 2002.
18. Эфрон, Б. Нетрадиционные методы многомерного статистического анализа / Б. Эфрон. - М.: Финансы и статистика, 1988.
Рукопись поступила 25.11.04.
