CC BY
297
БИБЛИОТЕКОВЕДЕНИЕ
УДК 021:001.89 ББК 78.6 + 78.349
DOI 10.20913/1815-3186-2019-2-33-51
СИСТЕМАТИЧЕСКИЙ ОБЗОР КАК ВИД ОБЗОРНО-АНАЛИТИЧЕСКИХ ПРОДУКТОВ
© О. Л. Лаврик, Т. А. Калюжная, М. А. Плешакова, 2019
Государственная публичная научно-техническая библиотека Сибирского отделения Российской академии наук, Новосибирск, Россия; e-mail: [email protected]
В статье собрана, проанализирована и систематизирована информация о систематическом обзоре как виде обзорно-аналитической продукции, дана характеристика его основным специфическим свойствам и общим - с аналитическим обзором, описана его краткая история. Выводится оригинальное определение систематического обзора как аналитического произведения, объемом с крупную научную статью, подготовленного на основании результатов специального научного исследования, выполненного по особой методике и предназначенного для принятия правильного клинического или социального решения. Детально описана методика подготовки систематического обзора, состоящая из 7 этапов, и определена роль сотрудника библиотеки на каждом из них. Все приведенные данные показывают, что сотрудник библиотеки может выступить не только в роли организатора, но и участника исследовательской группы для подготовки актуальных систематических обзоров.
Ключевые слова: обзорно-аналитическая продукция, систематический обзор, аналитический обзор, сравнительный анализ, методика подготовки, функции сотрудника научной библиотеки Для цитирования: Лаврик О. Л., Калюжная Т. А., Плешакова М. А. Систематический обзор как вид обзорно-аналитических продуктов // Библиосфера. 2019. № 2. С. 33-51. DOI: 10.20913/1815-3186-2019-2-33-51.
A systematic review as type of review-analytical products O. L. Lavrik, T. A. Kalyuzhnaya, M. A. Pleshakova
State Public Scientific Technological Library of the Siberian Branch of the Russian Academy of Sciences, Novosibirsk, Russia; e-mail: [email protected]
In the article the information on a systematic review as a form of analytical production is collected, analyzed and systematized. Characteristics of its main specific features and common ones with that of an analytical review are given, its short history is described. THere is an original definition of a systematic review as an analytical product, with a volume of a large scientific article prepared on the basis of the results of a special scientific study, carried out according to special methods and designed to make the right clinical or social decision. THe method of its preparing consisting of seven stages is described in detail, and the role of the library staff in each of them is defined. All presented data prove that a library employee can not only act as an organizer, but also as a member of a research group for preparing up-to-date systematic reviews.
Keywords: information analytical products, a systematic review, an analytical review, comparative analysis, stages of preparing, functions of a research library employee
Citation: Lavrik O. L., Kalyuzhnaya T. A., Pleshakova M. A. Systematic review as type overview-analytical products. Bibliosphere. 2019. № 2. P. 33-51. DOI: 10.20913/1815-3186-2019-2-33-51.
Введение
Систематический обзор - явление отнюдь не новое, но в отечественной научной литературе в области библиотеч-но-информационной деятельности (несколько зарубежных работ все же есть, например: McKibbon A. Systematic Reviews and Librarians, 2006; Phelps S. F., Campbell N. Systematic reviews in theory and practice for library and information
studies, 2012), в учебной литературе по аналити-ко-синтетической переработке информации оно не представлено.
Теоретические вопросы классификации обзоров, их цели, характеристики, функции, методы и методики подготовки хорошо известны и описаны в многочисленных монографиях и учебниках [1, 3, 11, 16, 23, 25, 47, 48]. Можно найти литературу по теории и практике обзорно-аналитической или концептографической
ш s
X ш сз ш m
О ^
ш I-О s с ш s ш
Ш
O z УУ
O
от >-
GC <
GC CG
деятельности, практике подготовки обзоров [10,
12, 14, 18-22, 24, 27-33, 36, 39, 41, 43-45, 51, 53, 54], не говоря уже о теории и практике подготовки обзоров в отечественных информационных институтах - ИНИОН и ВИНИТИ [2, 5, 6,
13, 22, 49, 50, 52].
Однако из поля зрения специалистов отечественных библиотек, преподавателей дисциплины «аналитико-синтетическая переработка информации» выпала еще одна разновидность обзоров - систематический и интегративный, хотя история, например, первого насчитывает уже не один век. Полагаем, что одна из причин этого - неучастие специалистов отечественных библиотек в их подготовке. Это можно подтвердить тем фактом, что мониторинг сайтов российских академических библиотек и библиотек вузов не выявил ни одного упоминания о систематических обзорах. И хотя в отечественной литературе можно найти публикации о систематических обзорах по вопросам их методологии, создания, роли для науки и практики ([4, 7-9, 17, 26, 35, 38, 40, 42, 46] и ряд других), но они написаны специалистами не в области библио-течно-информационной деятельности, а в области медицины, педагогики и образования, естественных и экономических наук и т. д.
За рубежом это направление (подготовка такого рода информационно-аналитических продуктов) уже осваивается библиотеками. Так, на сайте библиотеки Национального университета Сингапура (http://libguides.nus.edu.sg/c. php?g=145717&p=2476270) можно найти информацию о систематических обзорах, но нет сведений, что сотрудники библиотеки университета принимают участие в их подготовке.
Эти виды публикаций - систематический и инте-гративный обзоры - все чаще можно встретить в отечественной1 и зарубежной периодической печати по естественным наукам, особенно по медицине. Анализ документопотока в РИНЦ, Scopus и Web of Science по запросу на основе ключевых слов позволил выявить огромное количество (более 300 тыс.) документов, в названии которых значится systematic review - систематический обзор, причем приведенные в работе [34] данные позволяют сказать, что количество такого рода публикаций с 1990-х гг. ежегодно нарастает. Это можно объяснить тем, что с начала XXI в. подготовка «систематических обзоров» как результатов исследований стала рассматриваться в качестве одного из приоритетов еще и в области образования. Такие обзоры, как полагают специалисты, играют важную роль в предоставлении доказательств из исследований, доступных для лиц, определяющих политику, и практиков [62].
1 Зарубежный опыт хорошо изучен, описан и применяется нашими соотечественниками [17, 26, 35, 37, 42].
В данной статье суммируем основные известные характеристики систематического обзора, предложим обобщенную методику его подготовки и покажем наше видение места сотрудников библиотеки в этом процессе.
1. Определение понятия «систематический обзор»
Как известно, необходимые пользователю сведения о научных результатах и практическом опыте, полученные в самых разнообразных областях науки и практической деятельности, оказываются рассеянными по очень большому числу источников информации. Для их системного представления, сжатия накопленных знаний и существуют различные виды обзорной информации.
Существует большое количество определений понятия «обзор». Вот некоторые:
Под обзором «как видом научно-технической литературы понимается литературное произведение, содержащее сводную характеристику состояния какого-либо вопроса со степенью свертывания, необходимой и достаточной для ориентации определенной категории потребителей информации в документальном или информационном потоке» [3, с. 96].
Обзор - «краткое и последовательное письменное (на любом носителе) изложение наиболее важных сведений на определенную тему, выполненное на основе обобщения и оценки всей (или большей части) информации за определенный период» [39].
Обзор - «научно-технический документ, содержащий полученную на основании анализа, систематизации и обобщения сведений из первоисточников концентрированную информацию о предшествующем и современном состоянии или тенденциях развития проблемы (включая комплексные проблемы), предмета» [18].
Обзор - «это информационное произведение (документ, издание), создаваемое путем анали-тико-синтетической (логической) переработки документальной информации в целях получения необходимого выводного знания относительно состояния, развития и возможных (оптимальных) путей решения данной проблемы» [16].
Обзор - это результат аналитико-синтетической переработки совокупности документов по определенному вопросу (проблеме, направлению), содержащий систематизированные, обобщенные и критически оцененные сведения [23, с. 45].
Тем не менее обычно под обзором понимается информационный продукт, «содержащий синтезированную информацию по какому-либо вопросу или ряду вопросов, извлеченную из некоторого множества специально отобранных для
этой цели первичных документов, вышедших за определенное время» [25, с. 47].
Специалисты едины в основной классификации видов обзоров, если в качестве ее основания взят используемый метод анализа. И здесь выделяют библиографический, реферативный и аналитический обзоры, которые в свою очередь имеют и свои определения (тоже не всегда общепринятые), и свои разновидности.
В работе [34] мы пришли к выводу, что систематический обзор является разновидностью аналитического. Здесь же были приведены существующие определения понятия «систематический обзор». Суммируя их суть, а также основные идеи авторов, пишущих о систематических обзорах, можно сказать, что систематический обзор - это оригинальное аналитическое произведение, объемом с крупную научную статью, подготовленное на основании результатов специального научного исследования, выполненное по осо-
бой методике и предназначенное для принятия правильного клинического или социального решения.
2. Основные характеристики систематического обзора
Как сказал Рене Декарт, «все познается в сравнении». Используя этот метод, рассмотрим особенности систематического обзора на фоне аналитического. Анализ большого массива опубликованных систематических обзоров (более 100 наименований), а также статей, посвященных вопросам подготовки и сути таких обзоров, работа над серией аналитических обзоров «Экология» [29-33] позволяют сопоставить основные характеристики систематического и аналитического обзоров, выявить их общие черты и специфику систематического обзора (табл. 1).
Т а б л и ц а 1
Сопоставление основных характеристик аналитического и систематического обзоров [34]
T a b l e 1
Comparison of main features of an analytical and systematic reviews [34]
Аспект
Тематический охват
Составители
Характеристики
Аналитический обзор Систематический обзор
Обобщить основные тенденции научной мысли, научные школы, теории, взгляды, дать рекомендации, провести сравнение, выразить свою точку зрения по вопросу на основе собранной и обобщенной информации
Широкий диапазон проблем, связанных с определенной темой, или определенная тема, касающаяся какой-либо комплексной проблемы, часто довольно широкая
Один автор или группа специалистов, авторитетных в данной области
Синтезировать имеющиеся данные по конкретному вопросу. Сопоставить результаты экспериментальных исследований. Объединить количественные результаты нескольких исследований, резюмировать эмпирические знания по исследуемому вопросу. Проанализировать центральные тенденции и различия в результатах исследований. Устранить ошибки и предвзятость в исследовании вопроса. Изложить и синтезировать результаты отдельных исследований (объектами описания в систематическом обзоре не могут быть люди или школы). Перенести результаты научных исследований в практику
Глубокий анализ конкретного вопроса. Исследовательский вопрос хорошо сфокусирован и релевантен
Часто группа специалистов различных специальностей
ш X X ш d ш m
О ^
ш I-О х с ш
X
ш
Характеристики
Аналитический обзор Систематический обзор
Окончание таблицы 1
Аспект
ш
о
Z ш
о
от >-
GC <
GC Ш
Источники данных
Стратегия
Отбор данных
Методы оценки данных
Способы информационного анализа
Обобщение данных
Представление данных
Выводы
Результат
Опубликованные научные работы*
Стратегия поиска не всегда указана
Исчерпывающая полнота документов по теме, но использование устаревших или вызывающих сомнение сведений недопустимо
Различные или вообще не указаны Различные или вообще не указаны
Часто качественное
Различное, чаще описательное
Научно обоснованные, но субъективны, поскольку основываются на собственных суждениях составителя, его критическом отношении к первичной информации
1. Характеристика современного состояния и перспектив развития предмета исследования. Мотивированные выводы по каждому разделу. Общие выводы по теме обзора и предложения по дальнейшему исследованию темы
2.
3.
Опубликованные научные работы и неопубликованные исследования
Стратегия поиска точно изложена и запротоколирована
Строгие критерии, применяемые одинаковым образом (учитываются методы исследования, количество и состав участников, источники финансирования,исходы или результаты), не допускающие произвольности в отборе литературы и изменений, инициируемых уже после начала поиска
Строгие, критические методы оценки
Согласованные объективные для каждого конкретного случая
Количественное (метаанализ**)
Статистическое с использованием оценочных таблиц или графических форм представления данных (например, лесовидной диаграммы, воронкообразного графика и др.), позволяющее выявлять систематические ошибки, связанные с преимущественным опубликованием положительных результатов исследований
Научно обоснованные, системные ошибки исключены
1.
2.
3.
Объективно обобщенные большие объемы информации. Выявленные лакуны в научных исследованиях. Объединенные результаты нескольких исследований
* «...общераспространенной практикой стало не публиковать результаты всех исследований. Как правило, публикуются результаты лишь тех исследований, которые подтверждают гипотезу исследователя или подтверждают интересы спонсора. Такое расхождение между всей совокупностью результатов исследований и опубликованными результатами исследований называют публикационным смещением, или систематической ошибкой опубликования» [8, с. 12]. Известно, что в социальной практике доля неопубликованных результатов исследований составляет 25%. А, например, с 2004 г. некоторые крупные медицинские журналы стали отказывать авторам в публикации материалов их исследований, если эти клинические исследования предварительно не были зарегистрированы, для того чтобы общество имело возможность получать полную и неискаженную информацию [8].
**Метаанализ - это методика «системной интеграции результатов отдельных научных исследований», «складывающаяся из качественного компонента (например, использование таких заранее определенных критериев включения в анализ, как полнота данных, отсутствие явных недостатков в организации исследования) и количественного компонента (статистическая обработка имеющихся данных) [26, с. 88-89].
Таким образом, как и в случае аналитического обзора, систематическому присущи следующие признаки:
1. Использование данных как из опубликованных, так и из неопубликованных источников.
2. Нацеленность на выявление и обобщение информации.
3. Обобщение, синтез данных из большого числа первичных источников по теме обзора.
4. Составителями (авторами) являются только высококвалифицированные специалисты.
5. Обязательность соблюдения принципов полноты и всесторонности при поиске информации для обзора.
6. Использование научных методов при оценке данных и информационном анализе.
7. Научно обоснованный синтез и представление данных.
8. Наличие научно обоснованных выводов.
Им обоим присуща и основная черта реферативного обзора - систематизация отобранного материала.
Чем же отличается систематический обзор от аналитического? Анализ того же массива систематических обзоров, а также изучение литературных источников ([8, 15-17, 23, 33, 37, 46, 57, 67, 71, 80] и др.) позволяет сказать, что эти отличия следующие (табл. 2).
Т а б л и ц а 2 Т а Ь 1 е 2
Отличительные характеристики систематического обзора Specific features of a systematic review
№ Отличительная характеристика п/п систематического обзора
Пояснение (сравнение с аналитическим обзором)
Конкретизация исследуемого Тема аналитического обзора включает широкий диапазон вопроса проблем (комплексную проблему) (например, «Стратегия
перехода к "зеленой" экономике: опыт и методы измерения», «Экология и этика: ориентиры цивилизационных перемен», «Современное состояние и перспективы развития ядерной медицины», «Химия и науки о материалах», «Сенсорные сети. Проблемы и перспективы», «Энергетика, энергоэффективность, энергосбережение» и др.), а в систематическом обзоре изучается конкретный узкий вопрос (например, «Attachment and aged care» (Помощь и уход за пожилыми людьми), «Guidelines for the management of paediatric cholera infection» (Руководство по детской инфекции (холера)), «Guidelines for the treatment of dysentery (shigellosis)» (Рекомендации по лечению дизентерии (шигеллеза), «Assessing self-regulated learning in higher education» (Оценка саморегулируемого обучения в высшем образовании), «THe role of future-oriented technology analysis in e-Government» (Роль ориентированного на будущее технологического анализа в электронном правительстве), «Electrical load forecasting models» (Модели прогнозирования электрической нагрузки), «Связь между применением дигоксина и смертностью», «Систематический обзор рода риса», «Образование инженерии программного обеспечения» и т. п.
Подготовка обзора группой ав- Авторы аналитического обзора должны быть компетент-торов в различных дисциплинах ными в теме обзора, и их круг, как правило, ограничен,
поскольку требуется личная авторитетная авторская оценка и обоснованность выводов, а систематический обзор может быть подготовлен группой авторов различных специальностей, включая профессиональных статистиков, но, вероятно, под руководством специалиста именно в той области, по которой готовится систематический обзор (чтобы производилась оценка адекватности полученных результатов на всех этапах)
ш s
X ш CI ш m О
ш I-О s с ш s
LU
1
2
Окончание таблицы 2
Ш О Z ш
О
от >-
GC <
GC Ш
Отличительная характеристика систематического обзора
Обязательное обеспечение полноты.
Применение строгих принципов отбора данных по релевантности заданной теме
Заданность строгих границ отбора и в самом отборе материала
Наличие специально разработанных методик, которые позволяют минимизировать возможные ошибки и обеспечивают воспроизводимость процедур, плана(протокола) работы над каждым (поскольку систематический обзор - это результат исследования) и точность в следовании ему. Обязательность документирования всех шагов
Применение статистических методов анализа и обобщения данных (метаанализ)
Синтез результатов только отобранных исследований, показывающих порой безальтернативные (единственные) пути решения вопроса
Пояснение (сравнение с аналитическим обзором)
При подготовке аналитического обзора принцип полноты и всеобъемлемости сохраняется и на стадии отбора данных для анализа, а для создания систематического обзора отбор источников обязателен и производится по строгим критериям (таким как методы исследования, количество и состав участников, источники финансирования, исходы или результаты и др. в соответствии с протоколом каждого конкретного систематического обзора), определенным в самом начале работы над обзором
Источниками данных для аналитического обзора являются публикации (а анализу и синтезу подвергаются теории, научные взгляды, описанные тенденции, то есть научно осмысленные и переработанные результаты исследований), а для систематического обзора - опубликованные и неопубликованные результаты эмпирических исследований
Методы оценки данных и способы информационного анализа при подготовке аналитического обзора могут не указываться, а при составлении систематического обзора - строго фиксированы и запротоколированы
В аналитическом обзоре обобщение и представление данных, как правило, качественное и описательное, а в систематическом обзоре - чаще количественное с использованием графических форм представления данных
В аналитическом обзоре выводы субъективные, построенные на собственных суждениях авторов, их критическом отношении к первичной информации, а в систематическом обзоре - строго объективные, исключающие системные ошибки
Кроме того, судя по месту издания, систематические обзоры в подавляющем большинстве случаев публикуются в журналах. Соответственно, они, как и любая научная статья, проходят стадию рецензирования [62].
Принципиальным же отличием систематического обзора от аналитического является то, что первые готовятся и распространяются в важнейших сферах жизнедеятельности человека - медицина, образование, социальные науки-в тех областях, где часто применяются «вмешательства (эксперименты), полезность которых не доказана, и годами не применяются вмешательства, полезность которых вполне доказана» [8]. Систематический обзор как раз и служит основным доказательством «правильного»
вмешательства. Вот почему он является основой, например, для доказательной медицины.
3. Из истории систематических обзоров
Хорошо известно, что история обзорно-аналитической деятельности в том виде, как мы ее понимаем сегодня, начинается с последней четверти XIX в., когда обзоры стали активно публиковаться в научной и технической периодике, хотя единичные аналитические обзоры появлялись уже во второй четверти XIX в.
Нет специальных системных исследований, посвященных истории развития систематических обзоров как информационного
3
4
5
6
7
жанра. Поэтому попробуем систематизировать некоторые данные, не претендуя на полноту.
Можно считать, что первые систематические обзоры были составлены еще в XVII в. английским натуралистом, выпускником Кембриджского университета Джоном Реем: Synopsis Methodica Animalium Quadrupedum et Serpentini Generis («Synopsis of Quadrupeds» («Синопсис четвероногих животных»)), опубликованный в 1693 г., и Methodica Avium et Piscium («Synopsis of Birds and Fish» («Синопсис птиц и рыб»)), опубликованный посмертно в 1713 г. [64, 76].
Среди первых отечественных систематических обзоров можно назвать обзор 1961 г. по ботанике [38]. К первому отечественному систематическому обзору в психологии можно отнести книгу П. М. Якобсона «Психология чувств» [55].
Понимание необходимости выявления и систематизации данных, свидетельствующих о правильности того или иного эксперимента или вмешательства в человеческую жизнь, привело к тому, что в 1993 г. под руководством Иэна Чалмерса была создана международная некоммерческая организация - Кокрановское (иногда - Кокрейновское) сотрудничество, поставившая своей целью изучение эффективности медицинских технологий (технологий здравоохранения) путем критической оценки, анализа и синтеза результатов научных исследований по строгой систематизированной методологии и подготовки Кокрановских систематических обзоров, для чего была разработана и постоянно совершенствуется методика. Обзоры публикуются в их базе данных - Кокрановской библиотеке. Центры Кокрановского сотрудничества работают в самых престижных академических центрах -университетах, министерствах и агентствах здравоохранения, образования и науки по всему миру, вносят решающий вклад в информационное обеспечение разработки клинических руководств/рекомендаций, основанных на доказательствах, политике здравоохранения.
Организация насчитывает 52 группы Кокрановских обзоров (ГКО), базирующихся в исследовательских институтах по всему миру, каждая из которых ориентирована на конкретную тему исследований в области здравоохранения. Они объединяют более 37 000 ученых-добровольцев из 130 стран мира. Каждая группа проводит систематические обзоры рандомизированных контролируемых исследований медицинских вмешательств и диагностических тестов и публикует их в Кокрейновской библиотеке. (Именно поэтому можно говорить о том, что прежде всего существует потребность в систематических обзорах у медиков, поскольку их практика огромна и требует постоянного обобщения и демонстрации оптимальных последовательных шагов в лечении и исследовании.)
В России существует только один центр этого сообщества: на базе Казанского федерального университета создан Координационный центр Кокрейн - «Научно-образовательный центр доказательной медицины Кокрейн Россия» как филиал Северного (Скандинавского) Кокрановского центра, «Кокран Нордик» - THe Nordic Cochrane Centre.
В области социальной сферы (образование, борьба с преступностью, правосудие, социальное обеспечение и международное развитие) также в 1999 г. была создана международная некоммерческая организация - Кэпмбелловское сотрудничество (Campbell Collaboration) (https:// www.campbellcollaboration.org). Ее целью является помощь в принятии компетентных решений, касающихся вмешательств в социальной, поведенческой и образовательной сферах. Одна из ее задач - подготовка, сопровождение и распространение систематических обзоров исследований, посвященных различным вмешательствам. Эти систематические обзоры позиционируются как доказательства, полученные на основе синтеза научных данных высокого качества. На основе результатов исследований члены этого сообщества подготавливают резюме и выпускают электронные брошюры с обзорами и отчетами, предназначенные для ответственных руководителей, практических работников, исследователей и населения. Оно также имеет свою библиотеку на вышеуказанном сайте.
В настоящее время деятельность по созданию систематических обзоров настолько распространена и востребована, что появился обзор систематических обзоров («review of systematic reviews» или «overview of systematic reviews») [61, 72].
Систематические обзоры сейчас преобладают в области медицины, биохимии и сестринского дела.
4. Методика подготовки систематического обзора
Первоначальное методологическое руководство для авторов систематических обзоров было разработано Э. Оксманом, И. Чалмерсом, М. Кларком и др. Оно было опубликовано в марте 1994 г. в качестве раздела VI «Подготовка и ведение систематических обзоров» (The Cochrane Collaboration Tool Kit) общего руководства по сотрудничеству и содержало оригинальный структурированный формат обзора для Кокрановского сообщества. Раздел стал самостоятельным документом в октябре 1996 г., названным «Руководство для подготовки обзоров Кокрейновским обществом» (Cochrane Reviewers' Handbook), и был выпущен в 1999 г. Полный текст этого руководства можно найти на https://
ш X X ш d ш CG
О ^
ш I-
о
X
с ш
X
ш
Ш
О z УУ
О
от >-
ОС <
ОС
m
handbook-5-1.cochrane.org/chapter_1/1_4_ contributors_to_the_handbook.htm. Позднее появилось «Руководство Кокрейна для подготовки систематических обзоров вмешательств» (Cochrane Handbook for Systematic Reviews of Interventions [59]). Сейчас Руководство Кокрейна включает методические рекомендации для авторов по подготовке систематических обзоров в области доказательной медицины, и это руководство регулярно обновляется (на сайте https:// training.cochrane.org/handbook представлены последние версии и промежуточные обновления руководства), с тем чтобы отразить прогресс в методологии систематического обзора и представить ответы на отзывы пользователей.
Кроме того, существуют и другие руководства, например: Руководящие принципы, подготовленные Австралийским национальным советом по здравоохранению и медицинским исследованиям, Руководящие принципы Центра обзоров и их распространения (Centre for Reviews and Dissemination - CRD) для тех, кто проводит или вводит в эксплуатацию обзоры и др. [66]. О методиках подготовки обзоров в области медицины говорится в работах [60, 67-69, 71, 74, 78-80] и др., социальных наук - [73], образования - [56, 592]. Поэтому можно уверенно сказать, что к настоящему моменту зарубежными и отечественными специалистами в области медицины, педагогики и образования, экономических наук и т. д. созданы практические руководства по подготовке систематических обзоров (в том числе по проведению метаанализа), в которых объясняется, как формулировать тему (вопрос), находить исследования для включения в обзор, извлекать и оценивать данные и др.
Однако, как отмечает B. Kitchenham [66], все представленные руководящие принципы для систематического обзора в медицине дают различное представление об этапах, необходимых для написания обзора. Ряд положений дает очень подробную модель процесса, другие -более общий план.
Отметим, что в отечественной методической литературе такие публикации стали появляться лишь в XXI в.
Обобщение всех этапов подготовки систематических обзоров, зафиксированных в различных зарубежных публикациях [37, 58, 63, 65, 66, 70, 75, 77, 80, 81], позволило предложить детальную методику подготовки систематического обзора (табл. 3).
2 В публикации сообщается, что Национальным фондом Великобритании по исследованиям в области образования был выполнен пилотный проект по применению систематического обзора как метода. Она описывает процесс обзора, адаптацию медицинской модели к образовательной среде. В ней обсуждаются некоторые последствия ее применения для исследователей и политиков.
5. Роль сотрудника библиотеки на разных этапах подготовки систематических обзоров
Как уже отмечалось во введении, среди организаций, занимающихся подготовкой систематических обзоров, преобладают авторы, аффилированные в зарубежных университетах, в том числе медицинских, и медицинские организации. Библиотек в этом списке нет. Однако более детальный анализ самих публикаций, контент-анализ аффилиаций всех авторов позволили обнаружить среди них сотрудников библиотек университетов. Но их было совсем незначительное число.
Отметим еще одну деталь: если библиографический обзор должен уметь готовить любой выпускник вуза культуры по специальности «Библиотечно-информационная деятельность», а для подготовки реферативного иногда привлекаются специалисты той отрасли, в рамках которой готовятся обзоры, то подготовить аналитический обзор может только специалист в определенной области, поскольку он (обзор) должен обладать оригинальными выводами. И только для информационной помощи специалист может обратиться в библиотеку или к информационному посреднику, который поможет провести поиск в информационных ресурсах и даже при необходимости систематизировать найденный материал, а затем, на последнем этапе, оформить список использованных источников.
Логично предположить, что библиотеки в силу традиционно присущей им информационной функции могли бы включиться в процесс подготовки систематических обзоров. В работе [63] анализируется роль библиотекаря-эксперта на каждом шаге подготовки систематического обзора, которые определены в руководстве Кокрейновского сообщества: формулировка задачи, поиск и выбор исследований, оценка качества исследований, подбор источников, анализ и представление результатов, интерпретация результатов, обновление результатов.
То есть, являясь специалистами в области библиографии, информационного поиска и систематизации, библиотечно-информационные специалисты могут:
• проводить поиск информации по заданному специалистом вопросу;
• выделять необходимую фактографическую информацию из отобранных специалистами надежных источников информации;
• систематизировать (возможно, с использованием специальных формализованных методов [48]) фактографическую информацию по заданной специалистами схеме и готовить исходный текст систематического обзора;
• участвовать в оформлении публикации.
Исходя из описанной выше методики подготовки систематического обзора суммируем наше видение задач сотрудников библиотеки в этом процессе (табл. 4).
Т а б л и ц а 3
Этапы и характеристика технологических операций подготовки систематического обзора
T a b l e 3
Stages and characteristics of technological operations in preparing a systematic review
Содержание работы Комментарии
Этап 1. Обоснование проведения исследования. Решение организационных задач
1.1. Выявление и анализ существующих систематических обзоров по исследовательской проблеме
1.2. Формирование группы подготовки систематического обзора
1.3. Формулирование сути, характера исследуемой проблемы
Может быть включена история вопроса для информирования о состоянии проблемы
В группу могут входить: специалисты в определенной тематической области, специалист по информационным ресурсам, библиограф, специалист в области информационного поиска, специалист в области метаанализа
Этап 2. Разработка протокола* обзора
2.1. Формулирование конкретного актуального исследовательского вопроса
2.2. Разработка стратегии для поиска первичных исследований
2.3. Определение критериев включения/исключения источников
2.4. Определение критериев оценки качества данных
2.5. Разработка стратегии извлечения данных
2.6. Определение стратегии синтеза
Вопросы должны быть хорошо сфокусированными на проблеме и релевантными.
В дополнение к исследовательскому вопросу формулируются и конкретные цели [75, 80]
Определяются условия поиска, ресурсы для поиска (БД, конкретные журналы, материалы конференций и др.), формулируются поисковые термины; определяются независимые рецензенты для проверки результатов поиска; проводятся консультации с экспертами в данной области исследования
Задается набор заранее определенных критериев (например, тема, период времени, язык и т. д.) для выявления потенциально соответствующих публикаций.
Рекомендуется опробовать критерии отбора на подмножестве первичных исследований
Исследователи создают контрольный перечень качества для оценки исследований (оценочный лист).
Необходимо определить, кто будет оценивать первичные исследования, сколько экспертов примет участие и как будут разрешаться разногласия между ними, если таковые возникнут Создаются формы извлечения информации/данных из каждого первичного исследования с контрольными элементами; возможно указание вида проверки данных, если потребуются допущения при анализе и формулировке выводов
Если предполагается метаанализ, то определяется какие методы будут использоваться
ш х
X ш d ш m
О ^
ш I-О х с ш
X
ш
41
* Протокол требует предварительного тестирования, которое может быть основано на пробном обзоре ограниченного круга источников [37].
Продолжение таблицы 3
Содержание работы Комментарии
3.1.5. Выявление источников по материалам конференций, отчетов и диссертаций
3.1.6. Ручной поиск ключевых журналов [80]
3.1.7. Выявление других источников через контакты с экспертами и исследователями, руководителями научных программ и проектов Возможность выявить неопубликованные результаты
3.1.8. Документирование поиска (см. пример в работе [66, табл. 1]) Подготовка списков публикаций для рецензентов, возможного повторного анализа, внешней оценки тщательности поиска (например, читателями)
3.2. Отбор источников
3.2.1. Выбор источников, отвечающих заданным критериям включения/исключения на основе названий и тезисов (реферата)
3.2.2. Выбор источников, отвечающих заданным критериям включения/исключения на основе полных текстов
3.2.3. Составление списков включенных/исключенных источников
3.2.4. Заполнение регистрационной формы*
Возможен тестовый запуск критериев для их уточнений/изменений и/или уточнения вопроса исследования. Участвуют по крайней мере два независимых рецензента (разногласия должны обсуждаться с привлечением третьей стороны)
Для исключенных источников указываются причины исключения
Данные по каждой включенной в обзор публикации вносятся в стандартную регистрационную форму с указанием автора, года публикации, страны, типа публикации, комментариев рецензентов и др. [37, 63]
3.3. Оценка качества источников информации
Повторная проверка адекватности отобранных источников выполняется только специалистами в данной области исследования на основе тщательной критической оценки с использованием контрольных вопросов из оценочного листа
3.3.1. Составление итоговой регистрационной формы Кроме данных из стандартной регистрационной формы (см. п. 3.2.4) записываются результаты экспериментальной работы, методика сбора и обработки данных, объем выборки, случайные и систематические смещения** [80]
3.3.2. Заполнение итоговой регистрационной формы с учетом оценочного листа Каждой публикации, прошедшей окончательный отбор, присваивается значение «да», «нет», «не установлено», «не ясно из текста» [80]. Оценка качества позволяет определить однородность/неоднородность первичных исследований, а следовательно, возможность применения в обзоре метаанализа (для однородных исследований)
Этап 4. Извлечение данных
4.1. Зап0лнение ф0рм и3влечения Дополнительный детальный анализ каждой включенной в обзор данных публикации*** на основе конкретных элементов исследовательских
вопросов и цели обзора и внесение данных в форму. Кроме элементов извлечения форма должна содержать поля для стандартной информации (название обзора; дата извлечения данных; название, авторы, журнал, детали публикации; заметки) [66]. На этом этапе также могут быть исключены некоторые несущественные публикации.
Участвуют по крайней мере два независимых исследователя (двойное извлечение данных) [80]
* Отдельные проверочные листы для каждой публикации, содержащие набор специальных полей, обязательных для заполнения.
** Систематическая ошибка метаанализа связана с погрешностью отбора публикаций, возникающей из-за склонности некоторых исследователей, редакторов и других лиц преимущественно публиковать положительные (статистически значимые) результаты научных исследований, опуская статистически незначимые, неоднозначные или противоречащие ожиданиям данные. URL: http://statistica.ru/glossary/ general/publikatsionnoe-smeshchenie (дата обращения: 06.05.2019).
*** Информация из текущих исследований, отчетов включается, если она качественная и имеется письменное разрешение от исследователей [66].
Окончание таблицы 3
Содержание работы I Комментарии
4.2. Заполнение формы разногласий Делаются отметки, исправления ошибок, вносятся разногласия
между исследователями
Этап 5. Анализ и синтез данных
5.1. Составление таблицы структурированных данных
5.2. Обобщение извлеченных данных
5.3. Интерпретация результатов
Извлеченная информация об исследованиях должна быть структурирована по определенным признакам (например, тип исследования, качество исследования, размер выборки и др.) для выявления сходства и различия между результатами исследований [66]
Тип синтеза зависит от извлеченных из каждого исследования данных:
а) выполняется «качественный», повествовательный обзор, если данные не представлены в форме, позволяющей использование статистических методов;
б) создается обзор, включающий метаанализ*, если данные являются численными и имеют достаточную однородность, согласованы/сопоставимы [75, 80]
Например, представление количественных результатов в графическом формате позволяет оценить риск предвзятости публикаций, анализируемых в систематическом обзоре [65; 66, р. 21]
Этап 6. Подготовка текста систематического обзора
6.1. Представление результатов систематического обзора Готовится доклад, который должен быть подвергнут экспертному обзору до публикации, включающий весь процесс составления обзора, проблемы или недостатки процесса, критерии включения и стратегию поиска [75]
6.2. Подготовка общего отчета для публикации в реферируемых источниках Здесь заводится отдельная форма регистрации отклонений обзора для оценки качества обзора (например, оценочный лист качества метаанализа) [37]
Этап 7. Распространение результатов исследования
7.1. Выбор тематического журнала, конференции Можно обратиться в справочно-библиографический отдел библиотеки
7.2. Информирование общественности о результатах систематического обзора Публикация систематического обзора в журнале, на конференции**, самостоятельным изданием, в интернете
* Может выполняться как общий метаанализ (всех извлеченных данных), так и метаанализ отдельной однородной подгруппы данных, если первый невозможен [65].
** Публикации в журнале или на конференции, «как правило, имеют ограничение по размеру. Для того чтобы читатели могли правильно оценить строгость и обоснованность систематического обзора, в журнальных статьях следует ссылаться на технический отчет или тезис, содержащий все детали» [66, р. 22].
Т а б л и ц а 4
Задачи сотрудников библиотеки на всех этапах подготовки систематического обзора
Tasks of a research library employee at all stages of preparing a systematic review
T a b l e 4
Этап подготовки систематического обзора Задачи сотрудников библиотек
Этап 1. Обоснование Для обоснования темы обзора - проведение предварительного поиска информации
проведения исследования. Решение организационных задач Библиотекарь участвует в разработке критериев для определения соответствующих источников информации
ш X X Ш CI Ш
m
О ^
ш i— О x с ш
X
ш
Окончание таблицы 4
Ш О z ш
О
от >-
ОС
с
ОС
m
Этап подготовки систематического обзора Задачи сотрудников библиотек
Этап 2. Разработка протокола обзора При разработке стратегии поиска первичных исследований библиотекарь имеет возможность задать конкретные вопросы, например: какой период времени необходим? существуют ли конкретные аспекты темы, которые должны присутствовать в каждом исследовании? существуют ли какие-либо ограничения на язык или типы источников информации? и так далее.
Определение условий поиска, ресурсов для поиска (БД, конкретные журналы, материалы конференций и др.), формулирование поисковых терминов
Этап 3. Работа с литературой, источниками информации и данных Разработка стратегии поиска. Библиотекарь выполняет сложный поиск информации и получает полный список источников. Поиск в разного рода каталогах, базах данных и указателях, репозито-риях, электронных библиотеках и коллекциях, специализированных сайтах (например, rosrid.ru - содержит отчеты и диссертации, dissercat. com - диссертации и т. п.), предоставление первоисточников в требуемом формате.
Этот этап является наиболее интенсивным для сотрудника библиотеки. Именно на этом этапе проводятся комплексные поиски для получения как можно большего количества соответствующих исследовательских статей и других источников информации.
Он может предложить стандартный список журналов или удаленных информационных ресурсов в области, представляющей интерес для исследовательской группы. Все профессиональные навыки библиотекаря - знания и опыт работы с полнотекстовыми и библиографическими базами данных, индексация, идентификация добавленной информации, использование контролируемой лексики -могут потребоваться на данном этапе.
Выявление дублетов в источниках информации и подготовка данных по всем источникам информации для дальнейшего выбора по теме (выбор также определяется библиотекарем).
Фиксация окончательного списка выбранных источников информации после полнотекстового исследования.
Представление данных об информационном поиске, отборе, в том числе и исключении в виде диаграмм и статистического отчета для использования в обзоре (и для возможного воспроизведения поисковых запросов).
Дальнейшее обновление поисковых запросов
Этап 4. Извлечение данных Библиотекарь практически не участвует в этом этапе. Однако здесь сотрудник библиотеки может обновить данные, собранные на предыдущем этапе, для выявления «неуловимых публикаций» (например, было найдено неопубликованное исследование, подходящее для обзора). Среди всех задач отслеживание неопубликованных исследований -самая сложная
Этап 5. Анализ и синтез данных Библиотекарь практически не участвует в этом этапе. Но он может помочь в организации дискуссий членов команды и выступать в качестве посредника в дискуссиях
Этап 6. Подготовка текста систематического обзора Редактирование ссылок
Этап 7. Определение журналов, подходящих для публикации обзора
Распространение результатов исследования Помощь в организации электронного доступа к обзору
Заключение
Аккумулирование практически всей имеющейся информации о систематических обзорах и ее анализ позволили дать оригинальное определение понятия «систематический обзор», описать характеристики и определить основные этапы его подготовки.
Опыт авторов в подготовке аналитических обзоров, а также литературные данные дали возможность пошагово расписать методику подготовки систематических обзоров и, главное, показать роль сотрудников библиотеки в этом процессе.
Проведенный анализ позволяет сказать, что участие в подготовке систематического обзора может стать одним из видов научно-информационной деятельности научной библиотеки, прежде всего академической и университетской. Более того, при наличии необходимых кадров научная библиотека может создать у себя информационно-аналитическую структуру и выступить в роли организатора подготовки актуальных
систематических обзоров. Естественно, что без прямого сотрудничества со специалистом по тематике обзора, руководителем группы, определяющим его необходимость и тематику и инициирующим его подготовку, сотрудники библиотеки и не будут знать об этом. Поэтому научной библиотеке важно сначала показать свою готовность к выполнению этой работы, продемонстрировать свои компетенции, а потенциальные руководители подготовки систематических обзоров должны знать о том, что в библиотеке есть сотрудники, способные участвовать в его подготовке. Более того, сотрудник библиотеки -как нейтральное лицо - на этапе анализа и синтеза данных может выступить в роли медиатора при обсуждении специалистами вопроса о том, какие данные после статистической обработки могут быть включены в обзор.
Научные библиотеки ищут направления развития своей деятельности. Полагаем, что одним из направлений развития концептографическо-го обслуживания может стать участие в подготовке систематических обзоров. ■
Список источников
1. Аналитико-синтетическая переработка информации : учебник / Н. И. Гендина, Н. В. Пономарева, Т. О. Серебрянникова [и др.]. Санкт-Петербург : Профессия, 2017. 336 с.
2. Бацын М. Я., Быков В. А., Клебанова Ф. Д. Подготовка информационно-аналитических обзоров по конкретным инновационным направлениям развития науки и техники на примере работы «Применение полимерных труб в современных тепловых сетях» // Информация в современном мире : материалы Междунар. конф., посвящ. 65-летию ВИНИТИ РАН (Москва, 25-26 окт., 2017). Москва, 2017. С. 40-44.
3. Блюменау Д. И. Информационный анализ/ синтез для формирования вторичного потока документов : учеб.-практ. пособие. Санкт-Петербург : Профессия, 2002. 240 с.
4. Бокерия Л. А., Ступаков И. Н., Самород-ская И. В. Систематические обзоры, мета-анализы и проблемы стандартизации в здравоохранении // Анналы хирургии. 2000. № 3. С. 74-75.
5. Виноградов В. А. Общественные науки и информация. Москва : Наука, 1978. 263 с.
6. Виноградов В. А. Роль информации в развитии наук об обществе и человеке // НТИ-96 : материалы Междунар. конф. под эгидой Междунар. федерации по информации и док. (МФД) «Информ. продукты, процессы и технологии» (Москва, 20-21 нояб., 1996). Москва, 1996. С. 18-22.
7. Владзимирский А. В. Систематический обзор применения мессенджеров «WhatsApp®» и «^Ьег®» в клинической медицине // Журнал
телемедицины и электронного здравоохранения. 2017. № 1. С. 30-41.
8. Власов В. В. Осторожно человек! Систематический обзор как средство от опасных вмешательств // Человек. 2005. № 3. С. 121-129.
9. Воробьев А. В. Обзор применения математических методов при проведении психологических исследований // Психологические исследования. 2010. № 2. URL: https://elibrary.ru/item. asp?id=13922162 (дата обращения: 20.07.2018).
10. Гендина Н. И., Скипор И. Л. Методика формализованного составления рефератов // Формирование информационной культуры личности в библиотеках и образовательных учреждениях. Москва, 2003. С. 125-137.
11. Гордукалова Г. Ф. Анализ информации: технологии, методы, организация : учеб.-практ. пособие. Санкт-Петербург : Профессия, 2009. 506 с.
12. Гордукалова Г. Ф. Информационно-аналитическая работа библиотек в сфере культуры: дорогу осилит идущий // Библиотековедение. 2015. № 6. С. 15-18.
13. Гречиков М. И. Роль ВИНИТИ в информационном обеспечении машиностроительных отраслей промышленности России // НТИ-95 : материалы конф. с междунар. участием «Информ. продукты, процессы и технологии» (Москва, 19-20 окт., 1995). Москва, 1995. С. 60-61.
14. Гречихин А. А. Развитие системы информационных изданий: историко-книговедческий анализ // Книга. Исследования и материалы. 1973. Сб. 27. С. 28-48.
ш X X ш CI ш CG
О ^
ш I-
о
X
с ш
X
ш
Ш
О z
Ш
О
от >-
GC <
GC CG
15. Гречихин А. А., Здоров И. Г. Информационные издания: основные особенности и требования. Москва : Книга, 1979. 160 с.
16. Гречихин А. А., Здоров И. Г. Информационные издания: типология и основные особенности подготовки. Москва : Книга, 1988. 272 с.
17. Доказательная медицина. Систематические обзоры. Метаанализ. URL: http:// zodorov.ru/dokazatelenaya-medicina-sistematicheskie-obzori-metaanaliz.html (дата обращения: 09.07.2018).
18. Журавель Е. Ш., Корсунская Г. В. Классификация обзоров // Научно-техническая информация. Серия 1, Организация и методика информационной работы. 1974. № 7. С. 14-17.
19. Заворохина Н. А., Босякова Е. Н., Цай Э. М. Аналитические обзоры как одна из форм информационного обслуживания в Институте органического катализа и электрохимии АН КазССР : депонир. Ин-т орган. катализа и электрохимии АН КазССР. [Б. м.], 1984. 15 с.
20. Захарова I. В., Фiлiпова Л. Я. Основи шформацшно-аналиично! дiяльностi : навч. поаб. Ки'1'в : Центр уч. лгг., 2013. 335 с. URL: https://studbooks.net/53903/informatika/osnovy_ informatsionno-analiticheskoy_deyatelnosti (дата обращения: 04.04.2019).
21. Захарчук Т. В., Кузнецова И. П. Аналитико-синтетическая переработка информации : учеб.-практ. пособие. Санкт-Петербург : Профессия, 2011. 104 с.
22. Информационный рынок и комплексные информационные продукты : докл. Всерос. конф. «Информатиз. России и формирование и инф. потока» (Москва, 14-15 апр., 1992) / Н. Я. Бирман, Э. Я. Глобачева, Н. Ф. Чумакова, А. В. Шапкин // Научно-техническая информация. Серия 1, Организация и методика информационной работы. 1992. № 3-4. С. 64-65.
23. Колкова Н. И. Методика формализованного составления обзоров // Информационная культура личности: диагностика, технология формирования. Кемерово, 1999. Ч. 2. С. 45-88.
24. Конотопов П. Ю., Курносов Ю. В. Аналитика. Методология, технологические и организационные аспекты информационно-аналитической работы. Москва : Русаки, 2004. 250 с.
25. Корюкова А. А., Дера В. Г. Основы научно-технической информации. Москва : Высш. шк., 1985. 224 с.
26. Котельников Г. П., Шпигель А. С. Систематические обзоры и мета-анализ // Доказательная медицина. Научно-обоснованная медицинская практика. Самара, 2000. С. 87-93.
27. Кузнецов И. Н. Информация: поиск, анализ, защита. Москва : Яуза, 2002. 320 с.
28. Кушнаренко Н. Н., Удалова В. К. Научная обработка документов : учебник. Киев : Знания, 2006. 334 с.
29. Лаврик О. Л. Использование информационных ресурсов ГПНТБ СО РАН при подготовке аналитических обзоров по экологии // Региональные библиотечные системы: история, современное состояние, перспективы Новосибирск, 1996. С. 195-205.
30. Лаврик О. Л. Обзорно-аналитическая информация по экологии в структуре конъюнктурной информации // Патентно-конъюнктурная информация в условиях формирования рынка. Новосибирск, 1995. С. 198-206.
31. Лаврик О. Л. Подготовка обзорно-аналитической информации по проблемам экологии и охраны окружающей среды в ГПНТБ СО РАН // Библиотеки и ассоциации в меняющемся мире: новые технологии и новые формы сотрудничества : материалы 4-й Междунар. конф. «Крым 97» (Судак, 7-15 июня 1997). Москва, 1997. Т. 2. С. 566-569.
32. Лаврик О. Л., Калюжная Т. А. Интернет как источник информации для подготовки аналитического обзора // Оптимизация информационно-библиографического обслуживания ученых и специалистов. Новосибирск, 2000. С. 51-57.
33. Лаврик О. Л., Лебедева А. Н., Куколева Н. П. Компьютерная технология подготовки аналитических обзоров: (на примере подготовки обзоров по экологии) // Эффективность использования интерактивных библиотечных систем Новосибирск, 1994. С. 147-153.
34. Лаврик О. Л., Плешакова М. А., Калюжная Т. А. Информационно-аналитические продукты в научных библиотеках для информационного обеспечения НИР // Вестник Томского государственного университета. Культурология и искусствоведение. 2018. № 4. С. 186-201. DOI: 10.17223/22220836/32/19.
35. Лукина Ю. В., Марцевич С. Ю., Кутишен-ко Н. П. Систематический обзор и мета-анализ: подводные камни методов // Рациональная фармакотерапия в кардиологии. 2016. Т. 12, № 2. С. 180-185.
36. Мелюхин И. С. Информационно-аналитическая деятельность как она есть // Информационные ресурсы России. 1999. № 1. С. 11-14.
37. Низгораев И. И. Методика систематических обзоров: Torgerson C. Systematic reviews. London: continuum, 2003. 102 p. // Социологический журнал. 2005. № 3. С. 169-175.
38. Нюкша Ю. П. Систематический обзор грибов, обитающих на бумаге // Ботанический журнал. 1961. Т. 46, № 1. С. 70-79.
39. Пастухов В. М. Общие понятия обзорной литературы // Научно-техническая информация. Серия 1, Организация и методика информационной работы. 1983. № 4. С. 19-24.
40. Петров В. И. Базисные принципы и методология доказательной медицины // Вестник ВолгГМУ 2011. Т. 38, № 2. С. 3-8.
41. Подчернин В. М. Некоторые вопросы информационного обеспечения и информационно-аналитической деятельности // Библиосфера. 2007. № 1. С. 21-23.
42. Потапов А. Л. Что такое «систематический обзор» и зачем он нужен практическому врачу? // Крымский терапевтический журнал. 2014. № 1. С. 55-59.
43. Пушкашу Д. И. Информационно-аналитическая работа как процесс семантической обработки данных. URL: http://www.collegian. ru/index.php/tiara/2002/28-2008-07-27-19-42-52. html (дата обращения: 06.05.2019).
44. Силкова Г. Информационно-аналитические исследования в структуре информационных ресурсов // Вкн. Кн. палаты. 2001. № 2. С. 14-15.
45. Сляднева Н. Информационно-аналитическая деятельность: проблемы и перспективы // Информационные ресурсы России. 2001. № 2. С. 14-21.
46. Сопоставление доказательств // СтудопедиЯ. URL: https://studopedia.info/3-5235. html (дата обращения: 09.07.2018).
47. Старикова Л. Н. Информационное обеспечение социологического образования: ресурсы, технологии. Кемерово : Кузбассвузиздат, 1998. 375 с.
48. Суминова Т. Н. Аннотирование, реферирование и обзорно-аналитическая деятельность : учеб. пособие. Москва : МГУКИ, 2001. 74 с.
49. Сюнтюренко О. В. Производство информационно-аналитических продуктов и услуг с использованием методов наукометрии и анализа данных // Информация в современном мире : материалы Междунар. конф. посвящается 65-летию ВИНИТИ РАН (Москва, 25-26 окт. 2017 г.). Москва, 2017. С. 317-321.
50. Сюнтюренко О. В., Леонтьева Т. М., Шогин А. Н. Новое поколение электронных информационных продуктов и услуг ВИНИТИ // Научно-техническая информация. Серия 1, Организация и методика информационной работы. 1995. № 2. С. 6-11.
51. Типология изданий / ред. А. Э. Мильчин. Москва : Кн. палата, 1990. 231 с.
52. Черный А. И. Всероссийский институт научной и технической информации: 50 лет служения науке Москва : ВИНИТИ, 2005. 298 с.
53. Черный Ю. Ю. Школа научной информации. Лекция 6. О специфике информационного анализа и синтеза. Индексирование. Реферирование. Перевод научных текстов. Написание обзоров // Богослов.ги. URL: http:// archive.bogoslov.ru/text/318343.html (дата обращения: 06.05.2019).
54. Шерухин Д. Е. Основные закономерности и формы развития обзорной информации // Научно-техническая информация. Серия 1,
Организация и методика информационной работы. 1971. С. 5-11.
55. Якобсон П. М. Психология чувств. Москва : Изд-во Акад. пед. наук РСФСР, 1958. 381 с.
56. Badger D., Nursten J., Williams P., Woodward M. Should all literature reviews be systematic? // Evaluation & Research in Education. 2000. Vol. 14, № 3/4. P. 220-230. DOI: 10.1080/09500790008666974.
57. Cochrane. Надежные доказательства. Информированные решения. Во благо здоровья. URL: http://www.cochrane.org/ru/evidence (дата обращения: 10.07.2018).
58. Cooper H. M. THe integrative research review: a systematic approach. Beverly Hills : Sage Publ., 1984. 143 p.
59. Evans J., Benefield P. Systematic reviews of educational research: does the medical model fit // British Educational Research Journal. 2001. Vol. 27, № 5. P. 527-541.
60. Glasziou P., Irwig L., Bain C., Colditz G. Systematic reviews in health care. Cambridge : Cambridge Univ. Press, 2001. 137 p.
61. Green K. E., Taylor C. A., Torgerson C. An overview of systematic reviews in medical education and a focused review in prescribing // Effective Education. 2012. Vol. 4, № 2. P. 147-167.
62. Hammersley M. On 'systematic' reviews of research literatures: a 'narrative' response to Evans & Benefield // British Educational Research Journal. 2001. Vol. 27, № 5. P. 543-554.
63. Harris M. R. The librarian's roles in the systematic review process: a case study // Journal of the Medical Library Association. 2005. Vol. 93, № 1. P. 81-87.
64. John Ray. English naturalist // Encyclopedia Britannica. URL: https://www.britannica.com/ biography/John-Ray-English-naturalist (дата обращения: 25.07.2018).
65. Khan K. S., Kunz R., Kleijnen J., Antes G. Five steps to conducting a systematic review // Journal of the Royal Society of Medicine. 2003. Vol. 96. P. 118-121.
66. Kitchenham B. Procedures for performing systematic reviews. Keele : Keele Univ., 2004. 33 p.
67. Kitchenham B. Guidelines for performing systematic literature reviews in software engineering. EBSE Technical Report. Keele : Keele Univ. & Univ. of Durham, 2007. 57 p.
68. Kitchenham B., Breretona O. P., Budgenb D., Turnera M., Baileyb J., Linkman S. Systematic literature reviews in software engineering -a systematic literature review // Information and Software Technology. 2009. Vol. 51. P. 7-15.
69. Lau J., Ioannidis J. P., Schmid C. H. Quantitative synthesis in systematic reviews // Annals of Internal Medicine. 1997. Vol. 127, № 9. P. 820-826.
70. Lipp A. A guide to developing a systematic review // AORN Journal. 2003. Vol. 78, № 1. P. 90-107.
ш X X Ш CI Ш CG
О ^
Ш I—
о с
LH X LH
71. Littell J. H., Corcoran J., Pillai V. Systematic reviews and meta-analysis. New York : Oxford Univ. Press, 2008. 202 p.
72. Monasta L., Batty G. D., Cattaneo A., Lutje V., Ronfani L., Van Lenthe F. J. Early-life determinants of overweight and obesity: a review of systematic reviews // Obesity Reviews. 2010. Vol. 11, № 10. P. 695-708.
73. Oakley A. Social science and evidence-based everything: the case of education // Educational Review. 2002. Vol. 54, № 3. P. 277-286. DOI: 10.1080/0013191022000016329.
74. Petticrew M. Systematic reviews from astronomy to zoology: myths and misconceptions // British Medical Journal. 2001. Vol. 322. P. 98-101.
75. Phelps S. F., Campbell N. Systematic reviews in theory and practice for library and information studies // Library and Information Research. 2012. Vol. 36, № 112. P. 6-15.
76. Raven C. E. John Ray: Naturalist: his life and works. Cambridge : Cambridge Univ. Press, 1986. 506 p.
77. Smith J. T., Jr. Meta-analysis: the librarian as a member of an interdisciplinary research team // Library Trends. 1996. Vol. 45, № 2. P. 265-279.
78. Sutton A. J., Abrams K. R., Jones D. R., Sheldon T. A., Song F. Systematic reviews of trials and other studies // Health Technology Assessment. 1998. Vol. 2, № 19. P. 1-276.
79. Systematic reviews in health care: metaanalysis in context. 2nd ed. / M. Egger, S. G. Davey, D. G. Altman (eds.). London : BMJ Books, 2001. 487 p.
80. Torgerson C. J. Systematic reviews. London : Continuum, 2003. 102 p.
81. Wilson V. Research methods: systematic reviews // Evidence Based Library and Information Practice. 2013. Vol. 8, № 3. P. 83-84.
References
1. Gendina N. I., Ponomareva N. V., Serebryannikova T. O. [et al.], Sokolov A.V. (ed.) Analitiko-sinteticheskaya pererabotka informatsii : uchebnik [Analytical and synthetic processing of information : textbook]. Saint Petersburg, Profession, 2017. 336 p. (In Russ.).
2. Batsyn M. Ya., Bykov V. A., Klebanova F. D. Preparation of information and analytical reviews
lu on specific innovative areas of science and technol-z ogy development, a case of «Using polymer pipes in ^ modern heat networks». Informatsiya v sovremen-m nom mire : materialy Mezhdunar. konf., posvyashch. ¡r 65-letiyu VINITI RAN (Moskva, 25-26 okt. 2017). & Moscow, 2017, 40-44. (In Russ.). 5 3. Blumenau D. I. Informatsionnyi analiz/sintez
dlya formirovaniya vtorichnogo potoka dokumen-tov : ucheb.-prakt. posobie [Information analysis/ 48 synthesis to form the secondary flow of documents
:manual]. Saint Petersburg, Profession, 2002. 240 p. (In Russ.).
4. Bokeriya L. A., Stupakov I. N., Samo-rodskaya I. V. Systematic reviews, meta-analyses and standardization problems in health care. Annaly khirurgii, 2000, 3, 74-75. (In Russ.).
5. Vinogradov V. A. Obshchestvennye nauki i informatsiya [Social sciences and information]. Moscow, Nauka, 1978. 263 p. (In Russ.).
6. Vinogradov V. A. The role of information in development of social and human sciences // NTI-96 : materialy Mezhdunar. konf. pod egidoi Mezhdunar. federatsii po informatsii i dok. (MFD) «Inform. produkty, protsessy i tekhnologii» (Moskva, 20-21 noyab. 1996). Moscow, 1996, 18-22. (In Russ.).
7. Vladzimirsky A. V. Systematic review of using messengers «WhatsApp» and «Viber» in clinical medicine. Zhurnal telemeditsiny i elektronnogo zdra-vookhraneniya, 2017, 1, 30-41. (In Russ.).
8. Vlasov V. V. Caution man! Systematic review as a remedy for dangerous interference. Chelovek, 2005, 3, 121-129. (In Russ.).
9. Vorobiev A. V. Review of applying mathematical methods in psychological research. Psychologicheskie isskedovaniya, 2010, 2. URL: https://elibrary.ru/item. asp?id=13922162 (accessed 20.07.2018). (In Russ.).
10. Gendina N. I., Skipor I. L. Methodology of formalized compilation of abstracts. Formirovanie informatsionnoi kul'tury lichnosti v bibliotekakh i obrazovatel'nykh uchrezhdeniyakh. Moscow, 2003, 125-137. (In Russ.).
11. Gordukalova G. F. Analiz informatsii: tekhnologii, metody, organizatsiya : ucheb.-prakt. posobie [Analysis of information: technology, methods, organization : manual]. Saint Petersburg, Profession, 2009. 506 p. (In Russ.).
12. Gordukalova G. F. Information and analytical work of libraries in the field of culture: the road will be mastered. Bibliotekovedenie, 2015, 6, 15-18. (In Russ.).
13. Grechikov M. I. THe role of VINITI in engineering information support of Russian industries. NTI-95 : materialy konf. s mezhdunar. uchastiem «Inform. produkty, protsessy i tekhnologii» (Moskva, 19-20 okt., 1995). Moscow, 1995, 60-61. (In Russ.).
14. Grechikhin A. A. Development of the system of information publications: historical and bibliographic analysis. Kniga. Issledovaniya i materialy, 1973, 27, 28-48. (In Russ.).
15. Grechikhin A. A., Zdorov I. G. Infor-matsionnye izdaniya: osnovnye osobennosti i tre-bovaniya [Information publications: main features and requirements]. Moscow, Kniga, 1979. 160 p. (In Russ.).
16. Grechikhin A. A., Zdorov I. G. Infor-matsionnye izdaniya: tipologiya i osnovnye osobennosti podgotovki [Information editions: the typology and main features of preparing]. Moscow, Kniga, 1988. 272 p. (In Russ.).
17. Dokazatel'naya meditsina. Sistematicheskie obzory. Metaanaliz [Evidence-based medicine. Systematic review. Metaanalysis]. URL: http://zodor-ov.ru/dokazatelenaya-medicina-sistematicheskie-ob-zori-metaanaliz.html (accessed 09.07.2018). (In Russ.).
18. Zhuravel' E. Sh., Korsunskaya G. V. Reviews classification. Nauchno-tekhnicheskaya in-formatsi-ya. Seriya 1, Organizatsiya i metodika informatsion-noi raboty, 1974, 7, 14-17. (In Russ.).
19. Zavorohina N. A., Bosakova E. N., Tsai E. M. Analiticheskie obzory kak odna iz form informatsion-nogo obsluzhivaniya v Institute organicheskogo katal-iza i elektrokhimii AN KazSSR [Analytical reviews as a form of information services at the Institute of Organic Catalysis and Electrochemistry of Kazakh SSR : deposited manuscript]. [S.l.], 1984, 15 p. (In Russ.).
20. Zakharova I. V., Filipova L. Ya. Osnovi infor-matsiino-analitichnoïdiyalnosti : navch. posib. [Bases of information-analytical activity : manual]. Kiev, Tsentr uch. lit, 2013. 335 p. URL: https://studbooks.net/53903/ informatika/osnovy_informatsionno-analiticheskoy_ deyatelnosti (acssesed 04.04.2009). (In Russ.).
21. Zakharchuk T. V., Kuznetsova I. P. Analitiko-sinteticheskayapererabotka informatsii : ucheb.-prakt. posobie [Analytical and synthetic processing of information : manual]. Saint Petersburg, Profession, 2011. 104 p. (In Russ.).
22. Birman N. Ya., Globacheva E. Ya., Chumakova N. F., Shapkin A. V. Information market and complex information products : rep. of AllRuss. conf. «Informatization of Russia and forming an information flow» (Moscow, 14-15 Apr. 1992). Nauchno-tekhnicheskaya informatsiya. Seriya 1, Organizatsiya i metodika informatsionnoi raboty, 1992, 3/4, 64-65. (In Russ.).
23. Kolkova N. I. Methods of formalized review compilation. Informatsionnaya kul'tura lichnosti: diagnostika, tekhnologiya formirovaniya. Kemerovo, 1999, 45-88. (In Russ.).
24. Konotopov P. Y., Kurnosov V. Analitika. Metodologiya, tekhnologicheskie i organizatsion-nye aspekty informatsionno-analiticheskoi raboty [Analyst. Methodology, technological and organizational aspects of information and analytical work]. Moscow, Rusaki, 2004. 250 p. (In Russ.).
25. Koryukova A. A., Dera V. G. Osnovy nauch-no-tekhnicheskoi informatsii [THe bases of scientific and technical information]. Moscow, Vyssh. shkola, 1985. 224 p. (In Russ.).
26. Kotel'nikov G. P., Shpigel' A. S. Systematic reviews and meta-analysis. Dokazatel'naya meditsina. Nauchno-obosnovannaya meditsinskaya praktika. Samara, 2000, 87-93. (In Russ.).
27. Kuznetsov I. N. Informatsiya: poisk, analiz, zashchita [Information: search, analysis, protection]. Moscow, Yauza, 2002. 320 p. (In Russ.).
28. Kushnarenko N. N., Udalova V. K. Nauchnaya obrabotka dokumentov : uchebnik
[Scientific processing of documents : textbook]. Kiev, Zanniya, 2006. 334 p. (In Russ.).
29. Lavrik O. L. Using information resources of SPSTL SB RAS to prepare analytical reviews on ecology. Regional'nye bibliotechnye sistemy: istori-ya, sovremennoe sostoyanie, perspektivy. Novosibirsk, 1996, 195-205. (In Russ.).
30. Lavrik O. L. Analytical review information on ecology in the structure of market information. Patentno-kon'yunkturnaya informatsiya v usloviyakh formirovaniya rynka. Novosibirsk, 1995, 198-206. (In Russ.).
31. Lavrik O. L. Preparing review and analytical information on ecology and environmental conservation in SPSTL SB RAS. Biblioteki i assotsiatsii v menyayushchemsya mire: novye tekhnologii i novye formy sotrudnichestva : materialy 4-i mezhdunar. konf. «Krym 97» (Sudak, 7-15 iyunya 1997). Moscow, 1997, 2, 566-569. (In Russ.).
32. Lavrik O. L., Kalyuzhnaya T. A. Internet as a source of information to prepare an analytical review. Optimizatsiya informatsionno-bibliogra-ficheskogo obsluzhivaniya uchenykh i spetsialistov. Novosibirsk, 2000, 51-57. (In Russ.).
33. Lavrik O. L., Lebedeva A. N., Kukoleva N. P. Computer technology of preparing analytical reviews (a case of ecological ones). Effektivnost' ispol'zovaniya interaktivnykh bibliotechnykh sistem. Novosibirsk, 1994, 147-153. (In Russ.).
34. Lavrik O. L., Pleshakova M. A., Kalyuzhnaya T. A. Information and analytical products in research libraries for research information support. Vestnik Tomskogo gosudarstvennogo universi-teta. Kul'turologiya i iskusstvovedenie, 2018, 4), 186201. DOI: 10.17223/22220836/32/19. (In Russ.).
35. Lukina Yu. V., Martsevich S. Yu., Kuti-shenko N. P. Systematic review and meta-analysis: pitfalls of methods. Ratsional'naya farmakoterapiya v kardiologii, 2016, 12 (2), 180-185. (In Russ.).
36. Melyukhin I. S. Information and analytical activity as it is. Informatsionnye resursy Rossii, 1999, 1, 11-14. (In Russ.).
37. Nizgoraev I. I. The methodology of systematic reviews: Torgerson C. Systematic reviews London, continuum, 2003. 102 p. Sociologicheskii zhurnal, 2005, 3, 169-175. (In Russ.).
38. Nyuksha Y. P. Systematic survey of fungi living on paper. Botanicheskii zhurnal, 1961, 46 (1), 70-79. (In Russ.).
39. Pastukhov V. M. General concepts of review literature. Nauchno-tekhnicheskaya informatsiya. Seriya 1, Organizatsiya i metodika informatsionnoi raboty, 1983, 4, 19-24. (In Russ.).
40. Petrov V. I. Basic principles and methodology of evidence-based medicine. Vestnik VolgGMU, 2011, 38 (2), 3-8. (In Russ.).
41. Podchernin V. M. Some problems of information support and information-analytical activity. Bibliosfera, 2007, 1, 21-23. (In Russ.).
ш s
X Ш CI Ш
m
О ^
ш I— О s с
LU S LU
42. Potapov A. L. What is a «systematic review» and why it is necessary for a practical doctor? Krymskii terapevticheskii zhurnal, 2014, 1, 55-59. (In Russ.).
43. Pushkashu D. I. Informatsionno-analiticheskaya rabota kak protsess semantich-eskoi obrabotki dannykh [Information and analytical work as the process of semantic data processing]. URL: http://www.collegian.ru/index. php/tiara/2002/28-2008-07-27-19-42-52.html (accessed 06.05.2019). (In Russ.).
44. Silkova G. Informational-analytical study in the information resources structure. Visn. kn. palaty, 2001, 2, 14-15. (In Russ.).
45. Slyadneva N. Information and analytical activities: problems and prospects. Informatsionnye resursy Rossii, 2001, 2, 14-21.
46. A comparison of evidences. StudopediYa. URL: https://studopedia.info/3-5235.html (accessed 09.07.2018). (In Russ.).
47. Starikova L. N. Informatsionnoe obespe-chenie sotsiologicheskogo obrazovaniya: resursy, tekhnologii [Information support of sociological education: resources, technologies]. Kemerovo, Kuzbassvuzizdat, 1998. 375 p. (In Russ.).
48. Suminova T. N. Annotirovanie, refer-irovanie i obzorno-analiticheskaya deyatel'nost' : ucheb. posobie [Annotating, abstracting and analytical review activities : manual]. Moscow, MGUKI, 2001. 74 p. (In Russ.).
49. Syuntyurenko O. V. Producing information and analytical products and services using tools of scientometrics and data analysis. Informatsiya v sovremennom mire : materialy mezhdunar. konf. posvyashchaetsya 65-letiyu VINITI RAN (Moskva, 25-26 okt. 2017 g.). Moscow, 2017, 317-321. (In Russ.).
50. Syuntyurenko O. V., Leont'eva T. M., Shogin A. N. New generation of electronic information products and services of VINITI. Nauchno-tekhnicheskaya informatsiya. Seriya 1, Organizatsiya i metodika informatsionnoi raboty, 1995, 2, 6-11. (In Russ.).
51. Mil'chin A. E. (ed.) Tipologiya izdanii [Typology of publications]. Moscow, Kn. palata, 1990. 231 p. (In Russ.).
52. Chernyi A. I. Vserossiiskii institut nauchnoi i tekhnicheskoi informatsii: 50 let sluzheniya nauke [All-Russian Institute of Scientific and Technical
ш Information: 50 years of service to science]. Moscow, z VINITI, 2005. 298 p. (In Russ.). ^ 53. Chernyi Yu. Yu. School of scientific infor-
« mation. Lecture 6. On the specifics of information ос analysis and synthesis. Indexing. Summarization. ¡r Translation of scientific texts. Writing reviews. 5 Bogoslov.ru. URL: http://archive.bogoslov.ru/ text/318343.html (accessed 06.05.2019). (In Russ.).
54. Sherukhin D. E. Basic regulari-50 ties and forms to develop review information.
Nauchno-tekhnicheskaya informatsiya. Seriya 1, Organizatsiya i metodika informatsionnoi raboty, 1971, 5-11. (In Russ.).
55. Yakobson P. M. Psikhologiya chuvstv [Psychology of feelings]. Moscow, Izd-vo Akad. ped. nauk RSFSR, 1958. 381 p. (In Russ.).
56. Badger D., Nursten J., Williams P., Woodward M. Should all literature reviews be systematic? // Evaluation & Research in Education. 2000. Vol. 14, № 3/4. P. 220-230. DOI: 10.1080/09500790008666974.
57. Cochrane. Cochrane. Nadezhnye dokaza-telstva. Informirovannye resheniya. Vo blago zdor-ov'ya [Cochrane. Reliable evidence. Informed decision. For the benefit of health]. URL: http://www. cochrane.org/ru/evidence (accessed 10.07.2018).
58. Cooper H. M. The integrative research review: a systematic approach. Beverly Hills : Sage Publ., 1984. 143 p.
59. Evans J., Benefield P. Systematic reviews of educational research: does the medical model fit. British Educational Research Journal, 2001, 27 (5), 527-541.
60. Glasziou P., Irwig L., Bain C., Colditz G. Systematic reviews in health care. Cambridge : Cambridge Univ. Press, 2001. 137 p.
61. Green K. E., Taylor C. A., Torgerson C. An overview of systematic reviews in medical education and a focused review in prescribing. Effective Education, 2012, 4 (2), 147-167.
62. Hammersley M. On 'systematic' reviews of research literatures: a 'narrative' response to Evans & Benefield. British Educational Research Journal, 2001, 27 (5), 543-554.
63. Harris M. R. THe librarian's roles in the systematic review process: a case study. Journal of the Medical Library Association, 2005, 93 (1), 81-87.
64. John Ray. English naturalist. Encyclopedia Britannica. URL: https://www.britannica.com/ biography/John-Ray-English-naturalist (accessed 25.07.2018).
65. Khan K. S., Kunz R., Kleijnen J., Antes G. Five steps to conducting a systematic review. Journal of the Royal Society of Medicine, 2003, 96, 118-121.
66. Kitchenham B. Procedures for performing systematic reviews. Keele, Keele Univ., 2004. 33 p.
67. Kitchenham B. Guidelines for performing systematic literature reviews in software engineering. EBSE Technical Report. Keele, Keele Univ. & Univ. of Durham, 2007. 57 p.
68. Kitchenham B., Breretona O. P., Budgenb D., Turnera M., Baileyb J., Linkman S. Systematic literature reviews in software engineering - a systematic literature review. Information and Software Technology, 2009, 51, 7-15.
69. Lau J., Ioannidis J. P., Schmid C. H. Quantitative synthesis in systematic reviews. Annals of Internal Medicine, 1997, 127 (9), 820-826.
70. Lipp A. A guide to developing a systematic review. AORN Journal, 2003, 78 (1), 90-107.
71. Littell J. H., Corcoran J., Pillai V. Systematic reviews and meta-analysis. New York, Oxford Univ. Press, 2008. 202 p.
72. Monasta L., Batty G. D., Cattaneo A., Lutje V., Ronfani L., Van Lenthe F. J. Early-life determinants of overweight and obesity: a review of systematic reviews. Obesity Reviews, 2010, 11 (10), 695-708.
73. Oakley A. Social science and evidence-based everything: the case of education. Educational Review, 2002, 54 (3), 277-286. DOI: 10.1080/0013191022000016329.
74. Petticrew M. Systematic reviews from astronomy to zoology: myths and misconceptions. British Medical Journal, 2001, 322, 98-101.
75. Phelps S. F., Campbell N. Systematic reviews in theory and practice for library and information studies. Library and Information Research, 2012, 36 (112), 6-15.
76. Raven C. E. John Ray: naturalist: his life and works. Cambridge, Cambridge Univ, Press, 1986, 506 p.
77. Smith J. T. (Jr.) Meta-analysis: the librarian as a member of an interdisciplinary research team. Library Trends, 1996, 45 (2), 265-279.
78. Sutton A. J., Abrams K. R., Jones D. R., Sheldon T. A., Song F. Systematic reviews of trials and other studies. Health Technology Assessment, 1998, 2 (19), 1-276.
79. Egger M., Davey S. G., Altman D. G. (eds.). Systematic reviews in health care: meta-analysis in context. 2nd ed. London, BMJ Books, 2001. 487 p.
80. Torgerson C. J. Systematic reviews. London, Continuum, 2003. 102 p.
81. Wilson V. Research methods: systematic reviews. Evidence Based Library and Information Practice, 2013, 8 (3), 83-84.
Материал поступил в редакцию 13.05.2019 г.
Сведения об авторах: Лаврик Ольга Львовна - доктор педагогических наук, профессор, заведующий лабораторией информационно-системного анализа, главный научный сотрудник ГПНТБ СО РАН,
Калюжная Татьяна Альбертовна - кандидат педагогических наук, старший научный сотрудник лаборатории информационно-системного анализа ГПНТБ СО РАН,
Плешакова Мария Александровна - кандидат педагогических наук, научный сотрудник лаборатории информационно-системного анализа ГПНТБ СО РАН
ш х
X ш CI ш m
О ^
ш I-О х с ш
X
ш
