CC BY
19
Медицинские информационные системы www.idmz.ru
-f-
2020, октябрь
Д.А. ЗАЙЦЕВ,
Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр гематологии» Министерства здравоохранения Российской Федерации,
г. Москва, Россия, e-mail: zaytcev.d@blood.ru Т.Ц. ГАРМАЕВА,
д.м.н., Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр гематологии» Министерства здравоохранения Российской Федерации, Федеральное государственное автономное образовательное учреждение высшего образования «Российский университет дружбы народов», г. Москва, Россия, e-mail: garmaeva@yandex.ru
А.А. КОНОВАЛОВА,
Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр гематологии» Министерства здравоохранения Российской Федерации, г. Москва, Россия, e-mail: konovalova.a@blood.ru
С.М. КУЛИКОВ,
к.т.н., Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр гематологии» Министерства здравоохранения Российской Федерации,
г. Москва, Россия, e-mail: kulikov.s@blood.ru
Л.П. МЕНДЕЛЕЕВА,
д.м.н., профессор, Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр гематологии» Министерства здравоохранения Российской Федерации, г. Москва, Россия, e-mail: mendeleeva.l@blood.ru
ОПЫТ ПРОЕКТИРОВАНИЯ И ВНЕДРЕНИЯ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКОЙ СИСТЕМЫ РЕЗУЛЬТАТОВ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ФГБУ «НМИЦ ГЕМАТОЛОГИИ» МИНЗДРАВА РОССИИ
УДК: 001:004.9 DOI: 10.37690/1811-0193-2020-S1-43-50
Зайцев Д.А., Гармаева Т.Ц., Коновалова А.А., Куликов С.М, Менделеева Л.П. Опыт проектирования и внедрения информационно-аналитической системы результатов научной деятельности ФГБУ «НМИЦ гематологии» Минздрава России (Федеральное государственное бюджетное учреждение «Национальный медицинский исследовательский центр гематологии» Министерства здравоохранения Российской Федерации, г. Москва, Россия)
Аннотация. Информатизация и автоматизация процессов сбора, хранения, обработки, анализа данных о результатах научно-исследовательской деятельности имеет первостепенное значение для осуществления эффективного планирования, контроля, принятия административных решений, научно-методического руководства. В настоящей статье представлен опыт проектирования и внедрения информационно-аналитической системы результатов научной деятельности «Внутренний портал НМИЦ гематологии для научных сотрудников».
Ключевые слова: наукометрия, науковедение, информационная система, база данных, CRIS, АРМ научного сотрудника, CMS Bitrix, автоматизация, автоматизированные системы, управление, организация труда, анализ статистических данных, аттестация научных кадров, библиометрический анализ, публикационная активность, индекс Хирша, интеграция.
UDC: 001: 004.9
Zaytcev D.A., Garmaeva T.Ts., Konovalova A.A., Kulikov S.M., Mendeleeva L.P. Experience of designing and implementing Current Research information System in National Research Center for Hematology (National Research Center for Hematology of the Ministry of Health of the Russian Federation, Moscow, Russia)
Abstract. Informatization and automation of the processes of collecting, storing, handling, analyzing data on the results of research activities is of paramount importance for the implementation of effective planning, control, administrative decision-making, scientific and methodological guidance. The article presents the experience of designing and implementing Current Research information System in National Research Center for Hematology.
Keywords: scientometrics, information system, database, CRIS, CMS Bitrix, automation, management, analysis of statistical data, scientific attestation, h-index.
© Д.А. Зайцев, Т.Ц. Гармаева, А.А. Коновалова, С.М. Куликов, Л.П. Менделеева, 2020 г.
Зрач ::==
и информационные
технологии
ВВЕДЕНИЕ
> Повышение качества планирования, учета и контроля научной деятельности организации, снижение административных усилий, направляемых на регулирование процессов, сбор сведений для отчетности, оценку деятельности научных кадров, предполагают централизацию данных о результатах научной деятельности [11]. Проблема анализа количественных сведений о результатах научной деятельности и объективной оценки научного потенциала организации, подразделения, сотрудника в настоящее время тесно сопряжена с информатизацией науки, созданием информационных пространств и баз данных учета результатов научной деятельности [1].
Необходимость своевременного доступа к актуальным данным по каждому виду научной деятельности, их ключевым характеристикам вынуждает научные и образовательные организации создавать единые электронные каталоги [12]. С каждым годом все больше возникает потребность в информатизации библиографической и наукометрической информации, автоматизации процессов, связанных с отчетностью. Для этого многие (и в первую очередь ведущие) научные организации используют существующие и разрабатывают собственные информационно-аналитические системы (в том числе онлайн-системы) учета окончательных результатов научной деятельности (ИАС РНД, CRIS - Current Research Information System). Такие системы выполняют функции сбора, хранения, анализа и прогнозирования результатов научной деятельности (РНД), а также автоматизации процессов, связанных с представлением отчетности, внедрением эффективного контракта, аттестацией научных сотрудников, управлением персоналом [1-3]. Такие системы могут как учитывать окончательные сведения о РНД, так и оказывать комплексную информационную поддержку научных исследований - системы сопровождения научной деятельности. Среди систем учета окончательных сведений о результатах научной деятельности различают глобальные (мировые, национальные), такие как Scopus, Web of Science, eLibrary, Google Scholar, и корпоративные информационные системы научных и образовательных организаций. Основные отличия глобальных систем состоят в охвате, индексировании цитируемости публикаций (индексные, цитатные базы данных), формировании собственных рейтингов журналов. В свою очередь корпоративные системы учета и организации научной деятельности позволяют
оперативно формировать отчеты на основе самых актуальных и полных данных, реализовать уникальные инструменты и объекты, свойственные организации в соответствии с ее профилем, задачами, структурой и бизнес-процессами[4]. Как правило, для эффективного управления научной деятельностью организации нуждаются в параллельном использовании как глобальных, так и собственных информационных систем.
При этом, важным аспектом внедрения систем является автоматизация процессов, связанных с учетом и актуализацией данных - как результатов научной деятельности, профилей авторов, наукометрических показателях, так и данных об организационно-штатной структуре, сотрудниках. Необходимо, где это возможно, исключить ручной ввод данных в особенности основным пользователем системы - научным сотрудником. По особо ответственным вопросам, информацией о которых владеют административно-организационные структурные подразделения организации, сведения необходимо вносить централизованно, привлекая научных сотрудников только для проверки полноты представления данных в системе.
Внедрение информационной системы позволяет устранить проблемы, характерные для неавтоматизированного учета, такие как дублирование, полнота и достоверность данных, избыточная деятельность, трудоемкость подготовки сводных отчетов, стандартизация данных, отсутствие единой базы и проблемы доступа к данным [5, 6]. Основными принципами корпоративной информационной системы являются охват всех видов научной деятельности, характерных для организации в соответствии с ее профилем, вне зависимости от предметной области, области знания, подходов, используемых в конкретном исследовании, и реализация охвата всех возможных стадий каждого вида научной деятельности - последнее детально реализуется в системах сопровождения научной деятельности.
С 2015 года в ФГБУ «НМИЦ гематологии» Минздрава России ведется разработка (проектирование, внедрение) собственной информационно-аналитической системы результатов научной деятельности «Внутренний портал НМИЦ гематологии для научных сотрудников» [7], актуальность которой обусловлена решением ряда прикладных задач:
1) повышение требований контролирующей организации - Министерства здравоохранения Российской Федерации - к полноте и объективности
Медицинские информационные СИСТеМЫ www.idmz.ru
2020, октябрь
данных о результатах научной деятельности в предоставляемой отчетности;
2) автоматизация учета результатов научной деятельности в электронном виде, унификация форм заполняемых документов;
3) создание единого электронного информационного пространства учета всей существующей научной деятельности организации;
4) доступ к хранимым данным с возможностью их фильтрации с учетом требований текущих задач [6].
При проектировании информационной системы неоднократно обсуждался вопрос соотнесения автора, подразделения и документа, установления. Представляется справедливым проведение оценки научного вклада с учетом занимаемой сотрудником ставки (целая ставка, половина, четверть), ведь результаты работы непосредственно связаны с уровнем нагрузки. При проведении комплексной оценки научной деятельности организации необходимо вычислять сводные показатели и осуществлять рейтингование не только каждого из сотрудников, но и научных подразделений. Необходимо иметь ввиду, что созданные сотрудниками результаты научной деятельности в рамках деятельности структурного подразделения должны быть закреплены не только за автором, но и за подразделением, и это должно быть учтено в том
числе при трудовой миграции сотрудника внутри организации.
Не менее интересным представляется вопрос учета реляций между различными видами научной деятельности. Их иерархия не является в полной мере плоскостной: темы научно-исследовательских работ, в особенности госзадания, гранты, являются наиболее ценной категорией учета, в рамках которых могут выпускаться публикации, патенты, научные отчеты.
ЦЕЛЬ РАБОТЫ
Представить опыт ФГБУ «НМИЦ гематологии» Минздрава России по проектированию и внедрению системы учета окончательных результатов научной деятельности научных сотрудников организации, а также первые результаты ее использования.
МАТЕРИАЛЫ И МЕТОДЫ
ФГБУ «НМИЦ гематологии» Минздрава России было принято инициативное решение о разработке собственной корпоративной информационно-аналитической системы результатов научной деятельности «Внутренний портал НМИЦ гематологии для научных сотрудников». На базе научно-организационного отдела по гематологии, трансфузиоло-гии, донорству в 2015 г. была создана проектная группа, в состав которой также вошли сотрудники
Результаты научной деятельности подразделения - в которых подразделение указано в качестве места работы автора
- в период работы авторов в подразделении
- текущих авторов подразделения
Рис. 1. Варианты определения результатов научной деятельности структурного подразделения
- Научные публикации * Темы НИР
Гранты Патенты
Научные отчеты
Рис. 2. Схематичное изображение реляций между различными видами РНД
Врач lias
' 1/1 МЫГ+1ППМЯ1 11ЛПЫЫК1П
>
и информационные
технологии
информационно-аналитического отдела и отдела административно-информационных систем, а на определенной стадии привлекались научные сотрудники для уточнения и согласования соответствующих их профилю деятельности разделов работ.
В качестве основных требований к разрабатываемой системе выступали:
1) реализация ИАС РНД в виде веб-приложения с доступом к клиентской части пользователям локальной сети организации и размещении кода системы и базы данных на локальном сервере;
2) использование в качестве основного языка разработки PHP, а также JavaScript, CSS, HTML, стандартного интерфейса Twitter Bootstrap;
3) наличие личных кабинетов для каждого научного сотрудника;
4) реализация различных ролевых моделей для пользователей в соответствии с реально занимаемыми должностями в штатной структуре организации - научные сотрудники, заведующие научными подразделениями и их заместители, администрация (Генеральный директор и его заместители по направлениям работ), модераторы и технические администраторы;
5) предоставление возможности пользователям самостоятельного добавления сведений о результатах научной деятельности с последующим их подтверждением заведующим подразделением или модератором;
6) разработка документации, включающей общее описание системы, информационную структуру хранимых данных, перечень и описание
служебных утилит, руководств пользователя для каждой ролевой модели, в том числе руководство администратора по актуализации базы данных в части штатного расписания;
7) разработка программы полной выгрузки (трансфера) данных системы в программно-независимом виде.
РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ
ИАС РНД находилась в режиме тестовой эксплуатации с июня 2017 года, результатом которой явился пересмотр системы взаимосвязей, реализация системы фильтров и экспорта данных в формате Excel для каждого из видов результатов научной деятельности, расширение атрибутов объектов [8].
Структурно ИАС РНД состоит из базы данных, интерфейса, сервисов и подсистем. База данных включает в себя сведения о пользователях системы, организационно-штатной структуре организации, научных сотрудниках, авторах, 13 видах результатов научной деятельности, а также служебные объекты и объявления для главной страницы (рис. 1), (таблица 1). Интерфейс ИАС РНД представлен в виде публичной части, доступной основным пользователям системы - научным сотрудникам, и в виде панели администрирования (CMS Bitrix). Сервисы включают в себя: контроль доступа, поиск и фильтрация записей в системе, импорт (адаптеры взаимодействия с eLibrary и Scopus) и экспорт данных, алгоритм утверждения вносимых сведений о РНД. К используемым подсистемам можно отнести регистрацию пользователей и восстановление
Рис. 3. Скриншот ИАС РНД: страница учета тем НИР научной организации
-
доступа, авторизацию и аутентификацию, email-уведомления и нотификацию внутри системы.
Промежуточные результаты пробной эксплуатации отобранной тестирующей группы экспертов показали полностью выполненные разделы работы ИАС РНД: создан и функционирует в полном объеме инструмент-робот автоматического импорта данных о научных публикациях, включая их наукометрические показатели; формы добавления/редактирования по всем 13 видам научной деятельности; разделение прав пользователей системы (уровни доступа); статусы документов и заявок/запросов, отправляемых на утверждение руководителю структурного подразделения; рассчитываемые системой научные показатели структурных подразделений организации. За время тестового периода было произведено централизованное первичное наполнение базы данных ИАС РНД сведениями о результатах основных видов научной деятельности организации - темах НИР, выполняемых в рамках государственного задания фундаментального типа и инициативных (прикладных), разделах НИР, грантах, патентах, диссертациях, о проведенных телемедицинских консультациях/ консилиумах и научно-практических мероприятиях с применением телемедицинских технологий.
Большая часть контента ИАС РНД - сведения о выпущенных публикациях - формируется средствами автоматического импорта: в ИАС РНД реализованы и успешно функционируют интеграции с БД РИНЦ (elibrary.ru) и Scopus (scopus.com) с ежедневным обновлением, которые являются инструментом первичного наполнения, мастер-базами (рис. 4). Интеграции выполнены посредством отправления HTTP-запроса на API-компоненты сайтов баз данных. CMS Bitrix представляется удобной средой для дальнейшей интеграции с Windows Active Directory, используемыми в ФГБУ «НМИЦ гематологии» Минздрава России программными продуктами 1С, а также медицинской информационной системой.
2020, октябрь
ИАС РНД аккумулирует различные внешние источники, обеспечивая автоматический учет и актуализацию данных о наиболее объемном разделе работ - научных публикациях; сбор и систематизацию информации о результатах научной деятельности, а также организационно-штатных сведений из различных административно-организационных отделов организации [9] (рис. 2). Обеспечены централизованный ввод и актуализация информации по наиболее крупным и важным аспектам научной работы организации - темам НИР, грантам, патентам, договорам, диссертациям и другим РНД. От основного пользователя системы - научного сотрудника - требуется довнесение сведений, которыми владеет только он (преимущественно о докладах на конференциях), а также проверка учитываемой информации. Научный сотрудник является одним из потребителей предоставляемого системой функционала, благодаря которому может выполнять задачу составления персональных отчетов о собственном вкладе в научную работу (рис. 3).
Специфическим отличием ИАС РНД от других систем учета результатов научной деятельности является возможность установления связи между различными документами. Например, для таких документов как НИР, Раздел НИР, Грант можно указать выпущенные в рамках их исполнения публикации, научные отчеты и патенты. Перманентное поддержание актуальности базы данных позволяет, к примеру, предоставлять к отчету сведения о публикациях, выпущенных в рамках исполнения государственного задания, опубликованных в рейтинговых научных журналах с импакт-фактором 0,3 и выше.
Интеграция с внешними базами данных практически исключает необходимость повторного ввода. Приоритетной интеллектуально емкой задачей являлось обеспечение загрузки и актуализации сведений о публикациях. Реализованная интеграция обеспечивает обновление данных в полностью
Источники
импорт elibrary импорт Scopus централизованный ввод основных видов РНД ручной ввод информации научными сотрудниками
База данных
Результат
личный кабинет научного сотрудника
страница подразделения страница организации представление РНД в табличном виде экспорт данных
Рис. 4. Источники данных и выходные результаты ИАС РНД
>
Врач lis:
' 1/1 1ЛЫГ+1ППМЯ1 11ЛПЫЫК1П
и информационные
технологии
>
Состав базы данных ИАС РНД
Таблица 1
№ п/п Показатель Значение
1 Число зарегистрированных научных сотрудников 218
2 Импортировано сведений об авторах из РИНЦ 398
3 Импортировано сведений об авторах (в том числе соавторах) из Scopus 4570
4 Импортировано описаний публикаций из РИНЦ 16 027
5 Импортировано описаний публикаций из Scopus 2273
Информация, вносимая в ИАС РНД преимущественно научными сотрудниками:
6 Описания научных публикаций (внесены вручную) 19
7 Научные отчеты 5
8 Доклады, сообщения 205
9 Рецензии 24
10 Участие в диссертационных советах 5
11 Участие в ученых советах 2
12 Участие в проблемных комиссиях 7
13 Участие в этических комитетах 0
14 Научный совет Минздрава России 0
15 Научный совет РАН 0
16 Экспертный совет Минздрава России 1
17 Эксперт РАН 25
18 Рабочие группы Минздрава России 2
19 Редколлегии, редсоветы изданий 69
20 Редколлегии, редсоветы сборников 1
Информация, вносимая в ИАС РНД преимущественно централизованно:
21 Темы НИР (включая госзадания и инициативные) 40
22 Разделы НИР 23
23 Гранты 28
24 Договоры о научном сотрудничестве 5
25 Патенты 61
26 Телемедицинские консультации 56
27 Научно-практические мероприятия с применением телемедицинских технологий 1
28 Диссертации 170
автоматическом режиме с обновлением 1 раз в сутки - система реагирует на каждое полученное цитирование, каждое изменение индекса Хирша и других данных.
Личные кабинеты научных сотрудников, страницы подразделений и организации содержат полные перечни индексируемых результатов научной деятельности, а также авторские наукометрические показатели.
Учитывая большой объем накапливаемых результатов научной деятельности, ИАС РНД
запланирована как проспективная, заполняемая на мере появления РНД с начала 2018 года.
ВЫВОДЫ И ДАЛЬНЕЙШИЕ ПЕРСПЕКТИВЫ РАЗРАБОТКИ
Разработанная в НМИЦ гематологии информационная система позволяет накапливать сведения об окончательных результатах научной деятельности, рассчитывать наукометрические показатели. Эти данные могут учитываться как при проведении внутренней оценки эффективности работы научных
подразделений, формирования системы поощрения сотрудников, эффективного контракта, аттестацией научных сотрудников, сравнительных рейтингов, так и для составления отчетов [9].
По-прежнему представляет интерес вопрос соотнесения автора и документа, совершенствования реляций между различными видами научной деятельности. В ИАС РНД уже заложен учет занимаемой сотрудником должностной ставки, а закрепление результата научной деятельности за подразделением происходит автоматически в момент заведения сведений о документе. Система учитывает участие в научной деятельности и одновременно нескольких научных структурных подразделений организации, актуализируя связи в случае перехода сотрудника из одного отдела в другой.
Планируемое развитие ИАС РНД связано с разработкой дополнительных инструментов представления и выгрузки данных, поддержания базы данных в актуальном виде, корректировкой существующих бизнес-процессов, расширением структуры хранимых данных, а главное - расширением сфер применения, прежде всего при проведении комплексной оценки научного вклада персонально каждого научного сотрудника (эффективный контракт), структурного подразделения, научной организации в целом.
При разработке и внедрении критериев оценки, коэффициентов научной производительности - проведение оценки научного вклада - необходимо основываться на количественных и качественных показателях учитываемых результатов научной деятельности в расчете на занимаемую сотрудником должность и ставку (рис. 5). Критерии оценки могут быть различны в отношении молодых ученых, начинающих свою научную трудовую карьеру - аспирантов и младших научных сотрудников, и в отношении признанных деятелей науки, заведующих научными и научно-клиническими подразделениями.
Каждому виду научной деятельности соответствуют свои особые качественные показатели. Так, для публикаций такими показателями могут служить тип публикации (полнотекстовая ли это статья или небольшой тезис), уровень источника (для журналов - импакт-фактор, наличие в перечне ВАК, индексирование в ядре РИНЦ, Scopus или
WoS; для сборников - средневзвешенный индекс Хирша членов редакционной коллегии), число цитирований с учетом или без учета самоцитирований автора, структурного подразделения или организации, выпуск публикации совместно с зарубежными соавторами, порядок авторства в публикации (первый автор, второй, последующий, последний). Приведенный выше список качественных показателей, характеризующих весомость созданного научного труда, может быть с легкостью дополнен, что в целом отражает сложность проведения наукометрической оценки деятельности, разработки и, что не менее важно, актуализации целевых показателей, пороговых значений, выраженных в сводном числовом виде. С учетом выраженного устаревания знания в медицинских науках, постоянного развития коммуникационных связей в глобальном научном сообществе, в том числе интеграции онлайн-ресурсов - профессиональных и научных социальных сетей, пополнения и популяризации баз данных учета научных деятельности, цитатных баз данных, а также ресурсов открытого доступа, с учетом общего научно-технического прогресса и тенденций [10] необходимо иметь ввиду, что отобранные показатели, их целевые и пороговые значения не могут быть приняты на значительно долгий срок - необходимо регулярно подвергать их пересмотру, актуализации. В особенности это становится важным при внедрении эффективного контракта - осуществлении кадровой политики и решении зарплатных вопросов. В условиях повышения качества жизни населения, роста конкуренции научных организаций за перспективных и талантливых сотрудников, важно внимательно отнестись к обеспечению прозрачности условий труда, в особенности в вопросах начисления заработной платы.
Полученный опыт разработки информационной системы в дальнейшем позволит расширять и актуализировать перечень хранимой информации, совершенствовать системы ее сбора, поиска и обработки в том числе с использованием автоматизированных средств анализа данных.
База данных результатов научной деятельности может использоваться вне зависимости от изменений
Количество * Качество
= Оценка научного вклада
Должность * Ставка Рис. 5. Определение научного вклада сотрудника
>
Врач ÜSä
' 1/1 МЫГ+1ППМЯ1 11ЛПЫЫК1П
и информационные
технологии
>
методов, применяемых в наукометрии, целевых показателей, предметной области и области знания. При построении системы учитываются объективные индикаторы состояния научной деятельности организации - система учитывает не только вычисляемые агрегированные количественные показатели авторов, подразделений, организации, но и базовые показатели, которые могут использоваться при применении новых метрик оценки научной деятельности. В ИАС РНД могут применяться как ручные методы веб-анализа (анализ посещаемости, активности пользователей в части добавления информации о РНД), так и автоматизированные, по умолчанию
доступные в CMS Bitrix счетчики - средняя посещаемость в сутки, неделю, месяц, наиболее посещаемые страницы, средняя длительность пользовательской сессии, число уникальных посетителей.
Разработка и внедрение в научно-практическую деятельность организации информационно-аналитических инструментов современных сервисов по сбору, структуризации и хранению результатов весьма многогранной и разнообразной научной деятельности открывает новые, высокомобильные возможности оценок, рейтинга, определения актуальных направлений и тенденций с помощью данных актуализируемого научного архива.
ЛИТЕРАТУРА
1. Столяров Р.А., Чугреев В.Л. Автоматизированная система учета результатов интеллектуальной деятельности в научной организации. // Вопросы территориального развития. - 2015. - Т. 6 (26). - С. 11.
2. Иванченко Д.А., Туманов В.Е. Информационно-аналитическая система учета результатов интеллектуальной деятельности в вузе. // Открытое образование. - 2011. - № 2. - С. 214-217.
3. Интеллектуальная система тематического исследования научно-технической информации (ИСТИНА). Афонин С.А. и др. Под ред. академика В.А. Садовничего. М.: Издательство Московского университета, 2014. - 262 с.
4. Синицын А.А., Никифоров О.Ю., Андреев М.А. Концепция и структура информационно-аналитической системы анализа публикационной активности сотрудников научно-образовательной организации. // Фундаментальные исследования. - 2014. - № 11. - С. 1276-1280.
5. Загорулько Ю.А., Ахмадеева И.Р., Серый А.С. Автоматизация сбора информации о научной деятельности для тематических интеллектуальных научных интернет-ресурсов. В сборнике: Аналитика и управление данными в областях с интенсивным использованием данных. Труды конференции. -2015. - С. 62-68.
6. Чичкарев Е.А., Сергиенко А.В., Назаренко Н.В. Автоматизация учета результатов научной работы сотрудников вуза на базе системы управления контентом. // Фiзико-Математична Освгга. -2017. - № 3 (13). - С. 188-193.
7. Гармаева Т.Ц., Русинов М.А., Зайцев Д.А., Коновалова А.А., Ибрагимова И.Т., Гузеватых А.П. и др. Современные методы организации контроля и управления научной деятельностью с помощью информационно-аналитических инструментов. // Гематология и трансфузиология. - 2016. - Т. 61(S1). - С. 38.
8. Зайцев Д.А., Гармаева Т.Ц., Опарин А.В., Коновалова А.А., Куликов С.М., Менделеева Л.П. О промежуточных результатах тестовой эксплуатации информационно-аналитической системы «Внутренний портал НМИЦ гематологии для научных сотрудников». // Гематология и трансфузиология. - 2018. - Т. 63 (S1). - С. 66-67.
9. Зайцев Д.А., Стаценко Т.П., Гармаева Т.Ц., Коновалова А.А., Дрозд Н.Н., Куликов С.М. и др. Информационно-аналитическая система результатов научной деятельности (ИАС РНД) «Внутренний портал научных сотрудников» как инструмент управления и контроля научно-исследовательских работ. // Гематология и трансфузиология. - 2020. - Т. 65 (S1). - С. 144.
10. Гармаева Т.Ц., Коновалова А.А., Зайцев Д.А., Стаценко Т.П. Менделеева Л.П. Оценка динамики количественных и качественных наукометрических показателей научной деятельности по данным международных (Web of Science/Scopus) и российской (РИНЦ) реферативных баз научного цитирования. // Гематология и трансфузиология. - 2018. - Т. 63 (S1). - С. 125.
11. Hirsch J.E. An index to quantify an individual's scientific research output. Proc. Natl. Acad. Sci. U. S.A. National Academy of Sciences. - 2005. - Vol. 102 (46). - P. 16569-16572.
12. Sinitsyn A.A. Experience of Small Innovative Enterprises Foundation in the Vologda Region. Middle-East J. Sci. Res. - 2013. - Vol. 16 (10). - P. 1424-1427.
