CC BY
60
Эпистемология и философия науки 2017. Т. 51. № 1. С. 188-205 УДК 168.5
Epistemology & Philosophy of Science 2017, vol. 51, no. 1, pp. 188-205 DOI: 10.5840/eps201751118
Развитие научных коммуникаций
как условие модернизации оценки научной результативности*
Когаловский Михаил Рувимович - кандидат технических наук, заведующий лабораторией. Институт проблем рынка РАН. Российская Федерация, 117418, г. Москва, Нахимовский пр-т, 47; email: kogalov@gmail.com
Неволин Иван Викторович -
кандидат экономических наук, ведущий научный сотрудник. Центральный экономико-математический институт РАН. Российская Федерация, 117418, г. Москва, Нахимовский пр-т, 47; email: i.nevolin@cemi.rssi.ru
Паринов Сергей Иванович -
доктор технических наук, заместитель директора по научной работе. Центральный экономико-математический институт РАН. Российская Федерация, 117418, г. Москва, Нахимовский просп., 47; e-mail: sparinov@ cemi.rssi.ru
Развитие информационных технологий существенным образом влияет на систему научных коммуникаций, трансформируя ее. Авторы полагают, что подобные процессы открывают новые возможности для совершенствования практики оценки научной результативности. В первом разделе статьи дается характеристика использующихся в России и некоторых европейских странах подходов и способов оценки результативности отдельных ученых и научных коллективов. Анализируются общие для них особенности и недостатки, среди которых выделяется невозможность отслеживать качество цитирований, учитывать конкурентоспособность каждого ученого, развитие его исследований. Отмечается, что информационные системы сбора данных, расчета и визуализации показателей научной результативности становятся площадкой для улучшения научных коммуникаций. Они помогают избегать дублирования исследований, искать возможности научной кооперации и т. д. Роль подобных систем, таким образом, оказывается двоякой - они не только обеспечивают текущий мониторинг научной деятельности, но и трансформируют ее. А эти трансформации в свою очередь открывают перспективы для совершенствования оценки научной результативности. Во втором разделе исследуются новые тенденции и перспективы развития научной среды и научных коммуникаций. Показывается, как они могут способствовать созданию принципиально новых инструментов оценки научной эффективности. В третьем разделе рассматривается российская научная информационная система Соционет, как конкретный пример нового технологического обеспечения научных коммуникаций. Обсуждаются возможные трансформативные эффекты и потенциал этой системы, а также перспективы, открывающиеся для практики оценки научной результативности.
Ключевые слова: оценка научной результативности, технология научных коммуникаций, научная информационная система Соционет
* Статья подготовлена при поддержке РФФИ, грант № 15-07-01294-а «Технологии открытого аннотирования контента в научных информационных системах».
188 © Когаловский М.Р., Неволин И.В., Паринов С.И.
cholarly communication development as a modernization basis for the research performance assessment and evaluation
Mikhail Kogalovsky - PhD in
Technical Sciences, head of laboratory. Market Economy Institute, Russian Academy of Science. 47 Nakhimovsky prospect, Moscow, 117418, Russian Federation; e-mail: kogalov@gmail.com
Ivan Nevolin - PhD in Economics, leading research fellow. Central Economics and Mathematics Institute, Russian Academy of Science. 47 Nakhimovsky prospect, Moscow, 117418, Russian Federation; e-mail: i.nevolin@ cemi.rssi.ru
Sergei Parinov - DSc in Technical Sciences, deputy director on scientific work. Central Economics and Mathematics Institute, Russian Academy of Science. 47 Nakhimovsky prospect, Moscow, 117418, Russian Federation; e-mail: sparinov@cemi.rssi.ru
The information technology development significantly influences on the scholarly communication system by means of transformation. Such processes open new opportunities for improvements of the research performance assessment. The first part of the article characterizes the approaches and methods of research performance assessment, adopted in Russia and some European countries to evaluate individual scientists and research teams. The common features and shortcomings are under discussion, while the most notable among them are the following: inability to track the citation motivation, inability to address to the competitiveness of the every individual scientist and the progress of current research. However, we conclude that the modern research information systems with new approaches to research performance indicators calculation and its visualization become a platform for the scholarly communication improvement. They help in preventing research duplication, finding opportunities for research collaboration, etc. The role of such systems, therefore, is dual - first, they provide current monitoring of research activities and, second, suggest transformation path. This transformation, in turn, provides opportunities for improvement of the research performance assessment. The article's second section analyzes new trends and prospects of the research environment development and scientific communication. We demonstrate how these trends can contribute to the creation of the fundamentally new tools for the research performance assessment. The third section discusses the Russian research information system Socionet, as a particular example of new technological environment for scholarly communication. The transformative impact and the potential of this system, as well as the created new opportunities for the research performance assessment - are all under discussion.
Keywords: research performance assessment and evaluation, scholarly communication technology, research information system Socionet
Отечественная и зарубежная практика оценки научной результативности и ее недостатки
В России внимание широкой общественности к оценке научной и образовательной деятельности обусловлено публикациями в СМИ, в которых, в том числе, обсуждаются реорганизация РАН1, реструктуризация вузов2
1 Реформа РАН 2013 года активно освещается в материалах «Троицкого варианта». Например, Троицкий вариант. № 13 (132) от 2 июля 2013 г.
2 Например, [Журман, Петров, 2015].
и кадровые решения относительно профессорско-преподавательского состава3. В этих обсуждениях можно выделить ряд ключевых моментов и проблем.
Оценивание ученых внутри организаций не унифицировано, и руководство последних, главным образом, опирается на показатели публикационной и образовательной деятельности, важные для характеристики организации в целом. Данные показатели включают, помимо прочего, количество публикаций, наличие ученой степени, участие в стажировках и возраст. Оценка организаций инициируется Правительством РФ и является внешней по отношению к научному сообществу. Цели оценки отечественных научных организаций обозначены в ряде нормативных документов, а в качестве примера можно обратиться к следующим процедурам: а) мониторингу вузов Минобрнауки РФ; б) оценке претендентов на участие в программе 5-100; и в) оценке организаций ФАНО России. Оценка организаций проводится раз в пять лет, мониторинг - ежегодно, результаты размещаются в сети Интернет4.
Мониторинг вузов проводится с целью «информационной поддержки... государственной политики Российской Федерации в сфере образования, <...> усиления результативности функционирования образовательной системы, <...> а также в целях выявления нарушения требований законодательства об образовании»5. Кроме того, одним из ожидаемых результатов мониторинга заявлена ориентация организаций не только на подготовку квалифицированных кадров, но и на развитие научно-технического потенциала. Данные, собранные в ходе мониторинга, используются Правительством РФ для структурных преобразований организаций и корректировки правил оплаты труда профессорско-преподавательского состава.
Программа оценки претендентов 5-100 призвана определить получателей дополнительного финансирования, которое должно способствовать вхождению пяти российских вузов в первую сотню международных рейтингов университетов. Для того чтобы стать участником программы, необходимо пройти конкурсный отбор. Заявки претендентов включают показатели научной и образовательной деятельности. Решение о включении в программу той или иной организации принимается группой экспертов.
Одна из обсуждаемых российских систем оценивания разработана и используется ФАНО России на базе ряда постановлений Правительства РФ и предполагает последующую дифференциацию организаций, подведомственных ФАНО России, по трем группам6.
3 Например, [Арутюнов, Балашов, Карасев, Терешин, 2015].
4 Сайт оценки организаций [http://www.sciencemon.ru/] и сайт мониторинга ВУЗов [http://indicators.miccedu.ru/monitoring/].
5 Постановление Правительства Российской Федерации от 5 августа 2013 г. № 662 «Об осуществлении мониторинга системы образования».
6 На основании постановления Правительства Российской Федерации от 8 апреля 2009 г. № 312.
Все рассмотренные выше процедуры оценки вызывают критику со стороны российского научного сообщества7. Одно из наиболее распространенных замечаний связано с недоверием к библиометри-ческим показателям, которые подталкивают ученых к их количественному выполнению и слабо коррелируют с качеством научных публикаций. Также критикуется практика применения оценок результативности. Часто пишут, что ранжирование организаций приводит к перераспределению ресурсов между ними, при том что сама оценка слабо связана с планированием и развитием научной деятельности, а также с повышением качества исследований.
Претензии к процедурам оценки научной результативности не являются уникальными для России. В Европе интерес к индикаторам и оценкам научной результативности усилился, начиная с 2000-х гг. Это связано с установлением новой парадигмы управления, нацеленной на результаты и производительность [Mahieu et al, 2014]. Она характерна не только для науки, но и для всех сфер государственного управления. Главной становится отчетность перед налогоплательщиками о расходовании бюджетных средств. Это порождает более высокую открытость принятия решений на государственном уровне, а также большее внимание к эффективности, качеству, контролируемости и ответственности, в чем бы они ни выражались. Результативность научной деятельности, выраженная неким интегральным показателем, в таком контексте становится, с одной стороны, инструментом расстановки приоритетов, а с другой - позволяет распределить ответственность за принимаемые решения между ведомствами и экспертами, вовлекаемыми в процедуру оценки.
Показатели оценки зависят от того, какая методика доминирует в национальном масштабе - количественная или качественная (экспертная). Публикационная активность - предмет анализа количественных процедур - присутствует и в экспертных системах. Однако здесь эти данные служат лишь «пищей» для экспертного анализа. Так, например, процедуры оценивания в Норвегии и в Великобритании содержат количественные показатели, в том числе о публикационной активности. Однако итоговая оценка формируется экспертным жюри, которое принимает решение по совокупности всей представленной информации, не только количественной, но и качественной. Напротив, в Чехии все результаты оцениваются в баллах, которые впоследствии корректируются с учетом предметной области [Measuring scientific performance..., 2013]. В Европейских странах также есть новшество, которого в России пока нет - оценка общественной значимости исследований. Известны ограничения этого подхода: все последствия реализации конкретной исследовательской программы принципи-
Примером реакции со стороны сообщества служит публикация [Георгиев, 2015].
7
ально невозможно охватить. Кроме того, тяжело проследить роль отдельного эффекта - на общество одновременно воздействует целый комплекс достижений науки и техники. Поэтому измерение нематериального эффекта, связанного с конкретной программой или проектом, остается трудной задачей [Enhancing Public Research..., 2009].
Межстрановое разнообразие процедур оценки показывает преимущества и недостатки различных подходов. Так, количественная оценка не учитывает качество исследований, плохо отражает важность результатов и побуждает научное сообщество к нечестной игре по «накрутке» показателей. Качественная, или экспертная, оценка в свою очередь медлительна, непрозрачна и сильно зависит от взглядов эксперта, их приверженности той или иной научной школе, что порождает новую проблему - отбор экспертов [Wilsdon et al, 2015]. Тем не менее, несмотря на свои недостатки, именно экспертная оценка является тем подходом, к которому склоняются многие государства, поскольку индикаторы не могут полностью охарактеризовать уровень исследований, а библиометрические показатели определяются культурой цитирования [Wilsdon et al, 2015].
Научное сообщество не согласно с однобоким представлением своей работы на базе количественных показателей, поскольку, во-первых, общество получает упрощенную картину и, во-вторых, исследователи вовлекаются в гонку за показателями. В качестве альтернативы научное сообщество пытается выработать свои, внутренние, а не исходящие в директивном порядке извне методы оценки научной результативности. Эти методы оперируют не показателями, а результатами, научными артефактами и организацией научной работы. Так, в Нидерландах система оценки научной результативности является инициативой группы университетов, а не государства. Отчет научных организаций включает описание целей и стратегии развития, SWOT-анализ8, академическую репутацию и значимость проводимых исследований. Именно этот отчет с обилием качественной информации попадает в руки эксперту - члену научного сообщества - для подготовки итогового заключения. Помимо оценки экспертное заключение также содержит рекомендации для самой организации и для вышестоящих ведомств [Measuring scientific performance., 2013].
Университетами Великобритании разработана процедура составления индикаторов и последующего сравнения организаций, названная Snowball Metrics9. Результаты оценки используются внутри университетов, и задача процедуры показать место конкретной организации либо при парном сравнении, либо в общем рейтинге.
8 Анализ сильных, слабых сторон организации, а также возможностей и угроз внешней среды (от англ. Strong, Weak, Opportunities, Threats)
9 См.: [http://www.snowballmetrics.com/].
Итак, широко использующаяся в России в последнее время оценка научной результативности на основе данных публикационной активности ученых и цитирования их работ в общем случае имеет сомнительное качество. Она не учитывает мотивы цитирований, что в принципе не позволяет различать, чем вызваны высокие значения таких показателей: работы ученого активно опровергаются и критикуются или они действительно стали основой для большого количества новых результатов. Отсюда следует, что существенно повысить качество оценки научной результативности возможно, перейдя к фиксации и измерению того, как именно и с какой целью ученые используют результаты друг друга. Такой подход достаточно легко реализуется, когда ученые находятся в прямом контакте друг с другом, т. е. работают в одном проекте, исследовательской лаборатории или организации: методом опроса можно получить качественные сведения о характере использования тех или иных научных артефактов. Но в рамках научного сообщества в целом этот подход не может быть использован без изменения механизма научных коммуникаций.
Развитие научной среды и научных коммуникаций, способствующих модернизации оценки научной результативности
Только практика - использование результата научной деятельности в процессе создания нового научного знания - позволяет получить достоверные данные о значимости этого результата. Факт использования некоторого научного артефакта может проявляться как в виде получения на его основе нового научного знания, так и в виде его применения для решения прикладных задач в интересах развития экономики и общества. В обоих случаях этот факт становится наблюдаемым и может анализироваться, если в научной литературе появляются ссылки (цитирование) на использованный научный результат. Однако учитывать мотивы цитирования оказывается крайне сложно. Известны попытки автоматизировать выявление мотивов цитирования путем компьютерного анализа контекста ссылок в полных текстах научных статей ^ааМ, 2008]. Данный подход пока не получил широко-
го распространения в силу достаточно приблизительных результатов в оценивании мотиваций цитирования, что связано со сложностями анализа текстов на естественных языках. Решение обозначенной проблемы становится возможным, если необходимые сведения каким-то образом фиксируются и отчуждаются самими учеными в процессе использования результатов, полученных другими исследователями.
Сбор качественной информации о причинах и характере использования одними учеными результатов работы других ученых в процессе самого этого использования можно реализовать в рамках глобальной системы научных коммуникаций, основанной на современных информационных технологиях и обеспечивающей циркуляцию в научном сообществе создаваемых результатов исследований (РИ) и их доведение до потребителя. Подобная система в идеале должна выполнять следующие функции:
1) доводить РИ до потребителя, отличая потребителей РИ от простых читателей научных текстов;
2) предоставлять потребителю разнообразные инструменты для использования всех доступных РИ в своих исследованиях и для создания собственных РИ, т. е. поддерживать достаточно полный набор режимов использования РИ;
3) автоматически фиксировать факты и качественные характеристики использования РИ для создания нового научного знания, т. е. переводить максимально возможный набор качественных и количественных параметров процесса научного использования РИ в автоматически регистрируемые и статистически фиксируемые показатели;
4) автоматически уведомлять авторов обо всех фактах использования их РИ, включая сведения о качественных параметрах использования, предоставлять авторам возможности обратной связи, в общем случае - средства научных коммуникаций с потребителями их РИ;
5) накапливать и публиковать в открытом доступе все генерируемые системой данные о фактах использования РИ, а также данные о характере реакции авторов на факты использования - для создания конкуренции между различными авторами за право наилучшего удовлетворения спроса потребителя на необходимые для его исследования РИ;
6) устанавливать и поддерживать научную кооперацию между авторами и потребителями РИ.
При наличии перечисленных выше функций система научных коммуникаций позволит собирать и накапливать данные, достаточные для автоматической генерации принципиально новых показателей научной результативности. Они позволят отличать использование РИ для научного вывода и создания нового научного знания от случаев упоминания РИ в качестве иллюстраций, примеров и т. п., а также выявлять случаи критики и опровержения научного содержания цитируемого РИ.
Поддержка обратной связи и коммуникаций между автором РИ и потребителем РИ, если эти коммуникации происходят до момента окончательной публикации потребителем его научного результата, могут оказать положительное влияние на качество окончательного текста. На этапе подготовки публикации подобные коммуникации делают возможным получение потребителем РИ помощи от его ав-
тора, которая позволит добиться большей эффективности его использования. Наличие в системе конкуренции авторов за удовлетворение спроса потребителя РИ (пункт 5) приводит к тому, что потребитель выбирает лучший РИ из имеющихся.
Некоторые функции такой идеальной системы уже практически реализованы и применяются в различных научных информационных системах. Например, в системах SpringerLink, Яе8еагеЬОа1е и некоторых других авторы получают уведомления по электронной почте о фактах цитирования их статей (пункт 4), а в российской системе Соционет, как мы покажем далее, в той или иной степени реализованы все шесть пунктов идеальной системы научных коммуникаций.
Однако принципиальным барьером на пути реализации пункта 2 является традиционная система научных издательств и журналов, которая ограничивает наблюдаемые формы научного использования РИ традиционным цитированием публикаций без возможности явно указать мотивы цитирования.
Сравнивая существующую научную издательскую систему с перечисленными выше требованиями к идеальной системе коммуникаций, можно отметить некоторые важные отличия. Во-первых, потенциальные потребители РИ (читатели статей) имеют различные возможности доступа к содержанию журналов. Например, одни организации предоставляют своим сотрудникам бесплатный доступ к публикациям по корпоративной подписке, а другие - нет. В этих условиях автор статьи, как правило, не может обеспечить всем равный и немедленный доступ к опубликованным результатам своих исследований.
Во-вторых, при создании нового научного знания ученые оперируют (часто только мысленно) научными артефактами и отношениями между ними. Но для передачи этого знания научному сообществу, например, в целях проверки его корректности, авторам приходится тратить силы и время на выполнение требований издательств для придания своему научному результату формы статьи.
В-третьих, действующая система научных журналов не гарантирует авторам опубликованных результатов, что они узнают, кто, как и с какой целью использовал эти результаты. Более того, действующая система не обеспечивает коммуникации между производителем и потребителем РИ. Если бы такие коммуникации были, они могли бы способствовать улучшению качества результатов исследований обеих сторон - производителя и потребителя РИ, а также способствовать возникновению их продуктивной научной кооперации.
В-четвертых, более или менее точные представления о научной значимости опубликованных результатов выясняются по итогам серии своего рода «проб и ошибок», которые возникают, когда ученые пытаются использовать эти результаты в своих исследованиях. Каче-
ственные итоги подобного процесса «проб и ошибок» не могут быть выражены просто наличием цитаты соответствующего результата. В итоге эта важная информация не присутствует в индексе цитирования и не учитывается при оценке научной результативности ученых, основанной на показателях цитирования.
С точки зрения требований идеальной системы научных коммуникаций традиционная система научных журналов как способ коммуникаций между авторами научных результатов и их потребителями выглядит устаревшей и неэффективной. Она органически не способна дать более точные данные о научной результативности ученых.
Именно поэтому появляются различные научно-информационные системы10. Следующие шаги в направлении формирования новой системы коммуникаций, очевидно, должны быть следующими:
1) дать ученым возможность в момент чтения статей выделять в текстах заинтересовавшие их фрагменты (научные артефакты);
2) предоставить ученым средства для публичного использования этих артефактов в целях производства нового научного знания;
3) обеспечить научные коммуникации между потребителями и авторами соответствующих РИ.
Эти новые возможности не отменяют того, что далее ученые могут скомпоновать из артефактов и научных отношений между ними традиционные по форме публикации11.
По нашему мнению, ученые будут согласны на публичную визуализацию части своего научного процесса и связанные с этим дополнительные затраты сил и времени. Взамен они получают возможность устанавливать прямые контакты в режиме «производитель-потребитель» РИ, включая возможности повышения качества своих исследований за счет возникновения кратко- или долгосрочной кооперации между авторами и пользователями РИ.
До момента публикации собственных РИ ученые смогут сверять правильность использования ими РИ других ученых, т. е. возникают регулярные предпубликационные научные коммуникации между потребителями и создателями РИ. Подобные научные коммуникации между заинтересованными сторонами на этапе подготовки публикаций будут выполнять функцию контроля качества результатов проведенного исследования. Фактически такие коммуникации могут выполнять ту же функцию, которую сейчас реализует система рецензирования рукописей в журналах.
См.: [https://101innovations.wordpress.com/2015/06/23/first-1000-responses-most-popular-tools-per-research-activity]
«.публиковать фрагменты это - легко и быстро. Переплетать их в более широкую сеть научно-исследовательских коммуникаций, и время от времени прилагать больше усилий, чтобы рассказать более полную историю» [№у1оп, 2010а].
10
11
Следствием появления пред-публикационных коммуникаций станет потеря институтом научных публикаций функции традиционного инструмента глобальных научных коммуникаций12. Больше не будет необходимости готовить и добиваться публикации своих РИ в виде статей в журналах только для того, чтобы о них узнали и стали использовать.
Создание ученым научного произведения все более явно приобретает вид агрегации некоторого тематического набора артефактов, связанных научными отношениями как между собой, так и с внешними артефактами, не вошедшими в данный набор13. Развитие научных представлений и получение нового научного знания отражается в таких научных произведениях либо как простое добавление в этот набор новых артефактов и отношений, либо как полная переупаковка его содержания под новые цели [№у1оп, 2010Ь].
Существенно повышается степень «повторного использования» отдельных элементов научного произведения. Ученый может оперировать уже готовыми группами артефактов и отношений, которые соответствуют: определению предметной области и конкретного объекта исследования, формулировке проблемы и конкретной задачи, методологии, описанию этапов решения задачи, изложению выводов и оценки важности результатов для развития проблематики и т. п.
Наличие типизированных научных отношений между артефактами позволяет в автоматическом режиме отслеживать важные события и уведомлять о них заинтересованных ученых. Подобная профессиональная сигнальная система может информировать авторов о необходимости ревизии их научных произведений, если среди РИ, использованных ими, например, для научного вывода, обнаружены ошибки или поставлена под сомнение их научная состоятельность.
12 «Ученые публикуют по двум причинам: чтобы сообщить о своей работе своим коллегам, а также получить научный вес при приеме на работу, для продвижения по службе и финансирования» [Eisen, Vosshal, 2016].
13 «Для меня документ представляет собой агрегат (совокупность) объектов. Он содержит текст, разделенный на секции, часто со ссылками на другие части работы. Некоторые из этих ссылок являются внутренними, направленными к рисункам и таблицам, которые являются представлением данных в той или иной форме» [Neylon, 2010b].
Соционет - действующая виртуальная научная коммуникационная среда
Соционет - своеобразный экспериментальный полигон и одна из наиболее функционально развитых российских научных информационных систем, в которой нашли воплощение описанные выше требования к идеальной системе научных коммуникаций [Parinov, 2012; Parinov, Lyapunov, Puzyrev, Koga1ovsky, 2015]. Ее разработка началась более 15 лет назад [Паринов, Ляпунов, Пузырев, 2003]. Сегодня Соци-онет предоставляет свободный доступ к большому массиву научных публикаций по различным дисциплинам, среди которых наибольшую долю занимают публикации социально-экономического характера. Количество публикаций по состоянию на май 2016 г. достигает 3,5 млн. Зарегистрированный пользователь может публиковать в системе свои материалы и информационные объекты различных типов, а также пользоваться ее разнообразными бесплатными сервисами14.
Информационные объекты системы Соционет
Система позволяет публиковать и предоставляет пользователям доступ к электронным информационным объектам различного рода (монографии и статьи из периодики, научные отчеты, тексты и презентации докладов, авторефераты диссертаций и полные их тексты, рабочие записки и многое другое). Кроме того, доступны сведения о персонах - авторах публикаций, а также об организациях, с которыми ученые аффилированы.
Большую часть данных система Соционет получает из внешних источников как агрегатор научных метаданных15.
Семантические связи между информационными объектами
В Соционет поддерживаются бинарные ориентированные связи двух видов между информационными объектами:
1) предопределенные, которые исходно включены в метаданные информационных объектов (например, связи между организацией и ее сотрудниками - авторами представленных в системе информационных объектов, между информационными объектами и их авторами и т. д.);
14 См.: [https://socionet.ru/openscience.html].
15 См.: [https://socionet.ru/publication.xml?h=repec:rus:mqijxk:9].
2) созданные пользователями системы независимо друг от друга интерактивно в онлайновом режиме (например, связи между родственными публикациями, комментарии или оценки публикаций и т. д.).
Автор связей второго вида явным образом декларирует их семантику. Он использует для этого встроенную в систему таксономию научных отношений. В системе Соционет она включает классы, которые характеризуют отношения между объектами - участниками связи, свойственные научной деятельности [Когаловский, Паринов, 2015]. Накапливание таких данных позволяет получить более содержательную статистику об использовании результатов исследований по сравнению с традиционным подходом, основанным на данных о цитированиях.
Описанные средства позволяют исследователям представить научному сообществу:
- свои мнения об отношениях между научными результатами, обсуждаемыми в некоторых публикациях, и результатами собственных работ или работ других авторов;
- свои оценки содержания публикаций, доступных в среде системы;
- информацию о характере использования источников, указанных в списках литературы своих публикаций;
- информацию о взаимосвязях между версиями собственных публикаций и/или их компонентами;
- свои мнения об оценках других исследователей относительно представленных в системе публикаций;
- рекомендации авторам прочитанных публикаций, представленных в системе, направленные на развитие и/или улучшение этих публикаций;
- оценки своего вклада в создание коллективных публикаций;
- свои комментарии, аннотирующие фрагменты собственных публикаций или публикаций других авторов.
Перечисленные возможности основаны на использовании таксономии научных отношений. Например, ученый может показать отношения развития и дополнения между двумя своими публикациями. Словарь позволяет выбрать следующие отношения между двумя публикациями:
- использует данные/метод/модель из;
- детализирует идею/метод/модель из;
- обобщает идею/метод/модель из;
- реализует идею/метод/модель из;
- анализирует результаты из;
- иллюстрирует результаты из;
- интерпретирует результаты из;
- исправляет ошибки в;
- уточняет результаты из;
- опровергает результаты из и т. п.
Также ученый может указать для своих публикаций связи между их компонентами и версиями:
- авторская версия (рукопись) для;
- версия с небольшими изменениями для;
- существенно переработанная версия для;
- пересмотренная или новая версия;
- идентичная копия для;
- презентация к;
- раздел/часть/глава из и т. д.
Другой словарь содержит варианты профессиональной оценки публикаций:
- инновационный результат;
- очень интересный результат;
- поворотный пункт для развития науки;
- наилучшая, наиболее релевантная работа по теме;
- оценивается позитивно;
- оценивается негативно;
- оценивается как ненаучная;
- содержит результаты, основанные на заблуждении;
- подозрения на плагиат и т. д.
Аналогичным образом ученый может предоставлять авторам публикаций полезные сведения, основанные на содержании своих публикаций. В этом случае словарь содержит:
- ваши результаты анализируются в моей публикации;
- ваши идея/метод/модель/результаты обобщаются в моей публикации;
- ваши идея/метод/модель/результаты детализируются в моей публикации;
- ваши идея/метод/модель/результаты иллюстрируются в моей публикации;
- ваши идея/метод/модель/результаты реализованы в моей работе;
- ваши результаты интерпретируются в моей публикации;
- данные/метод/модель в моей публикации лучше;
- в моей публикации обсуждается близкая проблема;
- в моей публикации опровергаются ваши результаты;
- в моей публикации получены те же результаты;
- в моей публикации отмечены и исправлены ваши ошибки и т. д. Полный перечень словарей и их значений, представляющих научные отношения в Соционет, описаны в [Когаловский, Паринов, 2015].
Научные коммуникации в среде системы
В Соционет развивается научная виртуальная коммуникационная среда для пользователей системы [Koga1ovsky, Parinov, 2015].
Например, система инициирует коммуникации, когда автор публикации аннотирует ее абстракт или фрагмент ее полного текста, актуализируя или уточняя содержание работы. В этом случае система уведомляет авторов публикаций, интересы которых затрагивают подобные действия пользователя.
Сервисы уведомления также способствуют возникновению актов коммуникации. Проинформированные пользователи могут нужным образом реагировать на это событие. После этого снова срабатывают сервисы уведомления, и процесс коммуникаций продолжается.
В системе Соционет все действия такого рода в том или ином виде контролируются. Пользователи, которые своими действиями нарушают научную этику, блокируются, а созданный ими «негативный» контент удаляется из системы.
Статистическая оценка публикаций,
научной результативности авторов и организаций
Соционет автоматически генерирует и ежедневно обновляет публичные статистические показатели, характеризующие отдельные публикации, каждого из зарегистрированных авторов публикаций (по совокупности его собственных публикаций и созданных им связей), а также организаций, с которыми авторы аффилированы.
Для каждой публикации генерируется статистика, характеризующая количество ее скачиваний и просмотров, а также всех ее входящих и исходящих связей, в том числе оценочных и описывающих способы использования в других работах, дифференцированно по классам таксономии связей16.
Для каждого зарегистрированного автора генерируются показатели его публикационной активности: количество публикаций, количество исходящих связей его профиля для каждого класса таксономии, агрегированная статистика входящих и исходящих связей его публи-каций17 и т. п.
16 Пример статистики связей публикации: [https://socionet.ru/stat-lnk. xml?h=repec:rus:mqijxk:31].
17 Пример статистики связей автора: ^И^:/^осюпе1т^1а^1пк.хт№=герес:гте:Ь^ go:auth-05].
Генерируется также статистика и для организаций, к которым принадлежат авторы публикаций с дифференциацией по классам свя-зей18. Статистика агрегирована по всем авторам. Тем самым становится доступной многоаспектная статистическая информация о научной деятельности организации.
Заключение
В настоящее время формируются новые технологии развития научной среды и научных коммуникаций. Качественная информация о мотивах и характере использования учеными в своей работе результатов исследований других ученых начинает собираться специально сконструированными научными информационными системами. Это открывает возможность для качественных улучшений в подходах к оценке научной результативности и обещает получение показателей существенно более прозрачными способами.
Список литературы
Арутюнов, Балашов, Карасев, Терешин, 2015 - Арутюнов А., Балашов М., Карасев Р., Терешин Д. МФТИ: вопросы без ответов // Троицкий вариант. 2015. № 24(193). C. 5.
Георгиев, 2015 - Георгиев Г. Что губит российскую науку и как с этим бороться. Ч. II // Троицкий вариант. 2015. № 25(194). C. 6-7.
Журман, Петров, 2015 - Журман О., Петров В. Неэффективные ВУЗы к 2016 году будут закрыты // Рос. газ: Неделя. 2015. № 6720(149).
Когаловский, Паринов, 2015 - Когаловский М.Р., Паринов С.И. Таксономия семантических связей информационных объектов контента научной электронной библиотеки // НТИ. Сер. 2. Информационные процессы и системы. 2015. № 9. С. 15-23.
Паринов, Ляпунов, Пузырев, 2003 - Паринов С.И., Ляпунов В.М., Пузырев Р.Л. Система Соционет как платформа для разработки научных информационных ресурсов и онлайновых сервисов // Рос. науч. электрон. журн. «Электронные библиотеки». 2003. Т. 6. Вып. 1. URL: http://www. elbib.ru/index.phtml?page=elbib/rus/journal /2003/part1/PLP (дата обращения: 10.05.2016).
Eisen, Vosshall, 2016 - EisenM., VosshallL.B. Coupling Pre-Prints and PostPublication Peer Review for Fast, Cheap, Fair, and Effective Science Publishing. Blog post. Published: January 21, 2016. URL: http://www.michaeleisen.org/ blog/?p=1820 (дата обращения: 27.03.2016).
18 Пример статистики связей организации: [https://socionet.ru/stat-lnk.xml?h=repec:ru s:ecoorg:kogalovsky_mikhail.42345-inst-1].
Enhancing Public Research..., 2009 - Enhancing Public Research Performance through Evaluation, Impact Assessment and Priority Setting / OECD Working Party on Innovation and Technology Policy. 2009. URL: https://wbc-rti. info/object/document/7862 (дата обращения: 06.03.2016).
Kogalovsky, Parinov, 2015 - Kogalovsky M.R., Parinov S.I. Scholarly Communication in a Semantically Enrichable Research Information System with Embedded Taxonomy of Scientific Relationships. Research Information System with Embedded Taxonomy of Scientific Relationships // The Communications in Computer and Information Science series. Vol. 518 / Ed. by P. Klinov and D. Mouromtsev. B.; Heidelberg: Springer, 2015. Р. 87-101.
Measuring scientific performance., 2013 - Measuring scientific performance for improved policy making (Case studies). Technopolis, May 31, 2013. URL: https://www.snowballmetrics.com/wp-content/uploads/IPOL-jOIN_ ET2014527383_EN.pdf (дата обращения: 08.07.2016).
Neylon, 2010a - Neylon C. What would scholarly communications look like if we invented it today? Science in the Open Blog, September 2, 2010. URL: http://cameronneylon.net/blog/what-would-scholarly-communications-look-like-if-we-invented-it-today/ (дата обращения: 25.03.2016).
Neylon, 2010b - Neylon C. The future of research communication is aggregation, Science in the Open Blog, April 10, 2010. URL: http:// cameronneylon.net/blog/the-future-of-research-communication-is-aggregation/ (дата обращения: 24.03.2016).
Parinov, 2012 - Parinov S. Towards a Semantic Segment of a Research e-Infrastructure: necessary information objects, tools and service // Metadata and Semantics Research, Communications in Computer and Information Science / Ed by. J.M. Dodero, M. Palomo-Duarte, P. Karampiperis. B.; Heidelberg: Springer. 2012. Vol. 343. P. 133-145.
Parinov, Lyapunov, Puzyrev, Kogalovsky, 2015 - Parinov S., Lyapunov V., Puzyrev R., Kogalovsky M.Semantically Enrichable Research Information System SocioNet // Ed. by P. Klinov and D. Mouromtsev. The Communications in Computer and Information Science series. Vol. 518. B.; Heidelberg: Springer, 2015. P. 147-157.
Waard, Kircz, 2008 - Waard A, Kircz J. Modeling Scientific Research Articles - Shifting Perspectives and Persistent Issues, Proc. of ELPUB 2008 Conf. on Electronic Publishing. Toronto, Canada, June 2008. URL: http://elpub.scix.net/ data/works/att/234_ elpub2008.content.pdf (дата обращения: 05.03.2016).
Wilsdon et al, 2015 - Wilsdon J. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. 2015. URL: http://www.hefce.ac.uk/pubs/rereports/Year/2015/metrictide/ Title,104463,en.html (дата обращения: 05.07.2016).
References
Arutyunov A., Balashov M., Karasev R., Tereshin D. "MFTI: voprosy bez otvetov" [MPhTI: questions without answers], in: Troitskii variant, 2015, no. 24 (193), p. 5. (In Russian)
Eisen, M., Vosshall, L.B. Coupling Pre-Prints and Post-Publication Peer Review for Fast, Cheap, Fair, and Effective Science Publishing, January 21, 2016. [http://www.michaeleisen.org/blog/?p=1820, accessed on 27.03.2016].
"Enhancing Public Research Performance through Evaluation, Impact Assessment and Priority Setting", OECD Working Party on Innovation and Technology Policy, 2009. [https://wbc-rti.info/object/document/7862, accessed on 06.03.2016].
Georgiev G. "Chto gubit rossiiskuyu nauku i kak s etim borot'sya. Chast' II" [What destroys Russian science and how to oppose this? Part 2], in: Troitskii variant, 2015, no. 25 (194), pp. 6-7. (In Russian)
Kogalovsky M.R., Parinov S.I. "Scholarly Communication in a Semantically Enrichable Research Information System with Embedded Taxonomy of Scientific Relationships. Research Information System with Embedded Taxonomy of Scientific Relationships", P. Klinov and D. Mouromtsev (eds.). Knowledge Engineering and Semantic Web. 6th Intern. Conf. KESW 2015. Moscow, Russia, September 30 - October 2, 2015. The Communications in Computer and Information Science series, vol. 518. B., Heidelberg:Springer, 2015, pp. 87-101.
Kogalovsky M.R., Parinov S.I. "Taksonomia semanticheskih svyazey informazionnyh ob'ectov kontenta naychnoi elektronnoi biblioteki" [Taxonomy of semantic linkages of information objects of a scientific digital library], in: NTI. Seria 2. Inforamzionnyeprocessi sistemy, 2015, no. 9, pp. 15-23. (In Russian)
Measuring scientific performance for improved policy making (Case studies). Technopolis, May 31, 2013. [https://www.snowballmetrics.com/wp-content/ uploads/IP0L-J0IN_ET2014527383_EN.pdf, accessed on 08.07.2016].
Neylon C. "The future of research communication is aggregation", Science in the Open Blog, April 10, 2010. [http://cameronneylon.net/blog/the-future-of-research-communication-is-aggregation/, accessed on 24.03.2016].
Neylon C. "What would scholarly communications look like if we invented it today?, Science in the Open Blog, September 2, 2010. [http://cameronneylon.net/ blog/what-would-scholarly-communications-look-like-if-we-invented-it-today/, accessed on 25.03.2016]
Parinov S. "Towards a Semantic Segment of a Research e-Infrastructure: necessary information objects, tools and services", J.M. Dodero, M. Palomo-Duarte, P. Karampiperis.(eds.). Metadata and SemanticsResearch, Communications in Computer and Information Science, 2012, vol. 343. B.; Heidelberg: Springer. pp. 133-145.
Parinov S., Lyapunov V., Puzyrev R., Kogalovsky M. "Semantically Enrichable Research Information System SocioNet", P. Klinov and D. Mouromtsev (eds.). Knowledge Engineering and Semantic Web. 6th Intern. Conf. KESW 2015. Moscow, Russia, September 30 - October 2, 2015. The Communications in Computer and Information Science series, vol. 518. B.; Heidelberg: Springer, 2015, pp. 147-157. (In Russian)
Parinov S.I., Lypunov V.M., Puzyrev R.L. "Sistema Socionet kak platforma dlya razrabotky nauchnyh informazionnyh resursov i onlinovyh servisov" [Socionet research information system as a platform for development of information resources and online services], Electronnye biblioteki, 2003, vol. 6, issue 1. [http://www.elbib.ru/index.phtml?page=elbib/rus/journal /2003/part1/ PLP, accessed on 10.05.2016].
Waard A, Kircz J. "Modeling Scientific Research Articles - Shifting Perspectives and Persistent Issues", Proc. of ELPUB 2008 Conf. on Electronic Publishing. Toronto, Canada, June 2008. [http://elpub.scix.net/data/works/ att/234_ elpub2008.content.pdf, accessed on 05.03.2016].
Wilsdon J. The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management. 2015. [http://www.hefce. ac.uk/pubs/rereports/Year/2015/metrictide/Title,104463,en.html, accessed on 05.07.2016].
Zhurman O., Petrov V. "Neeffektivnye VUZy k 2016 godu budut zakryty" [Ineffective universities will be closed in 2016], in: Rossiiskaya gazeta: Nedelya, 2015, no. 6720 (149). (In Russian)
