CC BY
21П.Ш. Гейдаров
О СПОСОБАХ И МЕТОДАХ БОРЬБЫ С ОПЛАЧЕННЫМИ НАУЧНЫМИ СТАТЬЯМИ
DOI: 10.31249/scis/2018.00.06
Аннотация. В последние годы в сети Интернет появились услуги, предлагающие авторам издание статей в научных журналах за денежные вознаграждения. Такого рода бизнес-услуги основаны на желаниях авторов издаваться в престижных журналах с высокими импакт-факторами, а также для быстрого издания большого количества статей и искусственного повышения личного индекса цитирования автора (например, индекса Хирша). Сама реализация такой коммерческой услуги никак не предполагает выполнения оценки качества и уровня представляемых авторами статей, что в итоге ставит под сомнение методы оценки научных трудов, основанные на индексах цитирования. В данной работе рассматриваются схемы подобного рода бизнеса, а также возможные способы борьбы с этим явлением. В работе также рассматривается вопрос о том, насколько возможно влияние и воздействие индексов цитирования на эту деятельность, а также способы и эффективность допустимых административных методов выявления и предотвращения этого явления. С целью решения этого вопроса предлагается использование системы высокоорганизованных экспертных оценок, реализованных на основе системы электронного научного семинара. Рассматриваются преимущества использования электронного научного семинара как способа устранения явления платных статей по сравнению с другими подходами.
Abstract. Despite the existing indicators based on citation indexes, there are ways to publish articles in prestigious scientific jour-
nals, bypassing these indicators. Among them, and appeared in recent years, the possibility of publishing articles in prestigious magazines for a cash reward based on the desires of some editorial offices to earn, by selling seats in their magazines. The paper considers the forms and schemes of such a business, as well as possible ways and approaches to combat such phenomena. The question of how the citation index affects this activity is possible, as well as the effectiveness of possible administrative methods of influence and influence to prevent such phenomena. To combat this phenomenon, it is proposed to use a system of highly organized expert assessments, implemented on the basis of an electronic scientific seminar system. The advantages of the electronic scientific seminary in solving the problem of paid scientific articles in comparison with other methods are considered.
Ключевые слова: электронная наука; реформы в науке; им-пакт-фактор; индекс цитирования; научный семинар; защита диссертаций; нерецензируемые статьи.
Keywords: electronic science; reforms in science; impact-factor; citation index; scientific seminar; defense of dissertations; non-peer-reviewed articles.
Введение, описание проблемы
В современном мире применение индексов цитирования получило широкое распространение в качестве инструмента для оценки научных трудов, изданий и журналов. Вместе с тем известно, что использование индексов цитирования в оценке научных трудов имеет целый ряд недостатков [1; 2; 5; 6; 7; 9], среди которых есть и такие, которые позволяют редакциям и авторам искусственно завышать значения индексов цитирования при оценке научных трудов. В наукометрии существуют методы и способы, позволяющие устранять некоторые ошибки, связанные с индексами цитирования, и в частности предложенные в: [2; 5; 8], но решить все существующие проблемы в этой области в рамках самих индексов цитирования, практически невозможно. В частности, сравнительно недавно в сети Интернет появились сайты, которые распространяют рекламу (как на самом сайте, так и в рассылке электронных писем), в которой предлагают авторам за денежное вознаграждение издание статей в научных журналах с высокими импакт-факторами, входящих в популярные базы данных, такие как WOS (Web Of Science), SCOPUS и др. Авторам предлагаются различные
расценки на размещение статей в журналах, колеблющиеся в зависимости от значимости баз данных, в которые включен журнал. При этом организаторов подобного вида заработка совершенно не интересуют ни научная ценность, ни качество представляемых ими научных статей. По сути, это своего рода бизнес, основанный на желании авторов издаваться в высокорейтинговых журналах, включенных в престижные базы данных. Понятно, что такая деятельность не может быть осуществлена без участия самих редакций, а возможно, даже издательств, которые предоставляют место в своих печатных изданиях для таких низкокачественных статей в обмен на часть вознаграждения, выплачиваемого авторами посредникам. Иными словами, для подобных редакций и издательств это также является способом зарабатывания денег, основанным на использовании высокого рейтинга журнала.
Кроме того, так называемый «бизнес» платного издания статей включает в себя публикацию не только в престижных изданиях с высокими импакт-факторами, но и в большом количестве журналов с низкими рейтингами. Последний способ заработка основан на желании авторов быстро набрать необходимое количество статей при получении научных степеней и званий и быстро увеличить свой личный показатель цитируемости, например индекса Хирша. Нужно отметить, что такой способ увеличения количества научных трудов путем публикации одной статьи во многих низкорейтинговых журналах не нов и реализуется авторами и без помощи посредников, но услуги платного издания позволяют авторам ускорить и упростить этот процесс. Посредник на основе одной статьи, полученной от автора, внеся незначительные изменения в текст, заголовок, аннотацию статьи, может создать десятки подобных «работ» и разослать их в разные редакции. Для этого у посредников имеется своя база подобранных наименований журналов. При наличии достаточного количества обращающихся авторов посредник вносит правки в список используемой литературы, организуя необходимое число как самоцитирований автором своих трудов, так и цитирований работы другими авторами. Понятно, что такой искусственный способ быстрого набора количества статей и показателей индекса Хирша не отражает действительного научного вклада ученого.
Еще одной разновидностью подобного рода заработка являются платные конференции, которые в том числе организовываются и весьма именитыми англоязычными издательствами, владеющими целым рядом журналов. Схема заработка похожа -
оплаченные статьи, издаваемые на конференции, попадают затем в престижные издания с высокими импакт-факторами. Говорить здесь о ценности подобных статей, очевидно, также не приходится.
Индексы цитирования и оплаченные труды
Подобные схемы заработка и возможности публикации статей в престижных журналах путем искусственного завышения индексов цитирования ставят под сомнение значимость самих индексов цитирования. Если возможно издавать слабые работы за денежные вознаграждения в журналах с высокими рейтингами либо искусственно повышать индексы цитирования автора, то в этом случае теряется сам смысл индексов цитирования и основанных на них показателей, таких как, например, импакт-факторы журналов. В связи с этим напрашиваются вопросы. Можно ли с этим явлением как-то бороться? И как именно? Отдельный вопрос: можно ли бороться с этими явлениями в рамках возможностей самих индексов цитирования? На первый взгляд кажется - можно. Если редакции журналов выделяют места в своих изданиях для слабых, нерецензируемых работ, то импакт-факторы данных журналов впоследствии должны уменьшиться, что, казалось бы, могло быть причиной, стимулирующей редакции избегать участия в подобных способах заработка. Но здесь, во-первых, нужно сказать, что даже возможность заработать единожды немалую денежную сумму может оказаться достаточной причиной для того, чтобы появились желающие участвовать в подобном способе заработка, что особенно вероятно для редакций на постсоветском пространстве на фоне низких доходов от продаж научных журналов. Во-вторых, редакции научных журналов могут поддерживать определенный баланс количества рецензируемых статей высокого качества и количества оплаченных статей низкого качества и таким образом взвешенно поддерживать уровень импакт-факторов своих изданий. В-третьих, редакции журналов могут прямо или косвенно принуждать потенциальных авторов к цитированию статей их журнала. Не исключаются также более сложные схемы, например стимулирование авторов со стороны редакций к цитированию статей из журналов одного издательства и т.д. Таким образом, авторы будут непроизвольно цитировать в том числе и нерецензируемые, слабые оплаченные статьи. А это значит, что импакт-фактор журнала при этом может не только не уменьшиться, а, наоборот, даже увеличиться. Иными словами, из вышесказанного следует, что ис-
пользование индексов цитирования не может противодействовать существованию подобных явлений. Тому подтверждением является и практика, которая показывает, что такого рода способы заработка успешно сосуществуют со всеми способами оценок, основанными на индексах цитирования.
Административные методы и подходы
Другой подход - это попытки решения данного вопроса с использование административных мер: путем запретов, штрафов, черных списков и т.д. Такие меры могут применять либо специальные организации, либо ведомства, отделы, существующие или созданные, например, при Академии наук. Здесь возможные способы воздействия можно разделить на меры, принимаемые по отношению к посредникам, и меры, принимаемые к самим редакциям. Запретить или блокировать сайты, рекламирующие подобный бизнес в сети Интернет или выполняющие рассылку писем, практически невозможно, поскольку такая деятельность не является противозаконной. И, кроме того, для посредников, реализующих данную «услугу», создание новых сайтов на новых доменных адресах, расположенных в том числе и за пределами государства, или тем более замена почтовых ящиков не представляют большой сложности. Что касается редакций, участвующих в этом «бизнесе», то прямое административное воздействие со стороны, например, Академии наук на редакции журналов возможно только на те редакции, которые работают на базе государственных научно-учебных организаций, находящихся под ведомством Академии наук. Для научных редакций или издательств, которые работают на коммерческой основе или существуют на базе частных и независимых учебных заведений (к числу которых, к слову говоря, относятся почти все редакции и издательства англоязычных журналов), это невозможно, поскольку такая деятельность также не противоречит законодательству и редакции коммерческих научных журналов имеют право набирать статьи для своих журналов по своему усмотрению, в том числе и требовать за это оплату.
Возможное воздействие на редакции журналов в данном случае может быть только косвенным - посредством исключения журналов либо из индексируемых баз данных (в РФ это возможно только для базы РИНЦ), либо из перечня журналов, рекомендуемых ВАК для публикации научных трудов для защиты диссертаций (а научные труды, изданные в этих журналах, могут не рас-
сматриваться ВАК при защитах диссертаций). Для систем оценки научных трудов и аттестации научной деятельности ученых, например, предложенных в [5; 8], это означало бы не рассматривать при расчетах баллов труды, опубликованные в данных журналах. Аналогичный подход должен быть и к журналам, в которых издаются материалы платных конференций, и, соответственно, к статьям, которые поступают в научные журналы с платных конференций.
Еще более непростой задачей выглядит проблема поиска журналов, в которых издаются платные статьи, поскольку все операции выполняются удалено через посредников. В простейшем случае эта задача может решиться достаточно легко, например тогда, когда посредник при рассылке электронных писем сразу же представляет потенциальному автору список возможных журналов с платным изданием. Наиболее же сложный случай может быть тогда, когда посредник представляет автору название журнала, в котором будет издана статья, только после произведения автором оплаты. В этом случае выявление списка журналов значительно усложняется. Для этой цели возможно было бы провести опрос ученых на предполагаемое участие в подобных сделках с целью выявления источников, в которых издаются статьи этих ученых, и, соответственно, создания черных списков редакций журналов, имеющих отношение к такого рода заработку. Но, вероятнее всего, подобная затея будет также безуспешной, поскольку авторы, использующие платные способы публикации своих статей, будут скрывать эту информацию, а авторы, не пользующиеся подобными «бизнес-услугами», соответственно, не владеют этой информацией. Другой способ - это попытка выявления редакций, участвующих в этом бизнесе, путем предложения им специально для этого написанных статей. Последнее может потребовать значительных финансовых вложений - например, в том случае, когда наименование журнала, в котором будет издана платная статья, становится известным только после выполнения оплаты, а также для этого нужны структуры, которые будут постоянно и системно этим заниматься.
Еще один вероятный подход к решению этого вопроса -это прочтение издаваемых статей с целью выявления слабых и нерецензируемых научных работ. Нахождение таких трудов могло бы также помочь заподозрить участие редакций тех или иных журналов в подобного рода бизнесе. Поскольку перечитывание и повторное рецензирование всех издаваемых статей является задачей
неразрешимой, то для такой проверки может быть реализован только упрощенный вариант - это прочтение отдельно взятых статей издания, выбранных случайным образом, что само по себе уже является весьма неточным подходом. Кроме того, даже в случае выявления слабой научной работы остается вопрос, требующий дополнительного ответа: является ли причиной низкого уровня научной работы отсутствие рецензирования в редакции журнала, или причина в низком качестве рецензирования работы рецензентом? В последнем случае обвинять и наказывать редакцию будет несправедливо, но при этом ошибка может привести к включению журнала в черный список.
В целом нет также уверенности в том, что ведомства или отделы Академии наук, которые будут этим заниматься, будут абсолютно и всегда объективны и непредвзяты. Возможны ошибочные попадания в черные списки журналов, которые не имеют к этой деятельности никакого отношения. Кроме того, как уже говорилось выше, существуют журналы, которые только частично заполняются оплаченными и нерецензируемыми статьями, тогда как остальной объем издания заполняется рецензируемыми трудами, а сам журнал при этом может еще и иметь высокий импакт-фактор. В этом случае появляется неразрешимое противоречие. С одной стороны, включение данного издания в черный список означает приравнивание достойных работ авторов, прошедших строгое рецензирование в этом журнале, с оплаченными и нерецензируемыми работами, что, естественно, будет несправедливо по отношению к рецензируемым трудам. С другой стороны, невключение данного издания в черный список будет означать, что опять сохраняется место для оплаченных и нерецензируемых статей.
Что касается ситуации со статьями с платных конференций, то, если в журнале указывается, что статья поступила с конференции, для выявления оплаченных статей понадобится проверка того, является ли данная конференция платной или бесплатной. При этом если существуют издания, которые не указывают информацию о поступлении статьи с конференции, то в этом случае процедура поиска подобных статей и журналов значительно усложнится. Придется отслеживать соответствие всех материалов с платных конференций со всеми изданными статьями в журналах. Последнее будет еще более трудновыполнимой задачей, если материалы платной конференции не размещены в открытом доступе в сети Интернет.
Иными словами, выявление списка редакций журналов, участвующих в подобных способах заработка, и создание на основе этих данных черных списков является крайне сложной, практически невыполнимой задачей, учитывая тот факт, что перечень этих изданий может ежегодно меняться.
Электронный научный семинар
Для решения проблемы оплаченных статей нужны более естественные подходы, которые могли бы сделать бессмысленным такого рода «бизнес-услуги» и способы издания статей в престижных журналах. Для этого, помимо индексов цитирования, должна существовать дополнительная мера ограничения - своего рода фильтр, который будет отсеивать слабые научные работы от достойных трудов. Таким фильтром может быть независимая и объективная экспертная оценка, реализация которой возможна на основе системы электронного научного семинара [3-5], применительно к защитам диссертаций, основанного на возможностях электронных интернет-технологий. По сравнению с существующими процедурами организации предварительной и основной защиты диссертаций, электронный научный семинар обладает целым рядом преимуществ, в частности: удобство организации научного семинара с удаленным доступом; замена бумажных материалов на электронные; удобное сохранение материалов всех семинаров в одном источнике (на одном сайте) с возможностью быстрого доступа к этим материалам для всех желающих и т.д. Но главным преимуществом электронного научного семинара является организация принятия объективного итогового решения о значимости обсуждаемой научной работы. В частности, электронный научный семинар позволяет сделать доступным привлечение к оценке научного труда по обсуждаемой теме значительно более широкого круга специалистов-экспертов, располагающихся сколь угодно удаленно друг от друга, например в других городах, регионах, областях и даже странах. Благодаря этому количество специалистов, потенциально способных качественно оценить обсуждаемую тему, резко увеличивается. Такая возможность также основательно уменьшает вероятность сговора, который может иметь место, когда научный совет составляют сотрудники одной организации или эксперты, проживающие в одной местности. Благодаря электронному научному семинару создается также возможность менять состав членов научного и диссертационного совета от защиты к защите по одной
и той же научной тематике, например путем автоматизированного случайного выбора членов совета из перечня экспертов-ученых, имеющих опыт работы в данной научной области. И то и другое позволяет повысить объективность обсуждения и принятия решения, значительно уменьшает возможность каких-либо сговоров, сокращает влияние предвзятых мнений, отношений на объективность оценки значимости научного труда. Нужно сказать, что в Российской Федерации реализация такого варианта электронного научного семинара является наиболее благоприятной, с учетом наличия широко развитой научной инфраструктуры с большим количеством научно-исследовательских и учебных заведений, расположенных в различных городах и регионах страны и работающих в различных сферах науки.
Сама единая база ученых - экспертов в разных областях науки может быть составлена и введена в систему либо обычным «ручным» способом, либо автоматизированным способом, путем выбора специалистов по результатам анализа изданных статей авторов, доступ к которым можно получить в архивах публикаций, расположенных на официальных сайтах научных изданий или в каталогах журналов, расположенных на сайтах издательств и электронных научных библиотек. Выбор специалистов-экспертов может выполняться по ключевым словам в заголовках, аннотациях и текстах статей, а также по тематике журналов, в которых изданы статьи. В зависимости от расположения ключевых слов в статье: в заголовке, в аннотации, в тексте, а также их количества в тексте будет выполняться подсчет соответствия статьи критериям поиска, на основе которого будет приниматься решение о принадлежности работ авторов к тому или иному научному направлению. Специалисты, которые будут иметь несколько статей в одной области науки, должны будут иметь больший приоритет для включения в базу экспертов по данной теме. Здесь возможно будет учесть работы, которые причислены к разным научным направлениям, например для авторов междисциплинарных трудов. Авторы, работающие в разных областях науки, могут быть также включены в базу экспертов системы по разным темам. Нужно сказать, что уже существуют многочисленные алгоритмы поиска по текстам, широко используемые поисковыми системами, в том числе такими именитыми компаниями, как Google, Rambler, Yandex. Алгоритмы поисковых роботов в целом работают по схожим принципам и различаются главным образом значениями заданных приоритетов поиска по ключевым словам при выполнении подсчетов в текстах.
Понятно, что авторы, издаваемые в более престижных журналах и имеющие большее количество статей, вероятнее всего, являются более серьезными экспертами с более высоким уровнем знаний в данной области науки. Здесь уместно применить балльную систему, предложенную в [5; 8], с той только разницей, что баллы ученого будут вычисляться отдельно по разным научным направлениям, т. е. только по тем трудам ученого, которые предварительно выделены ключевыми словами при определении соответствия научного труда этой научной области. Для того чтобы включить ученого в базу экспертов - претендентов на членство в диссертационном совете электронного научного семинара, необходимо, чтобы балл уровня эксперта по данной теме превышал заданный минимальный балл. Минимальный балл уровня эксперта может определяться по-разному, например как среднее от всех уровней баллов эксперта для всех экспертиз по данной теме. В итоге мы получим базу наиболее опытных претендентов - экспертов по данной тематике, которые могут участвовать как члены совета в электронном научном семинаре. Сам процесс выбора членов совета должен выполняться случайным образом из предварительно выделенной (вышеописанным образом) базы ученых -экспертов по обсуждаемой теме.
То есть, иными словами, необходимо создание электронной автоматизированной системы создания базы данных ученых - экспертов по разным научным направлениям. И для этих целей существуют все необходимые механизмы и алгоритмы. Автоматизированная система будет регулярно обновлять базу данных и будет добавлена в единую систему электронного научного семинара.
Здесь нужно сказать, что если в какой-то области специалистов недостаточно, то в этом случае допустимо расширение списка специалистов, которые могут быть включены в состав совета электронного семинара. Такая возможность позволит включить в базу ученых-экспертов с более низкими показателями для данной научной темы, в том числе и авторов, которые специализируются в других областях науки, но при этом имеют труды, относящиеся и к данному научному направлению. К примеру, если физик имеет работу, в которой решается физическая задача с применением искусственных нейронных сетей, то это значит, что автор может участвовать в качестве эксперта - члена совета по защите диссертации, посвященной нейронным сетям.
В рамках электронного научного семинара возможно реализовать анонимный процесс обсуждения и анонимное голосование.
В работах [3; 4] было приведено описание процесса голосования, при котором каждый член диссертационного совета исходил из трех вариантов: «достоин», «не достоин», «воздерживаюсь». В действительности процесс голосования может иметь и более сложную, и более информативную форму и использовать несколько ключевых и определяющих параметров обсуждаемого научного труда. Например, каждый член диссертационного совета на свое усмотрение может по десятибалльной системе оценивать параметр, определяющий значимость научной новизны (ЗНН) представленной на соискание работы, и отдельно - значимость практической ценности работы (ЗПЦ). К примеру, член диссертационного совета может оценить в 4 балла - научную новизну и в 7 баллов - практическую ценность и т.д. В итоге получаем сумму всех оценок всех членов совета для научной новизны (ЗНН) и сумму оценок для практической ценности (ЗПЦ) обсуждаемого научного труда, которые могут быть выражены также в процентах (%ЗНН, %ЗПЦ) по отношению к максимально возможной сумме этих оценок (МЗНН, МЗПЦ). При этом если предварительно заданы минимальные значения этих величин, например min (%ЗНН) = 50% для научной новизны и min (%ЗПЦ) = 50% для практической ценности, то исходя из количества набранных баллов, т.е. %ЗНН > 50% и %ЗПЦ > 50%, можно принимать решение о возможности присуждения соискателю научной степени. Такой подход является более гибким, чем принятие решения по числу проголосовавших членов совета, поскольку позволяет гибко повышать или понижать планку принятия решения в системе электронного научного семинара. Такая возможность будет, например, полезна для различения уровня сложности представляемых работ при защитах кандидатских и докторских диссертаций, исходя из того, что уровень работ докторских диссертаций должен быть выше уровня работ кандидатских диссертаций. К примеру, для защиты кандидатских диссертаций минимальные значения для научной новизны могут быть приняты и установлены как min (%ЗНН) = 20%, а для практической ценности - min (%ЗПЦ) = 50%. Для докторских диссертаций эти значения будут выше, например для научной новизны может быть установлено значение min (ЗНН) = 70% и для практической ценности - min (ЗПЦ) = 70%. Эти значения могут быть и другими, и кроме того, в процессе работы системы электронного научного семинара можно опытным путем подобрать более оптимальные значения этих параметров.
Также само количество параметров при голосовании может быть больше. Например, в систему голосования могут быть дополнительно добавлены: параметр актуальности научной темы (АТ) обсуждаемой работы; параметр, определяющий теоретическую обоснованность работы (ТО); а также параметр уровня проверки на практике (ПП) сделанных в работе выводов. Оценка данных параметров может выполняться с использованием разных систем: пятибалльной, десятибалльной и т.д. Важный ключевой показатель, который должен обязательно учитываться при голосовании на защитах как докторских, так и кандидатских диссертаций, - это параметр самого наличия научной новизны (ННН) в представленной работе. В отличие от параметра (ЗНН), параметр (ННН) должен определяться по двухбалльной системе оценки. Член диссертационного совета при голосовании может выбрать по данному показателю только два варианта: либо научная новизна «Есть», либо ее «Нет» в обсуждаемой работе. А минимальное процентное значение по данному параметру от общей суммы голосов всех членов диссертационного совета, должно быть равно min (%ННН) = 50%. Это означает, что если после голосования параметр наличия научной новизны %ННН < 50%, то вне зависимости от значений всех остальных показателей соискатель не может заслуживать присуждения научной степени.
Система электронного научного семинара, реализованная как по описанным выше, так и по приведенным в работах [3-5] правилам, должна быть реализована и управляться централизованно с одинаковыми стандартами, правилами и возможностями доступа и работы в системе для всех научных организаций.
Для обеспечения высокого уровня объективности принятия решений в системе электронного научного семинара необходимо соблюдение вышеприведенных правил, в противном случае электронный научный семинар может превратиться в подобие существующих ныне научных семинаров, организуемых как для предварительных, так и для основных защит диссертаций и, соответственно, потеряет свой смысл. При этом приведенная система электронного научного семинара остается гибкой и открытой. Она может дополняться и изменяться, но все изменения должны быть направлены как минимум не в ущерб качеству и объективности принятия итогового решения.
Нужно также отметить, что система электронного научного семинара может быть также успешно использована и для принятия решений при присуждении научных званий. В этом случае члены
совета будут оценивать уже не отдельно взятую работу, а качество и ценность изданных трудов претендента на научное звание. При этом в качестве инструмента для вычисления необходимых минимумов при допуске на защиту диссертации или при получении научного звания может использоваться предложенная в [5; 8] балльная система.
Заключение
Возвращаясь к основной обсуждаемой теме (проблеме оплаченных статей), хотелось бы в заключение сказать, что использование электронного научного семинара как инструмента принятия решения при присуждении научных степеней и званий создает дополнительный защитный барьер, который делает практически бессмысленными попытки авторов перехитрить индексы цитирования или купить место для своих статей в престижных журналах. В противном случае авторы рискуют напрасно потерять и время, и силы, и потраченные (немалые) денежные средства, поскольку на этапе электронного научного семинара, организованного по вышеописанным правилам, научные труды низкого качества с большой вероятностью не пройдут аттестацию экспертного совета. Последнее, в свою очередь, должно иметь и обратное действие, а именно: повысить значимость и чистоту оценки научных работ на основе самих индексов цитирования. Соответственно, количество существующих в настоящее время проблем в оценке научных трудов и изданий, основанных на показателях индексов цитирования, должно значительно уменьшиться.
Список литературы
1. Адлер Ю.П. «Оцифрованный» ученый // Науковедческие исследования. - 2015. -С. 126-138.
2. Виноградова Т.В. Библиометрия и социогуманитарные науки не совместимы? // Науковедческие исследования. - 2016. - С. 90-106.
3. Гейдаров П.Ш. О возможностях электронного научного семинара // Социологические исследования. - 2010. - № 8. - С. 135-137.
4. Гейдаров П.Ш. Электронный научный семинар // Наука и инновации. - 2015. -Т. 11, № 5. - С. 79-82.
5. Гейдаров П.Ш. Единая электронная система аттестации научной деятельности ученых // Вестник РАН. - 2016. - Т. 86, № 11. - С. 991-997.
6. Гринев А.В. К проблеме цитируемости в гуманитарных науках // Вестник РАН. - 2017. - № 2. - С. 154-157.
7. Михайлов О.В. Блеск и нищета индекса цитирования // Вестник РАН. - 2004. -№ 11. - С. 1025-1029.
8. Михайлов О.В. Новый индекс цитируемости исследователя // Вестник РАН. -2012. - № 9. - С. 829-832.
9. Молини А., Боденхаузен Д. Библиометрия как оружие массового цитирования // Вестник РАН. - 2017. - № 1. - С. 70-77.
