CC BY
16правовые аспекты применения индексов и электронного управления при оценке публикационной Активности ученых
Получено: 20.06.2020 Поступило после рецензирования: 25.07.2020 Принято: 14.08.2020 УДК 002.1 JEL Z00 DOI 10.26425/2658-3445-2020-3-3-13-19 Оморов Роман Оморович
Д-р техн. наук, профессор, член-корр. Национальной академии наук Кыргызской Республики (НАН КР), Институт физики НАН КР, главный научный сотрудник, Лаборатория «Космических, информационных технологий и Цифровая Земля», г. Бишкек, Кыргызская Республика ORCID: 0000-0003-3555-1323 e-mail: [email protected]
АННОТАЦИЯ
Методы наукометрии соответствуют требованиям цифровизации и электронного управления (e-management) развитием науки вследствие широкого использования математических методов обработки информации. Для оценки научной продуктивности ученых и специалистов в наукометрии применяют различные показатели, наиболее распространенным из которых является индекс Хирша, или h-индекс. Индекс Хирша вычисляют по количеству цитирований трудов исследователя, включенных в определенную базу данных. Для стран СНГ важной базой научных и учебных публикаций является база данных Российского индекса научного цитирования (РИНЦ). Одна из проблем использования индекса Хирша - это соответствие оценок нормам авторского права. Индекс Хирша показывает сравнительную эффективность труда ученого или коллектива ученых. Но, как нетрудно видеть, по показателям подсчета индекса Хирша по базам данных РИНЦ для отдельных ученых не учитываются их вклад и участие в коллективных публикациях и их цитированиях.
Предложено для оценки индивидуального показателя цитирования публикаций ученых ввести модифицированный индекс Хирша, индекс Хирша «плюс», или h+, который вычисляется на основе деления обычного числа цитирований конкретной публикации на число соавторов цитируемой публикации, что не вызовет трудностей при вычислениях индексов h+ с использованием алгоритма определения собственно индекса Хирша. Такой показатель соответствует нормам авторского права, учитывает интересы соавторов с точки зрения авторских прав и более точно оценивает эффективность труда конкретного автора при сравнительных оценках труда ученых.
Современная наукометрия является необходимым инструментом для исследований развития науки, прогнозирования и управления ее развитием, одними из показателей которой являются индексы цитирования, в частности, наиболее распространенный на практике - индекс Хирша, а также индекс Хирша «плюс» и другие модификации для учета индивидуального вклада ученых и специалистов. Каждая из существующих модификаций наукометрических индексов может быть использована для исследований публикационной активности ученых в зависимости от специфики поставленных задач, с учетом сложности и удобства вычислений конкретных индексов.
КЛЮЧЕВЫЕ СЛОВА
Авторские права, база данных РИНЦ, индекс Хирша, индекс Хирша «плюс», индекс Эгга, модификации наукометрических индексов, наукометрия, соавторы научных публикаций.
ДЛЯ ЦИТИРОВАНИЯ
Оморов Р.О. Правовые аспекты применения индексов и электронного управления при оценке публикационной активности ученых// E-Management. 2020. № 3. С. 13-19.
© Оморов Р.О., 2020. Статья доступна по лицензии Creative Commons «Attribution» («Атрибуция») 4.0. всемирная.
Legal aspects of applying indexes and e-management in evaluating the publication activity of scientists
Received: 20.06.2020 Revised: 25.07.2020 Accepted: 14.08.2020 Roman Omorov
Doctor of Engineering, Professor, Corresponding Member of National Academy of Sciences of the Kyrgyz Republic (NAS KR), Institute of Physics of NAS KR, Chief Researcher, Laboratory "Space, Information Technologies and Digital Earth", Bishkek, Kyrgyz Republic
ORCID: 0000-0003-3555-1323
e-mail: [email protected]
ABSTRACT
Scientometry methods meet the requirements of digitalization and e-management of the science, development due to the widespread use of mathematical methods of information processing. To assess the scientific productivity of scientists and specialists in scientometrics, various indicators are used, the most common of which is the Hirsch index or h-index. The Hirsch index is calculated from the number of citations of the researcher's works included in a certain database.
For CIS countries, an important database of scientific and educational publications is the database of the Russian Scientific Citation Index (RSCI). One of the problems with using the Hirsch index is the compliance of assessments with copyright rules. The Hirsch index shows the comparative effectiveness of the work of a scientist or team of scientists. But as it is not difficult to see, according to the Hirsch index counting indicators for the RSCI databases, for individual scientists their contribution and participation in collective publications and their citations are not taken into account. It is proposed to introduce a modified Hirsch index, called the Hirsch index "plus" or h +, which is calculated on the basis of dividing the usual number of citations of a particular publication by the number of co-authors of the cited publication, which will not cause difficulties in calculating h + indices, using the algorithm for determining the Hirsch index itself. Such an indicator corresponds to copyright rules, takes into account the interests of co-authors from the point of view of copyright and more accurately assesses the effectiveness of the work of a particular author when comparing the work of scientists.
Modern scientometrics is a necessary tool for research on the development of science, forecasting and managing its development, some of the indicators of which are citation indices, in particular, the most common in practice is the Hirsch index, and the Hirsch "Plus" index and other modifications to take into account the individual contributions of scientists and specialists. Each of the existing modifications of scientometric indices can be used to investigate the publication activity of scientists and specialists depending on the specifics of the tasks set, taking into account the complexity and convenience of calculating specific indexes.
KEYWORDS
Co-authors of scientific publications, copyrights, scientometrics, Egghe index, Hirsch index, Hirsch "plus" index, modifications of scientometric indices, RSCI database.
FOR CITATION
R.O. Omorov. Legal aspects of applying indexes and e-management in evaluating the publication activity of scientists (2020) E-Management, 3 (3), pp. 13-19. DOI 10.26425/2658-3445-2020-3-3-13-19
© R.O. Omorov, 2020. This is an open access article under the CC BY 4.0 license (http://creativecommons.Org/licenses/by/4.0/).
В
J—Дажным направлением науковедения является наукометрия, которая возникла на стыке математических методов и науковедения с широким использованием методов математической статистики. В современной наукометрии [Налимов, Мульченко, 1969; Грановский, Дрогалина, Маркова, 2014] для оценки научной продуктивности ученых применяют различные показатели, наиболее распространенным из которых является так называемый индекс Хир-ша, или h-индекс. Индекс Хирша при простоте вычислений имеет и недостатки, связанные с временными рамками публикаций и неравномерностью показателей для различных отраслей науки и теоретичностью исследований1 [Михайлов, 2014 a, b, c; Герасименко, 2020], то есть объективность индекса соответствует конкретной отрасли науки.
Другие проблемы при использовании индекса Хирша - соответствие оценок нормам авторского права [Оморов, Роман А., 2016] и вероятность построения неадекватных и неоптимальных систем электронного менеджмента (e-management) образовательных и научных организаций, постоянных и/или временных научно-исследовательских коллективов в соответствии с современными парадигмами управления на основе применения аддитивных индексов в автоматизированных информационных системах [Терелянский, 2017]. В работе [Оморов, 2017], вопрос относительно авторских прав на научные публикации рассмотрен на основе законодательства Кыргызской Республики по авторским и смежным правам, где впервые предложено ввести для оценки индивидуальных показателей публикационной активности ученых показатель - индекс Хирша «плюс». В настоящей работе вопрос об авторских правах на публикации выносится для рассмотрения более широкого научного сообщества.
ОБЗОР ЛИТЕРАТУРЫ
Наукометрия - научное направление, входящее в науковедение и изучающее развитие науки через применение количественных математических методов обработки научной информации [Налимов, Мульченко, 1969; Грановский, Дрогалина, Маркова, 2014]. Методы наукометрии становятся все более актуальными для управления развитием науки в эпоху цифровизации и перехода к электронному управлению (e-management) объектами экономики и государственными структурами. Одним из задач наукометрии является определение мер количественных оценок параметров развития науки. К мерам оценок параметров относят различные индексы и показатели, обобщающие измеряемые параметры. Технологиям агрегации многомерных массивов информации в аддитивные индексы, способам отображения неколичественных показателей качества на единичные носители посвящена работа П.В. Терелянского [Терелянский, 2009]. При оценке эффективности труда отдельного ученого или научного коллектива применяют различные показатели научно-публикационной активности. В качестве показателя эффективности труда ученого более объективным, по сравнению с числом публикаций, является показатель цити-руемости его публикаций. Наиболее распространенным в настоящее время показателем цитируемости является так называемый индекс Хирша [Hirsch, 2005].
Несмотря на негативное отношение некоторых ученых, в частности математиков2, индекс Хирша в целом является достаточно объективным показателем эффективности труда ученых и их коллективов разных масштабов и поэтому в настоящее время этот индекс получил широкое распространение в наукометрии.
Модификации индекса Хирша
При всей простоте, удобствах вычислений и распространенности в наукометрии индекс Хирша (h-индекс) имеет определенные недостатки. Поэтому многие ученые и исследователи ведут разработки новых усовершенствованных наукометрических показателей для оценки эффективности научно-публикационной деятельности. Прежде всего был предложен так называемый g-индекс или индекс Эгга [Egghe, 2006; Egghe, 2008], который определяется аналогично индексу Хирша h, но количество цитирований должно быть гораздо больше, а именно в составлять квадрат n2 от количества цитирований n в случае вычисления h. Индекс g, как и индекс h, целочисленная величина и, по существу, определяет максимальные количества цитирований. Учеными предложены и другие показатели цитируемости публикаций исследователей.
О. В. Михайловым [2014] предложен новый индекс j, который характеризуется тем, что базовым соотношением является не количество n цитирований, как при определении h-индекса, и не n2, как при определении g-индекса, а n3/2 цитирований, то есть этот индекс определяет промежуточный показатель между h и g.
1 Демина Н. (2016). Хиршемания и хиршефобия // «Троицкий вариант khirshemaniya-i-khirshefobiya/ (дата обращения: 10.06.2020).
2 Там же.
- Наука», 6 декабря 2016 г. Режим доступа: https://trv-science.ru/2016/12/
П. В. Герасименко [2020] предложены новые модифицированные показатели, учитывающие количество цитирований как в «квадрате Хирша», так и вне этого квадрата, которые названы gh, hp и ghp индексами. Последний индекс учитывает всю совокупность цитирований публикаций авторов в определенной базе данных.
А. Н. Петровым [2019] предложен новый показатель, который назван «показатель РПД» - результативности публикационной деятельности, вычисляемый по специальной формуле с учетом ненулевых публикаций, привязанных к ним цитирований этих публикаций и индекса Хирша по ним.
Что касается так называемых показателей долевых цитирований, которые учитывают индивидуальные показатели соавторов публикаций, то в этом направлении наукометрии опубликовано достаточное количество работ [Batista, Campiteli, Kinouchi, Martinez, 2006; Hirsch, 2010; Shtovba S., Shtovba E., 2013; Михайлов, 2013; Михайлов, 2014 a, b, c; Марвин, 2016 a, b].
Прежде всего, сам Хирш [Hirsch, 2010] предложил модифицировать h-индекс введением параметра h, учитывающего число соавторов. Показатель ученого будет h, если на его публикации будет3 >h ссылок, в то же время у каждого из соавторов его публикаций будет показатель h, то есть h вычисляют по минимуму из соавторов, что, конечно же, существенно меньше значения h.
Зарубежные авторы предложили и другие модификации индекса Хирша h [Batista, Campiteli, Kinouchi, Martinez, 2006; Shtovba S., Shtovba E., 2013], учитывающие период времени публикаций, наличие соавторов и их «старшинство» по величине h, но не их число. Эти модификации, включая модификацию самого Хирша, на практике не получили широкого распространения, по всей вероятности, из-за сложности и неудобства вычислений.
О. В. Михайлов [2013; 2014 a, b, c] предложил модификации индекса Хирша h, учитывающие долевую цитируемость соавторов публикаций, то есть общее число ссылок на публикации делятся на количество соавторов. Такой подход подсчета индекса цитируемости, по существу, аналогичен предложению автора этих строк, обоснованному на основе норм авторского права (отметим, что автор не был знаком с указанными [Михайлов, 2013; Михайлов, 2014 a, b, c] и другими работами в этом направлении наукометрии). Принцип долевой цитируемости предложен О. В. Михайловым [2014 b] не только для индекса Хирша h, но и для индекса Эгга g. Эти новые модификации индексов Хирша и Эгга обозначены соответственно h* и g*. При этом О. В. Михайлов [2014 b, с. 51] утверждает, что в базе данных Web-of-Science «с недавнего времени уже введено в действие определение данного показателя» (очевидно, имеется в виду модификация индекса Хирша). Но известно, что в базе Российского индекса научного цитирования (РИНЦ) нет такого показателя, учитывающего количество соавторов. Также следует отметить, что индексы h* и g*, предложенные в О. В. Михайловым [2014 b], это целочисленные величины, то есть округленные числа.
С. В. Марвин [2016 a, b] предложил модификации индекса Хирша h, которые характеризуют среднюю цитируемость работ по определенной тематике, учитывающие количество соавторов публикаций, то есть основаны на принципе долевой цитируемости. Эти модификации вычисляются по специальным формулам с применением программы Micrisoft Excel и обозначены h , и h , которые являются соответственно
г г г mod norm 7 А
дробной модификацией индекса Хирша h* и нормированной модификацией индекса h*, учитывающего долевую цитируемость. Здесь следует отметить, что показатели hmod и hnorm могут быть дробными величинами.
МЕТОДЫ ИССЛЕДОВАНИЯ
Авторское право и показатели индекса Хирша
Как нетрудно видеть по показателям подсчета индекса Хирша по базам данных РИНЦ для отдельных ученых не учитываются их вклад и участие в коллективных публикациях и их цитированиях. Поэтому возникает вопрос об авторском праве на публикацию. В соответствии с законодательством Кыргызской Республики, как и многих стран мира [Оморов, Роман А., 2016], авторское право распространяется на произведения науки, литературы и искусства, являющиеся результатами творческой деятельности независимо от назначения и достоинств, а также способа их выражения. Таким образом, публикации ученых относятся к объектам авторского права. Поэтому действия по публикации трудов ученых и, соответственно, цитирований этих публикаций и другие действия, связанные с использованием, оценками цитирований и т.д., должны соответствовать нормам авторского права.
О. В. Михайловым [2014 a] также рассмотрены вопросы о соавторах и соавторстве. Приведены примеры правомерных и неправомерных случаев соавторства, в частности, по научным публикациям, которые имеют
место в реальной действительности. Правильно подмечено об определенной регламентированности проблемы соавторства по совместным изобретениям, хотя не всегда выполняются законодательные нормы патентного права. В этой работе есть спорный тезис о «служебных» научных работах и изобретениях [Михайлов, 2014 a, с. 96], где сказано: «Если же эти результаты были получены именно в рамках такого задания, то, наверное, лучше о них забыть, как бы тяжело это ни было, и на новом месте начинать все с нуля». По законодательству об авторском праве и патентном праве Кыргызской Республики [Оморов, Кадыралиева, Хми-левская и др., 2001; Оморов, Роман А., 2016], если работа не относится к категории работ, содержащих государственную тайну или секретный запрет, то автор где бы ни был и не работал после его ухода из учреждения (предприятия), он имеет личные неимущественные права на свои разработки и исследования, в том числе право авторства, то есть имеет полные права опубликовать открытые труды (с соблюдением имущественных прав работодателя). Более того, и по закрытым работам и исследованиям у лица, оказавшего творческий вклад в них, сохраняются личные неимущественные авторские (соавторские) права. Насколько известно автору этих строк, такие нормы присутствуют и в законодательстве Российской Федерации.
результаты и дискуссия
Сказанное выше и более обстоятельно приведенные в [Оморов, 2017] причины, позволили автору этих строк предложить новый индекс цитирования, названный индекс Хирша «плюс», или индекс h+, который соответствует нормам авторского права и учитывает индивидуальный вклад соавторов в публикацию при стандартной равномерной охране авторских прав на публикации и их цитирования.
При оценке цитируемости публикаций ученых, очевидно, показатели h+ будут не больше, а зачастую в разы меньше соответствующих показателей h. В отличие от других долевых показателей, предложенных другими авторами [Batista, Campiteli, Kinouchi, Martínez, 2006; Hirsch, 2010; Shtovba S., Shtovba E., 2013; Михайлов, 2013; Михайлов, 2014 a, b, c], индекс h+ является дробным числом и вычисляется на основе индекса Хирша h. Алгоритм вычисления h+ аналогичен с вычислением h, но в данном случае «квадрат Хирша «плюс», как правило, будет внутри «квадрата Хирша». Применение индекса Хирша «плюс» h+ было апробировано для оценки показателей цитируемости трудов членов Национальной академии наук Кыргызской Республики (НАН КР) по данным РИНЦ, результаты которого показывают релевантность этих оценок в определении индивидуальных показателей публикационной активности ученых НАН КР.
заключение
Наукометрия является инструментом для исследований развития науки, прогнозирования и управления ее развитием [Налимов, Мульченко, 1969; Грановский, Дрогалина, Маркова, 2014]. Методы наукометрии соответствуют требованиям цифровизации и электронного управления (e-management) развитием науки вследствие широкого использования математических методов обработки информации. Показателями наукометрии, характеризующими эффективность деятельности ученых и исследователей являются индексы цитирования, в частности, наиболее распространенный на практике показатель - индекс Хирша, а также различные модификации индекса Хирша, в том числе индекс Хирша «плюс», для учета индивидуального вклада ученых и специалистов.
Конечно, каждая из модификаций наукометрических индексов, рассмотренных автором в обзоре литературы, может быть использована для исследований публикационной активности ученых и специалистов в зависимости от специфики поставленных задач с учетом сложности и удобства вычислений конкретных индексов публикационной активности.
Для стран СНГ базовой для определения индекса Хирша является база данных РИНЦ, использование которой нероссийскими учеными имеет определенные ограничения. При этом исследования индексов Хир-ша h по базам данных РИНЦ показывает корректность сравнения показателей h для ученых других стран СНГ по РИНЦ с показателями российских ученых по «ядру» РИНЦ.
библиографический список
Герасименко П.В. (2020). Модификации индекса Хирша для дифференцированной оценки результатов творческой деятельности ученых // Управление наукой и наукометрия. Т. 15. № 1. С. 55-71.
Грановский Ю.В., Дрогалина Ж.А., Маркова Е.В. (2014). В.В. Налимов и Российская наукометрия // Науковедческие исследования. № 2014. С. 80-91.
Марвин С.В. (2016 а). Нормированная долевая цитируемость как универсальная характеристика научной публикации // Социология науки и технологий. Т. 7. № 1. С. 95-108.
Марвин С.В. (2016 b). Нормированный показатель публикационной активности, учитывающий количество соавторов научных публикаций // Социология науки и технологий. Т. 7. № 4. С. 116-133.
Михайлов О.В. (2013). Нужна модификация самого популярного индекса цитируемости // Вестник Российской академии наук. Т. 83. № 10. С. 943-944.
Михайлов О.В. (2014 а). Рассуждения о соавторах и соавторстве // Вестник Российской академии наук. Т. 84. № 1. С. 93-96.
Михайлов О.В. (2014 b). О возможной модификации индексов Хирша и Эгга с учетом соавторства // Социология науки и технологий. Т. 5. № 3. С. 48-56.
Михайлов О.В. (2014 с). Новая версия индекса Хирша -/-индекс // Вестник Российской академии наук. Т. 84. № 6. С. 532-535.
Налимов В.В., Мульченко З.М. (1969). Наукометрия: Изучение развития науки как информационного процесса. М.: Наука. 192 с.
Оморов Р.О., Кадыралиева К.О., Хмилевская Л.Г. и др. (2001). Интеллектуальная собственность. Промышленная собственность. Бишкек: Кыргызпатент. 127 с.
Оморов Р.О., Роман А. (2016). Введение в интеллектуальную собственность в Кыргызской Республике. Изд. 2-е. Бишкек: Илим. 388 с.
Оморов Р.О. (2017). Индекс Хирша в наукометрии и показатели цитируемости трудов членов НАН КР по базам данных РИНЦ // Известия НАН КР. № 1. С. 5-9.
Петров А.Н. (2019). Новый показатель оценки научно-публикационной эффективности на основе наукометрических параметров базы РИНЦ // Социология науки и технологий. Т. 10. № 4. С. 176-192.
Терелянский П.В. (2009). Непараметрическая экспертиза объектов сложной структуры: монография. Москва. 221 с.
Терелянский П.В. (2017). Проблемы применения многомерных индексов для формирования кортежей // Менеджмент в здравоохранении: вызовы и риски XXI века: сб. матер. всерос. науч.-практ. конф. (г. Волгоград, 16-17 декабря 2016 г.) / редкол.: С.Ю. Соболева, С.А. Князев; Волгоградский гос. медицинский ун-т Мин-ва здравоохранения РФ [и др.]. Волгоград, C. 16-18.
Batista P.D., Campiteli M.G., Kinouchi O., Martinet A.S. (2006). Is it possible to compare researchers with different scientific interests? // Scientometrics. V. 68. No.1. Pp. 179-189.
Egghe L. (2006). Theory and practice of the g-index // Scientometrics. V. 69. No. 1. Pp. 131-152.
Egghe L. (2008). Mathematical theory of the h- and g-index in case of fractional counting of authorship // Journal of the American Society for Information Science and Technology. V. 59. No. 6. Pp. 1608-1616.
Hirsch J.E. (2005). An index to quantify an individual's scientific research output // PNAS. No. 102 (46). Pp. 16569-16572.
Hirsch J.E. (2010). An index to quantify an individual's scientific research output that takes into account the effect of multiple co-authorship // Scientometrics. V. 85. No. 3. Pp. 741-754.
Shtovba S., Shtovba E. (2013). Simple rational extension of Hirsch h-index for disclosing latent facts in citation networks // Sociology of Science and Technology. V. 4. No.4. Pp. 99-103.
REFERENCES
Batista P.D., Campiteli M.G., Kinouchi O. and Martinez A.S. (2006), "Is it possible to compare researchers with different scientific interests?", Scientometrics, vol. 68, no. 1, pp. 179-189.
Egghe L. (2006), "Theory and practice of the g-index", Scientometrics, vol. 69, no. 1, pp. 131-152.
Egghe L. (2008), "Mathematical theory of the h- and g-index in case of fractional counting of authorship", Journal of the American Society for Information Science and Technology, vol. 59, no. 6, pp. 1608-1616.
Gerasimenko P.V. (2020), "Hirsch index modifications for differentiated assessment of the results of creative activity of scientists" ["Modifikatsii indeksa Hirsha dlya differentsirovannoi otsenki rezul'tatov tvorcheskoi deyatel'nosti uchenykh"], Science Governance and Scientometrics [Upravlenie naukoi i naukometriya], no. 15 (1), pp. 55-71.
Granovskii Yu.V., Drogalina Zh.A. and Markova E.V. (2014), "V.V. Nalimov and Russian Scientometrics" ["V.V. Nalimov i Rossiiskaya naukometriya"], Naukovedcheskie issledovaniya, no. 2014, pp. 80-91.
Hirsch J.E. (2005), "An index to quantify an individual's scientific research output", PNAS, no. 102 (46), pp. 16569-16572.
Hirsch J.E. (2010), "An index to quantify an individual's scientific research output that takes into account the effect of multiple co-authorship", Scientometrics, vol. 85, no. 3, pp. 741-754.
Marvin S.V. (2016 a), "Normalized equity citation as a universal characteristic of scientific publication" ["Normirovannaya dolevaya tsitiruemost' kak universal'naya kharakteristika nauchnoi publikatsii"], Sociology of Science and Technology [Sotsi-ologiya nauki i tekhnologii], vol. 7, no. 1, pp. 95-108.
Marvin S.V. (2016 b), "Standardized indicator of publication activity, taking into account the number of co-authors of scientific publications" ["Normirovannyi pokazatel' publikatsionnoi aktivnosti, uchityvayushchii kolichestvo soavtorov nauchnykh publikatsii"], Sociology of Science and Technology [Sotsiologiya nauki i tekhnologii], vol. 7, no. 4, pp. 116-133.
Mikhailov O.V. (2013), "Need a modification of the most popular citation index" ["Nuzhna modifikatsiya samogo populyarnogo in-deksa tsitiruemosti"], Bulletin of the Russian Academy of Sciences [Vestnik Rossiiskoi akademii nauk], vol. 83, no. 10, pp. 943-944.
Mikhailov O.V. (2014 a), "Discussions about co-authors and co-authorship" ["Rassuzhdeniya o soavtorakh i soavtorstve"], Bulletin of the Russian Academy of Sciences [Vestnik Rossiiskoi akademii nauk], vol. 84, no. 1, pp. 93-96.
Mikhailov O.V. (2014 b), "On the possible modification of the Hirsch and Egghe indices taking into account co-authorship" ["O vozmozhnoi modifikatsii indeksov Khirsha i Egga s uchetom soavtorstva"], Sociology of Science and Technology [Sotsiologiya nauki i tekhnologii], vol. 5, no. 3, pp. 48-56.
Mikhailov O.V. (2014 c), "New version of Hirsch index - '-index" ["Novaya versiya indeksa Khirsha - '-indeks"], Bulletin of the Russian Academy of Sciences [Vestnik Rossiiskoi akademii nauk], vol. 84, no. 6, pp. 532-535.
Nalimov V.V. and Mulchenko Z.M. (1969), Scientometrics: study of the development of science as an information process [Naukometriya: izuchenie razvitiya nauki kak informatsionnogo protsessa], Nauka, Moscow, Russia. (In Russian).
Omorov R.O., Kadyralieva K.O. and Khmilevskaya L.G. [et al]. (2001), Intellectual property. Industrial property [Intellektu-al'naya sobstvennost'. Promyshlennaya sobstvennost'], Kyrgyzpatent, Bishkek, Kyrgyzstan. (In Russian).
Omorov R.O. and Roman A. (2016), Introduction to intellectual property in the Kyrgyz Republic [Vvedenie v intellektual 'nuyu sobstvennost'v Kyrgyzskoi Respublike], 2th publ., Ilim, Bishkek. Kyrgyzstan. (In Russian).
Omorov R.O. (2017), "Hirsch index in scientometrics and citation indicators works of NAS KR members on the RSCI data bases" ["Indeks Khirsha v naukometrii i pokazateli tsitiruemosti trudov chlenov NAN KR po bazam dannykh RINTs"], Izvestiya NAN KR, no. 1, pp. 5-9.
Petrov A.N. (2019), "New indicator for evaluation of scientific and publication efficiency based on the scientific parameters of the RSCI base" ["Novyi pokazatel' otsenki nauchno-publikatsionnoi effektivnosti na osnove naukometricheskikh paramet-rov bazy RINTs"], Sociology of Science and Technology [Sotsiologiya nauki i tekhnologii], vol. 10, no. 4, pp. 176-192.
Shtovba S. and Shtovba E. (2013), "Simple rational extension of Hirsch A-index for disclosing latent facts in citation networks",
Sociology of Science and Technology, vol. 4, no. 4, pp. 99-103.
Tereliansky P. V. (2009), Non-parametric examination of complex structure objects: monograph [Neparametricheskaya ek-spertiza ob "ektov slozhnoi struktury: monografiya], Moscow, Russia. (In Russian).
Tereliansky P.V. (2017), "Problems of applying multidimensional indexes to form tuples" ["Problemy primeneniya mno-gomernykh indeksov dlya formirovaniya kortezhei"], Management in healthcare: challenges and risks of the XXI century: collection ofproceedings of the All-Russian scientific and practical Conference (Volgograd, December 16-17, 2016) [Menedzhment v zdravookhranenii: vyzovy i riski XXI veka: sb. mater. vseros. nauch.-prakt. konf. (g. Volgograd, 16-17 dekabrya 2016 g.)], redkol. S.Yu. Soboleva, S.A. Knyazev, Volgogradskii gos. un-t Min-va zdravookhraneniya RF,Volgograd, pp. 16-18. (In Russian).
TRANSLATE OF FRONT REFERENCES
1 Demina N. (2016), Hirschmania and hirschfobia, "Troitskii variant - Nauka", dated on December 6, 2016. Available at: ht-tps://trv-science.ru/2016/12/khirshemaniya-i-khirshefobiya/ (accessed 10.06.2020).
