CC BY
94
УДК 378.147:378.018.43
05.00.00 Технические науки
НОВЫЕ НАУКОМЕТРИЧЕСКИЕ ПОКАЗАТЕЛИ, УСТОЙЧИВЫЕ К ИСКУССТВЕННОМУ "УЛУЧШЕНИЮ"1
Лойко Валерий Иванович
доктор технических наук, профессор, заслуженный деятель науки Российской Федерации РИНЦ-SCIENCE INDEX. SPIN-^=7081-8615 Loyko@pisem.net
ФГБОУВПО "Кубанский государственный аграрный университет ", г. Краснодар, Россия 350044, улица Калинина, 13, Краснодар, Россия
Романов Дмитрий Александрович
кандидат педагогических наук, доцент кафедры
информационных систем и программирования
РИНЦ-SCIENCE INDEX. SPIN-^=3635-6868
romanovda@rambler.ru
ФГБОУ ВПО "Кубанский государственный
технологический университет ", Краснодар,
Россия
350020, улица Московская, 2, Краснодар, Россия
Шапошников Валерий Леонидович кандидат физико-математических наук, заведующий кафедрой информационных технологий и математики РИНЦ-SCIENCE INDEX. SPIN-^=6234-0896 romanovda@rambler.ru
АНОО Краснодарский кооперативный институт, филиал Российского университета кооперации. 350015, Краснодар, ул. Митрофана Седина, 168/1
Кушнир Надежда Владимировна
старший преподаватель кафедры информационных
систем и программирования
РИНЦ-SCIENCE INDEX. SPIN-^=6951-4012
kushnir.06@mail.ru
ФГБОУ ВО "Кубанский государственный технологический университет", Краснодар, Россия
350020, улица Московская, 2, Краснодар, Россия
Кушнир Александр Валерьевич
аспирант кафедры информационных систем и
программирования
РИНЦ-SCIENCE INDEX. SPIN-^=4361-1944 afrika06@mail.ru
ФГБОУ ВО "Кубанский государственный технологический университет", Краснодар, Россия
350020, улица Московская, 2, Краснодар, Россия
UDC 378.147:378.018.43 Technical sciences
NEW SCIENTOMETRIC INDICATORS RESISTANT TO ARTIFICIAL "IMPROVEMENT"
Loyko Valery Ivanovich
Doctor of technical sciences, professor, Honored
Worker of Science in Russian Federation
RSCI-SPIN-code=7081-8615
Loyko@pisem.net
FGBOU VPO "Kuban State Agrarian University", Krasnodar, Russia
350044, Kalinina, 13, Krasnodar, Russia
Romanov Dmitry Alexandrovich
Candidate of pedagogical sciences, lecturer in the
department of information systems and programming
RSCI-SPIN-code=3635-6868
romanovda@rambler.ru
FGBOU VPO "Kuban State Technological
University", Krasnodar, Russia
350020, Moscovskaya, 2, Krasnodar, Russia
Shaposhnikov Valery Leonidovich
Candidate of Physical and Mathematical Sciences,
associate Professor, head of the Department of
Information Technology and Mathematics
RSCI-SPIN-code=6234-0896
romanovda@rambler.ru
ANOO "Krasnodar cooperative institute ", branch of Russian University of Cooperation, 350015, Krasnodar, ul. Mitrofana Sedina, 168/1
Kushnir Nadezhda Vladimirovna senior Lecturer in the department of information systems and programming RSCI-SPIN-code=6951-4012 kushnir.06@mail.ru
FGBOU VO "Kuban State Technological University", Krasnodar, Russia
350020, Moscovskaya, 2, Krasnodar, Russia
Kushnir Alexandr Valerievich
Postgraduate in the department of information systems
and programming
RSCI-SPIN-code=4361 -1944
afrika06@mail.ru
FGBOU VO "Kuban State Technological University", Krasnodar, Russia
350020, Moscovskaya, 2, Krasnodar, Russia
1 Работа выполнена при финансовой поддержке Российского гуманитарного научного фонда, в рамках проекта № 16-0300382 "Мониторинг исследовательской деятельности образовательных учреждений в условиях информационного общества".
В статье представлены новые критерии, пригодные для диагностики продуктивности исследовательской деятельности и значимости её результатов для научного сообщества, устойчивые к искусственному "улучшению". Известно, что общепризнанным показателем продуктивности исследовательской деятельности научных работников является индекс Хирша, вычисляемый на основе статистического метода каменистой осыпи; данный показатель применим и к научным коллективам (организациям). Вместе с тем, индекс Хирша и ряд других наукометрических показателей, основанных на цитируемости, легко поддаются искусственному увеличению (действию мошеннических схем). Поэтому необходимы новые наукометрические параметры, адекватно отражающие значимость результатов исследовательской деятельности и не поддающиеся (или очень трудно поддающиеся) искусственному "улучшению"; тем более, что во всём мире признано: оценка истинной (а не фиктивной) значимости результатов исследовательской деятельности научного работника для научного сообщества - достаточно сложная метрологическая (наукометрическая) задача. Авторы обосновывают, что такими показателями являются, прежде всего, индекс географической широты востребованности результатов исследовательской деятельности, а также ряд других авторских параметров. Несмотря на то, что авторские показатели, так же, как и индекс Хирша, основаны на цитируемости, их большие значения свидетельствуют о том, что научное сообщество признает результаты исследовательской деятельности научно-педагогического работника; более того, данные показатели можно считать критерием для выявления действительно перспективных (продуктивных) научных работников. Задачу адекватной оценки продуктивности исследовательской деятельности и значимости её результатов авторы рассматривают в контексте проблематики (более крупной проблемы) эффективности образовательных сред. Практическая значимость результатов исследования - в возможности их использования для построения критериально-диагностического аппарата мониторинга исследовательской деятельности научных учреждений (в том числе высших учебных заведений). Методологические основы исследования: системный, метасистемный, вероятностно-статистический и квалиметрический подходы. Методы исследования: когнитивное, структурно-функциональное и математическое моделирование; методы теории графов, множеств и отношений; системно-когнитивный анализ; методы квалиметрии (теории латентных переменных); методы теории вероятностей и математической статистики (прежде всего - метод каменистой осыпи), методы аналитической
The article presents the new criteria suitable for the diagnosis of the productivity of research and the importance of its results for the scientific community, are resistant to artificially "improve". It is known that generally accepted measure of the productivity of research scientists is the h-index, which is calculated based on a statistical method of scree. This indicator is applicable to research teams (organizations). However, the h-index and a number of other scientometric indicators based on citation, are easy to be artificially increased (fraudulent schemes action). New scientometric parameters adequately reflecting the importance of research results, and not amenable (or very difficult to) to be artificially "improved" are therefore needed; moreover, it is recognized around the world: the true score (not fictitious) of the significance of the results of a research scientist for the scientific community - is a complex metrological (scientometric) task. The authors argued that such indicators are primarily index latitude demand for research results, as well as a number of other parameters of copyright. Despite the fact that authors indicators, the same as the h-index are based on citation, their large values indicate that the scientific community recognizes the results of the research activities of scientific and pedagogical workers; moreover, these indicators can be considered as a criterion to identify really promising (productive) researchers. The problem of adequate assessment of the productivity of research activities and the significance of its results, the authors consider in the context of the problems (larger problems) of the effectiveness of educational environments. The practical significance of research results lies in the possibility of their use for constructing criterion-diagnostic apparatus for monitoring research activities of scientific institutions (including higher educational institutions). Research methodology: systemic, meta-systemic, probabilistic-statistical and qualitative approaches. Research methods: cognitive, structural, functional, and mathematical modeling; methods of graph theory, sets and relations; system-cognitive analysis; methods of quality control (theory of latent variables); methods of probability theory and mathematical statistics (first of all - a method of scree), methods of analytical geometry; methods of the mathematical theory of limits
геометрии; методы математической теории пределов
Ключевые слова: НАУЧНЫЙ РАБОТНИК, ИССЛЕДОВАТЕЛЬСКАЯ ДЕЯТЕЛЬНОСТЬ, НАУКОМЕТРИЧЕСКИЙ ПАРАМЕТР, ДИАГНОСТИКА, РЕЗИСТЕНТНОСТЬ
Keywords: ACADEMICS, RESEARCH, SCIENTOMETRIC PARAMETER DIAGNOSTICS, RESISTANC
йо!: 10.21515/1990-4665-127-038
Введение. Диагностика продуктивности исследовательской деятельности научных работников и значимости её результатов для научного сообщества - одна из наиболее актуальных, но, в то же время, и наиболее сложных наукометрических задач [1-15]. Индекс Хирша и иные наукометрические показатели, основанные на цитируемости, мгновенно завоевали популярность благодаря своей объективности и гуманистическому потенциалу. В отличие от такого показателя, как среднее число цитат на публикацию, индекс Хирша, основанный на методе каменистой осыпи (популярный метод математической статистики), не "запрещает" научному работнику издавать новые научные труды (т.е. публикации, не получающие цитаты, не снизят комплексный наукометрический показатель). Но диагностика исследовательской деятельности, основанная на анализе цитируемости, таит ряд опасностей, одна из которых связана с возможностью искусственного "улучшения" наукометрических показателей, в том числе и комплексного (индекса Хирша). Известен закон Гурхарда: если какой-либо показатель становится самоцелью, то он перестает быть хорошим показателем [1-15]. Как справедливо отмечают современные специалисты (например, Луценко Е.В.), "Хиршамания" превратилась в одно из социальных бедствий нового столетия [1, 4, 5].
Таким образом, и наукометрия как ветвь науковедения, и практика управления исследовательской деятельностью в научных учреждениях (в том числе в высших учебных заведениях) остро нуждаются в объективных показателях продуктивности исследовательской деятельности, не
поддающихся (или очень трудно поддающихся) искусственному "улучшению". Проблема исследования состоит в вопросе, каковы объективные критерии продуктивности исследовательской деятельности научных работников и значимости её результатов для научного сообщества, не поддающиеся искусственному "улучшению" (или очень слабо ему поддающиеся)? Цель исследования - выделение и обоснование новых наукометрических критериев, пригодных для диагностики продуктивности исследовательской деятельности и значимости её результатов. Объект настоящего исследования - научная (исследовательская) деятельность научных работников, предмет исследования - информативность и валидность традиционных и инновационных наукометрических критериев. Достижение поставленной цели было связано с решением следующих задач исследования:
1. Разработать модель расчета новых наукометрических показателей, отражающих истинную значимость результатов исследовательской деятельности научного работника для научного сообщества и устойчивых (резистентных) к мошенническим схемам искусственного "улучшения".
2. Разработать модель расчета новых наукометрических показателей, адекватно отражающих продуктивность (эффективность) исследовательской деятельности научного работника и устойчивых к технологиям искусственного "улучшения".
3. Обосновать возможность применения авторских показателей для мониторинга исследовательской деятельности научных коллективов.
Решение вышеуказанной проблемы, достижение поставленной цели и решение подчиненных задач актуально в связи с возрастанием роли исследовательской деятельности в современном мире (информационном обществе), а также необходимостью поддержания идеи высших учебных заведений как центров науки. Нельзя также не учитывать, что и международные, и отечественные методики оценки вузов доминирующую
роль отводят именно научно-исследовательской деятельности и её продуктивности (Шанхайская методика оценки рейтинга вузов, российская методика оценки эффективности вузов и т.д.). Для авторов очевидно, что проблему адекватной оценки продуктивности исследовательской деятельности и значимости её результатов следует рассматривать в контексте проблем более высокого порядка - проблемы конкурентоспособности научно-педагогических работников и эффективности образовательной среды [3, 4, 7]. Предлагаются подходы к решению подобных проблем [16, 17, 18].
Анализ разработанности проблемы. Известно, что с социальными бедствиями, связанными с абсолютизацией "избранных" показателей (применительно к наукометрии - индекса Хирша и числом ссылок на труды научного работника), возможны два взаимодополняющих пути борьбы. Первый путь - многопараметричность диагностики, следовательно, и мониторинга исследовательской деятельности научных работников и коллективов. Второй путь - формирование адекватных мониторинговых показателей, не поддающихся (или трудно поддающихся) искусственному "улучшению"; третий путь заключается в оптимальном сочетании первого и второго.
Авторы настоящей статьи и их коллеги предпринимали попытки реализации второго пути. Так, например, Романовым Д.А. предложен индекс цитируемости конкретной публикации конкретного научного
«2 «3 -1
работника: Ц = щ + ^ 0,751 + ^ 0,51. Здесь: п1 - число "истинно внешних"
1=0 1=0
цитат на публикацию, п3 - число самоцитирований на публикацию со стороны любого из членов авторского коллектива, п2 - число цитирований на публикацию со стороны любого из соавторов (по наукометрической базе) любого из членов авторского коллектива. Данный показатель, представленный ранее [4, 6], сформирован на основе авторского подхода
[8], согласно которому комплексные мониторинговые показатели вычисляют на основе теории пределов, с целью лишения смысла бесконечного увеличения входной мониторинговой информации, которую можно увеличить искусственно (искусственно можно увеличивать число самоцитирований и цитирований соавторами). Модифицированный индекс Хирша выглядит следующим образом; он равен Ц, если не менее чем Ц публикаций научного работника имеют индекс цитируемости не менее чем Ц каждая (индекс цитируемости может быть и дробным). В отличие от него, "жёсткий" индекс Хирша выглядит следующим образом; он равен К, если не менее чем N публикаций научного работника получили не менее чем по N цитат каждая.
Как видно, вышеуказанные показатели достаточно трудно "улучшить" с помощью мошеннических схем. Вместе с тем, не следует забывать, что целевой ориентир исследовательской деятельности (в теоретическом аспекте) - признание её результатов (т.е. публикаций) научным сообществом. А научное сообщество - социальная мегасистема, члены которой (научные работники) рассредоточены на широкой территории.
Безусловно, при оценке признанности (востребованности) результатов исследовательской деятельности (еще раз напомним, что признание заключается в цитируемости публикаций научного работника или коллектива) возможно применить и такой показатель, как индекс Херфендаля (его в настоящее время применяют для научных журналов), для оценки степени неравномерности цитирования научного работника со стороны социального окружения. Индекс Херфендаля - "вредный" показатель, т.е. увеличение его численного значения отражает ухудшение ситуации. Очевидно, что если анализируемого (диагностируемого) научного работника цитирует весьма ограниченный круг лиц, то у него будет высокий индекс Херфендаля. Но авторы настоящей статьи уверены,
что низкий индекс Херфендаля не означает высокого уровня признания публикаций (результатов исследовательской деятельности) научного работника, т.к. низкое значение индекса Херфендаля может сочетаться с низким числом цитат на труды научного работника. Кроме того, индекс Херфендаля имеет предельное значение, а число необоснованных цитирований - нет; на основе математической теории пределов нетрудно
доказать, что Нт
(сЛ
V С у
¥, где С - число цитат на труды научного
работника, О - индекс Херфендаля (по цитирующим авторам). Следовательно, деление цитируемости публикаций научного работника на индекс Херфендаля не является эффективным способом борьбы с искусственным "улучшением" наукометрических показателей.
Рассмотрим достоинства и недостатки общепризнанного комплексного наукометрического показателя - индекса Хирша. Данный показатель сам по себе обоснован [5]; важнейшее достоинство индекса Хирша - в возможности разрешения противоречия между качеством и количеством научных трудов. Вместе с тем, данный показатель поддаётся искусственному "улучшению", поэтому он не всегда может адекватно отразить реальную значимость результатов исследовательской деятельности. Другой принципиальный недостаток индекса Хирша - его принципиальная ограниченность числом публикаций научного работника. Складывается парадоксальная ситуация; работник, имеющий пять публикаций, признанных широким научным сообществом (имеющих по сто цитат на каждую), "менее" продуктивен, чем научный работник, у которого десять публикаций получили по десять цитат каждая (т.е. имеющий публикации "средней руки")!
К сожалению, поддаётся искусственному "улучшению" и такой ранее предложенный авторами показатель, как отношение цитируемости
С ®¥
наиболее признанных публикаций автора к его индексу Хирша: Н = —,
к
где И - индекс Хирша автора, с - цитируемость 1-й публикации автора, детерминирующей его индекс Хирша. Важнейшее достоинство данного показателя - должная дифференцирующая способность, т.е. возможность учёта "лишнего" качества (цитируемости) публикаций, определяющих индекс Хирша автора. Поддаётся искусственному улучшению и такой наукометрический показатель, как g-индекс, равный g, если не менее чем g публикаций автора имеют суммарное число цитирований не менее чем g2. Ещё один недостаток g-индекса - в том, что его могут детерминировать публикации, не получившие никакого признания со стороны научного сообщества. Например, научный работник имеет публикации, цитируемость которых соответственно 23, 17, 11, 9, 5, 0, 0, 0, 0, 0. Очевидно, что g-индекс такого научного работника равен 8 (индекс Хирша - лишь 5), хотя шестая, седьмая и восьмая публикации имеют нулевую цитируемость. В то же время, g-индекс - более гибкий параметр, чем индекс Хирша, т.к. позволяет учитывать публикации, цитируемость которых менее И-индекса (т.е. не детерминирующих индекс Хирша).
Ещё менее адекватными, с точки зрения авторов настоящей статьи, являются наукометрические показатели для научных организаций (коллективов). Например, ьиндекс принципиально ограничен численностью научного коллектива; И-индекс коллектива может быть "улучшен" путём перекрёстных цитирований внутри коллектива (т.е. члены научного коллектива цитируют друг друга [3, 4]).
Таким образом, обзор существующих наукометрически показателей показал наличие у большинства из них два серьёзных недостатка. Первый недостаток - возможность искусственного "улучшения". Второй недостаток - "привязка" к числу публикаций. Ещё один недостаток -невозможность определения степени целостности (системности)
исследовательской деятельности научного работника и её результатов, однако это выходит за рамки означенной проблемы (оценки продуктивности исследовательской деятельности и истинной значимости её результатов для научного сообщества). На основе всего вышеизложенного авторы делают вывод о необходимости выделения и обоснования новых объективных критериев продуктивности исследовательской деятельности научных работников и значимости её результатов для научного сообщества.
Методология исследования. Для достижения цели и решения поставленных задач использовались следующие взаимодополняющие методы исследования: когнитивное, структурно-функциональное и математическое моделирование; методы теории графов, множеств и отношений; автоматизированный системно-когнитивный анализ; методы квалиметрии (теории латентных переменных); методы теории вероятностей и математической статистики, методы аналитической геометрии, методы теории пределов.
Следует особо отметить роль математических методов в нашем исследовании. Значимость результатов исследовательской деятельности научного работника или коллектива рассмотрена как интегральный показатель (латентная переменная), для которого возможно подобрать частные критерии (индикаторные переменные). Методы теории множеств, отношений и графов позволят создать когнитивные модели исследовательской деятельности научных работников и творческих (научных) коллективов, их влияние на научное сообщество (научную мегасреду) в целом. Наиболее востребованными в нашем исследовании оказались методы аналитической геометрии, применявшиеся для вычисления площади выпуклых многоугольников на земной поверхности (выпуклый многоугольник отражает подмножество городов, в которых живут и работают авторы цитирующих публикаций); без методов
аналитической геометрии невозможно вычисление важнейшего (в контексте статьи) авторского показателя - индекса географической широты востребованности результатов исследовательской деятельности. Методы теории пределов позволяют рассчитывать индекс цитируемости научной публикации; методика расчёта подобного индекса позволяет пресечь попытки искусственного "улучшения" качества публикаций путём необоснованных самоцитирований и цитирований соавторами. Метод каменистой осыпи (один из статистических методов) позволяет оценить не только индекс Хирша (традиционный наукометрический параметр), но и ряд авторских показателей. Информационно-вероятностное моделирование позволяет оценить степень доверия к фактическим значениям наукометрических параметров, т.е. вычислить вероятность того, что полученное значение достигнуто не мошенническими методами.
Методологические основы исследования: системный подход (рассматривает исследовательскую деятельность как сложный системный процесс и неотъемлемую составляющую функционирования высших учебных заведений), метасистемный подход (рассматривает совокупность цитат на публикации научного работника как систему, включающую относительно автономные компоненты), вероятностно-статистический (рассматривает признание результатов исследовательской деятельности научного работника как стохастический процесс) и квалиметрический подход (провозглашает необходимость многокритериальной диагностики продуктивности исследовательской деятельности научного работника).
Результаты исследования. С точки зрения авторов, объективным и не поддающимся искусственному "улучшению" критерием продуктивности исследовательской деятельности можно считать индекс географической востребованности её результатов. Это означает, что, чем шире "география" ссылок (цитат) на труды научного работника, тем с большим основанием возможно говорить об их признанности
(востребованности) научным сообществом. Например, если публикации одного научного работника процитировали в десяти городах, отделенными друг от друга расстояниями в сотни километров, а другого - только в одном городе, то, безусловно, степень признания трудов первого научного работника гораздо выше, чем второго (даже если у двух научных работников совпадают общее число публикаций, общее число цитирований на них и индекс Хирша). Очевидно, что широту географии ссылок (цитат) следует оценивать не по ассортименту журналов, в которых изданы научные труды (источники ссылок), а по местам работы авторов цитирующих публикаций. Ведь возможна ситуация, когда автор А цитирует автора В из различных журналов, но ни о какой широте ссылок, в данном случае, не может быть и речи (более того, в данной ситуации возможно и мошенническое повышение наукометрических показателей). Представим модель расчёта нового наукометрического показателя.
Пусть д - множество публикаций анализируемого научного работника, V - множество цитат на них, w - подмножество ссылок, не являющихся самоцитированиями, тогда число публикаций Q = Р(д), число ссылок (не самоцитирований) Ж = Р{^), где Р - мощность множества (в дальнейшем в статье речь будет идти только о ссылках, не являющихся
Р(я)
самоцитированиями). Очевидно также, что н> = у w], где Wj - множество
1=1
ссылок (цитирующих публикаций, но не самоцитирований), соответствующих j-й публикации анализируемого научного работника. Тогда индекс географической широты востребованности результатов исследовательской деятельности анализируемого научного работника 1 = Б ц, где г/ = Р(М). Здесь: Р - мощность множества, N - множество населенных пунктов, в которых проживают (работают) авторы цитирующих публикаций, 8 - площадь выпуклого многоугольника, охватывающего населенные пункты множества N (многоугольник должен
быть таким, чтобы населенные пункты множества N либо лежали на его границе, либо внутри него, но не вне его). Если речь идет о двух населенных пунктах, то площадь "несостоявшегося многоугольника" принимают численно равной расстоянию между ними. Если речь идёт лишь об одном населенном пункте, то за 8 принимают площадь этого населенного пункта (например, площадь города Краснодара более ста квадратных километров). Площадь выпуклого многоугольника на земной поверхности определяют на основе методов аналитической геометрии. Формирование воображаемого выпуклого многоугольника является детерминированным процессом.
Приведём пример. Пусть публикации некоего научного работника цитируют авторы из Калининграда, Магадана, Махачкалы, Оренбурга, Якутска, Екатеринбурга и Омска. Очевидно, что "углами" воображаемого выпуклого многоугольника будут Калининград, Магадан, Махачкала и
Оренбург, "внутренними точками" - Якутск, Екатеринбург и Омск.
р )
Очевидно, что N = У п} , где п - множество географических пунктов
1=1
- мест проживания и работы - авторов ^цитирующей публикации. Например, в некой цитирующей публикации первый автор работает в городе Калининград, второй - в городе Волгоград, третий - в городе Красноярск. С точки зрения авторов, показатель X объективно отражает признанность публикаций научного работника научным сообществом. С одной стороны, если площадь воображаемого многоугольника составляет миллионы квадратных километров, то крайне маловероятно, что научный работник "договорился" со всеми авторами цитирующих публикаций. С другой стороны, данный показатель делает бессмысленным искусственную "договоренность о цитировании" публикаций со стороны научных работников (авторов цитирующих публикаций), проживающих в одном и том же населенном пункте.
Вышеуказанный показатель чрезвычайно трудно "улучшить" с помощью мошеннических схем. Более того, если публикацию цитируют повсеместно, то это свидетельствует о её признанности широким научным сообществом. А если публикацию цитируют только в родном городе автора (или, ещё хуже, только в родной научной организации), то это не является свидетельством признанности. Широкая география ссылок -свидетельство о признанности публикаций широким (а не узким!) научным сообществом. Ещё раз напомним, что речь идёт о влиянии научных работников и коллективов на широкое научное сообщество, т.е. научную мегасреду.
Именно вышеуказанный показатель X, в отличие от традиционных параметров (индекса Хирша и g-индекса), и отражает значимость результатов исследовательской деятельности коллектива для научного сообщества. Помимо трудности искусственного "улучшения", индекс географической широты ссылок, как показатель, имеет ещё одно очевидное достоинство: он не ограничен числом публикаций, в отличие от индекса Хирша. Ещё более очевидны достоинства авторского показателя для научного коллектива: он также не ограничен численностью научного коллектива (в отличие от ьиндекса).
С точки зрения авторов, предложенный показатель необходимо нормировать, т.к. различные наукометрические системы могут охватывать различные по площади территории. Нормированный индекс
географической широты ссылок (цитат) 1 = —, где 8Т - площадь
Бт
территории, охватываемой наукометрической системой.
Вместе с тем, вышеуказанный показатель, объективно отражая результативность исследовательской деятельности научного работника, ничего не говорит о её продуктивности. Например, одного и того же значения величины X можно достичь, издав 10 научных трудов, а можно,
издав 20 работ. По упрощенной схеме индекс продуктивности (или индекс влияния на научное сообщество) можно оценить как т = ~, где ъ -
минимально необходимое число публикаций научного работника для обеспечения индекса X. Определить ъ возможно в соответствии с алгоритмом.
Шаг 1. Принимаем вначале, что 2 = 2 (число публикаций работника).
Шаг 2. Уменьшаем ъ на 1.
Шаг 3. Проверяем, не уменьшилась ли величина X, и выполняем шаг 2, пока она не начнет уменьшаться.
Например, для некоторого научного работника величина X (индекс географической широты востребованности его публикаций) равна 510, всего им издано 120 трудов, но лишь 40 из них обеспечивают вышеуказанное значение величины X. Тогда индекс продуктивности
5 • 107
научного работника т = 40 = 1,25 • 106.
Более трудоемкий (в плане объема вычислений) алгоритм оценки продуктивности научного работника следующий. Делают анализ всех возможных сочетаний публикаций научного работника (число таких переборов будет огромным), при каждой ]-й транзакции (точнее, сочетании публикаций) вычисляют величину (очевидно, что варьироваться будет не только ъ, но и X), тогда т = max|m;}.
Представленные выше показатели пригодны также для оценки востребованности (признанности) результатов исследовательской деятельности научных коллективов (в том числе научно-педагогических коллективов высших учебных заведений). Однако, вместо множества публикаций отдельного научного работника анализируют множество публикаций членов научного коллектива. Множество публикаций
м
/
научного коллектива д7 = у , где М - число членов коллектива, ^ -
}=1
множество публикаций ]-го члена коллектива, и - символ объединения множеств.
Метод "географической широты" позволяет диагностировать и признанность конкретных публикаций научного работника научным
сообществом:
С = Ц • -Лпуб, где Ц - индекс цитируемости публикации (в
Б
соответствии с методикой Романова Д. А., основанной на теории пределов), 8пуб - площадь воображаемого выпуклого многоугольника, объединяющего населенные пункты, в которых проживают и работают авторы цитирующих публикаций (источников ссылок на анализируемую публикацию диагностируемого научного работника), Ппуб - число этих населенных пунктов (могут находиться и внутри воображаемого выпуклого многоугольника), 8 - площадь территории, охватываемой наукометрической системой (для Российского индекса научного цитирования - Российская Федерация). Поправочный коэффициент в формуле введён для нормирования индекса признанности, т.к. различные наукометрические системы могут охватывать территории с различной площадью. Тогда индекс продуктивности научного работника - величина Ь, равная %, если не менее чем % публикаций анализируемого научного работника имеют индекс признанности не менее чем % каждая.
С точки зрения авторов, возможные градации величины Ь следующие: менее 3 - очень низкий уровень, от 3 до 5 - низкий, от 6 до 9 -средний, от 10 до 12 - должный (выше среднего), от 13 до 15 - высокий, от 16 до 18 - очень высокий, свыше 18 - высший.
Таким образом, величина X отражает истинную (а не фиктивную, искажённую искусственным "улучшением") значимость результатов исследовательской деятельности научного работника, параметры Ь,
модифицированный и "жёсткий" индекс Хирша - продуктивность этой деятельности. Отметим, что все параметры продуктивности вычисляют на основе метода каменистой осыпи (а не традиционного усреднения).
Возможен и более простой способ вычисления индекса географической широты (цитируемости публикаций). Пусть (х0 У0) -координаты населённого пункта - места работы диагностируемого научного работника (или научного коллектива, что для предлагаемого метода не имеет значения), Б - число населённых пунктов (кроме места проживания и работы автора цитируемых публикаций), в которых работают авторы цитирующих публикаций ^ - множество этих пунктов), координаты (на земной поверхности) 1-го населённого пункта (Хг Уг), тогда радиус-вектор 1-го источника цитат составит гг = я(Хг Х0 Уг У0), где Я - расстояние на криволинейной земной поверхности между точками с координатами (Х0 У0) и (Хг Уг). Тогда индекс географической широты
и
ссылок (цитат) составит 1 = С • ^ г, где С - общее число "истинно
г=1
внешних" цитат, полученных от внешних населённых пунктов.
1
Нормированный индекс географической широты 1 = ^=. Индексы
продуктивности, релевантные данному показателю, вычисляют
аналогичным образом, что и для более "сложного" случая.
Приведём пример. Пусть из семи населённых пунктов (источников
"истинно внешних" цитат) получены 12 "истинно внешних" цитат на
труды диагностируемого научного работника. Расстояние от места работы
автора до данных пунктов соответственно 230, 470, 320, 1380, 1870, 140 и
3050 км, а площадь территории, охватываемой наукометрической
системой, составляет 15,21 миллиона квадратных километров, тогда
1 = 12 • (230 + 470 + 320 +1380 +1870 +140 + 3050) = 12 • 7460 » 225 = 15,21 • 106 = 390 » .
Докажем математически (на основе теории вероятностей), что вероятность искусственного улучшения индекса географической широты цитируемости (в его обеих модификациях) чрезвычайно мала. Пусть Б -число населённых пунктов (мест работы авторов цитирующих публикаций), pi - вероятность того, что в 1-м населённом пункте цитата получена "благодаря" мошенническим схемам, тогда вероятность того, что цитаты из всех населённых пунктов получены с помощью мошеннических
Р
схем, составит Рф) = П Рг (согласно теореме о вероятности независимых
г=1
событий). Но вероятность всегда меньше единицы, поэтому
Нш(Р(£>))=0.
Тем не менее, возникает вопрос: от каких факторов зависит каждая из вероятностей pi? С точки зрения авторов, подобную вероятность необходимо ставить в зависимость от расстояния между населёнными пунктами (местом работы авторов цитирующей и цитируемой публикаций). Пусть для некоего расстояния г/ вероятность достижения искусственной договорённости равна p/, тогда для расстояния г = Кг7
вероятность достижения искусственной договорённости рг =(р/), согласно той же теореме. Очевидно, что при К > 1, всегда р1 < р1.
Ещё более простой способ оценки географической широты (значимости результатов исследовательской деятельности) состоит в следующем. Следующий показатель - индекс географической широты ссылок на публикации научного работника или коллектива: он равен Б, если не менее чем из Б регионов федеративного государства имеется не менее чем Б ссылок на публикации научного работника или коллектива (для международных наукометрических баз актуальны ссылки на публикацию из различных государств). Коэффициент географической широты ссылок - число регионов f (мощность их множества), из которых
имеются ссылки на публикации членов анализируемого научного работника или коллектива. Индекс географической широты позволит выявить регионы, в которых наиболее востребованы публикации анализируемого научного работника или коллектива. Данный показатель, как и ранее представленные, не ограничен числом публикаций, а также не поддаётся искусственному "улучшению".
Приведём пример. Для некоторого научного коллектива определили следующее число цитат из регионов (отсортировано по убыванию числа цитат): 43, 27, 22, 22, 17, 15, 15, 12, 12, 9, 9, 9, 8, 6, 5, 4, 2, 2, 1, 0, 0, 0, 0 и т.д. Очевидно, что коэффициент географической широты ссылок (цитат) на публикации коллектива равен 19, индекс географической широты - лишь 9 (из десятого региона получено лишь 9 цитат, поэтому последний учитываемый регион - девятый).
Оба вышеуказанных показателя нуждаются в нормализации (в нормировании), т.к. различные государства могут включать различное число субъектов (регионов, штатов, земель и т.д.). Тогда нормированные
Р £
параметры вычисляют по формулам Р7 = — и /' = —, где р - число
Р Р
субъектов федеративного государства (для России равно 90). Нормированные параметры отражают, насколько значимы для всего федеративного государства результаты исследовательской деятельности научного работника или коллектива.
Ещё раз напомним, что результаты исследовательской деятельности научного работника или коллектива должны быть значимы для широкого (а не узкого!) научного сообщества. Если Ь - число научных работников, зарегистрированных в наукометрической базе (для Российского индекса научного цитирования равно 808970), то широта социального признания результатов исследовательской деятельности научного работника или
коллектива д = I-. Здесь: Ь - число научных работников,
процитировавших труды диагностируемого. Каким образом определить Ь?
Для этого из множества цитат V на труды научного работника исключают самоцитирования, а также самоцитирования публикаций со стороны соавторов; остаётся множество цитат ^^ не являющихся самоцитированиями. Например, если анализируемый работник А имеет общую публикацию Х с работниками В и С, то самоцитированиями для публикации Х будут считаться любые цитирования из публикаций, в которые входят любые из трёх авторов (А, В или С). Тогда множество
авторов цитирующих публикаций составит II' = у аг, где Р - мощность
г =1
множества, и - символ объединения множеств, ^ - множество авторов, релевантных 1-й цитате (ссылке). Очевидно, что I = р(!').
Вместе с тем, во множество Ь// могут входить соавторы анализируемого научного работника. Иначе говоря, величина Ь/ не всегда означает значимости трудов анализируемого научного работника для широкого научного сообщества (соавторов анализируемого научного работника трудно назвать широким научным сообществом, даже если их число велико). Тогда модифицированный индекс социального признания
результатов исследовательской деятельности научного работника д' = £.
Числитель в данной формуле определим на основе теории пределов, в противном случае не будет лишено смысла "бесконечное" увеличение
а2-1
числа соавторов: £ = А1 + ^0,751 . Здесь: А1 - число истинно внешних
1 =0
научных работников по отношению к диагностируемому, А2 - число его соавторов. Данный показатель также не поддаётся искусственному "улучшению".
С точки зрения авторов настоящей статьи, без оценки
географической широты также можно определить показатели, трудно поддающиеся искусственному "улучшению". Первый показатель - число высококачественных трудов научного работника, под которыми будем понимать публикации, индекс цитируемости Ц (вычисляют на основе теории пределов, в соответствии с методикой Романова Д. А.) у которых не ниже 8. Данное пороговое значение авторы обосновывают следующим
«2«3-1
образом. В приведённой ранее формуле Ц = « + ^0,75] + ^0,5] второе и
]=0 ]=0
третье слагаемые не могут превышать 4 и 2 соответственно (легко доказать, зная формулу суммы бесконечно убывающей геометрической прогрессии). С точки зрения авторов, значимая (следовательно, высококачественная) публикация должна получить не менее трёх "истинно внешних" цитат. Второй показатель - модифицированный g-индекс. Представим алгоритм его вычисления.
Публикации диагностируемого научного работника сортируем в порядке убывания индекса цитируемости Ц. Затем исключаем из списка публикации, на которые нет ни одной цитаты, кроме самоцитирований (т.е. оставляем в списке публикации, имеющие либо истинно внешние цитаты, либо цитирования со стороны соавторов диагностируемого научного работника, но не являющихся соавторами данной публикации). Данное действие авторы настоящей статьи объясняют тем, что самоцитирования не означают значимости публикации диагностируемого работника для научного сообщества, а означают лишь преемственность в его исследовательской деятельности. Модифицированный g-индекс равен О, если не менее чем О публикаций (в усечённом списке) имеют суммарный индекс цитируемости не менее О2. Суммарный индекс цитируемости
о
Ц' = ^ Цг, где Ц - цитируемость (по методике Романова Д.А.) 1-й
г =1
публикации.
Приведём пример. Пусть 25 публикаций гипотетического научного работника характеризуются определённой цитируемостью (таблица 1). Обозначения: НЗ - не имеет значения. Очевидно, что модифицированный g-индекс не могут детерминировать публикации №№ 2, 3, 4, 8, 13, 16, 19, 21, т.е. 8 из 25. Модифицированный индекс Хирша такого работника равен 7 (если отсортировать 17 публикаций, то седьмая имеет индекс цитируемости 7,83), а модифицированный g-индекс равен 8, так сумма цитируемостей первых восьми публикаций (отсортированных в порядке убывания цитируемости) равна 71,53, а сумма цитируемости первых девяти публикаций менее 81.
Таблица 1. Цитируемость публикаций гипотетического научного
работника
№ П1 П2 П3 Ц
1. 2 4 10 6,73
2. 0 0 25 НЗ
3. 0 0 32 НЗ
4. 0 0 11 НЗ
5. 1 6 15 6,28
6. 3 8 11 8,6
7. 1 4 4 5,6
8. 0 0 17 НЗ
9. 1 6 15 6,28
10. 3 8 11 8,6
11. 1 4 4 5,6
12. 5 8 12 11,6
13. 0 0 23 НЗ
14. 2 11 14 7,83
15. 1 12 18 6,87
16. 0 0 22 НЗ
17. 2 11 14 7,83
18. 1 12 18 6,87
19. 0 0 14 НЗ
20. 5 8 12 11,6
21. 0 0 12 НЗ
22. 1 6 8 6,28
23. 0 8 14 5,6
24. 2 8 17 8,6
25. 0 10 15 5,77
Вышеуказанную методику возможно реализовать более рациональной последовательностью действий. Вначале из общего списка публикаций научного работника исключают труды, не имеющие цитат (кроме самоцитирований), а затем, для оставшихся публикаций, вычисляют индексы цитируемости, и впоследствии - сортируют по убыванию и определяют модифицированный g-индекс.
Обсуждая результаты настоящего исследования, отметим: авторами решена такая метрологическая (наукометрическая) проблема, как оценка истинной (а не фиктивной) значимости результатов исследовательской деятельности научных работников и коллективов для научного сообщества.
Заключение. Индекс географической широты востребованности результатов исследовательской деятельности - критерий, на основе которого возможно выявлять действительно высокоэффективных научных работников. Данный показатель, чрезвычайно трудно поддающийся искусственному улучшению, в равной мере применим как для отдельных научных работников, так и научных коллективов. Авторы считают необходимым отметить, что индекс географической широты востребованности результатов исследовательской деятельности отражает, насколько они признаны широким (а не узким!) научным сообществом; то же самое верно и для других отражённых в статье новых наукометрических показателей. Едва ли возможно искусственно "увеличить" авторитет научного работника в научном сообществе, т.е. в научной мегасреде (а не в узких кругах). Безусловно, предложенные авторами показатели отражают социальную активность научных работников и коллективов, т.е. их влияние на научное сообщество (следовательно, и их интегрированность в научную мегасреду).
В рамках статьи авторы также считают целесообразным выдвинуть
практические рекомендации, использование которых позволит повысить эффективность исследовательской деятельности в образовательных учреждениях. Необходимо, прежде всего, создание информационных порталов, в которых в открытом доступе содержались бы сведения о публикациях высшего качества (а также сами публикации в рё^формате, в качестве образца!), а также о наиболее продуктивных научных работниках. Целесообразность создания подобных порталов - в предоставлении научным работникам целевых ориентиров профессионального роста и образцов результатов исследовательской деятельности. Но наиболее важно другое: наличие внутренних информационных ресурсов позволит научно-педагогическим работникам вузов использовать результаты исследовательской деятельности своих коллег (возможно, наряду со своими результатами!) в содержании обучения. Анализ и обобщение результатов исследования позволили сделать выводы:
1. Необходимость выделения новых наукометрических показателей, отражающих продуктивность исследовательской деятельности научных работников, обусловлена актуальностью борьбы с искусственным "улучшением" наукометрических показателей, возрастанием роли исследовательской деятельности в современном мире и университетов как центров науки.
2. Индекс географической широты востребованности результатов исследовательской деятельности - предложенный авторами критерий оценки продуктивности исследовательской деятельности научного работника, учитывающий новые аспекты признанности её (исследовательской деятельности) результатов, которые не отражает общеизвестный индекс Хирша. Важнейшая методологическая основа оценки данного показателя - метасистемный подход, т.к. множество населенных пунктов, в которых живут и работают авторы цитирующих публикаций, представляет собой метасистему - систему с независимыми
друг от друга компонентами, математическая основа - теория множеств, а также аналитическая геометрия. Высокий уровень индекса географической широты востребованности результатов исследовательской деятельности -отражение должного уровня исследовательской деятельности научных работников и коллективов.
3. Оценка продуктивности исследовательской деятельности научных работников должна быть многопараметрической, т.е. учитывающей различные аспекты признания научным сообществом результатов исследовательской деятельности. Это обусловливает значимость иных авторских показателей, помимо индекса географической широты востребованности результатов исследовательской деятельности. Индекс Хирша и индекс географической широты востребованности результатов исследовательской деятельности - взаимодополняющие показатели, которые необходимо применять в системе мониторинга исследовательской деятельности научных работников.
Перспективы исследования авторского коллектива - создание моделей оценки целостности исследовательской деятельности научного работника (системности её результатов).
Литература
1. Гаврилова, Е.В. Трансляция научного опыта и личностное знание / Е.В. Гаврилова, Д.В. Ушаков, А.В. Юревич // Социологические исследования. - № 9, 2015. -С. 28-35.
2. Лебедева, И.П. Мягкие модели как форма математизации социологического знания / И.П. Лебедева // Социологические исследования. - № 1, 2015. - С. 79-84.
3. Лойко, В.И. Параметры исследовательской деятельности научно-педагогических коллективов как критерии для диагностики образовательной среды / В.И. Лойко, Д.А. Романов, О.Б. Попова, О.Н. Подольская // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. -№ 123, 2016. (вставить страницы по РИНЦ!!!)
4. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2015. - №04(108). С. 1 - 29. - IDA [article ID]: 1081504001. - Режим доступа: http://ej .kubagro.ru/2015/04/pdf/01 .pdf, 1,812 у.п.л.
5. Толстова, Ю.Н. О необходимости расширения понятия социологического измерения / Ю.Н. Толстова, Н.Д. Воронина // Социологические исследования. - № 7, 2012. - С. 67-77.
6. Федорова, Н.П. Современные способы формирования мониторинговых показателей / Н.П. Федорова, Г.Е. Тюпенькова, Е.С. Киселева, Д.А. Романов, О.Н. Никулина // Научные труды Кубанского государственного технологического университета. - № 11, 2015. - С. 266-292.
7. Цыганов, А.В. Краткое описание наукометрических показателей, основанных на цитируемости / А. В. Цыганов // Управление большими системами. Специальный выпуск 44: "Наукометрия и экспертиза в управлении наукой", 2013. - С. 248-278.
8. Christiansen J.A. Building the innovative organization: Management systems that encourage innovation. - New York: St. Martin's Press, 2000. - 357 p.
9. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
10. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
11. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
12. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
13.Egghe L. Mathematical theory of the h- and g-indices // Journal of Informetrics. -2008. - Vol. 2, No 4. - P. 263-271.
14. Franceschini F., Maisano D., Perotti A., Proto A. Analysis of the ch-index: an indicator to evaluate the diffusion of scientific research output by citers // Scientometrics. -2010. - Vol. 85. - P. 203-217.
15. Guns R., Rousseau R. Real and rational variants of the h-index and the g-index // Journal of Informetrics. - 2009. - Vol. 3, No 11, pp. 64-71.
16. Луценко Е.В. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию / Е.В. Луценко, А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №07(121). С. 202 - 234. - IDA [article ID]: 1211607005. - Режим доступа: http://ej.kubagro.ru/2016/07/pdf/05.pdf, 2,062 у.п.л.
17. Луценко Е.В. Наукометрическая интеллектуальная измерительная система по данным РИНЦ на основе АСК-анализа и системы "Эйдос" / Е.В. Луценко, А.И. Орлов, В.А. Глухов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №08(122). С. 157 - 212. - IDA [article ID]: 1221608014. - Режим доступа: http://ej.kubagro.ru/2016/08/pdf/14.pdf, 3,5 у. п. л.
18. Луценко Е.В. Интеллектуальная привязка некорректных ссылок к литературным источникам в библиографических базах данных с применением АСК-анализа и системы «Эйдос» (на примере Российского индекса научного цитирования -РИНЦ) / Е.В. Луценко, В.А. Глухов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №01(125). С. 1
- 65. - IDA [article ID]: 1251701001. - Режим доступа: http://ej.kubagro.ru/2017/01/pdf/01.pdf, 4,062 у.п.л.
References
1. Gavrilova, E.V. Transljacija nauchnogo opyta i lichnostnoe znanie / E.V. Gavrilova, D.V. Ushakov, A.V. Jurevich // Sociologicheskie issledovanija. - № 9, 2015. - S. 28-35.
2. Lebedeva, I.P. Mjagkie modeli kak forma matematizacii sociologicheskogo znanija / I.P. Lebedeva // Sociologicheskie issledovanija. - № 1, 2015. - S. 79-84.
3. Lojko, V.I. Parametry issledovatel'skoj dejatel'nosti nauchno-pedagogicheskih kollektivov kak kriterii dlja diagnostiki obrazovatel'noj sredy / V.I. Lojko, D.A. Romanov, O.B. Popova, O.N. Podol'skaja // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. - № 123, 2016. (vstavit' stranicy po RINC!!!)
4. Lucenko E.V. Hirshamanija pri ocenke rezul'tatov nauchnoj dejatel'nosti, ee negativnye posledstvija i popytka ih preodolenija s primeneniem mnogokriterial'nogo podhoda i teorii informacii / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2015. - №04(108). S. 1 - 29. - IDA [article ID]: 1081504001. - Rezhim dostupa: http://ej.kubagro.ru/2015/04/pdf/01.pdf, 1,812 u.p.l.
5. Tolstova, Ju.N. O neobhodimosti rasshirenija ponjatija sociologicheskogo izmerenija / Ju.N. Tolstova, N.D. Voronina // Sociologicheskie issledovanija. - № 7, 2012. -S. 67-77.
6. Fedorova, N.P. Sovremennye sposoby formirovanija monitoringovyh pokazatelej / N.P. Fedorova, G.E. Tjupen'kova, E.S. Kiseleva, D.A. Romanov, O.N. Nikulina // Nauchnye trudy Kubanskogo gosudarstvennogo tehnologicheskogo universiteta. - № 11, 2015. - S. 266292.
7. Cyganov, A.V. Kratkoe opisanie naukometricheskih pokazatelej, osnovannyh na citiruemosti / A.V. Cyganov // Upravlenie bol'shimi sistemami. Special'nyj vypusk 44: "Naukometrija i jekspertiza v upravlenii naukoj", 2013. - S. 248-278.
8. Christiansen J.A. Building the innovative organization: Management systems that encourage innovation. - New York: St. Martin's Press, 2000. - 357 p.
9. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
10. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
11. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
12. Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics.
- 2008. - Vol. 2, No 4, pp. 263-267.
13.Egghe L. Mathematical theory of the h- and g-indices // Journal of Informetrics. -2008. - Vol. 2, No 4. - P. 263-271.
14.Franceschini F., Maisano D., Perotti A., Proto A. Analysis of the ch-index: an indicator to evaluate the diffusion of scientific research output by citers // Scientometrics. -2010. - Vol. 85. - P. 203-217.
15. Guns R., Rousseau R. Real and rational variants of the h-index and the g-index // Journal of Informetrics. - 2009. - Vol. 3, No 11, pp. 64-71.
16. Lucenko E.V. Kolichestvennaja ocenka stepeni manipulirovanija indeksom Hirsha i ego modifikacija, ustojchivaja k manipulirovaniju / E.V. Lucenko, A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №07(121). S. 202 - 234. - IDA [article ID]: 1211607005. - Rezhim dostupa: http://ej.kubagro.ru/2016/07/pdf/05.pdf, 2,062 u.p.l.
17. Lucenko E.V. Naukometricheskaja intellektual'naja izmeritel'naja sistema po dannym RINC na osnove ASK-analiza i sistemy "Jejdos" / E.V. Lucenko, A.I. Orlov, V.A. Gluhov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs].
- Krasnodar: KubGAU, 2016. - №08(122). S. 157 - 212. - IDA [article ID]: 1221608014. -Rezhim dostupa: http://ej.kubagro.ru/2016/08/pdf/14.pdf, 3,5 u.p.l.
18.Lucenko E.V. Intellektual'naja privjazka nekorrektnyh ssylok k literaturnym istochnikam v bibliograficheskih bazah dannyh s primeneniem ASK-analiza i sistemy «Jejdos» (na primere Rossijskogo indeksa nauchnogo citirovanija - RINC) / E.V. Lucenko, V.A. Gluhov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs].
- Krasnodar: KubGAU, 2017. - №01(125). S. 1 - 65. - IDA [article ID]: 1251701001. -Rezhim dostupa: http://ej.kubagro.ru/2017/01/pdf/01.pdf, 4,062 u.p.l.
