CC BY
113
УДК 004.8
01.00.00 Физико-математические науки
ЧИСЛО ЦИТИРОВАНИЙ - КЛЮЧЕВОЙ ПОКАЗАТЕЛЬ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ ИССЛЕДОВАТЕЛЯ И ОРГАНИЗАЦИИ
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ БРШ-код: 4342-4994
Московский государственный технический
университет им. Н.Э. Баумана, Россия, 105005,
Москва, 2-я Бауманская ул., 5, prof-orlov@Jmail т
Рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов, инновационного потенциала предприятий и т.п. Для оценки эффективности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей, основанная на ключевых показателях эффективности (отсюда и название настоящей статьи), а также контроллинг, прежде всего контроллинг научной деятельности. Подробно разработаны и широко применяются два типа инструментов оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая статья. Цель - выбор наиболее эффективного инструмента. Различные варианты манипулирования значениями наукометрических показателей в РФ, по нашей оценке, пока еще применяются сравнительно редко. Возможно, это связано со сравнительно небольшим сроком их использования при управления наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных. Экспертные процедуры имеют ряд недостатков. В настоящей статье обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней и выборы в государственные академии наук (прежде всего в РАН), а также назначения на руководящие должности. Основные принципы экспертизы в рассматриваемых областях
UDC 004.8
Physics and mathematical sciences
NUMBER OF CITATIONS AS A KEY PERFORMANCE INDICATOR OF SCIENTIFIC ACTIVITY OF RESEARCHERS AND ORGANIZATIONS
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
We consider the methods for estimation of the effectiveness and quality of the scientific activities of the researcher, of the organization, of the magazine. Performance indicators of scientific activity are used as an important part in the estimation of higher education institutions, the innovative capacity of enterprises, etc. To estimate the effectiveness of scientific activity is natural to use intellectual tools which are well-established in other subject areas. This will include, in particular, the balanced scorecard, based on key performance indicators (hence the title of this article), as well as controlling, primarily controlling of research activities. There are two more developed and widely used types of tools for estimation the effectiveness of the scientific activity - the scientometric indicators and the expert estimators. Their critical analysis is the subject of this article. The goal - to choose the most effective tool. Different versions of manipulating of values of scientometric indicators in the Russian Federation, in our estimation, are still relatively rare. Perhaps this is due to the relatively short period of their use in the management of science. Since an indicator such as citation index (the number of citations of publications) of researcher, allows estimating its contribution to science, the use of this scientometric indicator for the management of science is justified. At the same time, the number of publications and especially h-index is not possible to objectively estimate the effectiveness of research activities, particularly in view of the properties of the real bibliometric databases. Expert procedures have several disadvantages. In this article we discuss the real effectiveness of expert procedures in the areas of their application, as conferring academic degrees and elections to the National Academy of Sciences (primarily in the Russian Academy of Sciences), as well as appointments to senior positions. The basic principles of expertise in these areas remain the same for the past 70 years. Based on an analysis of practice it is necessary to ascertain the lack of efficacy of expert estimators in these areas.
остаются неизменными в течение последних 70 Rationale to what has been said is given in the лет. На основе анализа практики приходится article
констатировать недостаточную эффективность экспертных оценок в указанных областях. Обоснование сказанному приведено в статье
Ключевые слова: НАУКА, УПРАВЛЕНИЕ, ПРИНЯТИЕ РЕШЕНИЙ, ЭКСПЕРТНЫЕ ОЦЕНКИ, ПРОГНОЗИРОВАНИЕ, БИБЛИОМЕТРИЧЕСКИЕ БАЗЫ ДАННЫХ, ИНДЕКСЫ ЦИТИРОВАНИЯ, НАУКОМЕТРИКА
Doi: 10.21515/1990-4665-124-064
1. Введение
Наука, как и любая другая сфера человеческой деятельности, немыслима без управления [1]. Инструменты управления развиваются во времени. Принципиальное продвижение последних лет, основанное на информационно-коммуникационных технологиях "больших данных" -появление общедоступных библиометрических баз данных и индексов цитирования. Весьма важно, что администраторы высокого уровня стали их использовать для управления наукой. Для сотрудников отечественных научно-исследовательских организаций и высших учебных заведений Российский индекс научного цитирования (РИНЦ) стал одной из самых популярных баз данных.
Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. По нашему мнению, науковедение как научная дисциплина находится еще в зачаточном состоянии [1]. Новым по сравнению с основополагающей книгой [2], выпущенной в 1969 г., является только появление малообоснованного индекса Хирша. К сожалению, внимание многих авторов сосредоточено на обсуждении модификаций этого вида средней величины, в то время как фундаментальные вопросы остаются в тени.
Настоящая работа стимулирована замечательной работой Е.В. Луценко "Хиршамания" [3]. Из многих актуальных проблем науковедения рассмотрим методы оценки эффективности и качества работы ученого,
Keywords: SCIENCE, MANAGEMENT, DECISION MAKING, EXPERT ESTIMATES, FORECASTING, BIBLIOMETRIC DATABASE, CITATION INDEXES, SCIENTOMETRICS
научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов [4], инновационного потенциала предприятий и т.п.
Для оценки эффективности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей [5], основанная на ключевых показателях эффективности (отсюда и название настоящей работы), а также контроллинг [6], прежде всего контроллинг научной деятельности [7 - 9].
Подробно разработаны и широко применяются два типа инструментов оценки эффективности научной деятельности -наукометрические показатели и экспертные оценки. Их критическому анализу с целью выбора и обоснования ключевого показателя эффективности научной деятельности и посвящена настоящая работа.
2. Наукометрические и экспертные показатели эффективности научной деятельности
Критика наукометрических показателей дана в ряде публикаций. Из них выделим специальный выпуск журнала "Управление большими системами" [10], выпущенный также отдельным изданием [11]. Наша затравочная статья [12] в этом сборнике носила характерное название "Два типа методологических ошибок при управлении научной деятельностью". В итоговой статье [13] был дан критический обзор нескольких десятков материалов указанного сборника. Дальнейшему развитию наших идей посвящены публикации [14 - 19]. В наших работах вслед за классической монографией [2] обсуждались возможности манипуляции наукометрическими показателями (число публикаций, число цитирований, индекс Хирша и др.). Аналогичные соображения, а также примеры
реальных манипуляций достаточно широко обсуждаются в литературе (см. [20 - 22] и др.).
В качестве практической рекомендации предлагалось вместо наукометрических показателей опираться на применение экспертных процедур для оценки эффективности научной деятельности [23].
Необходимо уточнить ранее высказанные нами в [12 - 19] положения.
Во-первых, различные варианты манипулирования значениями наукометрических показателей в РФ, по нашей оценке, пока еще применяются сравнительно редко. Возможно, это связано со сравнительно небольшим сроком их использования при управления наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных.
Во вторых, экспертные процедуры имеют ряд недостатков. В настоящей работе обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней, выборы в государственные академии наук (прежде всего в РАН), назначения (в том числе путем выборов) на должности руководителей НИИ и вузов. Основные принципы экспертизы в рассматриваемых областях остаются неизменными в течение последних 70 лет. На основе анализа практики приходится констатировать недостаточную эффективность экспертных оценок в указанных областях.
Обоснование сказанному приведено ниже.
3. Фундаментальная наука и прикладная наука
В [1] показано принципиальное различие между фундаментальной наукой и прикладной наукой, влекущее столь же принципиальное различие между ключевыми показателями эффективности в этих областях деятельности. При проведении прикладных научных исследованиях основное для исполнителя - запросы, требования, предпочтения, интересы заказчика. Основной результат таких исследований - сложная техническая система, стратегический план развития фирмы и т.п. - то, что нужно заказчику. Публикации по результатам прикладных научных исследований не являются обязательными, более того, иногда не допустимы вообще из-за соображений государственной или коммерческой тайны. Фундаментальные научные исследования имеют целью получение нового знания, основной результат таких исследований - публикации в научных изданиях [2].
Конечно, нет непреодолимого барьера между фундаментальной наукой и прикладной наукой.
Специалисты прикладной науки зачастую стремятся проявить себя в фундаментальной. Прежде всего потому, что при выполнении прикладных работ попутно бывают получены научные результаты более широкого спектра применения, чем это нужно заказчику, т.е получено новое знание, как и при фундаментальных научных исследованиях. Это знание целесообразно отразить в публикациях. Примером является доклад [24], посвященный новым научным результатам в области теории принятия решений и экспертных оценок, полученным при выполнении прикладных научно-исследовательских работ в авиации и ракетно-космической промышленности. Важным для специалистов прикладной науки является также стремление к повышению статуса, конкурентоспособности на рынке труда, шансов на получение новых выгодных заказов.
Специалисты фундаментальной науки обычно заинтересованы в том, чтобы полученное ими новое знание нашло практическое применение, т.е хотят сдвинуться в сторону прикладной науки. Кроме морального удовлетворения, этот сдвиг стимулирован стремлением к повышению статуса, конкурентоспособности на рынке труда, шансов на получение увеличенного финансирования.
В отношении взаимоотношения прикладной науки и фундаментальной науки некоторым исследователям представляется перспективной более дробная классификация Организации экономического сотрудничества и развития: чистые фундаментальные исследования; ориентированные фундаментальные исследования; прикладные исследования вообще; стратегические прикладные исследования; конкретные прикладные исследования; экспериментальные разработки. Для целей настоящей работы достаточно ограничиться выделением фундаментальной науки и прикладной науки.
Ключевые показатели эффективности научной деятельности будем обсуждать применительно к фундаментальной науке.
4. Всеобщее невежество научных работников и его следствия
Перейдем к обсуждению экспертных процедур. Сначала -констатация очевидного факта, который, однако, часто игнорируется.
Основная проблема современной науки состоит во всеобщем невежестве научных работников. Это утверждение становится очевидным, если хотя бы примерно оценить объем накопленных научных результатов, а тем более - научных трудов. Каждый специалист может познакомиться не более чем с 2 - 5 % публикаций в своей области.
Еще в 80-х годах при наукометрическом анализе данных о Первом Всемирном конгрессе Общества математической статистики и теории вероятностей им. Бернулли [25 - 27] нами была дана оценка общего числа
актуальных публикаций по тематике конгресса - 106. По конкретной области математической статистики, например, по регрессионному анализу, на порядок меньше - 105.
Посмотрим, на какое число публикаций ссылаются наиболее цитирующие авторы. В фундаментальном трехтомном издании [28 - 30] -около 2000 ссылок. Список литературы к семитомнику "Новая хронология" включает 1492 ссылки [31]. В монографии [6] - 843 ссылки. Наблюдаем разрыв на два порядка - из порядка 105 потенциальных источников ссылки даются лишь на порядка 10 источников.
Как же в реальной научной деятельности научные работники справляются со своим невежеством? Ответ хорошо известен - происходит разбиение (фрагментация) всей совокупности научных работников на группы (научные коллективы, кланы, научные школы, сообщества). Группа часто состоит из сотрудников одной организации и примкнувших к ним отдельных исследователей из других организаций. Клан обычно обзаводится инфраструктурой (журнал, периодическая конференция, диссертационный совет, научное общество и т.п.), позволяющей его членам вести долговременную научную деятельность. Внутри клана его члены обычно достаточно осведомлены о работах друг друга, в то время как научная деятельность вне клана игнорируется.
Констатируем, что ошибочным является распространенное мнение: "коллеги знают истинный уровень и истинные достижения специалиста". Внутри клана в несколько десятков или сотен лиц - возможно, знают, вне клана - как правило, нет.
Сказанное давно известно. В.В. Налимов писал о "незримых коллективах" [2]. С. Лем предсказывал распад единой науки на "науки районного масштаба", замкнувшиеся внутри отдельных регионов [33]. Предсказание С. Лема сбывается - к настоящему времени во многих
региональных центрах на базе нескольких вузов и НИИ складывается "региональная наука" со всей необходимой инфраструктурой.
Конечно, нельзя не отметить наличия связей между "соседними" кланами и дружественными регионами. Действуют аналоги "матричной системы управления" [9, 34] - зачастую исследователь одновременно входит в две структуры: он работает в вузе или НИИ и является членом "незримого коллектива". В вузе или НИИ он выполняет текущую работу среди тех, у кого другие научные специальности и/или интересы, а в "незримом коллективе" общается с "близкими по духу" специалистами.
Ситуация с накоплением знаний хорошо описана В.В. Налимовым и З.Б. Бариновой: «Стремление к разложению изучаемого явления на составные части и к тщательному изучению деталей еще продолжает давать необычайные результаты, но только в новых областях знаний, скажем, в молекулярной биологии. В старых областях знаний этот подход приводит к накоплению невероятного количества частных знаний, которые остаются неиспользованными: они не попадают в монографии, не оказывают влияния на последующие работы. Это, если хотите, старость науки. Здесь, в отличие от биологических организмов, при старении затрудняется не обмен веществ, а обмен идей. Из множества частных знаний не складывается знание о большой системе» [32].
Следующее поколение исследователей входит в свою область в процессе обучения. Следовательно, то, что не вошло в учебники, почти наверняка потеряно для следующих поколений.
В настоящее время происходит принципиально важный переход от бумажных носителей информации к электронным. Резко сократившиеся тиражи - до десятков и сотен экземпляров - ведут к смене роли бумажных изданий. Вместо распространения информации их роль становится совсем другой. Они используются для поднятия престижа, подарков, при личном
общении. Впрочем, при использовании схемы "книга по требованию" само понятие тиража уходит в прошлое.
С одной стороны, публикации в электронных изданиях (при открытом доступе) значительно облегчают распространение научной информации (нет необходимости обращаться в центральные библиотеки). С другой стороны, неоцифрованные публикации привлекают всё меньше внимания. Несколько огрубляя, можно сказать: то, чего нет в Интернете, почти наверняка потеряно.
Перейдем к обсуждению экспертных процедур оценки эффективности научной деятельности. Начнем с присвоения ученых степеней.
5. Необходимость изменения экспертных процедур присуждения ученых степеней
Достаточно давно обсуждается низкое качество значительного числа диссертаций, коррупция при их подготовке и защите.
Очевидно, пока есть желание обзавестись ученой степенью, будет и стремление достичь этого с минимальными трудозатратами. Например, купив готовую диссертацию. В настоящее время Интернет кишит предложениями "диссертаций на заказ". В противовес работает Диссернет, который так характеризует самого себя как "вольное сетевое сообщество экспертов, исследователей и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов" [35]. Диссернет выявляет плагиат, прямое заимствование текста.
Но он не может дать защиту от "диссертаций на заказ". Нельзя, бегло просматривая текст на заседании диссертационного совета, установить, кто его на самом деле написал. Очевидно, для надежного выяснения авторства необходимо подробное тщательное обсуждение диссертации с ее автором. Но такого этапа в процедуре защиты нет. За традиционные 15
минут доклада нельзя глубоко вникнуть в содержание работы. К тому же по традиции "неудачные" ответы диссертанта интерпретируются в его пользу, "списываются" за счет волнения.
Здесь необходимы комментарии. Разработан ряд методов установления авторства текстов. Так, в системно-когнитивном анализе атрибуция анонимных и псевдонимных текстов рассматривается как обобщенная задача идентификации и прогнозирования, для решения которой успешно применяется интеллектуальная система "Эйдос" [46 - 49]. В Приложении к монографии [50], написанном В.П.Фоменко и Т.Г.Фоменко, предлагается новый статистический метод обнаружения авторства, опирающийся на открытый ими "авторский инвариант" русских литературных текстов. Для выявления авторства текстов могут оказаться полезными непараметрические методы классификации текстовых документов [51 - 53], и т.д.
Однако все эти методы требуют предварительной информации, например, текстов возможных авторов, и проведения компьютерного анализа. Очевидно, в реальных условиях работы диссертационного совета воспользоваться подобными методами затруднительно. Предварительная проверка диссертаций "на антиплагиат" иногда позволяет выявить совпадения текстов, однако обнаружить глубоко законспирированных "литературных негров" не удается. Проще говоря, если Иванов и Петров написали диссертацию за Сидорова, то выявить это, скорее всего, не удастся. Применяют и более изощренные технологии. Например, Иванов и Петров готовят отчет по НИР, среди авторов указывают Сидорова. Указывают, что все научные результаты получены совместно. Регистрируют отчет в соответствующем органе, после чего все трое приобретают авторские права на его текст. С полным правом Сидоров представляет текст отчета как диссертацию.
Можно посмотреть на ситуацию и с другой стороны - с позиций членов диссертационных советов и авторов отзывов на диссертации и авторефераты. Такая деятельность считается общественной. Доктора наук безвозмездно тратят свое время (оплата работы оппонентов -символическая). Возникает естественное желание уменьшить потерю времени, поручив составление основного содержания отзывов самим диссертантам. Как известно любому участнику процесса защиты диссертаций, подобная практика весьма распространена.
Результаты весьма трудоемкой экспертной процедуры "защита диссертации" зачастую являются сомнительными. Процедуры присуждения ученых степеней должны совершенствоваться. Ряд предложений сформулирован в [36].
6. Итоги применения экспертных процедур при формировании и работе РАН
Процедура избрания академиков и членов-корреспондентов РАН о основана на применении экспертных технологий. Адекватность формирования РАН можно проверить по данным о цитируемости. РИНЦ предоставляет такую возможность. На 24.07.2016 по тематике "Экономика. Экономическая теория" из 38 членов секции по экономики РАН в первые 100 по цитируемости попали 9. По тематике "Математика" из 55 членов секции математики РАН в первые 100 по цитируемости попали 10. С одной стороны, это говорит о том, что вклад в науку ряда членов РАН велик. С другой стороны, подавляющее большинство наиболее эффективно работающих ученых не входит в РАН. Широко известные интриги, сопровождающие выборы (см., например, воспоминания одного из наиболее выдающихся математиков ХХ в. Л.С. Понтрягина [37]) отталкивают многих от самого участия в выборах. Более подробный анализ проведен в [36].
Обобщая, на основе данных РИНЦ можно констатировать, что среди ведущих (по числу цитирований) отечественных ученых лишь меньшая часть включена в состав секций математики и экономики РАН. Отсюда следует, во-первых, что в настоящее время РАН не является центром научной жизни, во-вторых, что экспертные процедуры пополнения состава РАН не справились с задачей отбора наиболее продуктивных ученых.
Впрочем, вспомним, что в XIX в. наибольший вклад в российскую науку внесли Д.И. Менделеев и Н.И. Лобачевский. Ни тот, ни другой не были членами Академии, причем Д.И. Менделеев был скандально забаллотирован.
6. Итоги применения экспертных процедур при назначениях (выборах) на должности
Директор НИИ и - особенно - ректор вуза является прежде всего управленцем, хозяйственником. Его увлеченность собственными научными исследованиями скорее вредна для большинства сотрудников организации (НИИ, вуза), чем полезна, поскольку увлеченный научными исследованиями руководитель будет оттягивать общие ресурсы на свою личную тематику. Сказанное подтверждают результаты Диссернета [38] -некорректные заимствования (проще говоря, плагиат) обнаружен в диссертациях 21% ректоров - у каждого пятого!
Однако в массовом сознании закреплена ложная мысль, что директор НИИ и ректор вуза - обязательно ученые. Поддерживается она и тем, что у администраторов имеются управленческие возможности продвигаться дальше - например, избираться в РАН. В результате РАН наполнена управленцами от науки. Последствия ясны - как уже отмечалось, в настоящее время РАН не является центром научной жизни, вопреки предрассудкам массового сознания.
7. Наукометрические показатели и догмы, связанные с их использованием
Число цитирований работ исследователя - это объективная оценка его вклада в науку. Если работа процитирована - значит, она понадобилась, была использована при получения получении новых научных результатов. А вот число публикаций и индекс Хирша - условные показатели. Это утверждение становится очевидным, если проанализировать работу РИНЦ, технологию формирования этих показателей.
РИНЦ учитывает ссылки так, как они приведены в списках литературных источников в публикациях. Если статья конкретного автора описана разными способами - она попадает в список его трудов несколько раз. Открыв этот список, нетрудно увидеть дубликаты. Поэтому число публикаций преувеличивается. В РИНЦ есть система "внутренних публикаций" - тех, которые имеются в электронной библиотеке РИНЦ. Именно по ним рассчитывается число цитирований определенных статей и индекс Хирша. При этом игнорируется неточные библиографические описания. Как следствие, цитируемость отдельных публикаций и индекс Хирша занижаются.
Таким образом, имеется проблема неточности библиографических описаний цитируемых литературных источников в библиометрических базах данных. Порождена она ошибками цитирующих авторов, которые могут исказить название цитируемой работы, журнал (издательство), год, номер, страницы. Могут интернет-источник представить как бумажное издание, и наоборот.
Есть ряд подходов к решению этой проблемы. Один из них довольно подробно, и теоретически, и с численным примером, описан в работе [49]. Проблема в том, что разработанные подходы не используются в должной мере. Построенные на основе библиометрических баз данных списки публикаций определенного автора и тем более списки их цитирований
имеют определенные недостатки. Тем не менее на их основе можно получить достаточно адекватную информацию об эффективности научной деятельности исследователей и их объединений.
Основной вывод таков.
Согласно сказанному ключевым показателем эффективности научной деятельности является число цитирований. А не другие наукометрические (число публикаций, индекс Хирша) или экспертные (ученые степени, звания, должности, членство в академиях) показатели.
Сильно влияет на наукометрические показатели неполнота библиометрических баз. Особенно это касается научных трудов, размещенных на бумажных носителях. Они не оцифрованы - а потому как бы не существуют.
Пожелание или требование об использовании западных индексов цитирования (SCOPUS, WOS) заставляет вспомнить слова "Что это — глупость или измена?" (известное выражение П.Н. Милюкова из его речи на заседании Государственной Думы Российской империи 1 ноября 1916 г.). Процитируем сводку от 10 февраля 2015 г. [39]: "Согласно наиболее полному каталогу периодических изданий Ulrichsweb, в мире сейчас издается 34 585 рецензируемых научных журналов, из них более 80% (28 134) — на английском языке... База данных SCOPUS отбирает для индексирования более 21 тыс. научных журналов из всего списка, из них около 21% — публикации не на английском языке, а 406 — российские. База данных Web of Science (WOS) подходит к отбору своих источников более избирательно и индексирует всего 8539 журналов по естественным наукам (из них 149, то есть менее 2%, — российские) и 3080 журналов по общественным наукам (из них только 3, то есть менее 0,1%, — российские). База данных РИНЦ охватывает 10 343 российских научных журнала, однако индексирует из них менее половины (4879). Но даже из этого количества в список ВАК входят всего 2269 журналов... Всего 394
российских журнала из списка ВАК (17%) индексируются в международных базах данных".
Таким образом, SCOPUS и WOS индексируют лишь весьма малую часть российских журналов. Возможно, те, кто агитирует за использование этих индексов, незнакомы с приведенными фактами. Тогда их выступления не являются квалифицированными, не соответствуют нормам научной этики, требующей исходить из проверенных фактов. Если же приведенные выше статистические данные знакомы подобному агитатору, то его действия сознательно направлены на причинение вреда отечественной науке.
"Мировая наука" - это миф. Как убедительно показал С.Н. Гринченко [40], мировая наука не является «организмом». Отечественная наука (как и отечественное народное хозяйство) является самодостаточной. Нет необходимости в тесных контактах с зарубежьем, достаточно иметь информацию о продвижениях конкурентов. Впрочем, каждому самостоятельному научному работнику хорошо известно, что исследование можно (а зачастую и наиболее целесообразно) начинать до знакомства с работами предшественников. Подробнее эта тема раскрыта в [1, 40] и статье "О строительстве науки в отдельно взятой стране" [19].
Мировую (глобальную) науку, «орган» единой системы Человечества, С.Н. Гринченко сопоставляет с другими такими «органами» - «мировым производством», «мировым образованием» и др. [40]. Организации будущего управления хозяйством (т.е. будущей глобальной и региональной экономики, экономики и организации производства на предприятиях и их объединениях) посвящена функционалистско-органическая информационная экономика, опирающаяся на взгляды Аристотеля (ее называют также солидарной информационной экономикой или неформальной информационной экономикой будущего) (см. [41] и др.). В ней разрабатываются процедуры принятия согласованных решений.
Аналогичные процедуры могут быть использованы, апробированы и внедрены для решения различных задач управления наукой.
Кому выгодно, чтобы отечественные исследователи публиковали статьи в зарубежных журналах? Деятелям этих стран, кратко, Западу. Они получают информацию о наших исследованиях. В переводе - на английском языке. Хорошо подготовленную (по правилам зарубежных журналов). Бесплатно. И не только бесплатно, но и берут с наших исследователей плату за публикацию и за подготовку рукописей к печати. При этом значительно сокращая доступность отечественных результатов для отечественных ученых (см. более подробное обсуждение в [36]).
Странным является отрицательное отношение к самоцитированию отдельных авторов, публикующихся по вопросам оценки эффективности научной деятельности. Анализ предшественников может быть нужен в начале цикла исследований, когда нет собственных публикаций и, как следствие, самоцитирование невозможно. После получения новых самостоятельных результатов исследователь (или исследовательский коллектив) опережает других, и его новые работы опираются на ранее созданную им базу, а не на работы со стороны. Другими словами, для дальнейших статей «посторонних предшественников» попросту нет. А вот ссылок на собственные предыдущие работы объективно становится много. Необходимо указать связи новых результатов с ранее полученными тем же автором.
Таким образом, самоцитирование - это хорошо. Это значит, что ученый строит свою область. А отсутствие самоцитирования означает, что для автора эта статья - первая по новой для него тематике. Либо он -начинающий, либо "срывает яблоки из чужих садов". Типовая ситуация -берет чужую работу и изучает, конспектирует ее - получается собственное произведение (см. примеры в [36]). Поясним сложившуюся традицию в простых и понятных терминах: один человек построил дом, другой
покрасил дверь в нем. И теперь надо ссылаться на второго из них, в лучшем случае добавляя "который развил (или улучшил) первоначальные соображения первого".
Критика научного журнала за самоцитирование выглядит особенно нелепо, поскольку противоречит естественному процессу научных исследований. Вполне естественно, что авторы, работающие по одной и той же тематике, имеют тенденцию публиковаться в одном и том же журнале и ссылаться друг на друга.
Продвижение научного результата можно сравнить с завоеванием рынка, причем рынка капиталистического типа. Маркетинг на этом рынке могут осуществлять специальные структуры, отделенные от исследователя, как это предлагается в [42].
Очевидна коммерческая основа многих популярных лозунгов и принятых под их влиянием решений. Бесспорно требование о первоначальной публикации в российских журналах результатов исследований, выполненных на деньги российских налогоплательщиков. Тот, кто делает первую публикацию за рубежом, наносит экономический ущерб нашей стране.
Науковедение, наукометрия, вопросы оценки эффективности и управления научной деятельностью требуют дальнейшего развития.
Многие положения настоящей работы близки к позиции академика РАН, генерального директора ВИАМ Е.Н. Каблова [43]. Например, ориентация на использование РИНЦ, а не зарубежных библиометрических баз данных и индексов.
В последнее время разработаны новые инструменты анализа наукометрических данных. Удалось дать количественную оценку степени манипулирования индексом Хирша и разработать его модификацию, устойчивую к манипулированию [44]. Разработана и успешно применена наукометрическая интеллектуальная измерительная система по данным
Российского индекса научного цитирования на основе автоматизированного системно-когнитивного анализа и программной системы "Эйдос" [45]. Рассмотрения настоящей статьи проведены на основе более простых средств - методологического анализа проблемы измерения эффективности научной деятельности. Однако эти простые средства позволили провести выбор наиболее адекватного показателя среди всех известных наукометрических и экспертных показателей. Установлено, что используемые в настоящее время в нашей стране экспертные процедуры (защиты диссертаций, выборы в РАН, назначения на должности) не дают возможности адекватно оценить эффективность научной деятельности исследователей и организаций. Среди наукометрических показателей следует выделить и предложить для приоритетного использования такой ключевой показатель, как число цитирований. Этот показатель показывает востребованность работы в научном сообществе. Другие показатели, такие, как индекс Хирша [44], импакт-фактор (для научных журналов) и др., сами по себе не позволяют дать объективную оценку научной деятельности. Конечно, можно отметить коррелированность наукометрических показателей - активно и плодотворно работающий исследователь обычно имеет высокие значения всех наукометрических показателей, таких, как число цитирований, число публикаций, индекс Хирша.
Литература
1. Орлов А.И. Наука как объект управления // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 101. С. 1243 - 1273. URL: http://ej.kubagro.ru/2014/07/pdf/11.pdf (дата обращения 11.08.2015).
2.Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
3.Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета.
2015. № 108. С. 1-29. URL: http://ej.kubagro.ru/2015/04/pdf/01 .pdf (дата обращения
11.08.2015).
4.Луценко Е.В. Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 107. С. 1-62. URL: http://ej.kubagro.ru/2015/03/pdf/01 .pdf (дата обращения 11.08.2015).
5.Каплан Р., Нортон Д. Сбалансированная система показателей. От стратегии к действию. 2-е изд., испр. и доп. - М.: ЗАО «Олимп-Бизнес», 2008. — 320 с.
6.Орлов А.И., Луценко Е.В., Лойко В.И. Перспективные математические и инструментальные методы контроллинга. Под научной ред. проф. С.Г. Фалько. Монография (научное издание). - Краснодар, КубГАУ. 2015. - 600 с. URL: http://elibrary.ru/item.asp?id=23209923 (дата обращения 11.08.2015).
7.Орлов А.И. О развитии контроллинга научной деятельности // Контроллинг на малых и средних предприятиях ((Прага, 25 апреля, 2014, Высшая школа финансов и управления). Сборник научных трудов IV международного конгресса по контроллингу. Под научной редакцией д.э.н., профессора Фалько С.Г. - Прага - Москва, НП «Объединение контроллеров», 2014. - С. 227 - 231. URL: http://controlling.ru/files/56.pdf (дата обращения 24.07.2016).
8.Мухин В.В., Орлов А.И. О контроллинге научной деятельности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 100. С. 1222-1237. URL: http://ej.kubagro.ru/2014/06/pdf/13.pdf (дата обращения 24.07.2016).
9.Мухин В.В., Орлов А.И. Совершенствование организационных структур и контроллинг персонала на предприятиях типа "Научно-исследовательский институт" ракетно-космической промышленности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 109. С. 265-296. URL: http://ej.kubagro.ru/2015/05/pdf/16.pdf (дата обращения 24.07.2016).
10. Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - 568 с. URL: http://ubs.mtas.ru/archive/index.php?SECTION_ID=685 (дата обращения 24.07.2016).
11. Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. ДА. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - 572 с.
12. Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.32 - 54. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19050 (дата обращения
24.07.2016).
13. Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.538 - 568. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19078 (дата обращения 24.07.2016).
14. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы
развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528 - 533.
15. Орлов А.И. Примеры методологических ошибок при управлении научной деятельностью // Проблемы наукометрии: состояние и перспективы развития. Международная конференция. - М.: Ин-т проблем развития науки РАН, 2013. - С.107 -109.
16. Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. - 2013. - №3(49). - С.72-78.
17. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. - 2014. - № 7 (358). - С.21-29.
18. Орлов А.И. О показателях эффективности научной деятельности // Дайджест-финансы. 2014. № 2. С.50 - 56.
19. Орлов А.И. О строительстве науки в отдельно взятой стране // Biocosmology -neo-Aristotelism. 2014, Summer. Vol.4. No. 3. Pp. 203 - 223. URL: https://sites.google.eom/site/biocosmologyneoaristotelism/home/1 (дата обращения 24.07.2016).
20. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: Московский центр непрерывного математического образования, 2011. - 72 c.
21. Чудова Н.В. Помериться «хиршами», или о новом цивилизационном вызове // Вестник Российской академии наук. 2014. Т.84. № 5. С.462 - 464.
22. Бугаченко А.Л. Почему Хирш плох? // Вестник Российской академии наук. 2014. Т.84. № 5. С.461 - 461.
23. Миркин Б.Г. О понятии научного вклада и его измерителях // Управление большими системами. 2013. № 44. С. 292 - 307. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19064 (дата обращения 24.07.2016).
24. Орлов А.И. Принятие решений и экспертные оценки в авиации и ракетно-космической промышленности // Теория активных систем: Труды международной научно-практической конференции (17-19 ноября 2014 г., Москва, Россия). Общая редакция - В Н. Бурков, Д А. Новиков. - М.: ИПУ РАН, 2014. С. 81 - 82. [Электронный ресурс]. Режим доступа: http://www.mtas.ru/upload/library/tas2014/S2-PDF/2-10.pdf (дата обращения 24.07.2016).
25. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Заводская лаборатория. Диагностика материалов. 1987. Т.53. № 3. С .90 - 91.
26. Орлов А.И. Всемирный Конгресс Общества им. Бернулли // Стандарты и качество. 1987. № 5. С. 105 - 106.
27. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Надежность и контроль качества. 1987. № 6. С. 54 - 59.
28. Кендалл М.Дж., Стьюарт А. Теория распределений. - М.: Наука, 1966. -588 с.
29. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 896 с.
30. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. - 736 с.
31. Семитомник "Новая хронология". [Электронный ресурс]. Режим доступа: http://chronologia.org/lit7a.html (дата обращения 24.07.2016).
32. Налимов В.В., Баринова З.Б. Этюды по истории кибернетики // Философия науки. 2000. №1 (7). С. 55-78.
33. Лем С. Сумма технологии: Собр. соч. Т.13 (дополнительный). - М.: Текст, 1996. - 463 с.
34. Орлов А.И. Менеджмент: организационно-экономическое моделирование. -Ростов-на-Дону: Феникс, 2009. - 475 с.
35. Диссернет [Электронный ресурс]. Режим доступа: http://www.dissernet.org/about/ (дата обращения 24.07.2016).
36. Орлов А.И. О ключевых показателях эффективности научной деятельности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 111. С. 81 - 112. URL: http://ej.kubagro.ru/2015/07/pdf/06.pdf (дата обращения 11.08.2015).
37. Понтрягин Л.С. Жизнеописание Л.М. Понтрягина, математика, составленное им самим. Рождения 1908 г., Москва. — М.: Прима В, 1998. — 340 с.
38. Мелихова Л. Расстройство иммунной системы образования. Диссернет представляет ректоров российских вузов // Троицкий вариант - наука. 2016. № 203. С. 6-7 [Электронный ресурс]. URL: http://trv-science.ru/2016/05/03/rasstrojstvo-immunnoj-sistemy-obrazovaniya/ (дата обращения 24.07.2016).
39. Где публикуются рецензируемые научные статьи? // Троицкий вариант - наука. 2015. № 172. С. 3-3. URL: http://trv-science.ru/2015/02/10/gde-publikuyutsya-recenziruemye-nauchnye-stati/ (дата обращения 24.07.2016).
40. Гринченко С.Н. Является ли мировая наука «организмом»? // Biocosmology -neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. № 1 - 2 (Winter / Spring 2014). Pp. 115 - 122. URL: https://sites.google.com/site/biocosmologyneoaristotelism/home/1-1 (дата обращения 30.07.2015).
41. Орлов А.И. Солидарная информационная экономика - инструмент реализации национальных интересов // Национальные интересы: приоритеты и безопасность. 2013. № 33 (222). С. 2 - 10.
42. Милек О.В., Шмерлинг Д. С. О продвижении университета на международном академическом «рынке» // Управление большими системами. 2013. № 44. С. 139-143. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19055 (дата обращения 30.07.2015).
43. Каблов Е.Н. Право на рейтинг. Как оценить интеллектуальный ресурс России? // Газета «Поиск», №№ 45-46, 14.11.2014. [Электронный ресурс]. Режим доступа: http://www.poisknews.ru/theme/publications/12395/#.Vc47YCAP9as.vk (дата обращения 14.08.2015).
44. Луценко Е.В. Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию / Е.В. Луценко, А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №07(121). С. 202 - 234. - IDA [article ID]: 1211607005. - Режим доступа: http://ej .kubagro.ru/2016/07/pdf/05 .pdf
45. Луценко Е.В. Наукометрическая интеллектуальная измерительная система по данным РИНЦ на основе АСК-анализа и системы "Эйдос" / Луценко Е.В., Орлов А.И., Глухов В.А. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №08(122). - Режим доступа: http://ej.kubagro.ru/2016/08/pdf/14.pdf, 3,500 у.п.л. - IDA [article ID]: 1221608014. http://dx.doi.org/10.21515/1990-4665-122-014
46. Луценко Е.В. Атрибуция текстов, как обобщенная задача идентификации и прогнозирования / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2003. - №02(002). С. 146 - 164.
- IDA [article ID]: 0020302013. - Режим доступа: http://ej.kubagro.ru/2003/02/pdf/13.pdf, 1,188 у.п.л.
47. Луценко Е.В. Атрибуция анонимных и псевдонимных текстов в системно-когнитивном анализе / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №03(005). С. 44
- 64. - IDA [article ID]: 0050403003. -Режим доступа: http://ej.kubagro.ru/2004/03/pdf/03.pdf, 1,312 у.п.л.
48. Луценко Е.В. АСК-анализ проблематики статей Научного журнала КубГАУ в динамике / Е.В. Луценко, В.И. Лойко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 109 - 145. - IDA [article ID]: 1001406007. -Режим доступа: http://ej.kubagro.ru/2014/06/pdf/07.pdf, 2,312 у.п.л.
49. Луценко Е.В. Применение АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №09(103). С. 498 - 544. - IDA [article ID]: 1031409032. - Режим доступа: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 у.п.л.
50. Фоменко А.Т. Меняем даты - меняется всё. - М.: АСТ, 2011. - 653 с.
51. Толчеев В.О. Модифицированный и обобщенный метод ближайшего соседа для классификации библиографических текстовых документов // Заводская лаборатория. Диагностика материалов. 2009. Т.75. № 7. С. 63-70.
52. Орлов А.И., Толчеев В.О. Об использовании непараметрических статистических критериев для оценки точности методов классификации (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 2011. Т.77. № 3. С. 58-66.
53. Бородкин А.А., Толчеев В.О. Комплексная процедура редукции для увеличения быстродействия непараметрических методов классификации текстовых документов // Заводская лаборатория. Диагностика материалов. 2011. Т.77. № 11. С. 64-69.
References
1. Orlov A.I. Nauka kak ob#ekt upravlenija // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 101. S. 1243 - 1273. URL: http://ej.kubagro.ru/2014/07/pdf/11.pdf (data obrashhenija 11.08.2015).
2. Nalimov V.V., Mul'chenko Z.M. Naukometrija. Izuchenie razvitija nauki kak informacionnogo processa. - M.: Nauka, 1969. - 192 s.
3. Lucenko E.V. Hirshamanija pri ocenke rezul'tatov nauchnoj dejatel'nosti, ee negativnye posledstvija i popytka ih preodolenija s primeneniem mnogokriterial'nogo podhoda i teorii informacii // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 108. S. 1-29. URL: http://ej.kubagro.ru/2015/04/pdf/01.pdf (data obrashhenija 11.08.2015).
4. Lucenko E.V. Sintez i verifikacija mnogokriterial'noj sistemno-kognitivnoj modeli universitetskogo rejtinga Gardian i ee primenenie dlja sopostavimoj ocenki jeffektivnosti rossijskih vuzov s uchetom napravlenija podgotovki // Politematicheskij setevoj jelektronnyj
nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 107. S. 162. URL: http://ej.kubagro.ru/2015/03/pdf/01.pdf (data obrashhenija 11.08.2015).
5. Kaplan R., Norton D. Sbalansirovannaja sistema pokazatelej. Ot strategii k dejstviju. 2-e izd., ispr. i dop. - M.: ZAO «Olimp-Biznes», 2008. — 320 s.
6. Orlov A.I., Lucenko E.V., Lojko V.I. Perspektivnye matematicheskie i instrumental'nye metody kontrollinga. Pod nauchnoj red. prof. S.G. Fal'ko. Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2015. - 600 s. URL: http://elibrary.ru/item.asp?id=23209923 (data obrashhenija 11.08.2015).
7. Orlov A.I. O razvitii kontrollinga nauchnoj dejatel'nosti // Kontrolling na malyh i srednih predprijatijah ((Praga, 25 aprelja, 2014, Vysshaja shkola finansov i upravlenija). Sbornik nauchnyh trudov IV mezhdunarodnogo kongressa po kontrollingu. Pod nauchnoj redakciej d.je.n., professora Fal'ko S.G. - Praga - Moskva, NP «Ob#edinenie kontrollerov», 2014. - S. 227 - 231. URL: http://controlling.ru/files/56.pdf (data obrashhenija 24.07.2016).
8. Muhin V.V., Orlov A.I. O kontrollinge nauchnoj dejatel'nosti // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 100. S. 1222-1237. URL: http://ej.kubagro.ru/2014/06/pdf/13.pdf (data obrashhenija 24.07.2016).
9. Muhin V.V., Orlov A.I. Sovershenstvovanie organizacionnyh struktur i kontrolling personala na predprijatijah tipa "Nauchno-issledovatel'skij institut" raketno-kosmicheskoj promyshlennosti // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 109. S. 265-296. URL: http://ej.kubagro.ru/2015/05/pdf/16.pdf (data obrashhenija 24.07.2016).
10. Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - 568 s. URL: http://ubs.mtas.ru/archive/index.php?SECTION_ID=685 (data obrashhenija 24.07.2016).
11. Naukometrija i jekspertiza v upravlenii naukoj: sbornik statej / Pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva. - M.: IPU RAN, 2013. - 572 s.
12. Orlov A.I. Dva tipa metodologicheskih oshibok pri upravlenii nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - S.32 - 54. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19050 (data obrashhenija 24.07.2016).
13. Orlov A.I. Naukometrija i upravlenie nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. -S.538 - 568. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19078 (data obrashhenija 24.07.2016).
14. Orlov A.I. O nekotoryh metodologicheski oshibochnyh metodah analiza i ocenki rezul'tatov nauchnoj dejatel'nosti // Rossija: tendencii i perspektivy razvitija. Ezhegodnik. Vyp. 8. / RAN. INION. Otd. nauch. sotrudnichestva i mezhdunar. svjazej; Otv. red. Ju.S. Pivovarov. - M., 2013. - Ch. 2. - S.528 - 533.
15. Orlov A.I. Primery metodologicheskih oshibok pri upravlenii nauchnoj dejatel'nost'ju // Problemy naukometrii: sostojanie i perspektivy razvitija. Mezhdunarodnaja konferencija. - M.: In-t problem razvitija nauki RAN, 2013. - S.107 - 109.
16. Orlov A.I. Kriterii vybora pokazatelej jeffektivnosti nauchnoj dejatel'nosti // Kontrolling. - 2013. - №3(49). - S.72-78.
17. Orlov A.I. O pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Jekonomicheskij analiz: teorija i praktika. - 2014. - № 7 (358). - S.21-29.
18. Orlov A.I. O pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Dajdzhest-finansy. 2014. № 2. S.50 - 56.
19. Orlov A.I. O stroitel'stve nauki v otdel'no vzjatoj strane // Biocosmology - neo-Aristotelism. 2014, Summer. Vol.4. No. 3. Pp. 203 - 223. URL: https://sites.google.eom/site/biocosmologyneoaristotelism/home/1 (data obrashhenija 24.07.2016).
20. Igra v cyfir', ili kak teper' ocenivajut trud uchenogo (sbornik statej o bibliometrike). - M.: Moskovskij centr nepreryvnogo matematicheskogo obrazovanija, 2011. - 72 c.
21. Chudova N.V. Pomerit'sja «hirshami», ili o novom civilizacionnom vyzove // Vestnik Rossijskoj akademii nauk. 2014. T.84. № 5. S.462 - 464.
22. Bugachenko A.L. Pochemu Hirsh ploh? // Vestnik Rossijskoj akademii nauk. 2014. T.84. № 5. S.461 - 461.
23. Mirkin B.G. O ponjatii nauchnogo vklada i ego izmeriteljah // Upravlenie bol'shimi sistemami. 2013. № 44. S. 292 - 307. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19064 (data obrashhenija 24.07.2016).
24. Orlov A.I. Prinjatie reshenij i jekspertnye ocenki v aviacii i raketno-kosmicheskoj promyshlennosti // Teorija aktivnyh sistem: Trudy mezhdunarodnoj nauchno-prakticheskoj konferencii (17-19 nojabrja 2014 g., Moskva, Rossija). Obshhaja redakcija - V.N. Burkov, D A. Novikov. - M.: IPU RAN, 2014. S. 81 - 82. [Jelektronnyj resurs]. Rezhim dostupa: http://www.mtas.ru/upload/library/tas2014/S2-PDF/2-10.pdf (data obrashhenija 24.07.2016).
25. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Zavodskaja laboratorija. Diagnostika materialov. 1987. T.53. № 3. S .90 - 91.
26. Orlov A.I. Vsemirnyj Kongress Obshhestva im. Bernulli // Standarty i kachestvo. 1987. № 5. S. 105 - 106.
27. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Nadezhnost' i kontrol' kachestva. 1987. № 6. S. 54 - 59.
28. Kendall M.Dzh., St'juart A. Teorija raspredelenij. - M.: Nauka, 1966. -588 s.
29. Kendall M.Dzh., St'juart A. Statisticheskie vyvody i svjazi. - M.: Nauka, 1973. -896 s.
30. Kendall M.Dzh., St'juart A. Mnogomernyj statisticheskij analiz i vremennye rjady. -M.: Nauka, 1976. - 736 s.
31. Semitomnik "Novaja hronologija". [Jelektronnyj resurs]. Rezhim dostupa: http://chronologia.org/lit7a.html (data obrashhenija 24.07.2016).
32. Nalimov V.V., Barinova Z.B. Jetjudy po istorii kibernetiki // Filosofija nauki. 2000. №1 (7). S. 55-78.
33. Lem S. Summa tehnologii: Sobr. soch. T.13 (dopolnitel'nyj). - M.: Tekst, 1996. -
463 s.
34. Orlov A.I. Menedzhment: organizacionno-jekonomicheskoe modelirovanie. -Rostov-na-Donu: Feniks, 2009. - 475 s.
35. Dissernet [Jelektronnyj resurs]. Rezhim dostupa: http://www.dissernet.org/about/ (data obrashhenija 24.07.2016).
36. Orlov A.I. O kljuchevyh pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 111. S. 81 - 112. URL: http://ej.kubagro.ru/2015/07/pdf/06.pdf (data obrashhenija 11.08.2015).
37. Pontrjagin L.S. Zhizneopisanie L.M. Pontrjagina, matematika, sostavlennoe im samim. Rozhdenija 1908 g., Moskva. — M.: Prima V, 1998. — 340 s.
38. Melihova L. Rasstrojstvo immunnoj sistemy obrazovanija. Dissernet predstavljaet rektorov rossijskih vuzov // Troickij variant - nauka. 2016. № 203. S. 6-7 [Jelektronnyj resurs]. URL: http://trv-science.ru/2016/05/03/rasstrojstvo-immunnoj-sistemy-obrazovaniya/ (data obrashhenija 24.07.2016).
39. Gde publikujutsja recenziruemye nauchnye stat'i? // Troickij variant - nauka. 2015. № 172. S. 3-3. URL: http://trv-science.ru/2015/02/10/gde-publikuyutsya-recenziruemye-nauchnye-stati/ (data obrashhenija 24.07.2016).
40. Grinchenko S.N. Javljaetsja li mirovaja nauka «organizmom»? // Biocosmology -neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. № 1 - 2 (Winter / Spring 2014). Pp. 115 - 122. URL: https://sites.google.com/site/biocosmologyneoaristotelism/home/1-1 (data obrashhenija 30.07.2015).
41. Orlov A.I. Solidarnaja informacionnaja jekonomika - instrument realizacii nacional'nyh interesov // Nacional'nye interesy: prioritety i bezopasnost'. 2013. № 33 (222). S. 2 - 10.
42. Milek O.V., Shmerling D.S. O prodvizhenii universiteta na mezhdunarodnom akademicheskom «rynke» // Upravlenie bol'shimi sistemami. 2013. № 44. S. 139-143. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19055 (data obrashhenija 30.07.2015).
43. Kablov E.N. Pravo na rejting. Kak ocenit' intellektual'nyj resurs Rossii? // Gazeta «Poisk», №№ 45-46, 14.11.2014. [Jelektronnyj resurs]. Rezhim dostupa: http://www.poisknews.ru/theme/publications/12395/#.Vc47YCAP9as.vk (data obrashhenija 14.08.2015).
44. Lucenko E.V. Kolichestvennaja ocenka stepeni manipulirovanija indeksom Hirsha i ego modifikacija, ustojchivaja k manipulirovaniju / E.V. Lucenko, A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №07(121). S. 202 - 234. - IDA [article ID]: 1211607005. - Rezhim dostupa: http://ej .kubagro.ru/2016/07/pdf/05.pdf
45. Lucenko E.V. Naukometricheskaja intellektual'naja izmeritel'naja sistema po dannym RINC na osnove ASK-analiza i sistemy "Jejdos" / Lucenko E.V., Orlov A.I., Gluhov V.A. // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №08(122). - Rezhim dostupa: http://ej.kubagro.ru/2016/08/pdf/14.pdf, 3,500 u.p.l. - IDA [article ID]: 1221608014. http://dx.doi.org/10.21515/1990-4665-122-014
46. Lucenko E.V. Atribucija tekstov, kak obobshhennaja zadacha identifikacii i prognozirovanija / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2003. - №02(002). S. 146 - 164. - IDA [article ID]: 0020302013. - Rezhim dostupa: http://ej.kubagro.ru/2003/02/pdf/13.pdf, 1,188 u.p.l.
47. Lucenko E.V. Atribucija anonimnyh i psevdonimnyh tekstov v sistemno-kognitivnom analize / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2004. - №03(005). S. 44 - 64. - IDA [article ID]: 0050403003. - Rezhim dostupa: http://ej.kubagro.ru/2004/03/pdf/03.pdf, 1,312 u.p.l.
48. Lucenko E.V. ASK-analiz problematiki statej Nauchnogo zhurnala KubGAU v dinamike / E.V. Lucenko, V.I. Lojko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU)
[Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №06(100). S. 109 - 145. - IDA [article ID]: 1001406007. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/07.pdf, 2,312 u.p.l.
49. Lucenko E.V. Primenenie ASK-analiza i intellektual'noj sistemy "Jejdos" dlja reshenija v obshhem vide zadachi identifikacii literaturnyh istochnikov i avtorov po standartnym, nestandartnym i nekorrektnym bibliograficheskim opisanijam / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №09(103). S. 498 - 544. - IDA [article ID]: 1031409032. - Rezhim dostupa: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 u.p.l.
50. Fomenko A.T. Menjaem daty - menjaetsja vsjo. - M.: AST, 2011. - 653 s.
51. Tolcheev V.O. Modificirovannyj i obobshhennyj metod blizhajshego soseda dlja klassifikacii bibliograficheskih tekstovyh dokumentov // Zavodskaja laboratorija. Diagnostika materialov. 2009. T.75. № 7. S. 63-70.
52. Orlov A.I., Tolcheev V.O. Ob ispol'zovanii neparametricheskih statisticheskih kriteriev dlja ocenki tochnosti metodov klassifikacii (obobshhajushhaja stat'ja) // Zavodskaja laboratorija. Diagnostika materialov. 2011. T.77. № 3. S. 58-66.
53. Borodkin A.A., Tolcheev V.O. Kompleksnaja procedura redukcii dlja uvelichenija bystrodejstvija neparametricheskih metodov klassifikacii tekstovyh dokumentov // Zavodskaja laboratorija. Diagnostika materialov. 2011. T.77. № 11. S. 64-69.
