CC BY
23Орлов А.И.
д.э.н., д.т.н., к.ф.-м.н.,
директор Института высоких статистических технологий и эконометрики МГТУ им. Н.Э. Баумана
ЧИСЛО ЦИТИРОВАНИЙ - КЛЮЧЕВОЙ ПОКАЗАТЕЛЬ ЭФФЕКТИВНОСТИ
НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
Ключевые слова: наука, управление, прикладная наука, фундаментальная наука, принятие решений, экспертные оценки, прогнозирование, библиометрические базы данных, индексы цитирования, наукометрия, глобализация, научный результат, маркетинг в науке.
Keywords: science, management, applied science, fundamental science, the decision theory, expert estimates, forecasting, bibliometric database, citation indexes, scientometrics, globalization, scientific results, marketing in science.
1. Введение
Наука, как и любая другая сфера человеческой деятельности, немыслима без управления [1]. Инструменты управления развиваются во времени. Принципиальное продвижение последних лет, основанное на информационно-коммуникационных технологиях "больших данных" - появление общедоступных библиометрических баз данных и индексов цитирования. Весьма важно, что администраторы высокого уровня стали их использовать для управления наукой. Для сотрудников отечественных научно-исследовательских организаций и высших учебных заведений Российский индекс научного цитирования (РИНЦ) стал одной из самых популярных баз данных.
Как следствие, увеличился поток публикаций по вопросам оценки эффективности научной деятельности. По нашему мнению, науковедение как научная дисциплина находится еще в зачаточном состоянии [1]. Новым по сравнению с основополагающей книгой [2], выпущенной в 1969 г., является только появление малообоснованного индекса Хирша. К сожалению, внимание многих авторов сосредоточено на обсуждении модификаций этого вида средней величины, в то время как фундаментальные вопросы остаются в тени.
Настоящая работа стимулирована замечательной работой Е.В. Луценко «Хиршамания» [3]. Из многих актуальных проблем науковедения рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов [4], инновационного потенциала предприятий и т.п.
Для оценки эффективности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей [5], основанная на ключевых показателях эффективности (отсюда и название настоящей работы), а также контроллинг [6], прежде всего контроллинг научной деятельности [7-9].
Подробно разработаны и широко применяются два типа инструментов оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу с целью выбора и обоснования ключевого показателя эффективности научной деятельности и посвящена настоящая работа.
2. Наукометрические и экспертные показатели эффективности научной деятельности
Критика наукометрических показателей дана в ряде публикаций. Из них выделим специальный выпуск журнала «Управление большими системами» [10], выпущенный также отдельным изданием [11]. Наша затравочная статья [12] в этом сборнике носила характерное название «Два типа методологических ошибок при управлении научной деятельностью». В итоговой статье [13] был дан критический обзор нескольких десятков материалов указанного сборника. Дальнейшему развитию наших идей посвящены публикации [14-19]. В наших работах вслед за классической монографией [2] обсуждались возможности манипуляции наукометрическими показателями (число публикаций, число цитирований, индекс Хирша и др.). Аналогичные соображения, а также примеры реальных манипуляций достаточно широко обсуждаются в литературе (см. [20-22] и др.).
В качестве практической рекомендации предлагалось вместо наукометрических показателей опираться на применение экспертных процедур для оценки эффективности научной деятельности [23].
Необходимо уточнить ранее высказанные нами в [12-19] положения.
Во-первых, различные варианты манипулирования значениями наукометрических показателей в РФ, по нашей оценке, пока еще применяются сравнительно редко. Возможно, это связано со сравнительно небольшим сроком их использования при управлении наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления
наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных.
Во вторых, экспертные процедуры имеют ряд недостатков. В настоящей работе обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней, выборы в государственные академии наук (прежде всего в РАН), назначения (в том числе путем выборов) на должности руководителей НИИ и вузов. Основные принципы экспертизы в рассматриваемых областях остаются неизменными в течение последних 70 лет. На основе анализа практики приходится констатировать недостаточную эффективность экспертных оценок в указанных областях.
Обоснование сказанному приведено ниже.
3. Фундаментальная наука и прикладная наука
В [1] показано принципиальное различие между фундаментальной наукой и прикладной наукой, влекущее столь же принципиальное различие между ключевыми показателями эффективности в этих областях деятельности. При проведении прикладных научных исследованиях основное для исполнителя - запросы, требования, предпочтения, интересы заказчика. Основной результат таких исследований - сложная техническая система, стратегический план развития фирмы и т.п. - то, что нужно заказчику. Публикации по результатам прикладных научных исследований не являются обязательными, более того, иногда не допустимы вообще из-за соображений государственной или коммерческой тайны. Фундаментальные научные исследования имеют целью получение нового знания, основной результат таких исследований - публикации в научных изданиях [2].
Конечно, нет непреодолимого барьера между фундаментальной наукой и прикладной наукой.
Специалисты прикладной науки зачастую стремятся проявить себя в фундаментальной. Прежде всего потому, что при выполнении прикладных работ попутно бывают получены научные результаты более широкого спектра применения, чем это нужно заказчику, т. е. получено новое знание, как и при фундаментальных научных исследованиях. Это знание целесообразно отразить в публикациях. Примером является доклад [24], посвященный новым научным результатам в области теории принятия решений и экспертных оценок, полученным при выполнении прикладных научно-исследовательских работ в авиации и ракетно-космической промышленности. Важным для специалистов прикладной науки является также стремление к повышению статуса, конкурентоспособности на рынке труда, шансов на получение новых выгодных заказов.
Специалисты фундаментальной науки обычно заинтересованы в том, чтобы полученное ими новое знание нашло практическое применение, т.е. они хотят сдвинуться в сторону прикладной науки. Кроме морального удовлетворения, этот сдвиг стимулирован стремлением к повышению статуса, конкурентоспособности на рынке труда, шансов на получение увеличенного финансирования.
В аспекте взаимоотношения прикладной науки и фундаментальной науки некоторым исследователям представляется перспективной более дробная классификация Организации экономического сотрудничества и развития: чистые фундаментальные исследования; ориентированные фундаментальные исследования; прикладные исследования вообще; стратегические прикладные исследования; конкретные прикладные исследования; экспериментальные разработки. Для целей настоящей работы достаточно ограничиться выделением фундаментальной науки и прикладной науки.
Ключевые показатели эффективности научной деятельности будем обсуждать применительно к фундаментальной науке.
4. Всеобщее невежество научных работников и его следствия
Перейдем к обсуждению экспертных процедур. Сначала - констатация очевидного факта, который, однако, часто игнорируется.
Основная проблема современной науки состоит во всеобщем невежестве научных работников. Это утверждение становится очевидным, если хотя бы примерно оценить объем накопленных научных результатов, а тем более -научных трудов. Каждый специалист может познакомиться не более чем с 2-5 % публикаций в своей области.
Еще в 80-х годах при наукометрическом анализе данных о Первом Всемирном конгрессе Общества математической статистики и теории вероятностей им. Бернулли [25-27] нами была дана оценка общего числа актуальных публикаций по тематике конгресса - 106. По конкретной области математической статистики, например, по регрессионному анализу, на порядок меньше - 105.
Посмотрим, на какое число публикаций ссылаются наиболее цитирующие авторы. В фундаментальном трехтомном издании [28-30] - около 2000 ссылок. Список литературы к семитомнику «Новая хронология» включает 1492 ссылки [31]. В монографии [6] - 843 ссылки. Наблюдаем разрыв на два порядка - из порядка 105 потенциальных источников ссылки даются примерно лишь на 103 источников.
Как же в реальной научной деятельности научные работники справляются со своим невежеством? Ответ хорошо известен - происходит разбиение (фрагментация) всей совокупности научных работников на группы (научные коллективы, кланы, научные школы, сообщества). Группа часто состоит из сотрудников одной организации и примкнувших к ним отдельных исследователей из других организаций. Клан обычно обзаводится инфраструктурой (журнал, периодическая конференция, диссертационный совет, научное общество и т. п.), позволяющей его членам вести долговременную научную деятельность. Внутри клана его члены обычно достаточно осведомлены о работах друг друга, в то время как научная деятельность вне клана игнорируется.
Констатируем, что ошибочным является распространенное мнение: «коллеги знают истинный уровень и истинные достижения специалиста». Внутри клана в несколько десятков или сотен лиц - возможно, знают, вне клана - как правило, нет.
Сказанное давно известно. В.В. Налимов писал о «незримых коллективах» [2]. С. Лем предсказывал распад единой науки на «науки районного масштаба», замкнувшиеся внутри отдельных регионов [33]. Предсказание С. Лема сбывается - к настоящему времени во многих региональных центрах на базе нескольких вузов и НИИ складывается «региональная наука» со всей необходимой инфраструктурой.
Конечно, нельзя не отметить наличия связей между «соседними» кланами и дружественными регионами. Действуют аналоги «матричной системы управления» [9, 34] - зачастую исследователь одновременно входит в две структуры: он работает в вузе или НИИ и является членом «незримого коллектива». В вузе или НИИ он выполняет текущую работу среди тех, у кого другие научные специальности и/или интересы, а в «незримом коллективе» общается с «близкими по духу» специалистами.
Ситуация с накоплением знаний хорошо описана В.В. Налимовым и З.Б. Бариновой: «Стремление к разложению изучаемого явления на составные части и к тщательному изучению деталей еще продолжает давать необычайные результаты, но только в новых областях знаний, скажем, в молекулярной биологии. В старых областях знаний этот подход приводит к накоплению невероятного количества частных знаний, которые остаются неиспользованными: они не попадают в монографии, не оказывают влияния на последующие работы. Это, если хотите, старость науки. Здесь, в отличие от биологических организмов, при старении затрудняется не обмен веществ, а обмен идей. Из множества частных знаний не складывается знание о большой системе» [32].
Следующее поколение исследователей входит в свою область в процессе обучения. Следовательно, то, что не вошло в учебники, почти наверняка потеряно для следующих поколений.
В настоящее время происходит принципиально важный переход от бумажных носителей информации к электронным. Резко сократившиеся тиражи - до десятков и сотен экземпляров - ведут к смене роли бумажных изданий. Вместо распространения информации их роль становится совсем другой. Они используются для поднятия престижа, подарков, при личном общении. Впрочем, при использовании схемы «книга по требованию» само понятие тиража уходит в прошлое.
С одной стороны, публикации в электронных изданиях (при открытом доступе) значительно облегчают распространение научной информации (нет необходимости обращаться в центральные библиотеки). С другой стороны, неоцифрованные публикации привлекают всё меньше внимания. Несколько огрубляя, можно сказать: то, чего нет в Интернете, почти наверняка потеряно.
Перейдем к обсуждению экспертных процедур оценки эффективности научной деятельности. Начнем с присвоения ученых степеней.
5. Необходимость изменения экспертных процедур присуждения ученых степеней
Достаточно давно обсуждается низкое качество значительного числа диссертаций, коррупция при их подготовке и защите.
Очевидно, пока есть желание обзавестись ученой степенью, будет и стремление достичь этого с минимальными трудозатратами. Например, купив готовую диссертацию. В настоящее время Интернет кишит предложениями «диссертаций на заказ». В противовес работает Диссернет, который характеризует самого себя как «вольное сетевое сообщество экспертов, исследователей и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов» [35]. Диссернет выявляет плагиат, прямое заимствование текста.
Но он не может дать защиту от «диссертаций на заказ». Нельзя, анализируя текст, установить, кто его на самом деле написал. Очевидно, для надежного выяснения авторства необходимо подробное тщательное обсуждение диссертации с ее автором. Но такого этапа в процедуре защиты нет. За традиционные 15 минут доклада нельзя глубоко вникнуть в содержание работы. К тому же по традиции «неудачные» ответы диссертанта интерпретируются в его пользу, «списываются» за счет волнения.
Можно посмотреть на ситуацию и с другой стороны - с позиций членов диссертационных советов и авторов отзывов на диссертации и авторефераты. Такая деятельность считается общественной. Доктора наук безвозмездно тратят свое время (оплата работы оппонентов - символическая). Возникает естественное желание уменьшить потерю времени, поручив составление основного содержания отзывов самим диссертантам. Как известно любому участнику процесса защиты диссертаций, подобная практика весьма распространена.
Результаты весьма трудоемкой экспертной процедуры «защита диссертации» зачастую являются сомнительными. Процедуры присуждения ученых степеней должны совершенствоваться. Ряд предложений сформулирован в [36].
6. Итоги применения экспертных процедур при формировании и работе РАН
Процедура избрания академиков и членов-корреспондентов РАН основана на применении экспертных технологий. Адекватность формирования РАН можно проверить по данным о цитируемости. РИНЦ предоставляет такую возможность. На 24.07.2016 по тематике «Экономика. Экономическая теория» из 38 членов секции по экономике РАН в первые 100 по цитируемости попали 9. По тематике «Математика» из 55 членов секции математики РАН в первые 100 по цитируемости попали 10. С одной стороны, это говорит о том, что вклад в науку ряда членов РАН велик. С другой стороны, подавляющее большинство наиболее эффективно работающих ученых не входит в РАН. Широко известные
интриги, сопровождающие выборы (см., например, воспоминания одного из наиболее выдающихся математиков ХХ в. Л.С. Понтрягина [37]) отталкивают многих от самого участия в выборах. Более подробный анализ проведен в [36].
Обобщая, на основе данных РИНЦ можно констатировать, что среди ведущих (по числу цитирований) отечественных ученых лишь меньшая часть включена в состав секций математики и экономики РАН. Отсюда следует, во-первых, что в настоящее время РАН не является центром научной жизни, во-вторых, что экспертные процедуры пополнения состава РАН не справились с задачей отбора наиболее продуктивных ученых.
Впрочем, вспомним, что в XIX в. наибольший вклад в российскую науку внесли Д.И. Менделеев и Н.И. Лобачевский. Ни тот, ни другой не были членами Академии, причем Д.И. Менделеев был скандально забаллотирован.
6. Итоги применения экспертных процедур при назначениях (выборах) на должности
Директор НИИ и - особенно - ректор вуза является прежде всего управленцем, хозяйственником. Его увлеченность собственными научными исследованиями скорее вредна для большинства сотрудников организации (НИИ, вуза), чем полезна, поскольку увлеченный руководитель будет оттягивать общие ресурсы на свою личную тематику. Сказанное подтверждают результаты Диссернета [38] - плагиат обнаружен в диссертациях 21% ректоров - у каждого пятого!
7. Наукометрические показатели и догмы, связанные с их использованием
Число цитирований работ исследователя - это объективная оценка его вклада в науку. Если работа процитирована - значит, она понадобилась, была использована при получении новых научных результатов. А вот число публикаций и индекс Хирша - условные показатели. Это утверждение становится очевидным, если проанализировать работу РИНЦ, технологию формирования этих показателей.
РИНЦ учитывает ссылки так, как они приведены в списках литературных источников в публикациях. Если статья конкретного автора описана разными способами - она попадает в список его трудов несколько раз. Открыв этот список, нетрудно увидеть дубликаты. Поэтому число публикаций преувеличивается. В РИНЦ есть система «внутренних публикаций» - тех, которые имеются в электронной библиотеке РИНЦ. Именно по ним рассчитывается число цитирований определенных статей и индекс Хирша. При этом игнорируются неточные библиографические описания. Как следствие, цитируемость отдельных публикаций и индекс Хирша занижаются.
Согласно сказанному ключевым показателем эффективности научной деятельности является число цитирований. А не другие наукометрические (число публикаций, индекс Хирша) или экспертные (ученые степени, звания, должности, членство в академиях) показатели.
Сильно влияет на наукометрические показатели неполнота библиометрических баз. Особенно это касается научных трудов, размещенных на бумажных носителях. Они не оцифрованы - а потому как бы не существуют.
Пожелание или требование об использовании западных индексов цитирования (SCOPUS, WOS) заставляет вспомнить слова «Что это - глупость или измена?» (известное выражение П.Н. Милюкова из его речи на заседании Государственной Думы Российской империи 1 ноября 1916 г.). Процитируем сводку от 10 февраля 2015 г. [39]: «Согласно наиболее полному каталогу периодических изданий Ulrichsweb, в мире сейчас издается 34 585 рецензируемых научных журналов, из них более 80% (28 134) - на английском языке... База данных SCOPUS отбирает для индексирования более 21 тыс. научных журналов из всего списка, из них около 21% - публикации не на английском языке, а 406 -российские. База данных Web of Science (WOS) подходит к отбору своих источников более избирательно и индексирует всего 8539 журналов по естественным наукам (из них 149, то есть менее 2%, - российские) и 3080 журналов по общественным наукам (из них только 3, то есть менее 0,1%, - российские). База данных РИНЦ охватывает 10 343 российских научных журнала, однако индексирует из них менее половины (4879). Но даже из этого количества в список ВАК входят всего 2269 журналов... Всего 394 российских журнала из списка ВАК (17%) индексируются в международных базах данных».
Таким образом, SCOPUS и WOS индексируют лишь весьма малую часть российских журналов. Возможно, те, кто агитирует за использование этих индексов, незнакомы с приведенными фактами. Тогда их выступления не являются квалифицированными, не соответствуют нормам научной этики, требующей исходить из проверенных фактов. Если же приведенные выше статистические данные знакомы подобному агитатору, то его действия сознательно направлены на причинение вреда отечественной науке.
«Мировая наука» - это миф. Как убедительно показал С.Н. Гринченко [40], мировая наука не является «организмом». Отечественная наука (как и отечественное народное хозяйство) является самодостаточной. Нет необходимости в тесных контактах с зарубежьем, достаточно иметь информацию о продвижениях конкурентов. Впрочем, каждому самостоятельному научному работнику хорошо известно, что исследование можно (а зачастую и наиболее целесообразно) начинать до знакомства с работами предшественников. Подробнее эта тема раскрыта в [1, 40] и статье «О строительстве науки в отдельно взятой стране» [19].
С.Н. Гринченко мировую (глобальную) науку - «орган» единой системы Человечества - сопоставляет с другими такими «органами» - «мировым производством», «мировым образованием» и др. [40]. Организации будущего управления хозяйством (т. е. будущей глобальной и региональной экономики, экономики и организации производства на предприятиях и их объединениях) посвящена функционалистско-органическая информационная экономика, опирающаяся на взгляды Аристотеля (ее называют также солидарной информационной экономикой или неформальной информационной экономикой будущего) (см. [41] и др.). В ней разрабатываются процедуры принятия согласованных
решений. Аналогичные процедуры могут быть использованы, апробированы и внедрены для решения различных задач управления наукой.
Кому выгодно, чтобы отечественные исследователи публиковали статьи в зарубежных журналах? Деятелям этих стран, кратко, Западу. Они получают информацию о наших исследованиях. В переводе - на английском языке. Хорошо подготовленную (по правилам зарубежных журналов). Бесплатно. И не только бесплатно, но и берут с наших исследователей плату за публикацию и за подготовку рукописей к печати. При этом значительно сокращая доступность отечественных результатов для отечественных ученых (см. более подробное обсуждение в [36]).
Странным является отрицательное отношение к самоцитированию отдельных авторов, публикующихся по вопросам оценки эффективности научной деятельности. Анализ предшественников может быть нужен в начале цикла исследований, когда нет собственных публикаций и, как следствие, самоцитирование невозможно. После получения новых самостоятельных результатов исследователь (или исследовательский коллектив) опережает других, и его новые работы опираются на ранее созданную им базу, а не на работы со стороны. Другими словами, для дальнейших статей «посторонних предшественников» попросту нет. А вот ссылок на собственные предыдущие работы объективно становится много. Необходимо указать связи новых результатов с ранее полученными тем же автором.
Таким образом, самоцитирование - это хорошо. Это значит, что ученый строит свою область. А отсутствие самоцитирования означает, что для автора эта статья - первая по новой для него тематике. Либо он - начинающий, либо «срывает яблоки из чужих садов». Типовая ситуация - берет чужую работу и изучает, конспектирует ее - получается собственное произведение (см. примеры в [36]). Поясним сложившуюся традицию в простых и понятных терминах: один человек построил дом, другой покрасил дверь в нем. И теперь надо ссылаться на второго из них, в лучшем случае добавляя «который развил (или улучшил) первоначальные соображения первого».
Критика научного журнала за самоцитирование выглядит особенно нелепо, поскольку противоречит естественному процессу научных исследований. Вполне естественно, что авторы, работающие по одной и той же тематике, имеют тенденцию публиковаться в одном и том же журнале и ссылаться друг на друга.
Продвижение научного результата можно сравнить с завоеванием рынка, причем рынка капиталистического типа. Маркетинг на этом рынке могут осуществлять специальные структуры, отделенные от исследователя, как это предлагается в [42].
Очевидна коммерческая основа многих популярных лозунгов и принятых под их влиянием решений. Бесспорно требование о первоначальной публикации в российских журналах результатов исследований, выполненных на деньги российских налогоплательщиков. Тот, кто делает первую публикацию за рубежом, наносит экономический ущерб нашей стране.
Науковедение, наукометрия, вопросы оценки эффективности и управления научной деятельностью требуют дальнейшего развития.
Многие положения настоящей работы близки к позиции академика РАН, генерального директора ВИАМ Е.Н. Каблова [43].
Список литературы
1. Орлов А.И. Наука как объект управления // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. - № 101. - С. 1243-1273. - http://ej.kubagro.ru/2014/07/pdf/11.pdf
2. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. -192 с.
3. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. - № 108. - С. 1-29. - http://ej.kubagro.ru/2015/04/pdf/01.pdf
4. Луценко Е.В. Синтез и верификация многокритериальной системно-когнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. - № 107. - С. 1-62. -http://ej.kubagro.ru/2015/03/pdf/01.pdf
5. Каплан Р., Нортон Д. Сбалансированная система показателей. От стратегии к действию. 2-е изд., испр. и доп. - М.: ЗАО «Олимп-Бизнес», 2008. — 320 с.
6. Орлов А.И., Луценко Е.В., Лойко В.И. Перспективные математические и инструментальные методы контроллинга / Под научной ред. проф. С.Г. Фалько. Монография (научное издание). - Краснодар, КубГАУ. 2015. - 600 с. - http://elibrary.ru/item. asp?id=23209923
7. Орлов А.И. О развитии контроллинга научной деятельности // Контроллинг на малых и средних предприятиях (Прага, 25 апреля, 2014, Высшая школа финансов и управления). Сборник научных трудов IV международного конгресса по контроллингу / Под научной редакцией д.э.н., профессора Фалько С.Г. - Прага - Москва, НП «Объединение контроллеров», 2014. - С. 227-231. -http://controlling.ru/files/56.pdf
8. Мухин В.В., Орлов А.И. О контроллинге научной деятельности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. - № 100. - С. 1222-1237. - http://ej.kubagro.ru/2014/06/pdf/13.pdf
9. Мухин В.В., Орлов А.И. Совершенствование организационных структур и контроллинг персонала на предприятиях типа «Научно-исследовательский институт» ракетно-космической промышленности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. - № 109. С. 265-296. - http://ej.kubagro.ru/2015/05/pdf/ 16.pdf
10. Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. - М.: ИПУ РАН, 2013. - 568 с. - http://ubs.mtas.ru/archive/index.php? SECTION ID=685
11. Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - 572 с.
12. Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. - М.: ИПУ РАН, 2013. - С. 32-54. - http://ubs.mtas.ru/archive/search_results_new.php?publication_id= 19050
13. Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. -М.: ИПУ РАН, 2013. - С. 538-568. - http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19078
14. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С. 528-533.
15. Орлов А.И. Примеры методологических ошибок при управлении научной деятельностью // Проблемы наукометрии: состояние и перспективы развития. Международная конференция. - М.: Ин-т проблем развития науки РАН, 2013. - С. 107-109.
16. Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. 2013. - № 3(49). - С. 72-78.
17. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. 2014. - № 7 (358). - С. 21-29.
18. Орлов А.И. О показателях эффективности научной деятельности // Дайджест-финансы. 2014. - № 2. - С. 50-56.
19. Орлов А.И. О строительстве науки в отдельно взятой стране // Biocosmology - neo-Aristotelism. 2014. - Vol. 4, N 3. - P. 203-223. -https://sites.google.cOm/site/biocosmologyneoaristotelism/home/1
20. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: Московский центр непрерывного математического образования, 2011. - 72 c.
21. Чудова Н.В. Помериться «хиршами», или о новом цивилизационном вызове // Вестник Российской академии наук. - М., 2014. -Т. 84, № 5. - С. 462-464.
22. Бугаченко А. Л. Почему Хирш плох? // Вестник Российской академии наук. - М., 2014. - Т. 84, № 5. - С. 461-461.
23. Миркин Б.Г. О понятии научного вклада и его измерителях // Управление большими системами. - М., 2013. - № 44. - С. 292307. - http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19064
24. Орлов А.И. Принятие решений и экспертные оценки в авиации и ракетно-космической промышленности // Теория активных систем: Труды международной научно-практической конференции (17-19 ноября 2014 г., Москва, Россия) / Общая редакция -В.Н. Бурков, Д.А. Новиков. - М.: ИПУ РАН, 2014. - С. 81-82. - http://www.mtas.ru/upload/library/tas2014/S2-PDF/2-10.pdf
25. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Заводская лаборатория. Диагностика материалов. 1987. - Т. 53, № 3. - С. 90-91.
26. Орлов А.И. Всемирный Конгресс Общества им. Бернулли // Стандарты и качество. - М., 1987. - № 5. - С. 105-106.
27. Орлов А. И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Надежность и контроль качества. 1987. - № 6. - С. 54-59.
28. Кендалл М.Дж., Стьюарт А. Теория распределений. - М.: Наука, 1966. -588 с.
29. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 896 с.
30. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. - 736 с.
31. Семитомник «Новая хронология». - http://chronologia.org/lit7a.html
32. Налимов В.В., Баринова З.Б. Этюды по истории кибернетики // Философия науки. 2000. - № 1 (7). - С. 55-78.
33. Лем С. Сумма технологии: Собр. соч. Т.13 (дополнительный). - М.: Текст, 1996. - 463 с.
34. Орлов А.И. Менеджмент: организационно-экономическое моделирование. - Ростов-на-Дону: Феникс, 2009. - 475 с.
35. Диссернет. - http://www.dissernet.org/about/
36. Орлов А.И. О ключевых показателях эффективности научной деятельности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. - № 111. - С. 81-112. - http://ej.kubagro.ru/2015/07/ pdf/06.pdf
37. Понтрягин Л.С. Жизнеописание Л.М. Понтрягина, математика, составленное им самим. Рождения 1908 г., Москва. - М.: Прима В, 1998. - 340 с.
38. Мелихова Л. Расстройство иммунной системы образования. Диссернет представляет ректоров российских вузов // Троицкий вариант - наука. 2016. - № 203. - С. 6-7 - http://trv-science.ru/2016/05/03/rasstrojstvo-immunnoj-sistemy-obrazovaniya/
39. Где публикуются рецензируемые научные статьи? // Троицкий вариант - наука. 2015. - № 172. - С. 3-3. - http://trv-science.ru/ 2015/02/10/gde-publikuyutsya-recenziruemye-nauchnye-stati/
40. Гринченко С.Н. Является ли мировая наука «организмом»? // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. 2014. - Vol. 4, N 1-2. - P. 115-122. - https://sites.google.com/site/biocosmologyneoaristotelism/home/1-1
41. Орлов А. И. Солидарная информационная экономика - инструмент реализации национальных интересов // Национальные интересы: приоритеты и безопасность. - М., 2013. - № 33 (222). - С. 2-10.
42. Милек О.В., Шмерлинг Д.С. О продвижении университета на международном академическом «рынке» // Управление большими системами. - М., 2013. - № 44. - С. 139-143. - http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19055
43. Каблов Е.Н. Право на рейтинг. Как оценить интеллектуальный ресурс России? // Поиск. - М., 2014. - № 45-46, 14 ноября. -http://www.poisknews.ru/theme/publications/12395/#.Vc47YCAP9as.vk
