CC BY
747 (358) - 2014
Наука какособый вид деятельности Science as a speciatkindofactivity
УДК 001.38:338.2
о показателях эффективности научной деятельности
about the indicators of scientific activities
Александр Иванович ОРЛОВ,
доктор экономических наук, доктор технических наук, кандидат физико-математических наук, профессор, заведующий лабораторией экономико-математических методов в контроллинге
научно-образовательного центра «Контроллинг и управленческие инновации», Московский государственный технический университет им. Н. Э. Баумана E-mail: prof-orlov@mail.ru
В связи с проблемами повышения эффективности научной деятельности рассмотрены популярные наукометрические показатели. Показано, что развитие научного результата необязательно связано с публикацией статей в научных журналах. Продемонстрирована неполнота популярных библиометричес-ких баз данных. Установлена методологическая несостоятельность оценки научной эффективности по числу публикаций в высокорейтинговых западных журналах и их цитируемости. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
Ключевые слова: научная деятельность, показатели эффективности, выбор, наукометрия, экспертиза, библиометрические базы данных, методологические ошибки.
Проблемы повышения эффективности научной деятельности в последнее время активно обсуждаются. С прикладными исследованиями, нацелен-
Aleksandr I. ORLOV,
Doctor of Economics Sciences, Doctor of Technical Sciences, PhD of Physics and Mathematical Sciences, Professor, Head of Laboratory of Economic and Mathematical Methods in Controlling of the Scientifically-Educational Center «Controlling and Administrative Innovations», Bauman Moscow State Technical University E-mail: prof-orlov@mail.ru
The article explores popular scientometrics indicators in connection with the problems of increasing the efficiency of research activities. The author shown that the development of the scientific results is not necessarily connected with the publication of articles in scientific journals and demonstrated incompleteness popular bib-liometric databases. He established the methodological inconsistency of estimation of research efficiency by the number of publications in top-rated western journals and their citations. Scientific activities of researchers and teams should be given as a result of expert examinations and public discussion of scientific results. Scientometric indicators calculated by the number of publications and citations in scientific journals, can only play a supporting (background ) role.
Keywords: scientific activities, efficiency indicators, choice, scientometrics, expertise, bibliometric databases, methodological errors.
ными на решение конкретных задач, поставленных теми или иными заказчиками, ситуация достаточно ясна - оценку эффективности исследований
проводят заказчики. Проблемы возникают при управлении фундаментальными исследованиями [24, 28]. Для выработки обоснованных критериев эффективности исследований необходимо проанализировать содержание, структуру и специфические особенности науки как особого вида деятельности [5]. При этом, хотя непосредственно при проведении фундаментальных исследований их прикладное значение остается в тени, в дальнейшем становится вполне очевидной весьма существенная роль фундаментальной науки в обеспечении обороноспособности государства [7].
Вполне естественно, что проводятся многочисленные дискуссии о показателях эффективности научной деятельности отдельных исследователей, подразделений, институтов, стран в целом. На основе таких дискуссий создаются, в частности, концепции подготовки и аттестации научно-педагогических кадров [2].
Выделяются два крайних направления. Одно из них делает упор на статистический анализ данных о научных статьях в библиометрических базах данных [21]. Другое направление в области оценки эффективности научной деятельности основано на применении экспертных технологий [22].
Итоги проведенной дискуссии на эту тему подведены в специальном выпуске электронного журнала «Управление большими системами», выпускаемого Институтом проблем управления РАН. Выпущено и отдельное издание - сборник «Наукометрия и экспертиза в управлении наукой» [10]. В названии выделены и сопоставлены два основных интеллектуальных инструмента - количественные показатели и экспертные оценки.
Как известно, контроллинг [6] может применяться для совершенствования управления в любой области. В частности, можно разрабатывать контроллинг в области управления наукой. С позиций контроллинга организационно-экономических методов [14, 27] рассмотрим критерии выбора показателей эффективности научной деятельности.
Наукометрия, т. е. научная дисциплина, посвященная количественным измерениям в области науки, в своих основных чертах разработана еще в 1960-х гг. [9]. Развитие информационных технологий привело к созданию библиометрических баз данных о научных публикациях, на основе которых для отдельных научных работников, подразделений и организаций подсчитывают количественные показатели -число публикаций, включенных в конкретную базу
данных, их цитируемость (в других публикациях, включенных в рассматриваемую базу) и др.
Наиболее популярные зарубежные библио-метрические базы данных - Web of Science (WoS) и Scopus, отечественная - Научная электронная библиотека eLIBRARY. RU, на которой основан Российский индекс научного цитирования (РИНЦ). В них учтены, как правило, статьи и библиографические ссылки на статьи из журналов, включенные в эти базы. Академия Google проводит мониторинг интернет-ресурсов, поэтому дает перечень цитирований не только статей, но и книг, но только тех, которые имеются в Интернете.
Кроме числа публикаций и числа их цитирований, к основным наукометрическим показателям относятся индекс Хирша научного работника и им-пакт-фактор журнала, в котором напечатана статья.
Индекс Хирша (предложен в 2005 г. американским физиком Хорхе Хиршем из университета Сан-Диего, Калифорния) определяется следующим образом. Пусть в базе данных зафиксировано n публикаций рассматриваемого автора, упорядоченных по убыванию числа цитирований kх > k2 >... > kn, где k. - число цитирований i-й статьи. Тогда индекс Хирша равен h, если kh > h, kh+1 < h + 1 (т. е. h - максимальный номер члена ряда kx > k2 >,..., > kn, такой, что член ряда с этим номером больше, чем номер, или равен ему). Разработано много хиршеподобных показателей [26].
На сайте eLIBRARY. RU приведено следующее определение: импакт-фактор рассчитывается на основе данных по цитированию журнала в РИНЦ за предыдущие два года (или пять лет). При этом данные по цитированию берутся из публикаций года, для которого рассчитывается импакт-фактор. При расчете импакт-фактора число ссылок, сделанных в расчетном году из всех обрабатываемых в РИНЦ журналов на статьи, опубликованные в данном журнале за предыдущие два года (или пять лет), делится на общее число этих статей. То есть, по сути, данный показатель отражает среднее число цитирований одной статьи в журнале. Например, при расчете пятилетнего импакт-фактора за 2010 г. суммарное число ссылок, сделанных в 2010 г. на статьи, опубликованные в журнале с 2005 по 2009 г. включительно, делится на общее число статей, опубликованных в выпусках журнала за 20052009 гг. Очевиден произвол в выборе временного интервала (два года или пять лет), а также то, что на импакт-фактор журнала никак не влияют цитирова-
ния статей, опубликованных шесть и более лет назад (а такие статьи, как нетрудно убедиться, зачастую составляют заметную часть пристатейных библиографических списков). Для конкретного научного работника рассчитывают средний импакт-фактор журналов, в которых он публиковался.
Некоторые считают, что чем выше перечисленные показатели научного работника (число публикаций, число цитирований, индекс Хирша, средний импакт-фактор журналов с публикациями), тем лучше он работает и тем больше заслуживает поощрения.
При обсуждении проблем управлении научной деятельностью достаточно часто делаются методологические ошибки. Вот некоторые примеры (см. также работы [13, 16, 20]).
В современных дискуссиях об оценке эффективности деятельности научных работников и организаций иногда утверждается, что оценка может быть сделана по числу публикаций в высокорейтинговых (т. е. с большими импакт-факторами) журналах, учитываемых в библиометрических базах данных WoS и Scopus. Подобное утверждение неверно по ряду причин:
- неверно, что траектория развития научного результата обязательно включает публикации в журналах;
- неверно, что следует поощрять увеличение публикаций в научных журналах;
- неверно, что современные библиометрические базы данных дают адекватное представление о научной активности исследователя;
- неверно, что о научных достижениях отечественных ученых можно судить по библиометри-ческим базам данных WoS и Scopus. Разбор методологических ошибок необходимо
начать с обсуждения целей научных исследований. Очевидно, результаты НИР поступают прежде всего к ее заказчику и только по его разрешению могут быть опубликованы в открытой печати (т. е. необходимо учесть требования коммерческой и государственной тайны). Если научная работа финансируется из бюджета, т. е. проведена на деньги отечественных налогоплательщиков, то и воспользоваться результатами должны прежде всего граждане России и отечественные организации. Другими словами, результаты должны быть опубликованы прежде всего на русском языке, только после этого они могут быть изданы на иностранных языках.
Иногда говорят, что наука едина, является мировой, а потому следует публиковаться на ан-
глийском языке, являющемся в настоящее время языком международного общения. Неверность этого утверждения для прикладных исследований очевидна: разве можно представить себе, что отечественные разработчики высокоточного оружия сначала опубликуют свои результаты за рубежом на английском языке и только потом - на русском.
Рассмотрим ситуацию для фундаментальных исследований. Что под ними понимать? Если понимать фундаментальные исследования как те, которые никому не нужны, то возникает вопрос о целесообразности их финансирования (и проведения). По мнению автора, должна просматриваться будущая польза фундаментальных исследований, их нацеленность на решение реальных задач, стоящих перед теми или иными отраслями национального хозяйства России. Поэтому нельзя согласиться с П. Ю. Чеботаревым [25], который отдает предпочтение «интернационализму» перед «изоляционизмом». Здесь больше подходит другая пара терминов - «космополитизм» и «патриотизм». Впрочем, под патриотизмом можно понимать соблюдение элементарных обязательств перед российскими налогоплательщиками, финансирующими фундаментальные исследования.
По мнению автора, в современных условиях говорить о мировой науке так же неплодотворно, как и говорить о мировом правительстве.
В статье [29] сделан важный вывод: лучше живут не те страны, которые вносят наибольший вклад в мировую науку, а те, которые больше выносят из нее, т. е. наиболее эффективно используют результаты научно-технического прогресса. Из этого вытекает наиболее рациональная стратегия для нашей страны - изучать чужие достижения, свои же разработки применять прежде всего для собственных нужд, а также в целесообразном объеме предоставлять зарубежным странам [3, 8].
Методологические ошибки начинаются с отсутствия обсуждения пути конкретного научного результата. Обычно новый результат становится достоянием широкой научной общественности при докладе на научном семинаре, а затем - на представительной конференции. Первая публикация -тезисы доклада (под термином «тезисы» будем понимать и тезисы, и труды, и материалы конференций, хотя многостраничные труды - это уже полномасштабные статьи).
При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в тематическом сборнике или в журнале. Первый вариант для
распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков (обычно неформальным научным коллективом). Например, для статистики нечисловых данных таким сводным изданием стал сборник [1], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.
Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.
В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила - нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов». Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.
Аналогична ситуация с начальным этапом развития научного направления «экспертные оценки» [17]: сначала тезисы докладов, затем тематические сборники, без заметного влияния статей в научных журналах на развитие научного направления.
Следующий этап - за публикациями в журнале или сборнике, выпуск монографии, подводящей итоги соответствующего этапа работ. Хорошая монография - это не механическое объединение отдельных статей (научных результатов), а представление научной общественности направления исследований как целого. Затем - создание учебника. Ясно, что на широкое распространение и использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.
Следует отметить, что ссылки на научные публикации даются не только при составлении научных статей, но и при подготовке отчетов, диссертаций, справочников, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда
приуменьшает реальное использование конкретной научной публикации.
Заключительный этап - научный результат становится общеизвестным. Например, в статьях отмечают (без ссылок на литературные источники), что аксиоматическая теория вероятностей построена А. Н. Колмогоровым (хотя А. Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей - академика С. Н. Бернштейна и др., которые ранее предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода - на основе теории меры в 1930-е гг. и на основе теории информации в 1960-е гг., но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов - используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка научных публикаций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование.
Стоит обратить внимание, что для развития нового направления публикации в научных журналах отнюдь не всегда нужны. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала (за многочисленными примерами отклонения принципиально новых работ читатели могут обратиться к автору настоящей статьи).
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник, а не исходную статью. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.
На основе изложенного весьма странными (и даже вредными с точки зрения развития науки) представляются попытки оценивать научную продуктивность коллективов и отдельных исследователей только на основе публикаций в научных журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т. е. основная (по своему воздействию на развитие
науки и техники) масса публикаций. Вопреки этим попыткам большое значение материалам конференций как первым публикациям новых идей придают М. М. Деза (Париж) и Е. И. Деза (Москва) [4].
Бегло рассмотрим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор, чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как известно, часто пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем путем перекрестных ссылок продолжаем «развитие» положений исходного набора статей.
Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, в работах с использованием понятий теории вероятностей существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней, в частности, при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет тридцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и принтера технические сложности снимаются -статьи можно печь как блины.
Развивая эти вполне естественные для современного «исследователя» мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квазимафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения соответствующего программного продукта. Достаточно соста-
вить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - «владельцы» журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки - упор на индексы цитирования - приводят к неправильным управленческим решениям (см. основные положения доклада [12]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий. Ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.
Еще один эффект, отмеченный в сборнике статей, [10] - ссылки на работы, в которых получены принципиально новые результаты, могут тонуть среди ссылок на массу эпигонов. Достаточно пересказать статью предшественника, добавив к ней свою «завитушку», - и готова своя статья, и ссылаться будут зачастую на нее, а не на статью предшественника.
Теперь о базах данных. Сопоставление с реальностью информации, содержащейся в наукометрических (библиометрических) базах данных, приводит к выводу о явной неполноте указанной информации, по крайней мере в настоящее время. В качестве примера кратко проанализируем отображение в Академии Google и РИНЦ публикаций автора этих строк. Перечень «Основные научные и методические работы А. И. Орлова» - это базовый список публикаций, без тезисов, трудов и материалов конференций, резюме докладов на семинарах, комментариев к статьям, диссертаций, авторефератов, отчетов, статей в энциклопедиях, а также без научно-популярных и научно-организационных статей, отчетов о конференциях, рецензий, статей в газетах, программ учебных курсов и т. д. На 01.09.2013 этот перечень включал 285 названий научных работ, а именно 46 книг и 239 статей (см. список в http://forum. orlovs. pp. ru/viewtopic. php?f=5&t=271). В Академии Google (http://scholar. google. ru/citations?user=ziqLP2cAAAA
J) отмечено 148 публикаций, 1 509 цитирований. Индекс Хирша - 16, не менее 10 раз процитированы 32 работы. Первые 5 источников по числу цитирований -книги, 6-й - статья (обзор по экспертным оценкам), источники 7-10 - снова книги, т. е. из первых 10 по числу цитирований - 9 книг и только 1 статья. В РИНЦ (http://elibrary. ru/author_profile. asp?id=1844) отмечены 127 публикаций (только статьи), 1 101 цитирование, индекс Хирша - 10. Кроме того, автору работ видны разнообразные неточности и противоречия в представленной в базах информации. Итак, в этих базах представлено лишь 40-50 % основных публикаций автора настоящей статьи, по крайней мере половины работ нет.
К сожалению, многие ценные издания до сих пор не попадают в Интернет. Например, межвузовский сборник научных трудов «Статистические методы оценивания и проверки гипотез» (хотя переводится в США), материалы научных чтений памяти К. Э. Циолковского. Отечественный РИНЦ из публикаций автора настоящей статьи учитывает только статьи в научных журналах.
Тем более неполны базы данных WoS и Scopus. В них делается упор на статьи в журналах из избранного списка. Например, WoS вообще не учитывает доклады на конференциях и монографии, а список журналов резко перекошен в сторону англоязычных -большинства российских журналов в нем просто нет. В наукометрической базе данных Scopus учитываются избранные сборники конференций и монографии, но дискриминация отечественных журналов весьма выражена. В базе более 6 тыс. американских журналов и только около 200 - российских [15]. На 01.09.2013 в РИНЦ учитываются 8 096 российских журналов. Естественно, что некоторые «исследователи» на основе анализа данных WoS делают вывод о малом вкладе отечественных ученых в мировую науку [21].
Как отмечено в работе [23], чем больше подписок на WoS продает российским организациям Thomson Reuters, тем больше становится библиомет-ристов. По мнению автора, развернутая в последние годы пропаганда использования наукометрических показателей и баз данных, необходимости публикации статей в англоязычных зарубежных журналах является маркетинговой кампанией определенных коммерческих структур, имеющей целью создание и захват отечественного рынка указанных услуг для получения прибыли. Как отмечено в докладе UNESCO, лингвистические преимущества англоязычных стран способствуют усилению конкурен-
тных преимуществ этих стран в науке и в связанном с ней бизнесе, в частности, издательском [30].
Какова же альтернатива наукометрическим показателям? Адекватную оценку эффективности научной деятельности могут дать только эксперты. В сборнике [10] необходимости применения экспертных технологий посвящен большой раздел из пяти статей. Теории и практике экспертных оценок посвящены многие работы отечественных ученых (см., например, работы [11, 17]), выпущены подробные учебники ([18, 19] и др.). Всем хорошо знакомые защиты диссертаций - пример экспертиз. К выборам преподавателей и научных работников на новый срок нельзя относиться формально. Они могли бы опираться на экспертизы типа защит диссертаций по опубликованным работам.
Необходимо обеспечить результативность экспертиз при управлении наукой. Есть очевидные рекомендации. Больше ресурсов - выше результативность. Больше ресурсов - больше экспертов, более тщательный их подбор, больше туров (т. е. больше работает каждый эксперт, общается с другими), лучше программное обеспечение (для проведения сетевых экспертиз, обеспечения доступа к базам данных и моделей), лучше организация, выше оплата, больше времени (экспертиза перерастает в научное исследование) и т. д. На эту тему написано много (см. работы [11, 17-19]).
Можно привести примеры более конкретных рекомендаций. Целесообразно беседовать с экспертом, проводить интервью, а не предлагать заочно заполнить анкету. Устраивать дискуссии, обсуждения, мозговые штурмы. Обеспечить экспертов базами данных, моделей, знаний, в том числе публикаций. Предоставить для работы экспертных комиссий ситуационные комнаты (центры). Создать в организации постоянно действующую систему (сеть) экспертных комиссий, в частности, используя идеи Стаффорда Бира. Вывозить специалистов для проведения экспертизы, т. е. вырывать их из привычной обстановки, отделять от среды, стимулировать общение и т. п.
Итог состоявшейся дискуссии [10] можно кратко сформулировать так: большинство участников обсуждения полагает, что оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
Список литературы
1. Анализ нечисловой информации в социологических исследованиях: под ред. В. Г. Андреенкова, А. И. Орлова, Ю. Н. Толстовой. М.: Наука, 1985. 222 с.
2. Викулов С. Ф., Хрусталёв Е. Ю. Концепция подготовки и аттестации научно-педагогических кадров // Национальные интересы: приоритеты и безопасность. 2012. № 14. С. 10-17.
3. Гринченко С. Н. Имеет ли решение задача перманентной оценки вклада ученого в науку? // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 280-291.
4. Деза М. М., Деза Е. И. Несколько замечаний к вопросу об оценке научных публикаций // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 362-365.
5. Едронова В. Н., Овчаров А. О. Содержание, структура и специфические особенности науки как особого вида деятельности // Экономический анализ: теория и практика. 2013. № 2. С. 2-14.
6. Карминский А.М., Фалько С. Г., Жевага А. А., ИвановаН. Ю. Контроллинг: учебник. М.: ФОРУМ; ИНФРА-М, 2013. 336 с.
7. ЛавриновГ. А., ХрусталёвЕ. Ю., Косенко А. А., Бабкин Г. В. Роль фундаментальной науки в обеспечении обороноспособности государства // Национальные интересы: приоритеты и безопасность. 2013. № 35. С. 9-20.
8. Милек О. В., Шмерлинг Д. С. О продвижении университета на международном академическом «рынке» // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С.139-143.
9. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.
10. Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. 572 с.
11. Новиков Д. А., Орлов А. И. Экспертные оценки - инструменты аналитика // Заводская лаборатория. Диагностика материалов. 2013. Т. 79. № 4. С. 3-4.
12. Орлов А. И. Влияние методологии на последствия принятия решений: м-лы I Международного конгресса по контроллингу / под науч. ред. С. Г. Фалько. М.: НП «ОК», 2011. С. 86-90.
13. Орлов А. И. Два типа методологических ошибок при управлении научной деятельностью // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 32-54.
14. Орлов А. И. Контроллинг организационно-экономических методов // Контроллинг. 2008. № 4. С.12-18.
15. Орлов А. И. Наукометрия и управление научной деятельностью // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 538-567.
16. Орлов А. И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития: ежегодник. Вып. 8. М.: ИНИОН РАН, 2013.
17. Орлов А. И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. 2010. Т. 76. № 11. С. 64-70.
18. Орлов А. И. Организационно-экономическое моделирование: теория принятия решений: учебник. М.: КноРус, 2011. 568 с.
19. Орлов А. И. Организационно-экономическое моделирование: учебник. М.: МГТУ им. Н. Э. Баумана, 2011. 486 с.
20. Орлов А. И. Примеры методологических ошибок при управлении научной деятельностью // Проблемы наукометрии: состояние и перспективы развития. Международная конференция. М.: ИП-РАН РАН, 2013. С. 107-109.
21. Проблемы наукометрии: состояние и перспективы развития. Международная конференция. М.: ИПУ РАН, 2013. 124 с.
22. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21. С.10-18.
23. ФейгельманМ. В., ЦирлинаГ. А. Библиомет-рический азарт как следствие отсутствия научной экспертизы // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 332-345.
24. Цыганов С. А., Рудцкая Е. Р., ХрусталёвЕ. Ю. Фундаментальные исследования: проблемы и решения // Экономический анализ: теория и практика. 2013. № 39. С. 2-14.
25. Чеботарев П. Ю. Оценка ученых: пейзаж перед битвой // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С.506-537.
26. Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 262-278.
27. Хрусталев Е. Ю., Ильменская Е. М. Методология контроллинга научной деятельности учреждений Российской академии наук // Контроллинг. 2009. № 3. С. 78-84.
28. ХрусталевЕ.Ю., ИльменскаяЕ.М. Эксперт-но-аналитический анализ и методы стимулирования фундаментальных и прикладных научных исследований // Аудит и финансовый анализ. 2012. № 2. С.158-169.
29. Юревич А. В., Цапенко И. П. Эффективность отечественной социогуманитарной науки: наукометрический подход // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 408-420.
30. World Social Science Report. Paris: UNESCO Publishing, 2010. 422 p.
List of references
1. Analysis of non-numerical information in sociological research [Analiz nechislovoi informatsii v sotsiologicheskikh issledovaniiakh], ed. V. G. An-dreenkov, A. I. Orlov, Iu. N. Tolstova, Moscow: Nauka, 1985, 222 p.
2. Vikulov S. F., Khrustalev E. Ju. The concept of training and qualification of the teaching staff [Kontseptsiia podgotovki i attestatsii nauchno-peda-gogicheskikh kadrov], Natsional'nye interesy: prior-itety i bezopasnost '- National interests: priorities and security, 2012, no. 14, pp. 10-17.
3. Grinchenko S. N. Does the solution for the problem of permanent evaluation of the contribution of the scientist in science? [Imeet li reshenie zadacha permanentnoi otsenki vklada uchenogo v nauku?] Naukometriia i ekspertiza v upravlenii naukoi - Scien-tometrics and expertise in the management of science, 2013, pp.280-291.
4. DezaM., DezaE. Some remarks on the question of the evaluation of scientific publications [Neskol'ko zamechanii k voprosu ob otsenke nauchnykh publikat-sii], Naukometriia i ekspertiza v upravlenii naukoi -Scientometrics and expertise in the management of science, 2013, pp. 362-365.
5. Edronova V. N., Ovcharov A. O. The content, structure and specific features of science as a special kind of activity [Soderzhanie, struktura i spetsificheskie osobennosti nauki kak osobogo vida deiatel'nosti], Ekonomicheskii analiz: teoriia i praktika - Economic analysis: theory and practice, 2013, no. 2, pp. 2-14.
6. Karminskii A.M., Fal'ko S. G., Zhevaga A. A., Ivanova N. Iu. Controlling [Kontrolling]: the textbook, Moscow: FORUM: INFRA-M, 2013, 336 p.
7. Lavrinov G.A., Khrustalev E. Iu., Kosenko A. A., Babkin G. V. The role of basic science in ensuring the defense of the State [Rol' fundamental'noi nauki v obespechenii oboronosposobnosti gosudarstva],
Natsional'nye interesy: prioritety i bezopasnost ' - National interests: priorities and security, 2013, no. 35, pp. 9-20.
8. Milek O. V., Shmerling D. S. On the promotion of the University in the international academic «market» [O prodvizhenii universiteta na mezhdunarodnom akademicheskom rynke // Naukometriia i ekspertiza v upravlenii naukoi], Naukometriia i ekspertiza v up-ravlenii naukoi - Scientometrics and expertise in the management of science, 2013, pp. 139-143.
9. Nalimov V. V., Mul'chenko Z. M. Scientometrics. The study of the development of science as an information process [Naukometriia. Izuchenie raz-vitiia nauki kak informatsionnogo protsessa], Moscow: Nauka, 1969, 192 p.
10. Scientometrics and expertise in the management of science: a collection of articles [Naukometriia i ekspertiza v upravlenii naukoi], ed. D.A. Novikov, A. I. Orlov, P. Ju. Chebotarev. Moscow: Institute of Control Sciences RAS, 2013, 572 p.
11. Novikov D. A., Orlov A.I. Expert estimates -analyst tools [Ekspertnye otsenki - instrumenty analiti-ka], Zavodskaia laboratoriia. Diagnostika materialov -Industrial laboratory. Diagnosis of materials, 2013, no. 4, pp. 3-4.
12. Orlov A.I. The influence of the methodology for the consequences of decisions [Vliianie metodologii na posledstviia priniatiia reshenii], Proceedings of the I International Congress of Controlling: issue number 1, ed. S. G. Falco. Moscow: NP «OK», 2011, pp. 86-90.
13. OrlovA.I. Two types of methodological errors in the management of research activities [Dva tipa metodologicheskikh oshibok pri upravlenii nauchnoi deiatel'nost'iu], Naukometriia i ekspertiza v upravlenii naukoi - Scientometrics and expertise in the management of science, 2013, pp. 32-54.
14. Orlov A.I. Controlling organizational and economic methods [Kontrolling organizatsionno-eko-nomicheskikh metodov], Kontrolling - Controlling, 2008, no. 4, pp. 12-18.
15. Orlov A.I. Scientometrics and management of research activities [Naukometriia i upravlenie nauchnoi deiatel'nost'iu], Naukometriia i ekspertiza v upravlenii naukoi - Scientometrics and expertise in the management of science, 2013, pp. 538-567.
16. Orlov A.I. Some methodologically erroneous methods of analysis and estimation of scientific results [O nekotorykh metodologicheski oshiboch-nykh metodakh analiza i otsenki rezul'tatov nauchnoi deiatel'nosti], in Russia: trends and prospects [Rossiia: tendentsii i perspektivy razvitiia]: yearbook. Moscow: INION RAN, 2013, pp. 528-533.
17. Orlov A.I. On the development of expert technology in our country [O razvitii ekspertnykh tekhnologii v nashei strane], Zavodskaia laboratoriia. Diagnostika materialov - Industrial laboratory. Diagnosis of materials, 2010, no. 11, pp. 64-70.
18. Orlov A.I. Organizational and economic modeling: decision theory [Organizatsionno-ekonom-icheskoe modelirovanie: teoriia priniatiia reshenii], Moscow: KnoRus, 2011, 568 p.
19. Orlov A. I. Organizational and economic modeling [Organizatsionno-ekonomicheskoe modelirovanie], Moscow: Bauman MSTU, 2011, 486 p.
20. Orlov A. I. Examples of methodological errors in the management of research activities [Primery metodologicheskikh oshibok pri upravlenii nauchnoi deiatel'nost'iu], Scientometrics: status and prospects for development. International Conference. Moscow: Institute for the Study of Russian Academy of Sciences, 2013, pp.107-109.
21. Scientometrics: status and prospects for development [Problemy naukometrii: sostoianie i perspektivy razvitiia], International conference. Moscow: Institute for the Study of Russian Academy of Sciences, 2013, 124 p.
22. Roshchin A. V., Tikhonov I. P., Pronichkin S. V. Methodical approach to evaluating the effectiveness of scientific and technical programs [Metodicheskii
podkhod k otsenke effektivnosti rezul'tatov nauchno-tekhnicheskikh programm], Ekonomicheskii analiz: teoriia i praktika - Economic analysis: theory and practice, 2013, no. 21, pp. 10-18.
23. Feigel'man M. V., Tsirlina G. A. Bibliometric excitement as a consequence of the lack of scientific expertise [Bibliometricheskii azart kak sledstvie otsut-stviia nauchnoi ekspertizy], Naukometriia i ekspertiza v upravlenii naukoi - Scientometrics and expertise in the management of science, 2013, pp. 332-345.
24. Tsyganov S.A., Rudtskaia E. R., Khrustalev E. Iu. Basic research: problems and solutions [Fundamental'nye issledovaniia: problemy i resheniia], Ekonomicheskii analiz: teoriia i praktika - Economic analysis: theory and practice, 2013, no. 39, pp. 2-14.
25. Chebotarev P. Ju. Scientists estimate: landscape before the battle [Otsenka uchenykh: peizazh pered bitvoi], Naukometriia i ekspertiza v upravlenii naukoi - Scientometrics and expertise in the management of science, 2013, pp. 506-537.
26. Shtovba S. D., Shtovba E. V. A survey on scien-tometric indicators to assessment of researcher's publication activity [Obzor naukometricheskikh pokazatelei dlia otsenki publikatsionnoi deiatel'nosti uchenogo], Naukometriia i ekspertiza v upravlenii naukoi - Scien-tometrics and expertise in the management of science, 2013, pp. 262-278.
27. KhrustalevE. Iu., Il'menskaiaE. M. The methodology of controlling the scientific institutions of the Russian Academy of Sciences [Metodologiia kontrollinga nauchnoi deiatel'nosti uchrezhdenii Rossiiskoi akademii nauk], Kontrolling - Controlling, 2009, no. 3, pp. 78-84.
28. Khrustalev E. Iu., Il'menskaia E. M. Expert and analytical analysis and incentive fundamental and applied research [Ekspertno-analiticheskii analiz i me-tody stimulirovaniia fundamental'nykh i prikladnykh nauchnykh issledovanii], Audit i finansovyi analiz - Audit and financial analysis, 2012, no. 2, pp. 158-169.
29. Jurevich A. V., Tsapenko I. P. The effectiveness of the national socio-humanitarian sciences: scientometric approach [Effektivnost' otechestven-noi sotsiogumanitarnoi nauki: naukometricheskii podkhod], Naukometriia i ekspertiza v upravlenii naukoi - Scientometrics and expertise in the management of science, 2013, pp. 408-420.
30. World Social Science Report. Paris: UNESCO Publishuing, 2010. 422 p.
