CC BY
243
НАУКА КАК ОСОБЫЙ ВИД ДЕЯТЕЛЬНОСТИ
УДК 001.38:338.2
О ПОКАЗАТЕЛЯХ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ*
А.И. ОРЛОВ,
доктор экономических наук, доктор технических наук,
кандидат физико-математических наук, профессор,
заведующий лабораторией экономико-математических методов
в контроллинге научно-образовательного центра
«Контроллинг и управленческие инновации»,
Московский государственный технический университет им. Н. Э. Баумана
E-mail: [email protected]
Проблемы повышения эффективности научной деятельности в последнее время активно обсуждаются. С прикладными исследованиями, нацеленными на решение конкретных задач, поставленных теми или иными заказчиками, ситуация достаточно ясна - оценку эффективности исследований проводят заказчики. Проблемы возникают при управлении фундаментальными исследованиями [24, 28]. Для выработки обоснованных критериев эффективности исследований необходимо проанализировать содержание, структуру и специфические особенности науки как особого вида деятельности [5]. При этом, хотя непосредственно при проведении фундаментальных исследований их прикладное значение остается в тени, в дальнейшем становится вполне очевидной весьма существенная роль фундаментальной науки в обеспечении обороноспособности государства [7].
Вполне естественно, что проводятся многочисленные дискуссии о показателях эффективности научной деятельности отдельных исследователей, подразделений, институтов, стран в целом. На
* Статья подготовлена по материалам журнала «Экономический анализ: теория и практика», 2014, № 7 (358).
основе таких дискуссий создаются, в частности, концепции подготовки и аттестации научно-педагогических кадров [2].
Выделяются два крайних направления. Одно из них делает упор на статистический анализ данных о научных статьях в библиометрических базах данных [21]. Другое направление в области оценки эффективности научной деятельности основано на применении экспертных технологий [22].
Итоги проведенной дискуссии на эту тему подведены в специальном выпуске электронного журнала «Управление большими системами», выпускаемого Институтом проблем управления РАН. Выпущено и отдельное издание - сборник «Наукометрия и экспертиза в управлении наукой» [10]. В названии выделены и сопоставлены два основных интеллектуальных инструмента - количественные показатели и экспертные оценки.
Как известно, контроллинг [6] может применяться для совершенствования управления в любой области. В частности, можно разрабатывать контроллинг в области управления наукой. С позиций контроллинга организационно-экономических методов [14, 27] рассмотрим критерии выбора показателей эффективности научной деятельности.
Наукометрия, т. е. научная дисциплина, посвященная количественным измерениям в области науки, в своих основных чертах разработана еще в 1960-х гг. [9]. Развитие информационных технологий привело к созданию библиометрических баз данных о научных публикациях, на основе которых для отдельных научных работников, подразделений и организаций подсчитывают количественные показатели -число публикаций, включенных в конкретную базу данных, их цитируемость (в других публикациях, включенных в рассматриваемую базу) и др.
Наиболее популярные зарубежные библио-метрические базы данных - Web of Science (WoS) и Scopus, отечественная - Научная электронная библиотека eLIBRARY. RU, на которой основан Российский индекс научного цитирования (РИНЦ). В них учтены, как правило, статьи и библиографические ссылки на статьи из журналов, включенные в эти базы. Академия Google проводит мониторинг интернет-ресурсов, поэтому дает перечень цитирований не только статей, но и книг, но только тех, которые имеются в Интернете.
Кроме числа публикаций и числа их цитирований, к основным наукометрическим показателям относятся индекс Хирша научного работника и им-пакт-фактор журнала, в котором напечатана статья.
Индекс Хирша (предложен в 2005 г. американским физиком Хорхе Хиршем из университета Сан-Диего, Калифорния) определяется следующим образом. Пусть в базе данных зафиксировано n публикаций рассматриваемого автора, упорядоченных по убыванию числа цитирований k1 > k2>... > kn, где k.- число цитирований i-й статьи. Тогда индекс Хирша равен h, если kh > h, kh+1 < h + 1 (т. е. h - максимальный номер члена ряда k1 > k2 >,..., > kn, такой, что член ряда с этим номером больше, чем номер, или равен ему). Разработано много хиршеподобных показателей [26].
На сайте eLIBRARY. RU приведено следующее определение: импакт-фактор рассчитывается на основе данных по цитированию журнала в РИНЦ за предыдущие два года (или пять лет). При этом данные по цитированию берутся из публикаций года, для которого рассчитывается импакт-фактор. При расчете импакт-фактора число ссылок, сделанных в расчетном году из всех обрабатываемых в РИНЦ журналов на статьи, опубликованные в данном журнале за предыдущие два года (или пять лет), делится на общее число этих статей. То есть, по сути, данный показатель отражает среднее число цитирований одной статьи в журнале. Например, при расчете пятилетнего импакт-фактора за 2010 г. суммарное число ссылок, сделанных в 2010 г. на
статьи, опубликованные в журнале с 2005 по 2009 г. включительно, делится на общее число статей, опубликованных в выпусках журнала за 20052009 гг. Очевиден произвол в выборе временного интервала (два года или пять лет), а также то, что на импакт-фактор журнала никак не влияют цитирования статей, опубликованных шесть и более лет назад (а такие статьи, как нетрудно убедиться, зачастую составляют заметную часть пристатейных библиографических списков). Для конкретного научного работника рассчитывают средний импакт-фактор журналов, в которых он публиковался.
Некоторые считают, что чем выше перечисленные показатели научного работника (число публикаций, число цитирований, индекс Хирша, средний импакт-фактор журналов с публикациями), тем лучше он работает и тем больше заслуживает поощрения.
При обсуждении проблем управлении научной деятельностью достаточно часто делаются методологические ошибки. Вот некоторые примеры (см. также работы [13, 16, 20]).
В современных дискуссиях об оценке эффективности деятельности научных работников и организаций иногда утверждается, что оценка может быть сделана по числу публикаций в высокорейтинговых (т. е. с большими импакт-факторами) журналах, учитываемых в библиометрических базах данных WoS и Scopus. Подобное утверждение неверно по ряду причин:
- неверно, что траектория развития научного результата обязательно включает публикации в журналах;
- неверно, что следует поощрять увеличение публикаций в научных журналах;
- неверно, что современные библиометрические базы данных дают адекватное представление о научной активности исследователя;
- неверно, что о научных достижениях отечественных ученых можно судить по библиометри-ческим базам данных WoS и Scopus. Разбор методологических ошибок необходимо
начать с обсуждения целей научных исследований. Очевидно, результаты НИР поступают прежде всего к ее заказчику и только по его разрешению могут быть опубликованы в открытой печати (т. е. необходимо учесть требования коммерческой и государственной тайны). Если научная работа финансируется из бюджета, т. е. проведена на деньги отечественных налогоплательщиков, то и воспользоваться результатами должны прежде всего граждане России и отечественные организации. Другими словами, результаты должны быть опубликованы
прежде всего на русском языке, только после этого они могут быть изданы на иностранных языках.
Иногда говорят, что наука едина, является мировой, а потому следует публиковаться на английском языке, являющемся в настоящее время языком международного общения. Неверность этого утверждения для прикладных исследований очевидна: разве можно представить себе, что отечественные разработчики высокоточного оружия сначала опубликуют свои результаты за рубежом на английском языке и только потом - на русском.
Рассмотрим ситуацию для фундаментальных исследований. Что под ними понимать? Если понимать фундаментальные исследования как те, которые никому не нужны, то возникает вопрос о целесообразности их финансирования (и проведения). По мнению автора, должна просматриваться будущая польза фундаментальных исследований, их нацеленность на решение реальных задач, стоящих перед теми или иными отраслями национального хозяйства России. Поэтому нельзя согласиться с П. Ю. Чеботаревым [25], который отдает предпочтение «интернационализму» перед «изоляционизмом». Здесь больше подходит другая пара терминов - «космополитизм» и «патриотизм». Впрочем, под патриотизмом можно понимать соблюдение элементарных обязательств перед российскими налогоплательщиками, финансирующими фундаментальные исследования.
По мнению автора, в современных условиях говорить о мировой науке так же неплодотворно, как и говорить о мировом правительстве.
В статье [29] сделан важный вывод: лучше живут не те страны, которые вносят наибольший вклад в мировую науку, а те, которые больше выносят из нее, т. е. наиболее эффективно используют результаты научно-технического прогресса. Из этого вытекает наиболее рациональная стратегия для нашей страны - изучать чужие достижения, свои же разработки применять прежде всего для собственных нужд, а также в целесообразном объеме предоставлять зарубежным странам [3, 8].
Методологические ошибки начинаются с отсутствия обсуждения пути конкретного научного результата. Обычно новый результат становится достоянием широкой научной общественности при докладе на научном семинаре, а затем - на представительной конференции. Первая публикация -тезисы доклада (под термином «тезисы» будем понимать и тезисы, и труды, и материалы конференций, хотя многостраничные труды - это уже полномасштабные статьи).
При дальнейшем развитии исследования доклад перерастает в статью, которая публикуется в темати-
ческом сборнике или в журнале. Первый вариант для распространения идей предпочтительнее, поскольку тематический сборник фактически становится коллективной монографией, аккумулирующей в себе основные результаты, полученные группой разработчиков (обычно неформальным научным коллективом). Например, для статистики нечисловых данных таким сводным изданием стал сборник [1], подготовленный сложившимся к тому времени неформальным коллективом исследователей в этой только что сформировавшейся научной области.
Только для давно развивающихся областей с большим числом исследователей и эффективной административной поддержкой публикации концентрируются в научных журналах, порожденных соответствующей частью научного сообщества.
В нашей стране для прикладной статистики и других статистических методов эта стадия еще не наступила - нет соответствующих журналов, есть только раздел «Математические методы исследования» в журнале «Заводская лаборатория. Диагностика материалов». Тематика журнала в целом, как видно из названия, перпендикулярна рассматриваемой научной области (хотя и имеет с ней непустое пересечение). С момента создания раздела (1962 г.) в этом журнале публикуются основные работы на русском языке по прикладной статистике и другим статистическим методам, к настоящему времени издано около тысячи статей.
Аналогична ситуация с начальным этапом развития научного направления «экспертные оценки» [17]: сначала тезисы докладов, затем тематические сборники, без заметного влияния статей в научных журналах на развитие научного направления.
Следующий этап - за публикациями в журнале или сборнике, выпуск монографии, подводящей итоги соответствующего этапа работ. Хорошая монография - это не механическое объединение отдельных статей (научных результатов), а представление научной общественности направления исследований как целого. Затем - создание учебника. Ясно, что на широкое распространение и использование может рассчитывать только то знание, которое включено в учебный процесс и вошло в сознание следующего поколения специалистов.
Следует отметить, что ссылки на научные публикации даются не только при составлении научных статей, но и при подготовке отчетов, диссертаций, справочников, выполнении прикладных работ, в том числе закрытых. Поэтому учет цитирований в ограниченном списке научных журналов всегда приуменьшает реальное использование конкретной научной публикации.
Заключительный этап - научный результат становится общеизвестным. Например, в статьях отмечают (без ссылок на литературные источники), что аксиоматическая теория вероятностей построена А. Н. Колмогоровым (хотя А. Н. Колмогоров, встречая такую фразу, обычно указывал на нескольких исследователей - академика С. Н. Бернштейна и др., которые ранее предложили несколько иные аксиоматические подходы; да и сам он разработал не один, а два аксиоматических подхода - на основе теории меры в 1930-е гг. и на основе теории информации в 1960-е гг., но обычно вспоминают и используют только первый из них). С течением времени перестают даже упоминать авторов - используют производные и интегралы, не ссылаясь на Ньютона и Лейбница.
Итак, наиболее естественная цепочка научных публикаций:
- тезисы доклада;
- тематический сборник;
- монография;
- учебник;
- широкое использование.
Стоит обратить внимание, что для развития нового направления публикации в научных журналах отнюдь не всегда нужны. Кроме того, принципиально новую работу в устоявшемся научном журнале просто не поместят, поскольку она противоречит традициям журнала (за многочисленными примерами отклонения принципиально новых работ читатели могут обратиться к автору настоящей статьи).
Проанализировав путь конкретного научного результата, видим, что он состоит из этапа первоначального развития, завершающегося книжной публикацией, и этапа зрелости и широкого использования. На втором этапе обычно цитируют монографию, справочник, учебник, а не исходную статью. Очевидно, что с точки зрения общества целесообразно, чтобы первоначальный этап был возможно короче.
На основе изложенного весьма странными (и даже вредными с точки зрения развития науки) представляются попытки оценивать научную продуктивность коллективов и отдельных исследователей только на основе публикаций в научных журналах. При этом полностью игнорируются материалы конференций, сборники статей, монографии, учебники, т. е. основная (по своему воздействию на развитие науки и техники) масса публикаций. Вопреки этим попыткам большое значение материалам конференций как первым публикациям новых идей придают М. М. Деза (Париж) и Е. И. Деза (Москва) [4].
Бегло рассмотрим отрицательные эффекты, о которых идет речь. Надо поднять импакт-фактор,
чтобы увеличить финансирование? Вот план мероприятий (по аналогии со сбором десятка-другого отзывов на диссертацию и автореферат, которые, как известно, часто пишет сам соискатель, а затем собирает подписи): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем путем перекрестных ссылок продолжаем «развитие» положений исходного набора статей.
Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляются основания для публикации следующих статей, улучшающих предыдущие. Например, в работах с использованием понятий теории вероятностей существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся статей в связке из нескольких журналов. Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. Конечно, надо исключить дословное повторение текстов, воспользовавшись опытом соискателей ученых степеней, в частности, при подготовке отзывов на диссертации и авторефераты. Современная информационная техника облегчает задачу. Если лет тридцать назад надо было перепечатывать текст, вручную вставлять формулы, то сейчас с помощью текстового редактора, Интернета и принтера технические сложности снимаются -статьи можно печь как блины.
Развивая эти вполне естественные для современного «исследователя» мысли, приходим к целесообразности организации «семей», члены которых будут ссылаться друг на друга (и не ссылаться на «чужих»). Можно привести примеры таких квазимафиозных структур.
Почему пропагандисты индекса цитирования делают упор на журналы? Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем применения соответствующего программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать. Другая причина - «владельцы» журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире.
Ясно, что методологические ошибки - упор на индексы цитирования - приводят к неправильным управленческим решениям (см. основные
положения доклада [12]). Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по импакт-фактору объективно задерживает подготовку книжных изданий. Ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи, а ссылки на книги не влияют на импакт-фактор журнала. Следовательно, управление наукой на основе числа публикаций в рецензируемых журналах и индексов цитирования объективно замедляет развитие науки, переход полученных результатов в область практического применения.
Еще один эффект, отмеченный в сборнике статей, [10] - ссылки на работы, в которых получены принципиально новые результаты, могут тонуть среди ссылок на массу эпигонов. Достаточно пересказать статью предшественника, добавив к ней свою «завитушку», - и готова своя статья, и ссылаться будут зачастую на нее, а не на статью предшественника.
Теперь о базах данных. Сопоставление с реальностью информации, содержащейся в наукометрических (библиометрических) базах данных, приводит к выводу о явной неполноте указанной информации, по крайней мере в настоящее время. В качестве примера кратко проанализируем отображение в Академии Google и РИНЦ публикаций автора этих строк. Перечень «Основные научные и методические работы А. И. Орлова» - это базовый список публикаций, без тезисов, трудов и материалов конференций, резюме докладов на семинарах, комментариев к статьям, диссертаций, авторефератов, отчетов, статей в энциклопедиях, а также без научно-популярных и научно-организационных статей, отчетов о конференциях, рецензий, статей в газетах, программ учебных курсов и т. д. На 01.09.2013 этот перечень включал 285 названий научных работ, а именно 46 книг и 239 статей (см. список в http://forum. orlovs. pp. ru/viewtopic. php?f=5&t=271). В Академии Google (http://scholar. google. ru/citations?user=ziqLP2cAAAA J) отмечено 148 публикаций, 1 509 цитирований. Индекс Хирша - 16, не менее 10 раз процитированы 32 работы. Первые 5 источников по числу цитирований -книги, 6-й - статья (обзор по экспертным оценкам), источники 7-10 - снова книги, т. е. из первых 10 по числу цитирований - 9 книг и только 1 статья. В РИНЦ (http://elibrary. ru/author_profile. asp?id=1844) отмечены 127 публикаций (только статьи), 1 101 цитирование, индекс Хирша - 10. Кроме того, автору работ видны разнообразные неточности и противоречия в представленной в базах информации. Итак, в этих базах представлено лишь 40-50 % основных
публикаций автора настоящей статьи, по крайней мере половины работ нет.
К сожалению, многие ценные издания до сих пор не попадают в Интернет. Например, межвузовский сборник научных трудов «Статистические методы оценивания и проверки гипотез» (хотя переводится в США), материалы научных чтений памяти К. Э. Циолковского. Отечественный РИНЦ из публикаций автора настоящей статьи учитывает только статьи в научных журналах.
Тем более неполны базы данных WoS и Scopus. В них делается упор на статьи в журналах из избранного списка. Например, WoS вообще не учитывает доклады на конференциях и монографии, а список журналов резко перекошен в сторону англоязычных -большинства российских журналов в нем просто нет. В наукометрической базе данных Scopus учитываются избранные сборники конференций и монографии, но дискриминация отечественных журналов весьма выражена. В базе более 6 тыс. американских журналов и только около 200 - российских [15]. На 01.09.2013 в РИНЦ учитываются 8 096 российских журналов. Естественно, что некоторые «исследователи» на основе анализа данных WoS делают вывод о малом вкладе отечественных ученых в мировую науку [21].
Как отмечено в работе [23], чем больше подписок на WoS продает российским организациям Thomson Reuters, тем больше становится библиометристов. По мнению автора, развернутая в последние годы пропаганда использования наукометрических показателей и баз данных, необходимости публикации статей в англоязычных зарубежных журналах является маркетинговой кампанией определенных коммерческих структур, имеющей целью создание и захват отечественного рынка указанных услуг для получения прибыли. Как отмечено в докладе UNESCO, лингвистические преимущества англоязычных стран способствуют усилению конкурентных преимуществ этих стран в науке и в связанном с ней бизнесе, в частности, издательском [30].
Какова же альтернатива наукометрическим показателям? Адекватную оценку эффективности научной деятельности могут дать только эксперты. В сборнике [10] необходимости применения экспертных технологий посвящен большой раздел из пяти статей. Теории и практике экспертных оценок посвящены многие работы отечественных ученых (см., например, работы [11, 17]), выпущены подробные учебники ([18, 19] и др.). Всем хорошо знакомые защиты диссертаций - пример экспертиз. К выборам преподавателей и научных работников
на новый срок нельзя относиться формально. Они могли бы опираться на экспертизы типа защит диссертаций по опубликованным работам.
Необходимо обеспечить результативность экспертиз при управлении наукой. Есть очевидные рекомендации. Больше ресурсов - выше результативность. Больше ресурсов - больше экспертов, более тщательный их подбор, больше туров (т. е. больше работает каждый эксперт, общается с другими), лучше программное обеспечение (для проведения сетевых экспертиз, обеспечения доступа к базам данных и моделей), лучше организация, выше оплата, больше времени (экспертиза перерастает в научное исследование) и т. д. На эту тему написано много (см. работы [11, 17-19]).
Можно привести примеры более конкретных рекомендаций. Целесообразно беседовать с экспертом, проводить интервью, а не предлагать заочно заполнить анкету. Устраивать дискуссии, обсуждения, мозговые штурмы. Обеспечить экспертов базами данных, моделей, знаний, в том числе публикаций. Предоставить для работы экспертных комиссий ситуационные комнаты (центры). Создать в организации постоянно действующую систему (сеть) экспертных комиссий, в частности, используя идеи Стаффорда Бира. Вывозить специалистов для проведения экспертизы, т. е. вырывать их из привычной обстановки, отделять от среды, стимулировать общение и т. п.
Итог состоявшейся дискуссии [10] можно кратко сформулировать так: большинство участников обсуждения полагает, что оценка деятельности научных работников и коллективов должна даваться в результате тщательной экспертизы и публичного обсуждения полученных научных результатов. Наукометрические показатели, рассчитанные по числу публикаций и цитирований в научных журналах, могут играть лишь вспомогательную (справочную) роль.
Список литературы
1. Анализ нечисловой информации в социологических исследованиях: под ред. В. Г. Андреенкова, А. И. Орлова, Ю. Н. Толстовой. М.: Наука, 1985. 222 с.
2. Викулов С. Ф., Хрусталёв Е. Ю. Концепция подготовки и аттестации научно-педагогических кадров // Национальные интересы: приоритеты и безопасность. 2012. № 14. С. 10-17.
3. Гринченко С. Н. Имеет ли решение задача перманентной оценки вклада ученого в науку? // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 280-291.
4. Деза М. М., Деза Е. И. Несколько замечаний к вопросу об оценке научных публикаций //
Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 362-365.
5. Едронова В. Н., Овчаров А. О. Содержание, структура и специфические особенности науки как особого вида деятельности // Экономический анализ: теория и практика. 2013. № 2. С. 2-14.
6. КарминскийА.М., Фалько С.Г., ЖевагаА. А., ИвановаН. Ю. Контроллинг: учебник. М.: ФОРУМ; ИНФРА-М, 2013. 336 с.
7. ЛавриновГ. А., ХрусталёвЕ. Ю., Косенко А. А., Бабкин Г. В. Роль фундаментальной науки в обеспечении обороноспособности государства // Национальные интересы: приоритеты и безопасность. 2013. № 35. С. 9-20.
8. Милек О. В., ШмерлингД. С. О продвижении университета на международном академическом «рынке» // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 139-143.
9. Налимов В. В., Мульченко З. М. Наукометрия. Изучение развития науки как информационного процесса. М.: Наука, 1969. 192 с.
10. Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. 572 с.
11. Новиков Д. А., Орлов А. И. Экспертные оценки - инструменты аналитика // Заводская лаборатория. Диагностика материалов. 2013. Т. 79. № 4. С. 3-4.
12. Орлов А. И. Влияние методологии на последствия принятия решений: м-лы I Международного конгресса по контроллингу / под науч. ред. С. Г. Фалько. М.: НП «ОК», 2011. С. 86-90.
13. Орлов А. И. Два типа методологических ошибок при управлении научной деятельностью // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 32-54.
14. Орлов А. И. Контроллинг организационно-экономических методов // Контроллинг. 2008. № 4. С.12-18.
15. Орлов А. И. Наукометрия и управление научной деятельностью // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 538-567.
16. Орлов А. И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития: ежегодник. Вып. 8. М.: ИНИОН РАН, 2013.
17. Орлов А. И. О развитии экспертных технологий в нашей стране // Заводская лаборатория. Диагностика материалов. 2010. Т. 76. № 11. С. 64-70.
18. Орлов А. И. Организационно-экономическое моделирование: теория принятия решений: учебник. М.: КноРус, 2011. 568 с.
19. Орлов А. И. Организационно-экономическое моделирование: учебник. М.: МГТУ им. Н. Э. Баумана, 2011. 486 с.
20. Орлов А. И. Примеры методологических ошибок при управлении научной деятельностью // Проблемы наукометрии: состояние и перспективы развития. Международная конференция. М.: ИП-РАН РАН, 2013. С. 107-109.
21. Проблемы наукометрии: состояние и перспективы развития. Международная конференция. М.: ИПУ РАН, 2013. 124 с.
22. Рощин А. В., Тихонов И. П., Проничкин С. В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21. С. 10-18.
23. ФейгельманМ.В., ЦирлинаГ. А. Библиомет-рический азарт как следствие отсутствия научной экспертизы // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С.332-345.
24. Цыганов С. А., Рудцкая Е. Р., ХрусталёвЕ. Ю. Фундаментальные исследования: проблемы и реше-
ния // Экономический анализ: теория и практика. 2013. № 39. С. 2-14.
25. Чеботарев П. Ю. Оценка ученых: пейзаж перед битвой // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 506-537.
26. Штовба С. Д., Штовба Е. В. Обзор наукометрических показателей для оценки публикационной деятельности ученого // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 262-278.
27. Хрусталев Е. Ю., Ильменская Е. М. Методология контроллинга научной деятельности учреждений Российской академии наук // Контроллинг. 2009. № 3. С. 78-84.
28. Хрусталев Е. Ю., Ил ьменская Е. М. Эксперт-но-аналитический анализ и методы стимулирования фундаментальных и прикладных научных исследований // Аудит и финансовый анализ. 2012. № 2. С. 158-169.
29. Юревич А. В., Цапенко И. П. Эффективность отечественной социогуманитарной науки: наукометрический подход // Наукометрия и экспертиза в управлении наукой: сб. статей / под ред. Д. А. Новикова, А. И. Орлова, П. Ю. Чеботарева. М.: ИПУ РАН, 2013. С. 408-420.
30. World Social Science Report. Paris: UNESCO Publishuing, 2010. 422 p.
«Поддерживай рекламу, и
реклама поддержит тебя»
Томас Роберт Дьюар
РЕКЛАМНЫЙ БЛОК ТАКОГО РАЗМЕРА ОБОЙДЁТСЯ ВАМ — |
ВСЕГО В 2 950 РУБ. т!
Тел.: (495) 989-9610, e-mail:[email protected] Ш
