CC BY
233
Научный журнал КубГАУ, №111(07), 2015 года
1
УДК 330.322.16:629.78
08.00.00 Экономические науки
О КЛЮЧЕВЫХ ПОКАЗАТЕЛЯХ ЭФФЕКТИВНОСТИ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
Орлов Александр Иванович
д.э.н., д.т.н., к.ф.-м.н., профессор
РИНЦ SPIN-код: 4342-4994
Московский государственный технический
университет им. Н.Э. Баумана, Россия, 105005,
Москва, 2-я Бауманская ул., 5, prof-orlov@mail. ru
Из многих актуальных проблем науковедения рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов, инновационного потенциала предприятий и т.п. Для оценки эффективности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей, основанная на ключевых показателях эффективности (отсюда и название настоящей статьи), а также контроллинг, прежде всего контроллинг научной деятельности. Подробно разработаны и широко применяются два инструмента оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая статья. Различные варианты манипулирования значениями наукометрических показателей в РФ, по нашей оценке, пока еще применяются сравнительно редко. Возможно, это связано со сравнительно небольшим сроком их использования при управления наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных. Экспертные процедуры имеют ряд недостатков. В настоящей статье обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней и выборы в государственные академии наук (прежде всего в РАН). Основные принципы экспертизы в рассматриваемых областях остаются неизменными в течение последних 70 лет. На основе анализа практики приходится
UDC 330.322.16:629.78 Economic sciences
ABOUT THE KEY PERFORMANCE INDICATORS OF SCIENTIFIC ACTIVITIES
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
Of the many urgent problems of Science about Science, we consider methods for estimation of the effectiveness and quality of the scientific activities of the researcher, of the organization, of the magazine. Performance indicators of scientific activity are used as an important part in the estimation of higher education institutions, the innovative capacity of enterprises, etc. To estimate the effectiveness of scientific activity is natural to use intellectual tools which are well-established in other subject areas. This will include, in particular, the balanced scorecard, based on key performance indicators (hence the title of this article), as well as controlling, primarily controlling of research activities. There are two more developed and widely used tools for estimation the effectiveness of the scientific activity - the scientometric indicators and the expert estimators. Their critical analysis is the subject of this article. Different versions of manipulating of values of scientometric indicators in the Russian Federation, in our estimation, are still relatively rare. Perhaps this is due to the relatively short period of their use in the management of science. Since an indicator such as citation index (the number of citations of publications) of researcher, allows estimating its contribution to science, the use of this scientometric indicator for the management of science is justified. At the same time, the number of publications and especially h-index is not possible to objectively estimate the effectiveness of research activities, particularly in view of the properties of the real bibliometric databases. Expert procedures have several disadvantages. In this article we discuss the real effectiveness of expert procedures in the areas of their application, as conferring academic degrees and elections to the National Academy of Sciences (primarily in the Russian Academy of Sciences). The basic principles of expertise in these areas remain the same for the past 70 years. Based on an analysis of practice it is necessary to ascertain the lack of efficacy of expert estimators in these areas. Rationale to what has been said is given in the article
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
2
констатировать недостаточную эффективность экспертных оценок в указанных областях. Обоснование сказанному приведено в статье
Ключевые слова: НАУКА, УПРАВЛЕНИЕ, ПРИКЛАДНАЯ НАУКА, ФУНДАМЕНТАЛЬНАЯ НАУКА, ПРИНЯТИЕ РЕШЕНИЙ, ЭКСПЕРТНЫЕ ОЦЕНКИ, ПРОГНОЗИРОВАНИЕ, БИБЛИОМЕТРИЧЕСКИЕ БАЗЫ ДАННЫХ, ИНДЕКСЫ ЦИТИРОВАНИЯ, НАУКОМЕТРИКА, ГЛОБАЛИЗАЦИЯ, НАУЧНЫЙ РЕЗУЛЬТАТ, МАРКЕТИНГ В НАУКЕ
Keywords: SCIENCE, MANAGEMENT, APPLIED SCIENCE, FUNDAMENTAL SCIENCE, DECISION MAKING, EXPERT ESTIMATES, FORECASTING, BIBLIOMETRIC DATABASE, CITATION INDEXES, SCIENTOMETRICS, GLOBALIZATION, SCIENTIFIC RESULTS, MARKETING IN SCIENCE
В Академии наук Заседает князь Дундук. Г оворят, не подобает Дундуку такая честь; Почему ж он заседает? Потому что <...> есть. А. С. Пушкин
1. Введение
Со времен А. С. Пушкина интерес к проблемам управления наукой заметно вырос. Принципиальное продвижение последних лет - появление общедоступных библиометрических баз данных и индексов цитирования. Весьма важно, что администраторы высокого уровня стали их использовать для управления наукой. Для сотрудников научноисследовательских организаций и высших учебных заведений Российский индекс научного цитирования (РИНЦ) стал одной из самых популярных баз данных.
Как следствие, вспух поток публикаций по вопросам оценки эффективности научной деятельности. По нашему мнению, науковедение как научная дисциплина находится еще в зачаточном состоянии [1]. Новым по сравнению с книгой [2], выпущенной в 1969 г., является только появление малообоснованного индекса Хирша. К сожалению, внимание многих авторов сосредоточено на обсуждении модификаций этого вида средней величины, в то время как фундаментальные вопросы остаются в тени.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
3
Настоящая статья стимулирована замечательной работой Е.В. Луценко "Хиршамания" [3]. Из многих актуальных проблем
науковедения рассмотрим методы оценки эффективности и качества работы ученого, научной деятельности подразделения, организации, журнала. Показатели эффективности научной деятельности используются как важная составная часть при оценке вузов [4], инновационного потенциала предприятий и т.п.
Для оценки эффективности научной деятельности естественно использовать хорошо зарекомендовавшие себя в других предметных областях интеллектуальные инструменты. К таким инструментам относятся, в частности, система сбалансированных показателей [5], основанная на ключевых показателях эффективности (отсюда и название настоящей статьи), а также контроллинг [6], прежде всего контроллинг научной деятельности [7 - 9].
Подробно разработаны и широко применяются два инструмента оценки эффективности научной деятельности - наукометрические показатели и экспертные оценки. Их критическому анализу и посвящена настоящая статья.
Критика наукометрических показателей была мной (и другими авторами) дана в ряде публикаций. Из них выделим специальный выпуск журнала "Управление большими системами" [10], выпущенный также отдельным изданием [11]. Наша затравочная статья [12] в этом сборнике носила характерное название "Два типа методологических ошибок при управлении научной деятельностью". В итоговой статье [13] был дан критический обзор нескольких десятков материалов указанного сборника. Дальнейшему развитию наших идей посвящены публикации [14 - 19]. В наших работах вслед за классической монографией [2] обсуждались возможности манипуляции наукометрическими показателями (число публикаций, число цитирований, индекс Хирша и др.). Аналогичные
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
4
соображения, а также примеры реальных манипуляций достаточно широко обсуждаются в литературе (см. [20 - 22] и др.). В письме автору настоящей статьи А. С Чуев отметил, что для повышения показателей цитируемости сотрудников вузов и НИИ руководством подобных организаций негласно насаждается порочная практика - рекомендовать к печати лишь те статьи, в которых имеются ссылки (требование до 30%) на публикации сотрудников своего вуза или НИИ, причем желательно в сторонних журналах. В качестве практической рекомендации предлагалось опираться на применение экспертных процедур для оценки эффективности научной деятельности [23].
В 2014 - 2015 гг. автор настоящей статьи анализировал
наукометрические показатели РИНЦ для нескольких сотен исследователей. Конкретные результаты анализа отражены в ряде тем Интернет-ресурса [24], в основном в виде многочисленных таблиц, привязанных к определенным моментам времени.
Необходимо уточнить ранее высказанные положения.
Во-первых, различные варианты манипулирования значениями наукометрических показателей в РФ, по нашей оценке, пока еще применяются сравнительно редко. Возможно, это связано со сравнительно небольшим сроком их использования при управления наукой. Поскольку такой показатель, как число цитирований работ исследователя, позволяет объективно оценить его вклад в науку, то применение этого наукометрического показателя для управления наукой оправдано. В то же время число публикаций и особенно индекс Хирша не позволяют объективно оценить эффективность научной деятельности, особенно с учетом свойств реальных библиометрических баз данных.
Во вторых, экспертные процедуры имеют ряд недостатков. В настоящей статье обсудим реальную эффективность экспертных процедур в таких областях их применения, как присвоение ученых степеней и
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
5
выборы в государственные академии наук (прежде всего в РАН). Основные принципы экспертизы в рассматриваемых областях остаются неизменными в течение последних 70 лет. На основе анализа практики приходится констатировать недостаточную эффективность экспертных оценок в указанных областях.
Обоснование сказанному приведено ниже. Настоящая статья содержит также ряд положений, новых по сравнению с нашими предыдущими публикациями.
2. Фундаментальная наука и прикладная наука
В [1] нами показано принципиальное различие между фундаментальной наукой и прикладной наукой, влекущее столь же принципиальное различие между ключевыми показателями эффективности в этих областях деятельности. При проведении прикладных научных исследованиях основное для исполнителя - запросы, требования, предпочтения, интересы заказчика. Основной результат таких исследований - сложная техническая система, стратегический план развития фирмы и т.п. - то, что нужно заказчику. Публикации по результатам прикладных научных исследований не являются обязательными, более того, иногда не допустимы из-за соображений государственной или коммерческой тайны. Фундаментальные научные исследования имеют целью получение нового знания, основной результат таких исследований - публикации в научных изданиях [2].
Конечно, нет непреодолимого барьера между фундаментальной наукой и прикладной наукой.
Специалисты прикладной науки зачастую хотят проявить себя в фундаментальной. Прежде всего потому, что при выполнении прикладных работ попутно бывают получены научные результаты более широкого спектра применения, чем это нужно заказчику, т.е получено новое знание,
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
6
как и при фундаментальных научных исследованиях. Это знание целесообразно отразить в публикациях. Примером является доклад [25], посвященный новым научным результатам в области теории принятия решений и экспертных оценок, полученным при выполнении прикладных научно-исследовательских работ в авиации и ракетно-космической промышленности. Важным для специалистов прикладной науки является также стремление к повышению статуса, конкурентоспособности на рынке труда, шансов на получение новых выгодных заказов.
Специалисты фундаментальной науки обычно заинтересованы в том, чтобы полученное ими новое знание нашло практическое применение, т.е хотят сдвинуться в сторону прикладной науки. Кроме морального удовлетворения, этот сдвиг стимулирован стремлением к повышению статуса, конкурентоспособности на рынке труда, шансов на получение увеличенного финансирования.
В отношении взаимоотношения прикладной науки и фундаментальной науки Ю.В. Грановскому представляется перспективной классификация Организации экономического сотрудничества и развития: чистые фундаментальные исследования; ориентированные
фундаментальные исследования; прикладные исследования вообще; стратегические прикладные исследования; конкретные прикладные исследования; экспериментальные разработки. Для целей настоящей статьи достаточно ограничиться выделением фундаментальную науки и прикладной науки.
Ключевые показатели эффективности научной деятельности будем обсуждать применительно к фундаментальной науке.
3. Всеобщее невежество научных работников и его следствия
Основная проблема современной науки состоит во всеобщем невежестве научных работников. Это утверждение становится очевидным,
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
7
если хотя бы примерно оценить объем накопленных научных результатов, а тем более - научных трудов. Каждый специалист может познакомиться не более чем с 2 - 5 % публикаций в своей области.
Еще в 80-х годах при наукометрическом анализе данных о Первом Всемирном конгрессе Общества математической статистики и теории вероятностей им. Бернулли [26 - 28] нами была дана оценка общего числа актуальных публикаций по тематике конгресса - 106. По конкретной области, например, по регрессионному анализу, на порядок меньше - 105.
Посмотрим, на какое число публикаций ссылаются наиболее цитирующие авторы. В фундаментальном трехтомном издании [29 - 31] -около 2000 ссылок. Список литературы к семитомнику "Новая хронология" включает 1492 ссылки [32]. В монографии [6] - 843 ссылки. Наблюдаем разрыв на два порядка - из порядка 105 потенциальных источников ссылки даются лишь на порядка 103.
Как же в реальной научной деятельности научные работники справляются со своим невежеством? Ответ хорошо известен - происходит разбиение (фрагментация) всей совокупности научных работников на группы (научные коллективы, кланы, научные школы, сообщества). Группа часто состоит из сотрудников одной организации и примкнувших к ним отдельных исследователей из других организаций. Клан обычно обзаводится инфраструктурой (журнал, периодическая конференция, диссертационный совет, научное общество и т.п.), позволяющей его членам вести долговременную научную деятельность. Внутри клана его члены обычно достаточно осведомлены о работах друг друга, в то время как научная деятельность вне клана игнорируется.
Сказанное давно известно. В.В. Налимов писал о "незримых коллективах" [2]. С. Лем предсказывал распад единой науки на "науки районного масштаба", замкнувшиеся внутри отдельных регионов [34]. Предсказание С. Лема сбывается - к настоящему времени во многих
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
8
региональных центрах на базе нескольких вузов и НИИ складывается "региональная наука" со всей необходимой инфраструктурой.
Конечно, нельзя не отметить наличия связей между "соседними" кланами и дружественными регионами. Действуют аналоги "матричной системы управления" [9, 35] - зачастую исследователь одновременно входит в две структуры: он работает в вузе или НИИ и является членом "незримого коллектива". В вузе или НИИ он выполняет текущую работу среди тех, у кого другие научные специальности и/или интересы, а в "незримом коллективе" общается с "близкими по духу" специалистами.
Ситуация с накоплением знаний хорошо описана В.В. Налимовым и
З.Б. Бариновой: «Стремление к разложению изучаемого явления на составные части и к тщательному изучению деталей еще продолжает давать необычайные результаты, но только в новых областях знаний, скажем, в молекулярной биологии. В старых областях знаний этот подход приводит к накоплению невероятного количества частных знаний, которые остаются неиспользованными: они не попадают в монографии, не
оказывают влияния на последующие работы. Это, если хотите, старость науки. Здесь, в отличие от биологических организмов, при старении затрудняется не обмен веществ, а обмен идей. Из множества частных знаний не складывается знание о большой системе» [33].
Следующее поколение исследователей входит в свою область в процессе обучения. Следовательно, то, что не вошло в учебники, почти наверняка потеряно для следующих поколений.
В настоящее время происходит принципиально важный переход от бумажных носителей информации к электронным. Резко сократившиеся тиражи - до десятков и сотен экземпляров - ведут к смене роли бумажных изданий. Вместо распространения информации их роль становится престижной и подарочной. Впрочем, при использовании схемы "книга по требованию" само понятие тиража уходит в прошлое.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
9
С одной стороны, публикации в электронных изданиях (при открытом доступе) значительно облегчают распространение научной информации (нет необходимости обращаться в центральные библиотеки). С другой стороны, неоцифрованные публикации привлекают всё меньше внимания. Несколько огрубляя, можно сказать: то, чего нет в Интернете, почти наверняка потеряно.
Перейдем к обсуждению экспертных процедур оценки эффективности научной деятельности. Начнем с присвоения ученых степеней.
4. Необходимость изменения экспертных процедур присуждения ученых степеней
Достаточно давно обсуждается низкое качество значительного числа диссертаций, коррупция при их подготовке и защите.
Очевидно, пока есть желание обзавестись ученой степенью, будет и стремление достичь этого с минимальными трудозатратами. Например, купив готовую диссертацию. В настоящее время Интернет кишит предложениями "диссертаций на заказ". В противовес работает Диссернет, который так характеризует самого себя как "вольное сетевое сообщество экспертов, исследователей и репортеров, посвящающих свой труд разоблачениям мошенников, фальсификаторов и лжецов" [36]. Диссернет выявляет плагиат, прямое заимствование текста.
Но он не может дать защиту от "диссертаций на заказ". Нельзя, анализируя текст, установить, кто его на самом деле написал. Очевидно, для надежного выяснения авторства необходимо подробное тщательное обсуждение диссертации с ее автором. Но такого этапа в процедуре защиты нет. За традиционные 15 минут доклада нельзя глубоко вникнуть в содержание работы. К тому же по традиции "неудачные" ответы
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
10
диссертанта интерпретируются в его пользу, "списываются" за счет волнения.
Можно посмотреть на ситуацию и с другой стороны - с позиций членов диссертационных советов и авторов отзывов на диссертации и авторефераты. Такая деятельность считается общественной. Доктора наук безвозмездно тратят свое время (оплата работы оппонентов -символическая). Возникает естественное желание уменьшить потерю времени, поручив составление основного содержания отзывов самим диссертантам. Как известно любому участнику процесса защиты диссертаций, подобная практика весьма распространена.
Во время защиты член диссертационного совета зачастую рассуждает так: "Раз работу допустили к защите, значит, она соответствует требованиям; надо поддержать". С точки зрения экономии усилий такая позиция вполне оправдана. Выступление против диссертации требует вложения энергии и умственных усилий.
Нужны ли ученые степени вообще? Их можно сопоставить с воинскими званиями. Как известно, после их отмены в Красной Армии в 1918 г. они были введены вновь. Причина проста - лицу, принимающему решения, надо знать, с кем имеешь дело, не вникая в подробности биографии этого лица. В настоящее время о научной активности ученого можно получить информацию из РИНЦ, поэтому приведенный в предыдущей фразе аргумент во многом теряет свое значение - основную хорошо представленную информацию можно взять из РИНЦ или другой библиометрической базы.
Подведем предварительный итог обсуждения проблем защит диссертаций. В действующей процедуре доклад о большой работе занимает всего 15 мин. (кандидатская диссертация) или 30 мин. (докторская). Нельзя надеяться, что члены диссертационного совета глубоко разберутся в работе за время защиты. Наблюдаем неразумную
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
11
трату времени большого числа квалифицированных специалистов - членов диссертационного совета. Зафиксированная в нормативных документах невозможность доработки текста диссертации в соответствии с замечаниями лишает стимула обсуждение на защите, делает дискуссию во многом бесцельной. Зачем выявлять недостатки и формулировать предложения по их исправлению, если никакие изменения не будут вноситься в текст?
Из сказанного следует, что процедуры присуждения ученых степеней должны совершенствоваться. Например, можно предложить резкое увеличение времени на защиту (с перерывом на внесение исправлений в диссертацию) при адекватном уменьшении числа членов диссертационного совета, труд которых должен адекватно оплачиваться.
Можно предложить всеобщую аттестацию научных работников с целью подтверждения ученых степеней. Это связано не только с необходимостью разгребания "авгиевых конюшен" накопившихся
последствий коррупции, но и с тем, что многие "остепенившиеся" по тем или иным причинам перестают заниматься наукой. Целесообразно отмечать учеными степенями только тех, кто реально работает в науке. Аттестацию целесообразно проводить регулярно, скажем, каждые пять лет. Эта процедура облегчается наличием наукометрических баз данных. Отметим, что в НИИ и вузах фактически такая процедура давно предусмотрена действующим законодательством. Она проводится в ходе периодических конкурсов на занятие должностей научных работников и профессорско-преподавательского состава. Но она часто проводится формально. Целесообразно перейти к аттестации по существу, причем во всех отраслях народного хозяйства. Несложная надстройка над РИНЦ позволит для каждого доктора и кандидата наук автоматически сформировать общедоступную сводку о работе за отчетный срок, к которой персонаж сводки сможет добавить свои комментарии.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
12
5. Итоги применения экспертных процедур при формировании и работе РАН
Процедура избрания академиков и членов-корреспондентов РАН о основана на применении экспертных технологий. Адекватность формирования РАН можно проверить по данным о цитируемости. Среди наиболее цитируемых ученых в соответствующие секции РАН входит примерно половина (наша экспертная оценка по результатам анализа по ряду специальностей). С одной стороны, это говорит о том, что вклад в науку многих членов РАН велик. С другой стороны, примерно половина наиболее эффективно работающих ученых не входит в РАН. Широко известные интриги, сопровождающие выборы (см., например,
воспоминания одного из наиболее выдающихся математиков ХХ в. Л. С. Понтрягина [37]) отталкивают многих от самого участия в выборах.
Подкрепим сказанное анализом данных РИНЦ по математике и экономике. В "Авторском указателе" РИНЦ выбираем тематику "математика". Сортировку проводим по числу цитирований (по убыванию). Приведем список первых в списке 8 ныне живущих исследователей (по данным на 31 июля 2015 г., указаны число публикаций, число цитирований, индекс Хирша):
1. Новиков Дмитрий Александрович (Институт проблем управления им. В.А. Трапезникова РАН (Москва)) 300 - 9067 - 43
2. Фаддеев Людвиг Дмитриевич (Санкт-Петербургское отделение Математического института им. В.А. Стеклова РАН) 234 - 8362 - 36
3. Ибрагимов Ильдар Абдуллович (Санкт-Петербургское отделение Математического института им. В.А. Стеклова РАН) 389 - 6930 - 33
4. Маслов Виктор Павлович (Национальный исследовательский университет "Высшая школа экономики" (Москва)) 632 - 5756 - 20
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
13
5. Орлов Александр Иванович (Московский государственный технический университет им. Н.Э. Баумана) 356 - 5506 - 21
6. Малинецкий Георгий Геннадьевич (Институт прикладной математики им. М.В. Келдыша РАН (Москва)) 346 - 5199 - 18
7. Назаров Сергей Александрович (Институт проблем
машиноведения РАН (Санкт-Петербург) 626 - 5023 -20
8. Новиков Сергей Петрович (Математический институт им. В.А. Стеклова РАН (Москва)) 200 - 4412 - 21
Из 8 перечисленных исследователей к секции математики РАН относятся трое: Л.Д. Фаддеев, И.А. Ибрагимов и С.П. Новиков (три академика из 23, входящих в эту секцию). Член-корреспондент РАН Д.А. Новиков и академик В.П. Маслов не входят в секцию математики РАН. В список вошли также два сотрудника академических НИИ (не относящихся к секции математики РАН) и профессор вуза. Итак, профильная секция РАН - 3 из 8 (37,5%), все члены РАН - 5 из 8 (62,5%).
Приведем аналогичные данные по тематике "Экономика. Экономические науки":
1. Ковалев Валерий Викторович (Санкт-Петербургский
государственный университет) 208 - 8111 - 27
2. Клейнер Георгий Борисович (Центральный экономикоматематический институт РАН (Москва)) 287 - 7537 - 33
3. Шеремет Анатолий Данилович (Московский государственный университет им. М.В. Ломоносова) 111 - 7391 - 25
4. Гохберг Леонид Маркович (Национальный исследовательский университет "Высшая школа экономики" (Москва)) 216 - 6957 - 44
5. Ушачев Иван Григорьевич (Всероссийский научноисследовательский институт экономики сельского хозяйства (Москва)) 350 - 6282 - 39
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
14
6. Райзберг Борис Абрамович (Институт макроэкономических исследований (Москва)) 52 - 5697 - 12
7. Орлов Александр Иванович (Московский государственный технический университет им. Н.Э. Баумана) 356 - 5506 - 21
8. Стародубцева Елена Борисовна (Финансовый университет при Правительстве РФ (Москва)) 58 - 5212 - 12
9. Асаул Анатолий Николаевич (Санкт-Петербургский
государственный архитектурно-строительный университет) 273 - 4945 - 32
10. Глазьев Сергей Юрьевич (Государственная Дума РФ (Москва)) 266 - 4935 - 23
Из 10 перечисленных исследователей к секции экономики РАН относятся двое - член-корреспондент РАН Г.Б. Клейнер и академик РАН С.Ю. Глазьев (в секцию экономики РАН входят 15 академиков и 23 члена-корреспондента). Кроме того, действительный член Российской академии сельскохозяйственных наук И.Г. Ушачев в связи с реорганизацией государственных академий наук является академиком РАН. В список вошли 6 преподавателей вузов и один сотрудник НИИ. Итак, профильная секция РАН - 2 из 10 (20%), все члены РАН - 3 из 10 (80%).
Обсудим стратегии пополнения состава РАН, применяемые секциями математики и экономики.
Из 55 академиков и членов-корреспондентов секции математики 21 работает в Математическом институте им. В. А. Стеклова РАН (Москва), 8 - в Институте математики Сибирского отделения РАН (Новосибирск), 6 - в Санкт-Петербургском отделении Математического института им. В.А. Стеклова РАН, 5 - в Московском государственном университете им. М.В. Ломоносова. В перечисленных 4 организациях работают 40 членов секции, т.е. 73%. Очевидна замкнутость этой группы и ее отрыв от основной массы отечественных математиков. Цитируемость основной массы членов секции математики РАН достаточно скромная.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
15
Секция экономики (38 членов) привлекала в свои ряды представителей многих организаций, различных академических центров, разбросанных по стране. Число членов секции из одной организации не превышает 3 (Центральный экономико-математический институт (ЦЭМИ) РАН, Институт экономики РАН), максимум 4 (Институт экономики и организации промышленного производства Сибирского отделения РАН). Однако научная активность большинства членов секции явно проигрывает научной активности ведущих институтов, например, ЦЭМИ, и вузов.
Обобщая, на основе данных РИНЦ можно констатировать, что среди ведущих (по числу цитирований) отечественных ученых лишь меньшая часть включена в состав секций математики и экономики РАН. Отсюда следует, во-первых, что в настоящее время РАН не является центром научной жизни, во-вторых, что экспертные процедуры пополнения состава РАН не справились с задачей отбора наиболее продуктивных ученых.
Впрочем, вспомним, что в XIX в. наибольший вклад в российскую науку внесли Д.И. Менделеев и Н.И. Лобачевский. Ни тот, ни другой не были членами Академии, причем Д.И. Менделеев был скандально забаллотирован.
Отрыв членов РАН от основной части научных работников можно констатировать и на личном опыте. Нет у автора настоящей статьи ссылок на работы членов нынешних секции математики и секции экономики РАН. Не сделали они ничего ценного для меня. Но ссылаюсь на работы многих, кто не входит в РАН. И речь не только об академиках и членах-корреспондентах, но и об институтах РАН. Думаю, что и для многих моих коллег ситуация та же.
В январе 2006 был создан Интернет-ресурс "Есть ли польза от академиков?" [38]. В начале был поставлен вопрос: "Проведем мысленный эксперимент. Представим себе, что все перечисленные ниже математики, входящие в секцию математики РАН, 30 лет назад исчезли. Что
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
16
изменилось бы? Конечно, изменилась бы судьба их семей, учеников и сотрудников. А вот для Вас, читатель, что изменилось бы?" На 01.08.2015 указанный ресурс просмотрели более 20 тыс. раз. Но никто из читателей не привел ни одного примера пользы для своей профессиональной деятельности хотя бы одной научной публикации члена секции математики РАН. Учебники читали, речь идет об использовании результатов именно научной деятельности.
Эта ситуация является естественной. Академические НИИ уходят внутрь своих областей. Согласно "Закону Паркинсона" [39] достаточно большая организация может отгородиться от внешнего мира и работать сама на себя - одни отделы пишут документы для других отделов. В случае НИИ - печатают статьи.
Итог печален - есть ЦЭМИ, но полученные подавляющим большинством его сотрудников научные результаты мне, экономисту -исследователю и преподавателю - неизвестны, а потому и не используются. Если, конечно, они (реальные научные результаты, а не статьи и книги) есть. Аналогично для Математического института РАН. Или возьмем Институт проблем управления РАН. Управление в социально-экономической области и менеджмент - практически синонимы. Но взаимного оплодотворения идеями уже десятилетия нет. Институт проблем управления сам по себе, менеджмент как одна из экономических наук - сам по себе.
Организация и задачи РАН и ее предшественников менялись с течением времени [40]. Целесообразность выполнения фундаментальных научных исследований в специально созданных академических институтах с десятками тысяч сотрудников требует обсуждения. Может быть, их надо включить в состав вузов? Стихийная практика состоит в том, что сотрудники академических НИИ по совместительству занимаются преподаванием.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
17
Нужны ли отдельные академические НИИ? Естественнее, чтобы науку двигали преподаватели вузов. Можно спорить, является ли конкретный научный сотрудник паразитом в социальном смысле (автор настоящей статьи писал в начале 90-х, что в академических НИИ реально работает один из трех числящихся, а в прикладных - один из десяти [41]), но преподаватель заведомо им не является, поскольку учит студентов.
Проблема рациональной организации науки требует отдельного обсуждения. В настоящей статье ограничимся сделанными замечаниями.
6. Наукометрические показатели и догмы, связанные с их использованием
Число цитирований работ исследователя - это объективная оценка его вклада в науку. Если работа процитирована - значит, она понадобилась, была использована при получения получении новых научных результатов. А вот число публикаций и индекс Хирша - условные показатели. Это утверждение становится очевидным, если проанализировать работу РИНЦ, технологию формирования этих показателей.
РИНЦ учитывает ссылки так, как они приведены в списках литературных источников в публикациях. Если статья конкретного автора описана разными способами - она попадает в список его трудов несколько раз. Открыв этот список, нетрудно увидеть дубликаты. Поэтому число публикаций преувеличивается. В РИНЦ есть система "внутренних публикаций" - тех, которые имеются в электронной библиотеке РИНЦ. Именно по ним рассчитывается число цитирований определенных статей и индекс Хирша. При этом игнорируется неточные библиографические описания. Как следствие, цитируемость отдельных публикаций и индекс Хирша занижаются.
Согласно сказанному ключевым показателем эффективности научной деятельности является число цитирований. А не другие
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
18
наукометрические (число публикаций, индекс Хирша) или экспертные (ученые степени, звания, должности, членство в академиях) показатели.
Сильно влияет на наукометрические показатели неполнота библиометрических баз. Особенно это касается научных трудов, размещенных на бумажных носителях. Они не оцифрованы - а потому как бы не существуют.
Пожелание или требование об использовании западных индексов цитирования (SCOPUS, WOS) заставляет вспомнить слова "Что это — глупость или измена?" (известное выражение П.Н. Милюкова из его речи на заседании Государственной Думы Российской империи 1 ноября 1916 г.). (Как справедливо отметил А.С. Чуев, эти слова можно отнести также к ЕГЭ, к требованию об обязательном сопровождении статей аннотацией на английском языке, Хиршамании и еще ко многому, творимому в наше время.) Процитируем сводку от 10 февраля 2015 г. [42]: "Согласно наиболее полному каталогу периодических изданий Ulrichsweb, в мире сейчас издается 34 585 рецензируемых научных журналов, из них более 80% (28 134) — на английском языке... База данных SCOPUS отбирает для индексирования более 21 тыс. научных журналов из всего списка, из них около 21% — публикации не на английском языке, а 406 — российские. База данных Web of Science (WOS) подходит к отбору своих источников более избирательно и индексирует всего 8539 журналов по естественным наукам (из них 149, то есть менее 2%, — российские) и 3080 журналов по общественным наукам (из них только 3, то есть менее 0,1%, — российские). База данных РИНЦ охватывает 10 343 российских научных журнала, однако индексирует из них менее половины (4879). Но даже из этого количества в список ВАК входят всего 2269 журналов... Всего 394 российских журнала из списка ВАК (17%) индексируются в международных базах данных".
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
19
Таким образом, SCOPUS и WOS индексируют лишь весьма малую часть российских журналов. Возможно, те, кто агитирует за использование этих индексов, незнакомы с приведенными фактами. Тогда их выступления не являются квалифицированными, не соответствуют нормам научной этики, требующей исходить из проверенных фактов. Если же приведенные выше статистические данные знакомы подобному агитатору, то его действия сознательно направлены на причинение вреда отечественной науке.
"Мировая наука" - это миф. Как убедительно показал С.Н. Гринченко [43], мировая наука не является «организмом». Отечественная наука (как и отечественное народное хозяйство) является самодостаточной. Нет необходимости в тесных контактах с зарубежьем, достаточно иметь информацию о продвижениях конкурентов. Впрочем, каждому
самостоятельному научному работнику хорошо известно, что
исследование можно (а зачастую и наиболее целесообразно) начинать до знакомства с работами предшественников. Подробнее эта тема раскрыта в [1, 43] и статье "О строительстве науки в отдельно взятой стране" [19].
Мировую (глобальную) науку С.Н. Гринченко «орган» единой системы Человечества сопоставляет с другими такими «органами» -«мировым производством», «мировым образованием» и др. [43]. Организации будущего управления хозяйством (т.е. будущей глобальной и региональной экономики, экономики и организации производства на предприятиях и их объединениях) посвящена функционалистскоорганическая информационная экономика, опирающаяся на взгляды Аристотеля (ее называют также солидарной информационной экономикой или неформальной информационной экономикой будущего) [44 - 47]. В ней разрабатываются процедуры принятия согласованных решений. Аналогичные процедуры могут использованы, апробированы и внедрены доя решения различных задач управления наукой.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
20
Кому выгодно, чтобы отечественные исследователи публиковали статьи в зарубежных журналах? Деятелям этих стран, кратко, Западу. Они получают информацию о наших исследованиях. В переводе - на английском языке. Хорошо подготовленную (по правилам зарубежных журналов). Бесплатно. И не только бесплатно, но и берут с наших исследователей плату за публикацию и за подготовку рукописей к печати. При этом значительно сокращая доступность отечественных результатов для отечественных ученых. Например, зачем мне знакомиться с зарубежными журналами, когда и на свои времени не хватает?
Как подробно показано в [10, 11], нельзя ограничиваться только анализом статей в научных журналах. Другие виды публикаций не менее важны, в РИНЦ они сейчас индексируются, но отдельные администраторы науки и образования пока еще упирают именно на статьи в журналах.
В настоящее время идет борьба между двумя типами журналов. Одни полностью или на время закрывают доступ к научным материалам, стараясь получить плату за подписку. Другие, прежде всего электронные журналы, свободно размещают статьи в сети. Есть и внежурнальные сервисы, на которых сам автор может разместить свои работы. Именно так поступил наиболее известный широким массам математик XXI в. Г.Я. Перельман. Отметим, что в РИНЦ зафиксировано 343 цитирования его трудов (на 01.08.2015). Таким образом, решение трудных задач может не оказывать заметного влияния на развитие науки.
Бумажные журналы теряют тираж. Так, тираж журнала "Успехи математических наук" - 232 экз., т.е. на 38 зарегистрированных в РИНЦ математиков (на 01.08.2015 всего 8844) приходится 1 экземпляр журнала. Аналогична ситуация с бумажными книгами. Их функция меняется - они становятся не средством распространения научной информации, а "научными подарками", которыми ученые обмениваются при встречах.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
21
В перспективе ожидаем отмирания бумажных научных изданий. Останутся только публикации в Интернете. Каждый может распечатать нужные ему материалы и переплести их. В настоящее время уже есть услуга "книга по требованию" (книга печатается для конкретного заказчика в одном экземпляре).
Каковы будут функции журналов? Во-первых, журнал - средство группировки связанных между собой лиц (единомышленников, занимающихся близкой тематикой, или работающих в одной организации, и т.п.). Примерно соответствует форуму в Интернете и группе в социальных сетях. Во-вторых, журнал - инструмент для рецензирования материалов. И то, и другое не требует существования журналов как самостоятельных структур. Сгруппировать (выбрать) работы в Интернете может любой пользователь по интересующему его основанию. Как и обратиться за рецензией.
На рецензировании надо остановиться особо. Часто упирают на слова "рецензируемые журналы". При этом всем известно, что зачастую рецензии пишет сам автор. А "рецензент" подписывает, его роль сводится к одобрению статьи. Всё это напоминает ситуацию при защите диссертаций (см. выше обсуждение проблем присуждения ученых степеней в настоящей статье), но в малых масштабах.
Конечно, добросовестное рецензирование необходимо. Каждую работу должен прочесть хотя бы один специалист. Отметить недостатки, которые автор может исправить. Но есть и опасность - бойкие редактора могут внести ошибки. В результате вмешательства технического редактора в 2 мои статьи (из 75) в журнале "Заводская лаборатория. Диагностика материалов" были внесены ошибки, причем в одном из случаев смысл основного утверждения статьи изменился на противоположный.
Основная функция рецензента - поддержка автора. Продвинутые издания дают сведения о рецензентах. Например, на обороте титульного
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
22
листа книги. Целесообразно сделать обязательной нормой публикацию сведений о рецензентах вместе со статьей. О рецензировании А.С Чуев написал автору настоящей статьи: "... двумя руками голосую за
ликвидацию анонимного рецензирования. По сути, это незаконная цензура (цензура запрещена Конституцией РФ). Кроме того, у редакций должна быть в широком пользовании практика совместной публикации статей и отрицательных рецензий".
Есть проблемы с подбором рецензентов (а у рецензентов - с выделением времени на рецензирование) и оплатой рецензирования.
Странным является отрицательное отношение к самоцитированию отдельных авторов, публикующихся по вопросам оценки эффективности научной деятельности. Анализ предшественников может быть нужен в начале цикла исследований, когда нет собственных публикаций и, как следствие, самоцитирование невозможно. После получения новых самостоятельных результатов исследователь (или исследовательский коллектив) опережает других, и его новые работы опираются на ранее созданную им базу, а не на работы со стороны. Другими словами, для дальнейших статей «посторонних предшественников» попросту нет. А вот ссылок на собственные предыдущие работы объективно становится много. Необходимо указать связи новых результатов с ранее полученными тем же автором.
Таким образом, самоцитирование - это хорошо. Это значит, что ученый строит свою область. А отсутствие самоцитирования означает, что для автора эта статья - первая по новой для него тематике. Либо он -начинающий, либо "срывает яблоки из чужих садов". Типовая ситуация -берет чужую работу и изучает, конспектирует ее - получается собственное произведение. В качестве примера можно рассмотреть статью [48] по выбору средних в соответствии со шкалами измерения. В ней систематизированы публикации, порожденные нашими работами 70-х
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
23
годов. Но из обзора [48] было неясно, в каких работах получены основополагающие результаты, а какие публикации являются всего лишь комментариями. Пришлось опубликовать отдельную статью на эту тему [49]. Второй пример - статья [50]. Ее авторы взяли мою статью [51], заменили условие дифференцируемости на условие непрерывности - и получили новый научный результат. Поясним сложившуюся традицию в простых и понятных терминах: один человек построил дом, другой покрасил дверь в нем. И теперь надо ссылаться на второго из них, в лучшем случае добавляя "который развил (или улучшил) первоначальные соображения первого".
Критика научного журнала за самоцитирование выглядит особенно нелепо, поскольку противоречит естественному процессу научных исследований. Вполне естественно, что авторы, работающие по одной и той же тематике, имеют тенденцию публиковаться в одном и том же журнале и ссылаться друг на друга.
Поражает число ссылок на различные рейтинги. Не надо смотреть на рейтинги. Надо их создавать [52].
Важная проблема - классификация наук и научных специальностей. Нет в перечнях "Статистических наук" на верхнем уровне иерархии, в одном ряду с математикой и экономическими науками, - и работам автора настоящей статьи нет места в официальных научных структурах (подробнее см. [12, 14, 15]). Секция математики РАН состоит из сотрудников всего нескольких организаций - академических институтов математики в Москве, Питере и Новосибирске и МГУ им. М.В. Ломоносова, и математика в РАН представлена однобоко. Работы математиков из других организаций и/или из других направлений секция математики РАН игнорирует. Экономические науки также представлены однобоко - наблюдаем неоправданный уклон в сторону макроэкономики, а роль экономики предприятий принижена.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
24
Продвижение научного результата можно сравнить с завоеванием рынка, причем рынка капиталистического типа. Маркетинг на этом рынке могут осуществлять специальные структуры, отделенные от
исследователя, как это предлагается в [53].
Очевидна коммерческая основа многих популярных лозунгов и принятых под их влиянием решений. Бесспорно требование о первоначальной публикации в российских журналах результатов исследований, выполненных на деньги российских налогоплательщиков. Тот, кто делает первую публикацию за рубежом, наносит экономический ущерб нашей стране.
Большой вред эффективному управлению научной деятельностью наносят недостатки официальной статистики и бухгалтерского учета [54]. Согласно подходу Росстата профессор университета не является научным работником, поскольку занимает не научную, а педагогическую ставку. В результате в сводках Росстата многократно принижается научная активность вузов. В России расходы на НИР не разрешается включать в себестоимость продукции, а в Г ермании - можно, в результате отечественные предприятия проводят расходы на НИР по другим статьям, а в сводках Росстата резко занижается объем отечественных научных исследований. И т. д.
Науковедение, наукометрия, вопросы оценки эффективности и управления научной деятельностью требуют дальнейшего развития. Укажем один из перспективных подходов. Как пишет К.С. Хруцкий [55], в целом Триадологический подход как раз и утверждает равенство (значит -Триединство) всех Трех основных (супер)систем познания:
противоположных Позитивизма (математического физикализма) и Органицизма (функционалистского антропокосмизма); и промежуточного (и аксиального) Интегрализма (системного и холистического знания). Применительно к обсуждаемой теме наблюдаем триединство, в котором
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
25
противостоят друг другу Глобальная наука и Ученый, творящий новое знание, а промежуточная Интегральная система соответствует их взаимодействию. Эта метафора (словесная модель) заслуживает подробного развития.
Многие положения настоящей статьи близки к позиции академика РАН, генерального директора ВИАМ Е.Н. Каблова [56].
Автор благодарен Ю.В. Грановскому, Д.С. Шмерлингу и А.С. Чуеву за полезные обсуждения.
Литература
1. Орлов А.И. Наука как объект управления // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета.
2014. № 101. С. 1243 - 1273. URL: http://ej.kubagro.ru/2014/07/pdf/11.pdf (дата обращения 11.08.2015).
2. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
3. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета.
2015. № 108. С. 1-29. URL: http://ei.kubagro.ru/2015/04/pdf/01.pdf (дата обращения
11.08.2015).
4. Луценко Е.В. Синтез и верификация многокритериальной системно-
когнитивной модели университетского рейтинга Гардиан и ее применение для сопоставимой оценки эффективности российских вузов с учетом направления подготовки // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 107. С. 1-62. URL:
http://ej.kubagro.ru/2015/03/pdf/01.pdf (дата обращения 11.08.2015).
5. . Каплан Р., Нортон Д. Сбалансированная система показателей. От стратегии к действию. 2-е изд., испр. и доп. - М.: ЗАО «Олимп-Бизнес», 2008. — 320 с.
6. Орлов А.И., Луценко Е.В., Лойко В.И. Перспективные математические и инструментальные методы контроллинга. Под научной ред. проф. С.Г. Фалько. Монография (научное издание). - Краснодар, КубГАУ. 2015. - 600 с. URL: http://elibrary.ru/item.asp?id=23209923 (дата обращения 11.08.2015).
7. Орлов А.И. О развитии контроллинга научной деятельности // Контроллинг на малых и средних предприятиях ((Прага, 25 апреля, 2014, Высшая школа финансов и управления). Сборник научных трудов IV международного конгресса по контроллингу. Под научной редакцией д.э.н., профессора Фалько С.Г. -Прага - Москва, НП «Объединение контроллеров», 2014. - С. 227 - 231. URL: http://controlling.ru/files/56.pdf (дата обращения 30.07.2015).
8. Мухин В.В., Орлов А.И. О контроллинге научной деятельности // Политематический сетевой электронный научный журнал Кубанского
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
26
государственного аграрного университета. 2014. № 100. С. 1222-1237. URL:
http://ej.kubagro.ru/2014/06/pdf/13.pdf (дата обращения 30.07.2015).
9. Мухин В.В., Орлов А.И. Совершенствование организационных структур и контроллинг персонала на предприятиях типа "Научно-исследовательский институт" ракетно-космической промышленности // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2015. № 109. С. 265-296. URL: http://ej.kubagro.ru/2015/05/pdf/16.pdf (дата обращения 30.07.2015).
10. Управление большими системами / Сборник трудов. Специальный
выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - 568 с. URL:
http://ubs.mtas.ru/archive/index.php?SECTION_ID=685 (дата обращения 30.07.2015).
11. Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - 572 с.
12. Орлов А.И. Два типа методологических ошибок при управлении научной
деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.32 - 54. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19050 (дата обращения
30.07.2015) .
13. Орлов А. И. Наукометрия и управление научной деятельностью //
Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.538 - 568. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19078 (дата обращения
30.07.2015) .
14. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528 - 533.
15. Орлов А.И. Примеры методологических ошибок при управлении научной
деятельностью // Проблемы наукометрии: состояние и перспективы развития.
Международная конференция. - М.: Ин-т проблем развития науки РАН, 2013. - С.107 -109.
16. Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. - 2013. - №3(49). - С.72-78.
17. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. - 2014. - № 7 (358). - С.21-29.
18. Орлов А.И. О показателях эффективности научной деятельности // Дайджест-финансы. 2014. № 2. С.50 - 56.
19. Орлов А. И. О строительстве науки в отдельно взятой стране //
Biocosmology - neo-Aristotelism. 2014, Summer. Vol.4. No. 3. Pp. 203 - 223. URL: https://sites.google.c0m/site/biocosmologyneoaristotelism/home/1 (дата обращения
30.07.2015) .
20. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей
о библиометрике). - М.: Московский центр непрерывного математического
образования, 2011. - 72 c.
21. Чудова Н.В. Помериться «хиршами», или о новом цивилизационном вызове // Вестник Российской академии наук. 2014. Т.84. № 5. С.462 - 464.
22. Бугаченко А.Л. Почему Хирш плох? // Вестник Российской академии наук. 2014. Т.84. № 5. С.461 - 461.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
27
23. Миркин Б.Г. О понятии научного вклада и его измерителях // Управление
большими системами. 2013. № 44. С. 292 - 307. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19064 (дата обращения
30.07.2015).
24. Форум сайта "Высокие статистические технологии". Режим доступа: http://forum.orlovs.pp.ru/ (дата обращения 30.07.2015).
25. Орлов А.И. Принятие решений и экспертные оценки в авиации и
ракетно-космической промышленности // Теория активных систем: Труды
международной научно-практической конференции (17-19 ноября 2014 г., Москва, Россия). Общая редакция - В.Н. Бурков, Д.А. Новиков. - М.: ИПУ РАН, 2014. С. 81 -82. [Электронный ресурс]. Режим доступа: http://www.mtas.ru/upload/library/tas2014/S2-PDF/2-10.pdf (дата обращения 30.07.2015).
26. Орлов А. И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Заводская лаборатория. Диагностика материалов. 1987. Т.53. № 3. С .90 - 91.
27. Орлов А.И. Всемирный Конгресс Общества им. Бернулли // Стандарты и качество. 1987. № 5. С. 105 - 106.
28. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Надежность и контроль качества. 1987. № 6. С. 54 - 59.
29. Кендалл М.Дж., Стьюарт А. Теория распределений. - М.: Наука, 1966. -
588 с.
30. Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. - М.: Наука, 1973. - 896 с.
31. Кендалл М.Дж., Стьюарт А. Многомерный статистический анализ и временные ряды. - М.: Наука, 1976. - 736 с.
32. Семитомник "Новая хронология". [Электронный ресурс]. Режим доступа: http://chronologia.org/lit7a.html (дата обращения 30.07.2015).
33. Налимов В.В., Баринова З.Б. Этюды по истории кибернетики // Философия науки. 2000. №1 (7). С. 55-78.
34. Лем С. Сумма технологии: Собр. соч. Т.13 (дополнительный). - М.: Текст, 1996. - 463 с.
35. Орлов А.И. Менеджмент: организационно-экономическое
моделирование. - Ростов-на-Дону: Феникс, 2009. - 475 с.
36. Диссернет [Электронный ресурс]. Режим доступа:
http://www.dissernet.org/about/ (дата обращения 30.07.2015).
37. Понтрягин Л.С. Жизнеописание Л.М. Понтрягина, математика, составленное им самим. Рождения 1908 г., Москва. — М.: Прима В, 1998. — 340 с.
38. Есть ли польза от академиков? [Электронный ресурс]. Режим доступа: http://forum.orlovs.pp.ru/viewtopic.php?f=5&t=270 (дата обращения 30.07.2015).
39. Паркинсон С.Н. Законы Паркинсона: Сборник: Пер. с англ./ Сост. и авт. предисл. В. С. Муравьёв.— М.: Прогресс, 1989.— 448 с.
40. Хромов Г.С. Наука, которую мы теряем. — Москва: Космосинформ, 1995. - 104 с.
41. Орлов А.И. Социологический прогноз развития российской науки на 1993-1995 гг. // Наука и технология в России. 1993. № 1. С. 29-30.
42. Где публикуются рецензируемые научные статьи? // Троицкий вариант. 2015. № 172. С. 3-3. Режим доступа: http://trv-science.ru/2015/02/10/gde-publikuyutsya-recenziruemye-nauchnye-stati/ (дата обращения 30.07.2015).
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
28
43. Гринченко С.Н. Является ли мировая наука «организмом»? //
Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. № 1 - 2 (Winter / Spring 2014). Pp. 115 - 122. URL:
https://sites.google.com/site/biocosmologyneoaristotelism/home/1-1 (дата обращения
30.07.2015) .
44. Орлов А.И. Аристотель и неформальная информационная экономика
будущего // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol.2. № 3. (Summer, 2012). С. 150 - 164. URL:
https://sites.google.com/site/biocosmologyneoaristotelism1/home/vol-2-no-3-summer-2012 (дата обращения 30.07.2015).
45. Orlov A. I. Functionalist-Organic Information Economy - the Organizational-
Economic Theory of Innovation Development // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. - Vol.3. № 1 (Winter 2013). - P. 52 - 59. URL: https://sites.google.com/site/biocosmologyneoaristotelism1/home/vol-3-no-1-winter-
2013 (дата обращения 30.07.2015).
46. Орлов А.И. Проблемы методологии государственной политики и управления в неформальной информационной экономике будущего // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2013. № 88. С. 653-679. URL: http://ej.kubagro.ru/2013/04/pdf/41.pdf (дата обращения 30.07.2015).
47. Орлов А.И. Солидарная информационная экономика - инструмент реализации национальных интересов // Национальные интересы: приоритеты и безопасность. 2013. № 33 (222). С. 2 - 10.
48. Барский Б.В., Соколов М.В. Средние величины, инвариантные относительно допустимых преобразований шкалы измерения // Заводская лаборатория. Диагностика материалов. 2006. Т.72. №1. С. 59-66.
49. Орлов А.И. Математические методы исследования и теория измерений // Заводская лаборатория. Диагностика материалов. 2006. Т.72. №1. С. 67-70.
50. Пресман Э.Л., Сластников А.Д. Характеризация одной модели динамического программирования // Вероятностные модели и управление экономическими процессами. М.: ЦЭМИ АН СССР, 1978. С. 169-183.
51. Orlov A. Sur la stabilite' dans les modeles economiques discrets et les modeles de gestion des stocks // Publications Econometriques. 1977. Vol.X. F. 2. Pp. 63-81.
52. Орлов А.И. Математическая теория рейтингов - инструмент изучения успешности социальных систем // Успешность развития социальных систем и государственная политика и управление. Материалы Всероссийской научнообщественной конференции. Москва, 28 ноября 2014 г. М.: Наука и политика, 2015. С. 94-102.
53. Милек О.В., Шмерлинг Д.С. О продвижении университета на
международном академическом «рынке» // Управление большими системами. 2013. № 44. С. 139-143. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19055 (дата обращения
30.07.2015) .
54. Ложь официальной статистики [Электронный ресурс]. Режим доступа: http://forum.orlovs.pp.ru/viewtopic.php?f=2&t=1051 (дата обращения 30.07.2015).
55. Хруцкий К. С. Триадический биокосмологический подход к вопросам развития науки России // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
29
Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol.3. № 3 (Summer 2013). Pp. 375 - 390. URL: https://sites.google.com/site/biocosmologyneoaristotelism1/home/vol-3-no-3-summer-2013 (дата обращения 30.07.2015).
56. Каблов Е.Н. Право на рейтинг. Как оценить интеллектуальный ресурс России? // Газета «Поиск», №№ 45-46, 14.11.2014. [Электронный ресурс]. Режим доступа: http://www.poisknews.rU/theme/publications/12395/#.Vc47Y CAP9as.vk (дата обращения
14.08.2015) .
References
1. Orlov A.I. Nauka kak ob#ekt upravlenija // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 101. S. 1243 - 1273. URL: http://ej.kubagro.ru/2014/07/pdf/11.pdf (data obrashhenija
11.08.2015) .
2. Nalimov V.V., Mul'chenko Z.M. Naukometrija. Izuchenie razvitija nauki kak informacionnogo processa. - M.: Nauka, 1969. - 192 s.
3. Lucenko E.V. Hirshamanija pri ocenke rezul'tatov nauchnoj dejatel'nosti, ee
negativnye posledstvija i popytka ih preodolenija s primeneniem mnogokriterial'nogo podhoda i teorii informacii // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 108. S. 1-29. URL:
http://ej.kubagro.ru/2015/04/pdf/01.pdf (data obrashhenija 11.08.2015).
4. Lucenko E.V. Sintez i verifikacija mnogokriterial'noj sistemno-kognitivnoj
modeli universitetskogo rejtinga Gardian i ee primenenie dlja sopostavimoj ocenki jeffektivnosti rossijskih vuzov s uchetom napravlenija podgotovki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 107. S. 1-62. URL: http://ej.kubagro.ru/2015/03/pdf/01.pdf (data obrashhenija
11.08.2015) .
5. . Kaplan R., Norton D. Sbalansirovannaja sistema pokazatelej. Ot strategii k dejstviju. 2-e izd., ispr. i dop. - M.: ZAO «Olimp-Biznes», 2008. — 320 s.
6. Orlov A.I., Lucenko E.V., Lojko V.I. Perspektivnye matematicheskie i
instrumental'nye metody kontrollinga. Pod nauchnoj red. prof. S.G. Fal'ko. Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2015. - 600 s. URL:
http://elibrary.ru/item.asp?id=23209923 (data obrashhenija 11.08.2015).
7. Orlov A.I. O razvitii kontrollinga nauchnoj dejatel'nosti // Kontrolling na malyh i srednih predprijatijah ((Praga, 25 aprelja, 2014, Vysshaja shkola finansov i upravlenija). Sbornik nauchnyh trudov IV mezhdunarodnogo kongressa po kontrollingu. Pod nauchnoj redakciej d.je.n., professora Fal'ko S.G. - Praga - Moskva, NP «Ob#edinenie kontrollerov», 2014. - S. 227 - 231. URL: http://controlling.ru/files/56.pdf (data obrashhenija
30.07.2015) .
8. Muhin V.V., Orlov A.I. O kontrollinge nauchnoj dejatel'nosti //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2014. № 100. S. 1222-1237. URL:
http://ej.kubagro.ru/2014/06/pdf/13.pdf (data obrashhenija 30.07.2015).
9. Muhin V.V., Orlov A.I. Sovershenstvovanie organizacionnyh struktur i kontrolling personala na predprijatijah tipa "Nauchno-issledovatel'skij institut" raketno-kosmicheskoj promyshlennosti // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2015. № 109. S. 265-296. URL: http://ej.kubagro.ru/2015/05/pdf/16.pdf (data obrashhenija 30.07.2015).
10. Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju.
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
30
Chebotareva]. M.: IPU RAN, 2013. - 568 s. URL:
http://ubs.mtas.ru/archive/index.php?SECTION_ID=685 (data obrashhenija 30.07.2015).
11. Naukometrija i jekspertiza v upravlenii naukoj: sbornik statej / Pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva. - M.: IPU RAN, 2013. - 572 s.
12. Orlov A.I. Dva tipa metodologicheskih oshibok pri upravlenii nauchnoj
dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - S.32 - 54. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19050 (data obrashhenija
30.07.2015) .
13. Orlov A.I. Naukometrija i upravlenie nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN,
2013. - S.538 - 568. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19078 (data obrashhenija
30.07.2015) .
14. Orlov A.I. O nekotoryh metodologicheski oshibochnyh metodah analiza i ocenki rezul'tatov nauchnoj dejatel'nosti // Rossija: tendencii i perspektivy razvitija. Ezhegodnik. Vyp. 8. / RAN. INION. Otd. nauch. sotrudnichestva i mezhdunar. svjazej; Otv. red. Ju.S. Pivovarov. - M., 2013. - Ch. 2. - S.528 - 533.
15. Orlov A.I. Primery metodologicheskih oshibok pri upravlenii nauchnoj dejatel'nost'ju // Problemy naukometrii: sostojanie i perspektivy razvitija. Mezhdunarodnaja konferencija. - M.: In-t problem razvitija nauki RAN, 2013. - S.107 - 109.
16. Orlov A.I. Kriterii vybora pokazatelej jeffektivnosti nauchnoj dejatel'nosti // Kontrolling. - 2013. - №3(49). - S.72-78.
17. Orlov A.I. O pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Jekonomicheskij analiz: teorija i praktika. - 2014. - № 7 (358). - S.21-29.
18. Orlov A.I. O pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Dajdzhest-finansy. 2014. № 2. S.50 - 56.
19. Orlov A.I. O stroitel'stve nauki v otdel'no vzjatoj strane // Biocosmology - neo-
Aristotelism. 2014, Summer. Vol.4. No. 3. Pp. 203 - 223. URL:
https://sites.google.com/site/biocosmologyneoaristotelism/home/1 (data obrashhenija
30.07.2015) .
20. Igra v cyfir', ili kak teper' ocenivajut trud uchenogo (sbornik statej o bibliometrike). - M.: Moskovskij centr nepreryvnogo matematicheskogo obrazovanija, 2011. - 72 c.
21. Chudova N.V. Pomerit'sja «hirshami», ili o novom civilizacionnom vyzove // Vestnik Rossijskoj akademii nauk. 2014. T.84. № 5. S.462 - 464.
22. Bugachenko A.L. Pochemu Hirsh ploh? // Vestnik Rossijskoj akademii nauk.
2014. T.84. № 5. S.461 - 461.
23. Mirkin B.G. O ponjatii nauchnogo vklada i ego izmeriteljah // Upravlenie
bol'shimi sistemami. 2013. № 44. S. 292 - 307. URL:
http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19064 (data obrashhenija
30.07.2015) .
24. Forum sajta "Vysokie statisticheskie tehnologii". Rezhim dostupa: http://forum.orlovs.pp.ru/ (data obrashhenija 30.07.2015).
25. Orlov A.I. Prinjatie reshenij i jekspertnye ocenki v aviacii i raketno-kosmicheskoj promyshlennosti // Teorija aktivnyh sistem: Trudy mezhdunarodnoj nauchno-prakticheskoj konferencii (17-19 nojabrja 2014 g., Moskva, Rossija). Obshhaja redakcija -V.N. Burkov, D.A. Novikov. - M.: IPU RAN, 2014. S. 81 - 82. [Jelektronnyj resurs]. Rezhim
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
31
dostupa: http://www.mtas.ru/upload/library/tas2014/S2-PDF/2-10.pdf (data obrashhenija
30.07.2015) .
26. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Zavodskaja laboratorija. Diagnostika materialov. 1987. T.53. № 3. S .90 - 91.
27. Orlov A.I. Vsemirnyj Kongress Obshhestva im. Bernulli // Standarty i kachestvo. 1987. № 5. S. 105 - 106.
28. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Nadezhnost' i kontrol' kachestva. 1987. № 6. S. 54 - 59.
29. Kendall M.Dzh., St'juart A. Teorija raspredelenij. - M.: Nauka, 1966. -588 s.
30. Kendall M.Dzh., St'juart A. Statisticheskie vyvody i svjazi. - M.: Nauka, 1973.
- 896 s.
31. Kendall M.Dzh., St'juart A. Mnogomernyj statisticheskij analiz i vremennye rjady. - M.: Nauka, 1976. - 736 s.
32. Semitomnik "Novaja hronologija". [Jelektronnyj resurs]. Rezhim dostupa: http://chronologia.org/lit7a.html (data obrashhenija 30.07.2015).
33. Nalimov V.V., Barinova Z.B. Jetjudy po istorii kibernetiki // Filosofija nauki. 2000. №1 (7). S. 55-78.
34. Lem S. Summa tehnologii: Sobr. soch. T.13 (dopolnitel'nyj). - M.: Tekst, 1996. - 463 s.
35. Orlov A.I. Menedzhment: organizacionno-jekonomicheskoe modelirovanie. -Rostov-na-Donu: Feniks, 2009. - 475 s.
36. Dissernet [Jelektronnyj resurs]. Rezhim dostupa:
http://www.dissernet.org/about/ (data obrashhenija 30.07.2015).
37. Pontrjagin L.S. Zhizneopisanie L.M. Pontrjagina, matematika, sostavlennoe im samim. Rozhdenija 1908 g., Moskva. — M.: Prima V, 1998. — 340 s.
38. Est' li pol'za ot akademikov? [Jelektronnyj resurs]. Rezhim dostupa: http://forum.orlovs.pp.ru/viewtopic.php?f=5&t=270 (data obrashhenija 30.07.2015).
39. Parkinson S.N. Zakony Parkinsona: Sbornik: Per. s angl./ Sost. i avt. predisl. V. S. Murav'jov.— M.: Progress, 1989.— 448 s.
40. Hromov G.S. Nauka, kotoruju my terjaem. — Moskva: Kosmosinform, 1995. -
104 s.
41. Orlov A.I. Sociologicheskij prognoz razvitija rossijskoj nauki na 1993-1995 gg. // Nauka i tehnologija v Rossii. 1993. № 1. S. 29-30.
42. Gde publikujutsja recenziruemye nauchnye stat'i? // Troickij variant. 2015. №
172. S. 3-3. Rezhim dostupa: http://trv-science.ru/2015/02/10/gde-publikuyutsya-
recenziruemye-nauchnye-stati/ (data obrashhenija 30.07.2015).
43. Grinchenko S.N. Javljaetsja li mirovaja nauka «organizmom»? //
Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol. 4. № 1 - 2 (Winter / Spring 2014). Pp. 115 - 122. URL:
https://sites.google.com/site/biocosmologyneoaristotelism/home/1-1 (data obrashhenija
30.07.2015) .
44. Orlov A.I. Aristotel' i neformal'naja informacionnaja jekonomika budushhego
// Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol.2. № 3. (Summer, 2012). S. 150 - 164. URL:
https://sites.google.com/site/biocosmologyneoaristotelism1/home/vol-2-no-3-summer-2012 (data obrashhenija 30.07.2015).
http://ej.kubagro.ru/2015/07/pdf/06.pdf
Научный журнал КубГАУ, №111(07), 2015 года
32
45. Orlov A. I. Functionalist-Organic Information Economy - the Organizational-
Economic Theory of Innovation Development // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. - Vol.3. № 1 (Winter 2013). - P. 52 - 59. URL: https://sites.google.com/site/biocosmologyneoaristotelism1/home/vol-3-no-1-winter-
2013 (data obrashhenija 30.07.2015).
46. Orlov A.I. Problemy metodologii gosudarstvennoj politiki i upravlenija v neformal'noj informacionnoj jekonomike budushhego // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta. 2013. № 88. S. 653679. URL: http://ej.kubagro.ru/2013/04/pdf/41.pdf (data obrashhenija 30.07.2015).
47. Orlov A.I. Solidarnaja informacionnaja jekonomika - instrument realizacii nacional'nyh interesov // Nacional'nye interesy: prioritety i bezopasnost'. 2013. № 33 (222). S. 2 - 10.
48. Barskij B.V., Sokolov M.V. Srednie velichiny, invariantnye otnositel'no dopustimyh preobrazovanij shkaly izmerenija // Zavodskaja laboratorija. Diagnostika materialov. 2006. T.72. №1. S. 59-66.
49. Orlov A.I. Matematicheskie metody issledovanija i teorija izmerenij // Zavodskaja laboratorija. Diagnostika materialov. 2006. T.72. №1. S. 67-70.
50. Presman Je.L., Slastnikov A.D. Harakterizacija odnoj modeli dinamicheskogo programmirovanija // Verojatnostnye modeli i upravlenie jekonomicheskimi processami. M.: CJeMI AN SSSR, 1978. S. 169-183.
51. Orlov A. Sur la stabilite' dans les modeles economiques discrets et les modeles de gestion des stocks // Publications Econometriques. 1977. Vol.X. F. 2. Pp. 63-81.
52. Orlov A.I. Matematicheskaja teorija rejtingov - instrument izuchenija uspeshnosti social'nyh sistem // Uspeshnost' razvitija social'nyh sistem i gosudarstvennaja politika i upravlenie. Materialy Vserossijskoj nauchno-obshhestvennoj konferencii. Moskva, 28 nojabrja 2014 g. M.: Nauka i politika, 2015. S. 94-102.
53. Milek O.V., Shmerling D.S. O prodvizhenii universiteta na mezhdunarodnom akademicheskom «rynke» // Upravlenie bol'shimi sistemami. 2013. № 44. S. 139-143. URL: http://ubs.mtas.ru/archive/search_results_new.php?publication_id=19055 (data obrashhenija
30.07.2015) .
54. Lozh' oficial'noj statistiki [Jelektronnyj resurs]. Rezhim dostupa: http://forum.orlovs.pp.ru/viewtopic.php?f=2&t=1051 (data obrashhenija 30.07.2015).
55. Hruckij K.S. Triadicheskij biokosmologicheskij podhod k voprosam razvitija nauki Rossii // Biocosmology - neo-Aristotelism. Bilingual Electronic Journal of Universalizing Scientific and Philosophical Research based upon the Original Aristotelian Cosmological Organicism. Vol.3. № 3 (Summer 2013). Pp. 375 - 390. URL: https://sites.google.com/site/biocosmologyneoaristotelism1/home/vol-3-no-3-summer-2013 (data obrashhenija 30.07.2015).
56. Kablov E.N. Pravo na rejting. Kak ocenit' intellektual'nyj resurs Rossii? //
Gazeta «Poisk», №№ 45-46, 14.11.2014. [Jelektronnyj resurs]. Rezhim dostupa:
http://www.poisknews.ru/theme/publications/12395/#.Vc47YCAP9as.vk (data obrashhenija
14.08.2015) .
http://ej.kubagro.ru/2015/07/pdf/06.pdf
