CC BY
118
УДК 330.322.16:629.78
О КОНТРОЛЛИНГЕ НАУЧНОЙ ДЕЯТЕЛЬНОСТИ
Мухин Владимир Викторович
Филиал федерального государственного унитарного предприятия «Центр эксплуатации объектов наземной космической инфраструктуры» - «Научноисследовательский институт прикладной механики имени академика В.И. Кузнецова» Россия, 111123, г. Москва, ул. Авиамоторная, 55, у99.тикт®уапйех.ги
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, рго{-ог1оу®та11. ги
Выделена новая область контроллинга -контроллинг научной деятельности. Рассмотрены некоторые проблемы развития этой области, прежде всего проблема выбора ключевых показателей эффективности. Установлено, что стимулированная административными мерами погоня за числом опубликованных статей в научных журналах мешает развитию науки. Методологические ошибки - упор на индексы цитирования, импакт-факторы и т.п. -приводят к неправильным управленческим решениям. Как показывает опыт Великобритании, в управлении наукой необходимо применять экспертизы. Кратко обсуждаются некоторые недостатки сложившейся системе научных специальностей. Предлагается развернуть научные исследования по науковедению и контроллингу научной деятельности. Обсуждаются проблемы контроллинга в научно-исследовательских организациях прикладного профиля
Ключевые слова: КОНТРОЛЛИНГ, НАУЧНАЯ ДЕЯТЕЛЬНОСТЬ, ТРАЕКТОРИЯ РАЗВИТИЯ НАУЧНОГО РЕЗУЛЬТАТА, КЛЮЧЕВЫЕ ПОКАЗАТЕЛИ ЭФФЕКТИВНОСТИ, ПУБЛИКАЦИИ В НАУЧНЫХ ЖУРНАЛАХ, ИМПАКТ-ФАКТОР, СИСТЕМА НАУЧНЫХ СПЕЦИАЛЬНОСТЕЙ
UDC 330.322.16:629.78
ABOUT CONTROLLING OF SCIENTIFIC ACTIVITY
Mukhin Vladimir Viktorovich
Branch of Federal State Unitary Enterprise "Center
for operation of ground-based space infrastructure"
- "Research Institute of Applied Mechanics named of academician V.I. Kuznetsov", Moscow, Russia
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
We have selected the new area of controlling -scientific activity controlling. We consider some problems of development in this field, primarily the problem of selection of key performance indicators. It’s been founded that administrative measures stimulated the pursuit of a number of articles published in scientific journals hinders the development of science. Methodological errors -emphasis on citation indexes, impact factors, etc. -lead to wrong management decisions. As the experience of the UK, an expertise should be applied in the management of science. The article briefly discusses some of the drawbacks of the system of scientific specialties. It is proposed to expand research on the science of science and scientific activity controlling. We have also discussed the problems of controlling in applied research organizations
Keywords: CONTROLLIMG, SCIENTIFIC ACTIVITY, TRAJECTORY OF DEVELOPMENT OF SCIENTIFIC RESULTS, KEY PERFORMANCE IDICATORS, ARTICLES IN SCIENTIFIC MAGAZINES, IMPACT FACTOR, SYSTEM OF SCIENTIFIC SPECIALITIES
1. Введение
Наука и научное обслуживание - крупная отрасль народного хозяйства, число работников - сотни тысяч. Констатируем, что в настоящее время общее число работников науки установить затруднительно, поскольку в отчетности Росстата учитываются лишь те,
кто занимает должности, официально отнесенные к науке. В результате профессор вуза с точки зрения Росстата не является научным работником (он относится к категории лиц, оказывающих образовательные услуги). Однако это обстоятельство не мешает управленцам оценивать научную активность профессорско-преподавательского состава по показателям, несостоятельность которых покажем далее.
Согласно С.Г. Фалько, контроллинг - это «система информационноаналитической и методической поддержки по достижению поставленных целей» [1]. Подобная система полезна в любой области деятельности. Для научной деятельности она необходима. Однако приходится констатировать, что в настоящее время управление наукой ведется без адекватной системы контроллинга, в частности, из-за отсутствия должной проработки проблем контроллинга научной деятельности.
В настоящей статье выделяем новую область контроллинга -контроллинг научной деятельности - и рассматриваем некоторые проблемы развития этой области, прежде всего проблему выбора ключевых показателей эффективности деятельности научных работников [2, 3] и организации службы контроллинга в научно-исследовательском институте, ведущем прикладные разработки.
2. Некоторые проблемы применения наукометрии и экспертизы в управлении наукой
С позиций контроллинга рассмотрим проблемы применения наукометрии и экспертизы в управлении наукой, исходя из материалов дискуссии [4, 5], организованной нами совместно с Д.А. Новиковым, П.Ю. Чеботаревым и М.В. Губко.
Анализ современного состояния в области управления наукой позволяет указать ряд назревших проблем [6]. В частности, по нашему мнению:
1. Стимулированная административными мерами погоня за числом опубликованных статей в научных журналах мешает развитию науки.
2. Сложившаяся система научных специальностей в ряде случаев противоречит реальной структуре науки и мешает ее развитию.
3. Действующая процедура защиты диссертаций приводит к нерациональной растрате времени высококвалифицированных специалистов (докторов наук), и т.д.
Рассмотрим первую из указанных проблем. Прежде всего констатируем принципиальное различие постановок задач оценивания научной деятельности (отдельных исследователей, лабораторий, организаций) в фундаментальной науке и в прикладной науке. Исследования в прикладной науке ведутся в интересах конкретного заказчика, который и оценивает полученные результаты. Изложение их в научных изданиях не является необходимым, в то время как в фундаментальной науке результат не существует без его публикации.
По нашему мнению, наиболее естественная траектория развития научного результата и соответствующая цепочка публикаций таковы:
- тезисы доклада на научном собрании (конференции, семинаре);
- тематический сборник (содержащий статьи участников конференции или постоянно действующего семинара);
- монография (подводящая итоги определенному этапу развития исследований);
- учебник (предназначенный для передачи знаний следующему поколению специалистов);
- широкое использование.
Именно так развивались научные направления в области статистики нечисловых данных [7] или теории экспертных оценок [8]. Констатируем, что публикации в научных журналах не являются необходимыми для развития научных исследований.
Кроме числа публикаций, в качестве ключевых показателей эффективности в настоящее время административно внедряются показатели цитируемости и импакт-факторы журналов. Вполне естественно, что научное сообщество в ответ на нажим предпринимает ответные меры. И эти меры отнюдь не всегда помогают развитию науки.
Как в ответ на административный нажим можно поднять показатели цитирования и импакт-фактор журнала, чтобы увеличить финансирование?
Вот реально применяемый план мероприятий (по аналогии со сбором десятка - другого отзывов на диссертацию и автореферат, которые, как все специалисты знают, обычно пишет сам соискатель): вместо одной полноценной статьи делим ее на последовательные кусочки, допускающие дальнейшее развитие, создаем команду «авторов» и рассылаем по журналам, затем перекрестно продолжаем «развитие» положений исходного набора статей. Целесообразно в первых публикациях допустить неточности, ошибки, недоработки. Тогда появляется основания для публикации следующих статей, улучшающих предыдущие.
Главное, не получить слишком рано окончательный результат и тем самым не прекратить поток новых статей. В математической работе существование пятого момента случайной величины можно последовательно заменять на существование четвертого, третьего и второго. Или вместо условия дифференцируемости функции обойтись условием непрерывности. В результате получаем «облако» взаимно ссылающихся потоков статей в связке из нескольких журналов.
Выпуск монографии прекращает поток ссылок на предыдущие статьи, следовательно, невыгоден.
Почему активны пропагандисты индексов цитирования и импакт-факторов? Почему пропагандисты таких показателей, как «число публикаций», «индекс цитирования», «индекс Хирша», делают упор на публикации в научных журналах?
Одна из причин - потому что таким путем оценку научной продуктивности можно проводить путем формального применения программного продукта. Достаточно составить базу данных из списков литературных ссылок в электронных версиях журналов и формально ее обработать.
Другая причина - «владельцы» журналов (в частности, редакторы, члены редакционных советов, основные авторы) таким образом закрепляют свои позиции в научном мире. В их руках - ресурс (возможность публикации в журнале, включенном в привилегированную наукометрическую базу данных), необходимый для профессиональной деятельности.
Третья причина - коммерческие интересы фирм, специализирующихся на ведении наукометрических баз данных и расчете индексов типа SCOPUS и аналогичных.
3. Некоторые предложения
Обсудим последствия. Методологические ошибки - упор на индексы цитирования, импакт-факторы и т.п. - приводят к неправильным
управленческим решениям. Не получают адекватной оценки новые научные направления, которые еще не обзавелись своими журналами. Вне оценивания оказываются наиболее ценные результаты, отраженные в монографиях и учебниках. Оценка по публикациям в научных журналах объективно задерживает подготовку книжных изданий - ведь после выхода книги ссылаться будут на нее, а не на предыдущие статьи. Ссылки на работы, в которых получены принципиально новые результаты, «тонут» среди ссылок на массы эпигонов. На настоящий момент существенно, что в современных условиях отнюдь не все отечественные журналы имеют полноценные электронные версии, и не все включены в системы учета цитирования. Сказанное объясняет, почему Международный союз
математиков предостерегает от неправильного использования статистики цитирований [9].
Мнения участников дискуссии 2013 г. собраны в [4, 5], их анализу посвящена статья [10]. Практически все авторы статей в [4, 5] полагают, что помимо наукометрических показателей в управлении наукой необходимо применять экспертизы. Представляется полезным опыт Великобритании, где каждый университетский департамент (кафедра) проходит всестороннюю оценку каждые 5-6 лет в рамках т.н. Упражнения по оценке научных исследований (Research Assessment Exercise). При этом департамент отчитывается, прежде всего, в разрезе:
(1) защищённых диссертаций,
(2) научных публикаций,
(3) полученных грантов, а также
(4) уровня признания и
(5) условий труда.
С этой целью создаётся порядка 60 - 70 комиссий национального уровня, каждая из которых обслуживает соответствующий раздел науки (см., например, http://www.rae.ac.uk/), которым приходится интенсивно работать над упорядочением научных результатов департаментов по своему профилю в течение месяца-двух [11].(Миркин Б.Г., 2013).
Как отмечено выше, проблема обоснованного выбора ключевых показателей эффективности научной деятельности - не единственная нерешенная проблема в области управления наукой.
Кратко обсудим некоторые недостатки сложившейся системы научных специальностей (см. также [6, 12]). Наблюдаем:
1) неестественное объединение математики и физики в «физикоматематические науки»;
2) наличие двух «осколков» статистики (внутри экономики и математики) вместо науки «Статистика» верхнего уровня;
3) осколок кибернетики (в математике) вместо науки «Кибернетика» верхнего уровня;
4) менеджмент помещен внутри экономических наук, в то время как экономическая проблематика оставляет лишь часть менеджмента (управления предприятиями, отраслями, народным хозяйством).
Предлагаем для обсуждения два частных предложения:
1. Разделить специальность 08.00.05 «Экономика и управление в народном хозяйстве» на отдельные специальности в соответствии с уже реально выделенными специализациями.
2. Ввести на верхнем уровне иерархии научных специальностей «Управленческие науки» (равнозначные с «Экономическими науками») и другие, перечисленные ранее («Статистика» и «Кибернетика»).
И глобальное предложение - развернуть научные исследования по науковедению и контроллингу научной деятельности, в частности, по выработке обоснованной системы ключевых показателей эффективности и методов ее оценки, включая процедуры защиты диссертаций, а также адекватной классификации научных специальностей [13].
Отметим, что многие из обсуждаемых в настоящей статье проблем были впервые рассмотрены В.В. Налимовым 45 лет назад в книге [14].
4. Контроллинг в научно-исследовательских организациях прикладного профиля
В современных условиях хозяйствования широкое распространение в расчетах между организациями получила предоплата в связи с катастрофическим уровнем неплатежей и невыполнения обязательств среди субъектов экономики. В таких условиях расчет фактической себестоимости продукции потерял монопольное положение для определения цены (как и во всем экономически развитом мире, но по
другим причинам). Недаром в нашей экономической жизни обычным явлением стала продажа ниже себестоимости.
Предприятиям наукоемких отраслей потребовалось определять цену на свою продукцию заранее, до того, как она будет изготовлена. Заказчик сначала договаривается о стоимости заказа, а потом заключает договор. Но, с другой стороны, предприятие сможет определить свои затраты только после завершения процесса производства. Немаловажным фактором в сложившейся ситуации является и необходимость учета инфляции, т.к. разработки и выполнение обязательств по контракту занимают зачастую не один год, поэтому необходимо учитывать инфляцию: комплектующих, необходимых для выполнения заказа, оплаты труда и работ, выполняемых контрагентами [15].
Получается замкнутый круг: цена должна быть определена до изготовления продукции, а затраты для её расчета могут быть получены только после изготовления. Особую важность решение этого вопроса имеет для предприятий типа «научно-исследовательский институт» (далее кратко «НИИ»). Для решения данной проблемы предлагается организовать в НИИ современную службу контроллинга [16, 17].
Ряд данных проблем обратил на себя внимание в результате выполнения разработок и проектных работ в Научно-исследовательском институте прикладной механики имени академика В.И. Кузнецова. Ниже приводится анализ этих проблем.
Процесс создания начинается с подготовки и затем принятия решения о разработке системы контроллинга на предприятии, для этого руководство должно отчетливо видеть роль контроллинга и контроллеров на предприятии. Контроллинг в этой области - это разработка процедур управления соответствием используемых и вновь создаваемых (внедряемых) организационно-экономических методов поставленным задачам [18]. В деятельности управленческих структур выделяем
интересующую нас сторону - используемые ими организационноэкономические методы. Такие методы рассматриваем с точки зрения их влияния на эффективность (в широком смысле) процессов управления промышленными предприятиями.
После принятия решения о создании новой штатной структуры следует этап внедрения инструментов контроллинга. Но прежде чем внедрять инструменты контроллинга в практику менеджмента, необходимо их адаптировать к конкретным условиям предприятия. Для успешного использования организационно-экономических методов, разработанных службой контроллинга для конкретного предприятия с целью совершенствования (повышения эффективности) процессов управления наукоемким промышленным предприятием, казалось бы, необходимо рассмотреть данное предприятие как систему, выделить составляющие систему элементы и связи между ними. Т.е. исходить из организационной структуры предприятия.
Сразу встает вопрос: на каком месте в структуре предприятия окажется служба, отвечающая за контроллинг, ведь на каждом предприятии свой порядок распределения ответственности. Но, несмотря на различия в построении внутренней иерархии, можно выделить два основных типа структуры внутренней организации наукоемких предприятий (табл.1 и табл.2 соответственно).
Как видно из табл. 1 и 2, основное различие в подходах к формированию внутренней иерархии предприятия заключается в том, что подразделения разработчиков, конструкторов и технологов различаются в одном случае по виду деятельности, в другом по направлению работы. Но так же стоит отметить, что на практике могут быть различия и в подходах к управлению производственными структурными подразделениями.
Таблица 1. Вариант №1 структуры внутренней организации НИИ
Подразделение
контроллинга
Директор
Г лавный конструктор
Г лавный инженер
Планово-
экономическое
подразделение
Отдел кадров
Бухгалтерия
Служба охраны
Опытное производство Заказы: А,Б,В,...
Испытательная база Заказы: А,Б,В,.
Лабораторная база Заказы: А,Б,В,...
Подразделение по
обслуживанию и
ремонту________________
Транспортное
подразделение__________
Подразделение
материально-
технического
снабжения
Заказы: А,Б,В,...______
Подразделение
обслуживания
вычислительной
техники________________
Административнохозяйственное подразделение__________
Подразделения разработчиков Заказы: А,Б,В,... Конструкторские подразделения Заказы: А,Б,В,... Технологические подразделения Заказы: А,Б,В,... Подразделение нормоконтроля Заказы: А,Б,В,... Подразделение ОТК Заказы: А,Б,В,...
Подразделение технической документации Заказы: А,Б,В,...
Например, на одном предприятии главный инженер руководит всей технической стороной деятельности завода, в том числе всеми цехами. На другом цехами занимается начальник производства, а главный инженер отвечает лишь за вспомогательные службы. В одном случае лаборатория делится на отделы, а отделы - на отделения. В другом, наоборот, лаборатории объединяются в отделы, а отделы - в отделения.
Таблица 2. Вариант №2 структуры внутренней организации НИИ
Подразделение
контроллинга
Директор
Г лавный инженер
Главный
конструктор
Планово-
экономическое
подразделение
Отдел кадров
Бухгалтерия
Служба охраны
Опытное производство Заказы: А,Б,В,...
Испытательная база Заказы: А,Б,В,...
Лабораторная база Заказы: А,Б,В,...
Подразделение по
обслуживанию и ремонту
Транспортное
подразделение___________
Подразделение материальнотехнического снабжения
Заказы: А,Б,В,._________
Подразделение обслуживания вычислительной техники Административнохозяйственное подразделение___________
Подразделение по
заказу «А»
(разработчики,
конструктора,
технологи)
Подразделение по
заказу «Б»
(разработчики,
конструктора,
технологи)
Подразделение по
заказу «В»
(разработчики,
конструктора,
технологи)
Подразделение
нормоконтроля
Заказы: А,Б,В,.
Подразделение ОТК
Заказы: А,Б,В,.
Подразделение
технической
документации
Заказы: А,Б,В,.
Производственно-испытательные фонды могут как объединяться по назначению (цеха, испытательные, лаборатории,.) так и по направлению работы(заказ А, Б, В.). Вполне естественно, что управленческие
структуры носят на себе отпечатки создавших их менеджеров и событий истории предприятия.
Поэтому необходимо исходить не из элементов организационной структуры, а из реализуемых на предприятии процессов управления, видов деятельности, в том числе процессов реализации тех или иных функций. Процессы управления с учетом трудоемкости их осуществления группируются по элементам организационной структуры, которая может иметь матричный вид. Другими словами, процессы управления первичны, организационная структура вторична.
Основываясь на вышесказанном, получаем, что подразделение, отвечающее за контроллинг должно находиться в непосредственном подчинении у высшего руководства предприятия, т.е. директора, главного конструктора и главного инженера. При этом взаимодействие (получение, обмен данными) осуществляется со всеми основными научными и производственными структурными подразделениями предприятия.
Нельзя не отметить специфику предприятий «НИИ», в которых, как правило, отсутствуют среди индикаторов управленческого учета такие индикаторы, как прибыль за месяц, квартал. Причина тому - специфика работы, заключающаяся в том, что предприятие получает основную прибыль не регулярно, а после окончания разработки, изготовления или внедрения продукции (в зависимости от области работы «НИИ»). Это не может не сказаться и на специфике контролируемых параметров. Тем самым главным параметром для контроллера становится не прибыль на промежуточном участке, а выполнение плановых сроков, ответственность по выполнению которых разделяется по подразделениям соответственно жизненному циклу продукции. Рассмотрим типовой пример жизненного цикла изготовления некого наукоемкого изделия с обозначением ответственных исполнителей за этапы выполнения (табл.3).
Из табл.3 видно, что основная деятельность состоит из нескольких основных циклов: эскизный, опытный образец, первая партия, серия. Также заметно то, что на протяжении всего цикла создания основное участие принимают разработчики (как «создатели» идеи) и конструктора (как «реализаторы» этой идеи в чертежи). Из этого можно сделать вывод, что основная часть потенциала наукоемкого производства - человеческий ресурс подразделений разработчиков и конструкторов. Это те, люди на которых ложиться основная ответственность и надежды при участии в различных конкурсах на право получения заказа. Одной из основных задач структуры контроллинга будет обеспечение необходимого потока информации среди подразделений участвующих в выполнении заказов наукоемкого предприятия.
Итак, деятельность структуры предприятия, которая будет реализовывать систему контроллинга, будет направлена на обеспечение инструментарием долговременного и оперативного планирования.
Для долговременного планирования необходимо углубленное исследование области сбыта предприятия и развития внутренних ресурсов основанное на методике экспертных оценок с применением методов статистического анализа. Что может быть реализовано либо привлечением специалистов высокого уровня в подразделение контроллинга, либо путем поиска соответствующих экспертов и объединение их в некую рабочую группу (экспертную комиссию). Но независимо от способа реализации той или иной методики экспертных оценок, комиссии необходимо предоставить информацию об историческом развитии отрасли и рассматриваемого предприятия, провести глубокий анализ хозяйственной деятельности, привести примеры достижений конкурентов, и т.д.
Табл.3. Типовой жизненный цикл изготовления наукоемкого изделия Согласование технического задания
Можно выделить два основных направления проведение исследования с применением экспертных оценок [8, 19].
В первом случае руководство еще не выбрало вектор дальнейшего развития предприятия и экспертам на основе предоставленных данных предлагается оценить возможные направления.
Во втором случае руководство определилось с вектором, но не выбрало способ достижения намеченной цели.
Фундаментом данного метода в обоих случаях является проведение анкетирования. От того, насколько корректно, относительно преследуемым целям, составлена анкета и предоставлены данные, зависит результат проведения всего исследования, а следовательно и перспектива развития предприятия.
Для оперативного планирования мы приступили к созданию статистических моделей [20, 21], которые описывали бы процесс производственной деятельности структурных подразделений предприятия. Для чего сначала необходимо получить исходные данные с подразделений (количество сотрудников, нормы выработки, оплата труда сотрудников, стаж (опыт) работы, возраст сотрудников, уровень образования, научная деятельность, семейное положение, производственное оборудование, условия труда,...).
Основываясь на результаты анализа выше перечисленных исходных данных можно будет разработать модель структурного подразделения, позволяющую в ближайшей перспективе оценить производственные резервы, риски связанные с человеческим фактором, оценить масштаб необходимых изменений, и т.д..
Завершение исследований в масштабах предприятия позволит:
- организовать систему планирования и бюджетирования на предприятии;
- разработать методы расчета затрат по видам, местам возникновения и продуктам;
- создать систему отчетности, ориентированную на конкретных пользователей внутри предприятия;
- подготовить и внедрить методики расчета эффективности инвестиций и текущей деятельности предприятия;
- разработать методики анализа отклонений плановых и фактических показателей [22] и т.п.
Все разрабатываемые для конкретного предприятия инструменты контроллинга должны быть признаны пользователями (не только руководством предприятия, но и начальниками подразделений, а также конкретными исполнителями).
Подводя итоги, стоит отметить, что основным положительным моментом от создания службы контроллинга будет выполнение в срок заключаемых контрактов и, следовательно, повышение статуса и престижа предприятия, что позволит заключать новые контракты и развиваться в будущем. Современная служба контроллинга должна обеспечивать руководство предприятия информацией о научно-исследовательском потенциале и загрузке персонала, что необходимо для принятия как стратегических, так и оперативных решений. Из этого вытекает и главный недостаток, тормозящий внедрение и развитие системы контроллинга, -человеческий фактор, который оказывает сопротивление и со стороны руководителей, и со стороны персонала, привыкшего работать при «старом» объеме работ. Проблема человеческого фактора является одной из основных преград для оптимизации управления хозяйственной деятельностью любого предприятия, так как для достижения максимального результата необходима не только команда профессионалов, но и соответствующий менеджмент.
При организации службы контроллинга на предприятии типа «НИИ», по нашему мнению, подкрепленному проведенными исследованиями, не следует ограничиваться лишь выполнением функций внутреннего
контроля и управления затратами, необходимо помнить, что контроллинг способен обеспечивать органическое соединение информационной базы и всех источников получения информации - анализа, мониторинга, планирования и контроля. При выполнении этих условий контроллеры станут не лишь привычными сегодня специалистами по учету и анализу, а реально востребованными помощниками руководителей предприятий.
Литература
1. Контроллинг: 10 лет. Подготовлено Н.Ю. Ивановой. Интервью с С.Г.
Фалько и др. // Контроллинг. 2013. №4(50). С.88-95.
2. Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. - 2013. - №3(49). - С.72-78.
3. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. - 2014. - № 7 (358). - С.21-29.
4. Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [Под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - 568 с.
5. Наукометрия и экспертиза в управлении наукой: сборник статей / Под
ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева. - М.: ИПУ РАН, 2013. - 572 с.
6. Орлов А.И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44 - Наукометрия и экспертиза в управлении наукой / [под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.32-54.
7. Орлов А.И. О развитии статистики объектов нечисловой природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 273 - 309. - IDA [article ID]: 0931309019. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/19.pdf
8. Орлов А.И. Теория экспертных оценок в нашей стране / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 1652 - 1683. - IDA [article ID]: 0931309114. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/114.pdf
9. Игра в цыфирь, или как теперь оценивают труд ученого (сборник статей о библиометрике). - М.: Московский центр непрерывного математического образования,
2011. - 72 с.).
10. Орлов А. И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44 -Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.538 - 568.
11. Миркин Б.Г. О понятии научного вклада и его измерителях // Наукометрия и экспертиза в управлении наукой: сборник статей. - М.: ИПУ РАН, 2013.
- С.292-307.
12. Орлов А. И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей. Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528 - 533.
13. Орлов А.И. О развитии контроллинга научной деятельности // Controlling in SMEs - Beyond Numbers (Prague, April 25, 2014). Proceedings of the International Conference. - Prague: University of Finance and Administration, 2014. - P.320-324. Режим доступа: http://www.vsfs.cz/controlling/?id=2156-sbornik-a-vystupy
14. Налимов В.В., Мульченко З.М. Наукометрия. Изучение развития науки как информационного процесса. - М.: Наука, 1969. - 192 с.
15. Анисимов С.Н., Колобов А.А., Омельченко И.Н., Орлов А.И., Иванилова
А.М., Краснов С.В. / Под ред. А.А. Колобова, А.И. Орлова. Проектирование интегрированных производственно-корпоративных структур: эффективность,
организация, управление. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2006. - 728 с.
16. Ананькина Е.А., Данилочкин С.В., Данилочкина Н.Г. Контроллинг как инструмент управления предприятием / Под ред. Н. Г. Данилочкиной. - М.: ЮНИТИ, 2002. - 279 с.
17. Карминский А.М., Фалько С.Г., Жевага А.А., Иванова Н.Ю. Контроллинг: учебник/ под ред. А.М. Карминского, С.Г. Фалько. 3-е изд., дораб. - М.: ИД «ФОРУМ»: ИНФРА-М, 2013. - 336 с.
18. Орлов А.И. Контроллинг организационно-экономических методов // Контроллинг. 2008. №4 (28). С.12-18.
19. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
20. Орлов А. И. Организационно-экономическое моделирование: учебник: в 3 ч. Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана,
2012. - 624 с.
21. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
22. Орлов А.И. Выявление отклонений в контроллинге (на примере
мониторинга уровня безопасности полетов) / А.И. Орлов, В. Д. Шаров //
Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №01(095). С. 184 - 203. - IDA [article ID]: 0951401008. - Режим доступа: http://ej.kubagro.ru/2014/01/pdf/08.pdf
References
1. Kontrolling: 10 let. Podgotovleno N.Ju. Ivanovoj. Interv'ju s S.G. Fal'ko i dr. // Kontrolling. 2013. №4(50). S.88-95.
2. Orlov A.I. Kriterii vybora pokazatelej jeffektivnosti nauchnoj dejatel'nosti // Kontrolling. - 2013. - №3(49). - S.72-78.
3. Orlov A.I. O pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Jekonomicheskij analiz: teorija i praktika. - 2014. - № 7 (358). - S.21-29.
4. Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [Pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - 568 s.
5. Naukometrija i jekspertiza v upravlenii naukoj: sbornik statej / Pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva. - M.: IPU RAN, 2013. - 572 s.
6. Orlov A.I. Dva tipa metodologicheskih oshibok pri upravlenii nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44 -
Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - S.32-54.
7. Orlov A.I. O razvitii statistiki ob#ektov nechislovoj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 273 - 309. - IDA [article ID]: 0931309019. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/19.pdf
8. Orlov A.I. Teorija jekspertnyh ocenok v nashej strane / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 1652 - 1683. - IDA [article ID]: 0931309114. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdfZ114.pdf
9. Igra v cyfir', ili kak teper' ocenivajut trud uchenogo (sbornik statej o bibliometrike). - M.: Moskovskij centr nepreryvnogo matematicheskogo obrazovanija, 2011.
- 72 c.).
10. Orlov A.I. Naukometrija i upravlenie nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44 - Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN,
2013. - S.538 - 568.
11. Mirkin B.G. O ponjatii nauchnogo vklada i ego izmeriteljah // Naukometrija i jekspertiza v upravlenii naukoj: sbornik statej. - M.: IPU RAN, 2013. - S.292-307.
12. Orlov A.I. O nekotoryh metodologicheski oshibochnyh metodah analiza i ocenki rezul'tatov nauchnoj dejatel'nosti // Rossija: tendencii i perspektivy razvitija. Ezhegodnik. Vyp. 8. / RAN. INION. Otd. nauch. sotrudnichestva i mezhdunar. svjazej. Otv. red. Ju.S. Pivovarov. - M., 2013. - Ch. 2. - S.528 - 533.
13. Orlov A.I. O razvitii kontrollinga nauchnoj dejatel'nosti // Controlling in SMEs
- Beyond Numbers (Prague, April 25, 2014). Proceedings of the International Conference. -Prague: University of Finance and Administration, 2014. - P.320-324. Rezhim dostupa: http://www.vsfs.cz/controlling/?id=2156-sbornik-a-vystupy
14. Nalimov V.V., Mul'chenko Z.M. Naukometrija. Izuchenie razvitija nauki kak informacionnogo processa. - M.: Nauka, 1969. - 192 s.
15. Anisimov S.N., Kolobov A.A., Omel'chenko I.N., Orlov A.I., Ivanilova A.M., Krasnov S.V. / Pod red. A.A. Kolobova, A.I. Orlova. Proektirovanie integrirovannyh proizvodstvenno-korporativnyh struktur: jeffektivnost', organizacija, upravlenie. - M.: Izd-vo MGTU im. N.Je. Baumana, 2006. - 728 s.
16. Anan'kina E.A., Danilochkin S.V., Danilochkina N.G. Kontrolling kak instrument upravlenija predprijatiem / Pod red. N. G. Danilochkinoj. - M.: JuNITI, 2002. -279 s.
17. Karminskij A.M., Fal'ko S.G., Zhevaga A.A., Ivanova N.Ju. Kontrolling: uchebnik/ pod red. A.M. Karminskogo, S.G. Fal'ko. 3-e izd., dorab. - M.: ID «FORUM»: INFRA-M, 2013. - 336 s.
18. Orlov A.I. Kontrolling organizacionno-jekonomicheskih metodov // Kontrolling. 2008. №4 (28). S.12-18.
19. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch.2. Jekspertnye ocenki. - M.: Izd-vo MGTU im. N.Je. Baumana, 2011. - 486 s.
20. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: uchebnik: v 3 ch. Ch.3. Statisticheskie metody analiza dannyh. - M.: Izd-vo MGTU im. N.Je. Baumana, 2012. -624 s.
21. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 671 s.
22. Orlov A.I. Vyjavlenie otklonenij v kontrollinge (na primere monitoringa urovnja bezopasnosti poletov) / A.I. Orlov, V.D. Sharov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. -№01(095). S. 184 - 203. - IDA [article ID]: 0951401008. - Rezhim dostupa: http://ej.kubagro.ru/2014/01/pdf/08.pdf
