CC BY
9
Российский журнал менеджмента Том 13, № 3, 2015. С. 135-140
ХРОНИКА
ОЧЕРЕДНАЯ КОНФЕРЕНЦИЯ МЕЖДУНАРОДНОЙ АКАДЕМИИ ОРГАНИЗАЦИОННЫХ НАУК
В условиях перехода к экономике знаний оценка результативности научной деятельности представляет значимый императив планирования и управления на различных уровнях иерархии. Научно обоснованные решения задачи измерения исследовательского труда важны также в связи с продолжающимся реформированием исследовательского сектора и российской экономики в целом. Оригинальный подход к методике таких измерений и полученные результаты расчетов конференции были представлены на Международной академии организационных наук (МАОН), которая состоялась 26 июня 2015 г. в ЦЭМИ РАН. За двадцать лет со дня основания академии в феврале 1995 г. усилиями первого президента, академика РАН Д. С. Львова, а затем нынешнего президента МАОН, члена-корреспондента РАН Г. Б. Клейнера собран сильнейший коллектив ученых и специалистов в области организации, управления и моделирования экономики, которым под силу решение сложнейших задач, в том числе и в междисциплинарной сфере, к которой относятся вопросы «ранжирования» участников научной деятельности.
В центре обсуждения очередной конференции находится доклад действительного члена МАОН, д. э. н. Е. В. Балацкого «Рейтингование субъектов рынка экономических исследований» (работа выполнена в соавторстве с чл.-корр. МАОН, к. э. н. Н. А. Екимовой). Во вступительном слове президент МАОН Г. Б. Клейнер призвал собравшихся в рамках обсуждения сформи-
ровать свое отношение к рейтингам научной деятельности и обсудить методику подобных оценок.
В работе Е. В. Балацкого и Н. А. Екимовой были представлены три типа ранжирования: (1) рейтинг ученых в одной из областей знаний, в данном случае экономики; (2) рейтинг научных изданий, публикующих результаты исследований; (3) рейтинг организаций, занимающихся исследованиями. В ходе своего выступления Е. В. Балацкий выделил несколько вех в истории составления таких рейтингов:
1) 2002 г. (до создания РИНЦ): оценка публикационной активности авторов пяти избранных экспертами ведущих российских журналов, представляющаяся малодостоверной из-за нерепрезентативности выборки;
2) 2008 г.: применение трех способов определения ведущих экономистов России: (а) по результатам анализа публикаций в двенадцати российских журналах; (б) экспертного опроса; (в) публикационной активности за рубежом на основе базы данных ИеРЕс — выявило слабое пересечение трех списков экономистов, ориентированных как на отечественные, так и частично на западные издания;
3) 2012-2013 гг.: результаты зрелого академического анализа А. А. Муравьева в попытке отфильтровать российские журналы по данным РИНЦ подтвердили правомерность использования малых выборок журналов, соответствующих элементарным международным стандартам и пригодных
для определения персональных успехов экономистов;
4) 2013-2014 гг.: по данным научных публикаций в семи, а затем в двенадцати ведущих журналах авторами настоящего доклада построен академический рейтинг 100 ведущих российских вузов, осуществляющих экономические исследования;
5) 2014 г.: три вида рейтингов на базе разных принципов учета вклада представителей компьютерных наук, в том числе по цитируемости и достижениям в создании научных школ (подготовка аспирантов, конференций и др.), оказались слабо коррелированными между собой, что подтверждает вывод о том, что научное сообщество распадается на разные группы влияния, которые проблематично свести к единому знаменателю;
6) 2015 г.: в рейтинге ИеРЕс три первых места из 100 лучших экономистов России заняли иностранцы, преподающие в университетах РФ, что вызывает недоверие к применяемым способам оценок;
7) 2015 г.: на основе данных РИНЦ авторами доклада исследована проблема манипулирования, т. е. специального «накачивания» включаемых в рейтинг индексов при помощи усреднения показателей числа публикаций, цитирования, индекса Хирша.
В своем выступлении Е. В. Балацкий подошел к составлению рейтингов как к способу маркетингового исследования в условиях значительного числа участников, субъектов рынка экономических исследований в России: экономистов — свыше 36 тыс. человек, экономических журналов — 872, вузов, занимающихся экономическими исследованиями, — около 900; при этом только несколько субъектов из каждой группы соответствует высоким научным стандартам. Кроме того, необходимость национальных рейтингов по областям знаний вызвана проблемами применимости зарубежных методик оценки к гуманитарным наукам, а также проблемами, с которыми столкнулись российские вузы, решая задачу войти в ряд 100 лучших университетов мира в ситуации обострения международной обстановки.
По мнению докладчика, специфика рынка исследований состоит прежде всего в том, что производители (исследователи, журналы, вузы) являются в то же время потребителями научной продукции. Существование рынка он объясняет наличием сделки по передаче продукта, например, от исследователя в журнал, при этом денежная опосре-дованность необязательна: это может быть квазисделка в обмен на какой-либо бонус. Механизм достижения равновесия видится Е. В. Балацкому в стремлении журнала получить лучшую статью, а автора — опубликоваться в лучшем журнале. Предложенная методика оценки опирается на опросы экспертов и данные РИНЦ.
Рейтинг экономистов представляет собой оценку активности их исследовательской деятельности и популярности. Алгоритм построения состоит из трех последовательных этапов: (1) нормирования параметров трех типов: числа публикаций, цитирования, индекса Хирша; (2) агрегирования их с равными весами и (3) нормирования агрегата. По результатам расчетов было определено распределение экономистов по организациям, установлено несколько факторов успеха: солидный возраст (55-65 лет), административный ресурс (высокие должности), место работы (аффилированность с известной организацией), гендерный фактор (доминирование лиц мужского пола).
С целью оценки экономических журналов применялась двухшаговая процедура с использованием приведенной выше методики и экспертных оценок. Установлено, что показатель пятилетнего импакт-фактора дает искаженную картину: например, все 13 рассмотренных журналов ссылаются друг на друга, при этом индекс Херфиндаля не работает. Выявлен более значимый показатель — «долговечность» публикации. По результатам нормирования и агрегирования данных РИНЦ по четырем показателям и экспертных оценок (по пяти показателям) был получен «алмазный список» из 13 журналов. К лучшим экономическим журналам отнесены «Вопросыэкономики», «Экономика и математические методы», «Российский журнал менеджмента». Совпадение с дру-
гими рейтинговыми списками подтверждает достоверность оценок, однако есть некоторые сомнения в их адекватности в случае применения такого критерия, как общероссийский масштаб журнала. Выявлены два главных фактора успеха журнала: аффилиро-ванность с РАН (50% журналов) и личность главного редактора (связи с авторами и рецензентами, политика отбора статей). Возраст издания выступает при этом незначимым фактором.
Рейтинг высших экономических школ построен путем нормирования суммарного показателя публикационной активности вузов, суммарного показателя стабильности присутствия их в отобранных журналах, кадрового потенциала и получения на этой основе агрегированного показателя. В результате в высшую группу рейтинга попали все ведущие вузы, которые могли бы на это претендовать. В рейтинге лучших высших экономических школ первые места заняли университеты: НИУ ВШЭ, Финансовый университет при Правительстве РФ, Санкт-Петербургский государственный университет. Разработанная методика позволяет выполнить качественное ранжирование вузов и выделить из них несколько групп: (1) зарождающиеся вузы (один из трех оцениваемых индикаторов равен нулю) и (2) развитые школы, в том числе: (а) активные школы двух типов (значение показателя кадрового потенциала меньше индекса публикаций, при этом для глобально активных школ оно меньше коэффициента стабильности, а для локально активных — больше); (б) стагниру-ющие вузы двух типов (значение показателя кадрового потенциала превышает индекс публикаций, при этом для глобально стаг-нирующих школ оно больше коэффициента стабильности, а для локально стагниру-ющих — меньше). Концепция такой оценки базируется на следующем принципе: доминирующий на страницах журнала вуз учит студентов лучше, чем стоящие ниже него в рейтинге. По мнению Е. В. Балацкого, с целью лучшего применения рейтингов требуется широкое обнародование результатов в СМИ и на сайте Финансового университета, а также ежегодное обновление оценок.
В ходе обсуждения Е. В. Балацкий полнее раскрыл содержание предлагаемых оценок и методику расчетов.
С точки зрения Е.В.Балацкого, равновесие на исследуемом рынке (вопрос президента МАОН, чл.-корр. РАН Г. Б. Клейнера) достигается при помощи специфических, нематериальных бонусов: популярности, гонорара и др., причем рынок репутаций представляется ведущим условием согласования интересов. Аксиоматика в предложенной методике, в частности аксиоматика индекса Хирша (второй вопрос Г. Б. Клейнера), является, по сути, наиболее проблемной частью работы; по словам Е. В. Балацкого, индекс Хирша скорее служит алгоритмом.
На вопрос вице-президента МАОН, д. э. н. В. Н. Лившица о рейтинге репутации докладчик ответил, что больше всего влияние оказывает административный ресурс. Здесь Е. В. Ба-лацкий согласен с предположением Г. Б. Клей-нера о возможности управления позициями в рейтинге РИНЦ при помощи особых отношений, что усиливает актуальность дополнительной фильтрации на основе предложенной методики.
По поводу оснований для того, чтобы вести речь о рынке экономических исследований в отсутствие посредника и свободного капитала (вопрос действительного члена МАОН, д. э. н. И. Э. Фролова), Е. В. Балацкий сослался на специфику изучаемых рыночных отношений. Содержательная часть рейтинга (второй вопрос И. Э. Фролова) дает более или менее объективную информацию для абитуриентов и чиновников, которых Е. В. Ба-лацкий видит в качестве конечных пользователей рассчитываемых показателей, хотя реализация принципа «не навреди» представляется особо значимым моментом рейтинга. По мнению выступающего, разработанная методика позволяет идентифицировать факт существования научной школы. При этом Е. В. Балацкий отметил справедливость опасений многих слушателей по вопросам использования чиновниками результатов подобного рода рейтингов для распределения средств.
Влияние тематики представляет собой значимый фактор успеха в рейтинге (вопрос
члена-корреспондента МАОН, к. т. н. П. Ф. Ан-друковича). Действительно, рейтинг возглавляют исследователи в широких областях знаний, узкие специалисты — на нижних позициях. Альтернативой может быть построение узкопрофессиональных рейтингов. В условиях существования разных пробле-матик (региональная экономика, экономика промышленности и др.) правомерность рассмотрения публикаций в одном ряду списка, вне классификации экономической науки (вопросы действительного члена МАОН, д. э. н. С. Г. Фалько), докладчик оправдывает многообразием проблематики статей в оцениваемых журналах. Тем не менее для более глубокого понимания будут необходимы субрейтинги.
Д. э. н. С. Я. Чернавский высказал сомнение в правомерности использования западного наукометрического подхода к оценке российских участников исследовательской деятельности: во-первых, она сосредоточена в России преимущественно в академическом секторе, а не в университетах, как на Западе; во-вторых, западная практика наукометрии базируется на понятии «репутация», чего не наблюдается в России. В свою очередь Е. В. Балацкий привел несколько аргументов в пользу возможности применения разработанной методики оценки в российских условиях. Кроме того, требования к вузам должны повышаться, в том числе в связи с выделением российским университетам значительных размеров финансирования исследований, несопоставимых с суммами отчислений другим исследовательским организациям.
В ходе обсуждения доклада Е. В. Балацко-го выявились различные точки зрения членов МАОН и других участников конференции относительно методов оценки и пользы рейтингов. Выступления в основном касались аксиоматики рейтинга, способов справедливой оценки, состава компонентов индексов, перспектив использования полученных результатов.
Так, в связи с построением и использованием рейтингов действительный член МАОН, д. э. н. И. Э. Фролов обратил внимание слушателей на принципиально важные для
развития науки вопросы, в частности на то, что рейтинги оценивают результаты вспомогательной, отчасти формальной, научной деятельности и ориентируют ученых уделять ей большее внимание, при которой, однако, новые содержательные идеи не появляются. При этом формальные показатели не способны отразить содержательные явления в науке. Кроме того, И. Э. Фролов видит опасность потери для российской науки специфической для России части исследований в случае привлечения зарубежных экспертов. В то же время Г. Б. Клейнер не согласился с терминологией Фролова и предложил рассматривать публикации не как вспомогательный, а как сопутствующий вид научной деятельности.
Как отметил действительный член МАОН, д. э. н. С. А. Смоляк, при формировании рейтинга следует исходить из интересов потребителей, в том числе потребителей научных знаний. При этом важно различать приоритеты вузов, поскольку хороший преподаватель может и не писать статей. Соответственно, в случае использования рейтинга в целях присвоения статуса представляется необоснованным исходить из индекса Хирша. По мнению С. А. Смоляка, существенный недостаток предложенной методики состоит в отсутствии взаимосвязи между тремя видами оценок: на самом деле в расчетах рейтинга вузов по числу публикаций правильнее учитывать рейтинг авторов и журналов, где размещены соответствующие статьи. При этом, по ремарке Г. Б. Клейнера, рейтинг вузов заметно вырастет при условии присвоения ученой степени в вузах.
В свою очередь, действительный член МАОН, д. э. н. А. А. Зарнадзе выразил благодарность докладчику за масштабную работу по оценке результативности субъектов исследовательской деятельности. Вместе с этим он указал на особую значимость проработки методологии и способов оценки с учетом специализации вузов и ряда других существенных факторов. Опасность, на его взгляд, заключается в том, что использование критерия максимизации прибыли ориентирует субъектов на неоправданные с общесистемных позиций способы достижения результатов.
Д. э.н. С. Я. Чернавский отметил двойственность впечатлений от доклада, которая вызвана рядом ограничений, связанных с построением и использованием предложенного рейтинга. Наукометрия возникла для сравнения результатов; за рубежом с ее помощью решаются практические задачи — определяется лучший вариант распределения средств. Преследуется цель не выделить важнейших ученых, но сориентировать студентов в части расходов на обучение в различных по уровню университетах. Сложность измерения научной деятельности с использованием отдельных показателей публикационной активности, цитируемости и т. п. очевидна. Кроме того, для получения адекватных результатов требуется специфическое устройство общества, в котором должна присутствовать такая ценность, как репутация, подлежащая оценке наряду с другими признаками. По мнению С. Я. Чернавского, в России нет соответствующих объективных условий для расчета и применения подобных рейтингов, соответственно, результаты их применения могут быть неоднозначны. К примеру, введение механизма банкротства предприятий в период перестройки привело к распространению рейдерства. Определенную опасность С. Я. Чернавский видит в том, что применение наукометрии инициирует переход от осознания смысла проведенной оценки к формальному использованию сторонними субъектами полученных результатов в целях, неизвестных для разработчика рейтинга. Так, реформа РАН была сведена к тому, что к управлению учеными, которые понимают содержание исследований, пришли те, кто не понимает сути. С точки зрения С. Я. Чернавского, опасно распространять использование наукометрии за пределы сектора научной деятельности.
Вице-президент МАОН, д. э. н. В. Н. Лившиц присоединился к мнению выступающих, которые отметили высокую квалификацию Е. В. Балацкого в построении рейтингов. Вместе с этим, по мнению В. Н. Лившица, необходима четкая постановка задачи, включая обоснование аксиоматики. Соответственно, необходима более полная формулировка требований, которым должны удовлетворять
составляемые рейтинги, а также цели их использования. По его мнению, одним из основных условий является удовлетворение такого рода рейтингов требованиям, подобным клятве Гиппократа.
К. э. н. В. А. Невелев подчеркнул важность различия между имиджем как образом журнала и репутацией как результатом публикационной активности. По его мнению, два основных недостатка предложенного рейтинга состоят в отсутствии связи его с соотношением спроса и предложения на рынке исследований и эффективностью, т. е. с соотношением затрат и результатов, следовательно, с конкурентоспособностью журналов.
Ученый секретарь МАОН, к. э. н. А. А. Ни-конова привела несколько аргументов «за» и «против» составления подобных рейтингов. Чрезмерная ориентированность журналов и авторов на рейтинговые оценки ведет к раздуванию спроса на публикации и к множественности журналов. Они теряют присущее им качество коммуникативной системы и источников знаний и превращаются в источник сигналов о фактах публикаций и местах работы авторов, от которых напрямую зависит число публикаций. Растущий «снежный ком» искажает рейтинг и препятствует реализации системных функций журналов. Кроме того, рейтинг вузов может вызвать снижение качества образования. Во-первых, распределение финансирования на основе рейтинга ведет к усилению дифференциации вузов, которая в РФ и без того высочайшая, особенно межрегиональная. Во-вторых, для улучшения положения в рейтинге вузы могут приглашать зарубежных профессоров, что в условиях неконкурентоспособных зарплат, с одной стороны, ухудшит позиции отечественных ученых, с другой — может привести к привлечению не лучших преподавательских кадров. Вместе с тем рейтинг указывает на болевые точки российских исследователей, прежде всего институциональные, связанные с узостью языковой аудитории, слабостью международного сотрудничества ученых, ограниченностью институциональной поддержки на всех стадиях исследований, включая публикации
за рубежом. Таким образом, важны правильные критериальные компоненты рейтинга, в особенности способы использования его в образовательной деятельности и организации науки.
В заключение конференции президент МАОН Г. Б. Клейнер подвел итоги обсуждения и отметил, что предложенная вниманию конференции работа интересна и полезна, однако требует целостного восприятия. Каждый показатель, который является изме-
рителем, должен удовлетворять некоторым свойствам. В связи с этим требуется определить аксиоматику и постановку задачи, фиксирующую объект измерения и ограничения, которым он должен удовлетворять, при этом основная проблема состоит в том, что при составлении рейтинга по каждому показателю возникает взаимозамещаемость факторов. Соответственно, правильным инструментом будет тот, который наиболее полно отвечает поставленной задаче.
В. Н. Лившиц
Институт системного анализа Федерального инновационного центра
А. А. Никонова ЦЭМИ РАН
