CC BY
125
вопросы инновационной экономики
Том 9 • Номер 1 • Январь-март 2019
ISSN 2222-0372 Russian Journal of Innovation Economics
>
издательство
Креативная экономика
наукометрия и ее влияние на развитие современной науки
БекларянЛ.А.1, Давыдов Д.В.2, Дементьев В.Е.1, Макаров В.Л.1, Винокурова Н.А.1, Гребенников В.Г.1, Козырев А.Н.1, Левин М.И. 3, Паринов С.И.1, Солосина М.И.4, Сушко Е.Д.1, Устюжанина Е.В.15, Щепина И.Н.4
1 Центральный экономико-математический институт РАН, Москва, Россия
2 Российская экономическая школа, Москва, Россия
3 Национальный исследовательский университет «Высшая школа экономики», Москва, Россия
4 Воронежский государственный университет, Воронеж, Россия
5 Российский экономический университет им. Г.В. Плеханова, Москва, Россия
Публикация воспроизводит дискуссию, которая проходила в Центральном экономико-математическом институте (ЦЭМИ РАН) в рамках дискуссионного клуба под руководством В.Л. Макарова - «Макаров-ские посиделки». Обсуждение было посвящено проблемам развития и практического использования результатов наукометрии. В качестве основных дискуссантов выступали доктор физико-математических наук Бекларян Левон Андреевич и доктор экономических наук Давыдов Денис Витальевич. В ходе обсуждения были затронуты вопросы отношений научного экспертного сообщества и бюрократии, формирования научной репутации, закономерностей публикационной активности, связи науки и образования, иерархии современных обществ, возможности создания неманипулируемой системы оценки качества научных исследований. При всей разности высказываемых суждений участники дискуссии пришли к общему мнению, что корень проблемы лежит не в качестве отдельных наукометрических показателей, а в практике их применения. Важным при этом является понимание того факта, что бюрократия, как правило, не до конца осознает смысл и ограниченность используемых ею методов оценки научных исследований, в то время как заинтересованные лица сознательно внедряют соответствующие методы в целях выстраивания псеводоиерархий и перераспределения в свою пользу денежных потоков. ОТ РЕДАКЦИИ ЖУРНАЛА:
Развитие и оценка уровня научных публикаций, которые в свою очередь отражают уровень научных исследований, представляет, на наш взгляд, важный вопрос инновационной экономики. Учитывая, что данная дискуссия была организована известными экономистами, редакцией было принято решение о публикации стенограммы после получения всех экспертных заключений от специалистов по наукометрии.
КЛЮЧЕВЫЕ СЛОВА: наукометрия, индекс Хирша, наука, образование, экспертные сообщества, социальные кластеры, отрицательный отбор.
scientometrics and its impact on the development of modern science
Beklaryan L.A.1, Davydov D.V.2, Dementev V.E.1, Makarov V.L.1, Vinokurova N.A.1, Grebennikov V.G.1, Kozyrev A.N.1, Levin M.I. 3, Parinov S.I.1, Solosina M.I.4, Sushko E.D.1, Ustyuzhanina E.V.1,5, Schepina I.N. 4
1 Central Economic Mathematical Institute, Russia
2 New Economic School, Russia
3 The National Research University Higher School of Economics (HSE), Russia
4 Voronezh State University, Russia
5 Plekhanov Russian University of Economics, Russia
АННОТАЦИЯ:
Участники дискуссии: доктор физико-математических наук Бекларян Левон Андреевич (ЦЭМИ РАН); доктор экономических наук Давыдов Денис Витальевич (РЭШ); член-корр. РАН, доктор экономических наук Дементьев Виктор Евгеньевич (ЦЭМИ РАН); академик РАН, доктор физико-математических наук Макаров Валерий Леонидович (ЦЭМИ РАН); кандидат экономических наук Винокурова Наталья Анатольевна (ЦЭМИ РАН); доктор экономических наук Гребенников Валерий Григорьевич (ЦЭМИ РАН); доктор экономических наук Козырев Анатолий Николаевич(ЦЭМИ РАН); доктор экономических наук Левин Марк Иосифович (ВШЭ); доктор экономических наук Паринов Сергей Иванович (ЦЭМИ РАН); Солосина Мария Игоревна (ВГУ); кандидат экономических наук Сушко Елена Давидовна (ЦЭМИ РАН); доктор экономических наук Устюжанина Елена Владимировна (ЦЭМИ РАН, РЭУ имени Г.В. Плеханова); доктор экономических наук Щепина Ирина Наумовна (ВГУ).
Устюжанина Елена Владимировна
Уважаемые коллеги, тема нашего сегодняшнего обсуждения - наукометрия. Всем известно утверждение, что любая наука становится наукой тогда, когда в неё прихо-
ABSTRACT:_
The publication reproduces the debate that took place in the Central Economics and bathematics Institute (CEMI RAS) in the framework of the discussion club under the leadership of V. L. Makarov -"Makarov gatherings". The discussion was devoted to problems of development and practical use of the results of scientometrics. Ehe main discussants were Dr. of physical and mathematical sciences Levon Beklaryan and doctor of economic sciences Denis Davydov. During the discussion, participants raised questions of the relations of scientific experts and bureaucracy, formation of scientific reputations, patterns of publication activity, communication science and education, the hierarchy of modern societies, the possibility of creating a non-manipulable system for assessing the quality of research. Despite the difference of judgment expressed by the panelists came to a consensus that the root of the problem lies not as a separate scientometric indicators and their application. Important is understanding of the fact that the bureaucracy, as a rule, not fully aware of the meaning and limitations of the used evaluation methods scientific research, as the persons concerned consciously implement the appropriate methods in order to build pseudoenergy and redistribution in their favor of cash flows.
KEYWORDS: scientometrics, H-index, science, education, experts, social clusters, negative selection. JEL Classification: 121, i26, i29 Received: 13.02.2019 / Published: 31.03.2019
© Author(s) / Publication: CREATIVE ECONOMY Publishers For correspondence: Ustyuzhanina E.V. ([email protected])
CITATION:_
Beklaryan L.A., Davydov D.V., Dementev V.E., Makarov V.L., Vinokurova N.A., Grebennikov V.G., Kozyrev A.N., Levin M.I., Parinov S.I., Solosina M.I., Sushko E.D., Ustyuzhanina E.V., Schepina I.N. (2019) Naukometriya i ee vliyanie na razvitie sovremennoy nauki [Scientometrics and its impact on the development of modern science]. Voprosy innovatsionnoy ekonomiki. 9. (1). - 11-36. doi: 10.18334/vinec.9.1.39957
дит математика. Я, если честно, это высказывание не люблю. Не потому, что я плохо отношусь к математике, а потому, что чаще всего те люди, которые строят те или иные модели, представляют себе их (моделей) предпосылки и ограничения, а те, которые интерпретируют полученные результаты, эти предпосылки не знают. И поэтому очень часто дают рекомендации, не понимая, что, вообще говоря, сами по себе вычисления может быть и были интересными, но они были верными только при определённых условиях. Мне кажется, что это относится к экономике, в первую очередь, но и к наукометрии тоже. Но может быть у наших дискуссантов есть другая точка зрения, поэтому давайте послушаем их. Левон Андреевич Бекларян, пожалуйста.
Бекларян Левон Андреевич
По поводу наукометрии. Можно сказать, что это развивающееся направление исследований, и основным субъектом во всех вопросах выступает сам исследователь. В наукометрии есть методы измерения коллективов, институтов, целых отраслей. Но вместе с тем центральным объектом изучения является исследователь. Одной из характеристик, которая измеряет этого исследователя, является Индекс Хирша. Он измеряется достаточно просто и понятно. У вас есть ряд статей, на эти статьи идут какие-то ссылки, вы их складываете, берёте статью с самым большим количеством ссылок, потом дальше их раскладываете по нисходящей. Ясно, что количество ссылок на первую статью больше единицы, и она у вас идет под номером один. В результате у вас будет последовательно уменьшаться количество ссылок на статьи и увеличиваться номер самой статьи. Но придёт момент, когда всё станет наоборот, и уже номер статьи будет меньше, чем количество ссылок. Такой номер и считается Индексом Хирша.
ОБ АВТОРЕ:_
Бекларян Левон Андреевич, доктор физико-математических наук Давыдов Денис Витальевич, доктор экономических наук Дементьев Виктор Евгеньевич, доктор экономических наук
Макаров Валерий Леонидович, академик РАН, доктор физико-математических наук
Винокурова Наталья Анатольевна, кандидат экономических наук
Гребенников Валерий Григорьевич, доктор экономических наук
Козырев Анатолий Николаевич, доктор экономических наук
Левин Марк Иосифович, доктор экономических наук
Паринов Сергей Иванович, доктор экономических наук
Солосина Мария Игоревна,
Сушко Елена Давидовна, кандидат экономических наук
Устюжанина Елена Владимировна, доктор экономических наук (dba-guu0yandex.ru) Щепина Ирина Наумовна, доктор экономических наук
ЦИТИРОВАТЬ СТАТЬЮ:_
Бекларян Л.А., Давыдов Д.В., Дементьев В.Е., Макаров В.Л., Винокурова Н.А., Гребенников В.Г, Козырев А.Н., Левин М.И., Паринов С.И., Солосина М.И., Сушко Е.Д., Устюжанина Е.В., Щепина И.Н. Наукометрия и ее влияние на развитие современной науки // Вопросы инновационной экономики. - 2019. - Том 9. -№ 1. - С. 11-36. doi: 10.18334/vinec.9.1.39957
Хорошо это или плохо? Мы знаем, что любое исследование, любые сентенции и т.д. хороши в пределах применимости того ареала, где они возникли для решения определенных задач. И очевидно, если данный подход выходит за область своего применения, то полученные выводы некорректны. Например, для Индекса Хирша сразу приведу предельный случай, который говорит о некой нелепости. Один человек написал 10 работ, другой - одну. У того, кто написал 10 статей, на каждую работу сослались по одному разу. а тот, кто написал одну работу, имеет на неё сто ссылок. Вместе с тем у них одинаковый Индекс Хирша, равный 1. Это говорит о том, что к любому индексу надо относиться осторожно, ибо он может что-то хорошо вычислять, а что-то не очень. Теперь зачитаю хорошо известный перечень претензий к Индексу Хирша.
1. Индекс Хирша не учитывает информацию о наиболее важных, высокоцитируе-мых работах.
2. Он не учитывает личный вклад автора.
3. В стандартной схеме Индекса Хирша, используемого в Web of Science, не учитываются ссылки на книги авторов, не учитываются также ссылки в неанглоязычных источниках.
4. В Индексе Хирша учитываются даже те ссылки, где работы автора подвергаются критике и результат ошибочный. Но, тем не менее, это приносит дивиденды.
5. Стандартная система подсчёта Индекса Хирша не отличает цитирование данного учёного другими учёными от его самоцитирования.
6. Два человека с одинаковым Индексом Хирша могут иметь полную цитируемость, отличающуюся в десятки раз.
7. Цитирование статей из переводных российских журналов происходит двумя различными способами - либо указывается англоязычное название, либо латинскими буквами в транслите даётся его русскоязычное название. Система Web of Science воспринимает это как цитирование двух различных статей.
Это выборка наиболее очевидных претензий, которая говорит о том, что к этому индексу необходимо относиться очень и очень осторожно. И очевидно, что это индекс, который не может поймать уникальных явлений. Поэтому к важнейшим недостаткам Индекса Хирша следует отнести то, что он не учитывает действительно «прорывные» исследования. И это самое важное.
Для понимания сути дела следует уточнить вопрос о том, когда и как возник Индекс Хирша. Индекс Хирша официально был запущен в 2005 году американским физиком Хорхе Хиршем, университет Сан-Диего. Важен следующий вопрос: почему именно в это время Индекс Хирша появился? Ответ прост. В 90-х, после развала СССР и изменения геополитической картины, в самом даже захудалом американском университете на каждое место в конкурсе участвовали более сотни человек со всего мира. И возможности экспертного сообщества в Америке были недостаточны для более-менее солидной оценки всего этого потока, который туда прибывал. Для этого нужны были формальные признаки по первичному отсеиванию. Заметим, что такое первич-
ное отсеивание нужно было для того, чтобы потом информацию об оставшихся соискателях передать уже экспертному сообществу для дальнейшего рассмотрения.
Есть и другие важные события этого периода. Индекс Хирша возник в период интенсивного старта наукоёмких технологий новой формации. Он использовался как основа предварительной, сравнительной оценки научной деятельности исследователя для подготовки последующей оценки его деятельности научным экспертным сообществом с целью формирования финансовых потоков в области научных исследований со стороны регулирующих органов. Вот, собственно, из-за чего возник Индекс Хирша. Теперь мы понимаем, когда и зачем он возник.
Но какова картина сегодня? На фоне стремительного разрушения экспертных научных сообществ это общемировая тенденция, Индекс Хирша переродился в один из основных инструментов для формирования менеджерами, минуя экспертное сообщество, финансовых потоков в области научных исследований. Как видим, Индекс Хирша не успел возникнуть, как уже вышел за область своей применимости. В этом и состоит вся претензия к использованию такого измерителя.
Является ли наукометрия наукой? Да, а раз наука, то она связана с образованием. Здесь очень важен вопрос, что первично, кто кого формирует. Общество формирует систему образования или система образования формирует общество? Примеров здесь масса, самые яркие примеры те, которые издалека хорошо видны. Пример, как система образования сформировала общество - это Древняя Эллада. Появился такой очень интересный человек, как Пифагор, который стал форматировать это пространство. После Пифагора появилась плеяда философов, учёных, и Эллада приняла совершенно другой облик, который мы знаем по истории. Правда, после него появился и второй человек, который отформатировал эту территорию - это Александр Македонский. Он за собой увлёк всех и просто вычерпал Элладу. После этого Эллада, по сути дела, уже просто доживала свой пик, пока не была подхвачена Римской империей. а вот Рим, скорее демонстрирует обратное. Рим вокруг себя имел разные системы образования. Но Рим пошёл по пути, наиболее соответствующему ментальности римлян - людей технократического склада. И они стали развивать именно то, что соответствовало их экспансионистским планам. И Рим стал формировать мощный инженерный пласт. В Риме не было таких ярких философов, какие были в Элладе. Но в Риме были замечательные инженеры, замечательные математики, прикладники и прочее. Поэтому, если говорить в целом, то это обоюдное влияние образования и общества друг на друга.
Что мы имеем сегодня? Для сегодняшнего дня и грядущей эпохи характерна высокая эластичность воздействия образования на все социально-экономические процессы. Это уже не Эллада, не Рим, когда столетия нужны были для проявления тенденций. Сейчас достаточно десятилетия. Вы можете либо общество отбросить на сотни лет назад, либо, наоборот, можете обществу дать импульс, и, если оно способно дальше его развить, то породить тенденции развития. Поэтому образование - это фундаментальнейший посыл для любого социума. Любой разумный социум должен определить свои задачи и под них подстроить образование.
На сегодня мы наблюдаем стремительный рост наукоёмкой составляющей производства товаров и услуг во всём мире. К чему это приводит? а к тому, что появляются разные социальные кластеры. Это общество потребителей; общество производителей простой линейки товаров и услуг; общество производителей технологий и сложной линейки товаров и услуг и общество, создающее знания для производства технологий. Вот, собственно, четыре таких крупных кластера в мире и образовываются. И, как вы понимаете, очень важно осознать, а где наше место, и как это место связано с системой образования.
Человечество ничего не придумало кроме двух типов образования. Первый - это метод тестового обнаружения явления. Такой тип образования репродуцирует общество потребителей и производителей простой линейки товаров и услуг. Если сегодня вы хотите опередить своих оппонентов, то вы можете им просто навязать такой способ образования, и вы будете в шоколаде, потому что всё само дальше будет за себя работать. Второй тип образования - это изучение принципов распознавания явления. Такой тип образования репродуцирует общество, создающее новое знание и инфраструктуру нового типа. Такой тип образования мы наблюдали в период пика советского образования. Советское образование было заменено на тестовый метод образования, который систематически формирует отставание страны.
Очевидно, что как первый, так и второй типы образования имеют свои преимущества и недостатки опять в ареале своего применения. Например, тестовое образование не появилось же как придумка. На самом деле, тестовое образование показало свою высокую эффективность в эпоху конвейерного производства. Именно эпохе конвейерного производства очень хорошо соответствует тестовое образование для подготовки высококвалифицированных исполнителей. Но мы уже эту эпоху миновали. Ну, а регресс в образовании за двадцать пять лет - это уже тоже общемировая тенденция. Он связан с упрощением системы образования, движением от изучения принципов распознавания явления к методам их тестового обнаружения. Но, в отличии от нас, в других мировых центрах уже давно существует многоуровневая системы образования, которая у нас так и не возникла.
Что может нас ждать, какое может быть ближайшее будущее? Это лежит в плоскости взаимоотношений бюрократии и сообщества интеллектуалов. С чего все начиналось в своё время? Все начиналось с формирования сообщества интеллектуалов-философов из касты жрецов, что было обусловлено потребностью бюрократии в расширении ее властных возможностей. Каста жрецов выполняла функцию хранительницы этики и традиций. Бюрократия при этом управляла, но не властвовала. а для того, чтобы властвовать, она должна была перехватить у жрецов, хранителей традиций, некие функции. Вот эти функции и выполняли философы. Окончательная гибель жречества - это последствия английской и французской революций с последующей легализацией ростовщичества в ареале земледельческой цивилизации.
Характерные свойства предыдущих эпох - результаты деятельности интеллектуалов отделены от них в пространстве и времени, т.е. то новшество, которое создал Архимед,
примерно 1% того, что он изобрёл, было реализовано уже в позднюю Римскую империю. В Сиракузах создавал, а в Риме это уже делалось. И в пространстве, и во времени разнесены. Признак новой эпохи - это сжатие в пространстве и времени результатов деятельности интеллектуалов и, соответственно, усиление значимости сообщества интеллектуалов. Основные источники знаний новой эпохи - это сборка систем знаний, основанная на представлении о целостности, так называемый синергетический подход. Важнейшие свойства создаваемых знаний - это усложнение и возрастание разрушительной мощи результатов знаний. Определяющие факторы новой эпохи - это передел власти между бюрократией и интеллектуалами. Единственный путь выживания человеческого социума - это сосуществование в мире сложных компромиссов. И воссоздание этики сообществом интеллектуалов определяет единственный путь сосуществования в мире сложных компромиссов. Будущее определяется относительными скоростями роста объёма знаний и роста значимости этики мировосприятия.
Ну и, наконец, последнее. Это ответы на поставленные вопросы.
Наукометрия это наука? Ответ: «Да, и как любая наука, имеет ограниченную область применения».
Что такое современная наукометрия - инструмент подготовки перехода к обществам с экономикой знаний или инструмент создания иерархии обществ при экономике знаний? Ответ: Инструмент создания иерархий сообществ при экономике знаний.
Кто они бенефициары наукометрических измерений? Ответ: «Внутри страны -бюрократия, на мировых площадках - центры силы».
Каков эмоциональный фон наукометрического эксперимента, как чувствует себя человек, которого сосчитали? Ответ: «Исследователи вынужденно вовлекаются в рейтинговую гонку в ущерб основательным исследованиям.»
Государство - потребитель наукометрических измерений? Ответ: «Без наличия развитого экспертного научного сообщества наукометрические измерения превращаются в инструмент обслуживания корпоративных интересов бюрократии. Всё, спасибо.»
Устюжанина Е.В.:
Слово предоставляется Денису Витальевичу Давыдову.
Давыдов Денис Витальевич:
Начну с того, что, несмотря на то, что мы по разные стороны баррикады должны быть, некоторые элементы предыдущего доклада вы сейчас в моей речи тоже услышите. Это неудивительно, потому что говорим мы об одном и том же объекте. И как раз те позиции, которые касаются объективизации в наукометрических измерениях, в общем-то не сильно отличаются.
Есть несколько тезисов, которые я бы хотел обсудить именно в дискуссионном формате, потому что я защищаю позицию, которая, как вы понимаете, мне не совсем близка. Но раз поставлен защищать, то буду защищать.
Итак, первый тезис, который хотелось бы озвучить и обсудить: развитие наукометрии - это просто некоторое следствие той объективной реальности, в которой мы находимся.
Ещё недавно никакой наукометрии не было. Уже упомянутый в предыдущем докладе Индекс Хирша появился чуть менее 15 лет назад. Наукометрии в современном понимании не было сто лет назад, её почти не было 50 лет назад, хотя индекс цитирования появился где-то в 60-70-е годы. И попытки его изучения были. Но они были не массовыми, и самое главное - они из теоретической плоскости не переходили в практическую, из них не пытались вывести какие-то элементы управления.
Но вот чисто экономический, на мой взгляд, вопрос: с чем связано то, что все изменилось? И мой ответ, в отличие от ответа оппонента, будет таким: скорее всего, в первую очередь это следствие цифровизации, т.е. уменьшения издержек на обработку информации, связанную с соответствующими базами данных, связанную с тем, что мы просто теперь получили возможность всё это посчитать, и посчитать достаточно дёшево. Как только возникает этот аргумент, сразу возникает и ответ на вопрос, почему этот способ начали активно внедрять, откуда появились наши «громады мировые» типа Web of Science, Scopus и т.д.
Второй момент, который тоже уже был озвучен в предыдущем докладе «в кавычках»: возникает в некотором смысле «избыток учёных» на том или ином научном поле. Если смотреть близкое нам направление «экономика», мы видим большое количество вузов, которые имеют теперь программы PhD, в разных странах мира. Это не только США, не только Европа. Это Китай, Австралия, и Южная Америка уже тоже пытается. И мы (в России) тоже что-то пытаемся делать. И несмотря на то, что это абсолютно разный уровень, всё это множество вузов требует некоторой иерархизации. И лидеры хотят как-то отличаться от остальных. Они начинают поддерживать схему, которая была бы им выгодна в том, чтобы отличаться от остальных. Затем появляются некоторые финансовые средства, которые провоцируют дальнейшую формализацию в этой области, в наукометрии. И это тоже некоторые объективные процессы. Вот так сложилось.
Вернемся опять к 1991 г. и процессам, которые происходили после распада СССР. В некотором смысле глобализация и открытие границ привели к тому, что наблюдаемое международное перемешивание научных сообществ должно было как-то самоопределяться с точки зрения формирования локальных центров, ведущих центров, с точки зрения перераспределения ресурсов с учётом тех ограничений, которые сейчас в мире присутствуют. И, на мой взгляд, это тоже просто некоторый фактор, который воздействовал на то, что наукометрия возникла и развивалась.
Важный момент, который здесь следует фиксировать с точки зрения наукометрии как науки, если её считать наукой. (Уточню: я не утверждаю, что это наука, я говорю, что можно найти элементы научности в этом подходе). Как принято в экономике (условно, опять же, в кавычках), можно использовать «позитивный» и «нор-
мативный» подход к анализу. Или же, другими словами, «объективный» подход и вот то, что называется иногда «результативным» подходом или попыткой использовать любые индикаторы в качестве КР1 (ключевые показатели эффективности). Много раз я выступал на всевозможных прикладных совещаниях в разных аналитических центрах и в регионах, а в последнее время и в агентствах министерств и говорил: если вы создаёте некоторый индекс или индикатор, не превращайте его в КР1. Обычный ответ: «а мы и не превращаем». Я же утверждаю: как только вы создали некоторый индикатор, либо вы, либо ваши руководители начнут его использовать как КР1. Это важно. И важным здесь, на самом деле, является не создание какого-то конкретного индекса или набора индексов, а системы индексов, которая была бы неманипулируемой.
Вот, например, «разгон» Индекса Хирша за счёт самоцитирования - это простейший вариант манипуляции. Вопрос, можно ли создать систему неманипулируемых по совокупности индексов, - это вопрос измерения. Ну и общий ответ, конечно, отрицательный. Но можно придумывать некоторые схемы и механизмы, которые, опять же, упрощают объективизацию таких индикаторов и минимизируют возможную манипуляцию ими.
Таким образом, если смотреть на наукометрию в большей степени с объективистских позиций, с точки зрения «позитивного» анализа по сравнению с «нормативным», то в общем-то мы видим вполне нормальные, формализуемые задачи. Например, почему для индекса Хирша (хотя можно и другие измерители здесь обсуждать) имеются отраслевые различия? Есть физика, есть биология, есть экономика, есть какие-то другие социальные, гуманитарные науки. И мы наблюдаем различия показателей и в средних, и в дисперсии, и этому должно быть какое-то разумное объяснение. Почему бы не формализовать это через некоторую модель, связывающую число учёных в отрасли, число публикаций, структуру цитирований, прикладную важность, с точки зрения объёма внедрения в миллионах долларов или объёма патентов, связанных с этими фундаментальными исследованиями, и т.д. Всё это возможно, и всё это в некотором смысле научная деятельность или, как минимум, околонаучная деятельность.
Дальше возникает вопрос: кто конечный потребитель этого всего, и зачем это все нужно? Нужно ли производить такое «наукометрическое знание»? Один из частных вопросов здесь (вполне логичный, на мой взгляд) - это прогнозирование развития различных отраслей науки. Можно ли с помощью тех или иных индексов (я не говорю, что нужно использовать те, которые используются сейчас), но, в принципе, можно ли с помощью тех или иных индексов предсказывать развитие науки? И, может быть, даже прогнозировать новую научную революцию, если таковая где-то там на горизонте может возникнуть? Или нет? Но ответ может быть и отрицательным, это вполне возможно.
Ещё один момент, который возникает в качестве аргумента «за наукометрию» (я уже немного говорил об этом выше): фактически, когда создаются различные центры
различного уровня и соответствующие им иерархии и институциональные формы, учёные концентрируются вокруг этих центров. Пусть это происходит даже в силу использования некоторых формальных манипулируемых индексов, но всё равно это перераспределение происходит. При этом формируется какое-то равновесие в части распределения ученых. Вот здесь возникает некоторая мысль о конкурентности и самоотборе, классической постановке в задачах теории контрактов. Потому что, с одной стороны, можно смотреть на учёного как на предпринимателя, который рискует, вкладывая свою энергию в ту или иную статью, которая потом может «выстрелить» или «не выстрелить», мгновенно или со временем. Статья может цитироваться сразу или же стать активно цитируемой через три или через десять лет. Или же смотреть на учёного как на человека, который является тем самым наёмным работником в классической модели теории контрактов. И он тогда хочет полной страховки, полной защиты, постоянной зарплаты и, собственно говоря, принимать на себя риски не готов. Но тогда эти риски должна взять на себя организация. Или, если организация находится в тех же условиях, она достаточно мала и у нее не хватает бюджета на покрытие рисков, тогда, наверное, эти риски должны перейти на уровень государства.
Дальше возникает закономерный вопрос: а может ли государство в условиях глобализации поддерживать все науки, или же оно должно концентрироваться на отдельных научных отраслях?
Что мы видим сейчас? Государство концентрируется на «военных» науках, насколько могу себе это представить, ибо не знаю конкретных данных. Видимо, такие данные закрыты, и это было бы неудивительно. Но есть подозрение, что концентрация происходит по отдельным направлениям, по отдельным отраслям, а всё остальное поддерживается только с точки зрения воспроизводства в каком-то минимальном масштабе. Хотя с этим тоже можно поспорить. а вот постановка задачи в этом направлении, на мой взгляд, именно такая, если пытаться смотреть объективно на те факторы и процессы, которые мы наблюдаем.
И последний момент, который я хотел бы затронуть. Он частично перекликается с выступлением предыдущего оратора. Наблюдается дисбаланс между формальным подсчётом показателей, пусть это индекс Хирша или какой-то другой индекс, и экспертным рецензированием в журналах тех самых статей, из которых потом появляется индекс Хирша. Конечно, экспертное рецензирование (или рецензирование на уровне организации) может оцениваться своими индексами: помимо Н есть индексы О и I и, наверное, другие. Но сам факт дисбаланса между экспертным мнением и формальными индексами присутствует. Потому что экспертизу на уровне журналов никто не отменял, и вот этот вот принцип экспертного сообщества на уровне редакции журналов, насколько я могу судить, за рубежом работает очень чётко. И он связан не только непосредственно с редакцией, но и с той сетью учёных, которые работают в сходной области. На это экспертное сообщество завязано некоторое количество
базовых международных конференций, которые обычно кочуют из города в город, из страны в страну, и позволяют экспертную сеть при этом поддерживать. Это та картина, которую мы наблюдаем в ведущих научных журналах. Это то, что мы наблюдаем с ведущими учёными в мире. Это то, что я частично наблюдаю в «Российской экономической школе» (я в том числе немного занимаюсь обработкой научных данных по своей должности, поэтому имею представление, как это происходит).
Но данная схема тоже может оказаться манипулируемой. И плохое, слабое экспертное сообщество, например, представленное локальными экспертами из какого-то регионального журнала, может давать некоторые не очень удачные результаты. Так что мы вновь возвращаемся к озвученному вначале вопросу о манипулируемости, но не только с точки зрения индикаторов (индексов), сколько со стороны «экспертного сообщества».
Ну и напоследок, к вопросу о сегрегации. У нас некоторое перераспределение по локальным нишам сейчас возникает и в науке тоже. Но касается оно, на самом деле, общества в целом. В качестве небольшой провокации вопрос для аудитории: то, что показывает канал ТНТ, т.е. Comedy Club, Дом-2 и др. передачи, как вы их воспринимаете? Как деградацию или как развитие? Вот, прежде чем вы себе ответите, скажу, что я отвечаю на этот вопрос так: на самом деле, это тоже локализация некоторого равновесия, и вокруг человека или группы людей собираются те, кто на этом тоже чему-то учится. Как это ни странно прозвучит, аудитория подбирается та, которая там что-то может почерпнуть. Это может быть не так уж идеально с точки зрения нашего представления о культуре, нашего представления о морали, но при этом есть некоторые факторы, подсказывающие, что общество движется в верном направлении. Я периодически просматриваю (раз в две-три недели, а что-то и раз в месяц) каналы типа СТС, ТНТ, выясняю, чем они там занимаются, просто чтобы мониторить ситуацию, изменилось ли что. На самом деле, если вы смотрите эти каналы, в динамике кое-что меняется, и меняется в положительную сторону, как это ни странно прозвучит... Спасибо за внимание, на этом остановлюсь.
Бекларян Л.А.
Во-первых, хочу поздравить оппонента с блестящим выступлением, обоснованным, абсолютно чётким. Но вместе с тем замечу, что вопрос абсолютно чётко был разъяснён в рамках некой системы существующих методов оценки. Вот о чём была речь. Я хотел донести мысль о том, что при существующей тенденции стремительного, по сути дела, исчезновения экспертного научного сообщества как общемирового тренда, существующая якобы объективизированная система оценок приводит к известному результату, как в банковском деле: богатые становятся богаче, бедные становятся беднее. Т.е. центры экономической силы приобретают, а остальные теряют. Поэтому вопрос стоит в честном определении видения будущего. Если государство огласит, что мы строим счастливую страну, которая будет потреблять продукты, которые весь мир
будет производить, а мы счастливо будем потреблять и радоваться, то все замечательно и вообще нечего беспокоится. Но если мы при этом все в уме имеем некую другую мысль, мысль о том, что мы когда-то были великой страной и сейчас опять на что-то претендуем, то такая система абсолютно никуда не годится. Она приводит только к дальнейшему разрушению. Вот, собственно, что я хотел сказать.
Устюжанина Е. В.:
Денис Витальевич, можете что-то возразить, поскольку у Вас-то была другая идея. У Вас была идея, что страна должна понять, что бюджета на всё не хватит, и поэтому нужно найти, на что тратить деньги.
Давыдов Д. В.:
С одной стороны, дефицит бюджета - это классика жанра, это основа, по-другому быть не может, действительно. Но здесь даже речь не об этом. Если мы ставим некоторые управленческие задачи, связанные с каким-то там, скажем, национальным превосходством в конкретной области знаний, тогда нужно задавать вопрос: достаточно ли системы мониторинга, которая сейчас работает во всём мире, или она должна быть модифицирована и дополнена? Т.е. достаточно ли той системы, которая является общей сейчас, а она в целом возникла сама. Да, у нее могли быть какие-то локальные «искусственные» основания, но, в принципе, т.к. её поддержали, т.к. она распространилась во всё мире, видимо, у неё есть серьёзные бенефициары. Наверное, там появились свои бизнес-интересы и бизнес-процессы, и это действительно может приводить к некоторым странным эффектам, которые мы наблюдаем. Например, когда Министерство образования тратит большие деньги, чтобы получить доступ к тем базам данных, которые формировались в том числе нашими учёными, а при этом учёные не имеют доступа даже через министерство и обязаны лично оплачивать доступ к собственным статьям. Но это, конечно, дисбаланс, который должен быть как-то отрегулирован, если он не регулируется самостоятельно, что называется «рыночным методом».
Понятно, что отношения между производителями и потребителями научных исследований характеризуются таким свойством как некоторая «нерыночность» или «рыночная неконкурентность». И как только эта неконкурентность возникает, возникает и вопрос регулирования. Регулирование должно присутствовать безусловно, безотносительно того, какой индекс мы вводим, и как мы к этому относимся. Так вот, если мы рассуждаем локально, с точки зрения некоторого региона или некоторой страны, некоторых национальных интересов, то не принимать во внимание внешне-мировую тенденцию мы не можем. Но мы, возможно, должны дополнять каким-то образом, ограничивать влияние этой внешней среды, если у нас есть некая конкретная цель. Но вот вопрос полного отвержения наукометрических индексов, вопрос мириться с ними или противодействовать им, на мой взгляд, поставлен неправильно
в силу того, что наукометрические измерения достаточно объективны по своей сути. Они появились неспроста. Это не разовый «вброс» информации, как бывает, например, на выборах. Это не какое-то случайное событие. Это некоторый результат осознанной деятельности научного сообщества. Если бы некоторый конкретный индекс, например, индекс Хирша, не поддержали, если бы его не посчитали достаточно уместным и удобным, он бы не выжил. Но он уже выжил, он действительно стал основой, пусть даже не очень совершенной. Конечно, недостатков у этого индекса много. Но он выжил, он теперь активно развивается, продвигается кем-то.
Опять же нужно разделять бизнес-задачи продвижения со стороны конкретных компаний, со стороны конкретных интересантов и, собственно, поддержание со стороны научного сообщества. Во всём мире научное сообщество данный индекс приняло. Разве нет?
Бекларян Л.А.
- Не совсем так, но его используют.
Козырев Анатолий Николаевич:
- Есть примеры положительной обратной связи и отрицательной обратной связи. Здесь ситуация, когда отрицательной обратной связи нет. Вот если бы было такое, что человека много цитируют, тогда к нему пристальное внимание и выясняется, что он прохвост. И он за это наказывается. Вот это было бы нормально, на самом деле этого нет даже внутри нашего института. Потому что всё кругом пронизывают интересы. И как-то не принято об этом говорить, но на самом деле это самое главное. Механизмы должны быть совместимы со стимулами.
Макаров В.Л.
- Доклады были сделаны глубокие, со ссылками, но главного вопроса они не коснулись. а главный вопрос состоит в том, почему мы на самом деле эту задачу поставили здесь? Ну кто против того, что надо измерять? Конечно, всё, что можно измерять, надо измерять. Но вопрос-то в том, что сейчас мировая наука вообще близка к тому, чтобы просто погибнуть, особенно российская наука.
Почему? Все, наверное, знают, что Владимир Владимирович Путин издал указ о национальных проектах. Есть задача совершить рывок в науке, и для этого нужно реализовать национальный проект «Наука». Сейчас много людей занимается этим проектом, кто говорит, 400 млрд рублей на него надо, кто говорит - 500 млрд, и т.д. Он там делится на какие-то куски, уже паспорт этого проекта «Наука» создан. Но мало кого интересует, как он будет исполняться, и что там главное. Всех интересует, куда эти 500 млрд пойдут?
Кто постарше помнят плановую экономику, там были плановые показатели, которые надо было исполнить. Исполнить не обязательно было сделать что-то хорошее,
надо просто исполнить. Вот здесь то же самое, если сейчас всё пойдёт именно в эту сторону, то с наукой можно закончить, никакой науки не будет. И сейчас всё идёт к этому.
На самом деле, всё надо измерять, но в рамках научного сообщества. а сейчас этим занимается кто угодно, кроме научного сотрудника. Сколько патентов и прочее - это интересует вовсе не научных работников, а менеджеров, тех кто делит деньги. Это и есть сигнал о том, что то «измерение науки», которое сейчас происходит, может привести эту самую науку к гибели. Все эти измерения к результатам науки никакого практического отношения это не имеют.
Конечно, надо измерять, сколько знаний произвело человечество и т.д. Вот у нас в институте математики была категория таких чистых математиков, которая занималась очень узким кругом вопросов, их там было около 20 человек всего в мире, и они все друг друга знали и часто, не публикуя даже, передавали друг другу свои результаты. Там мог быть какой-то прорыв. Или Перельман, он вообще ни одной публикации не сделал ... Надо измерять, но ни в коем случае нельзя допускать туда бюрократов.
Бекларян Л.А.
- Валерий Леонидович, видимо я очень быстро проскочил. Индекс Хирша возник в период интенсивного старта наукоёмких технологий как основа предварительной сравнительной оценки научной деятельности исследователя для подготовки последующей оценки научным экспертным сообществом с целью формирования финансовых потоков уже для регулирующих органов. То есть научное сообщество должно быть центральным звеном при формировании оценки деятельности. Но в реальности, на фоне стремительного разрушения экспертного сообщества Индекс Хирша стал одним из основных инструментов для формирования менеджерами финансовых потоков.
Паринов Сергей Иванович
- Обратите внимание на некий парадокс. Взгляните на ситуацию с другой стороны, и вы согласитесь, что бюрократам надо тоже дать хоть что-то. Предлагаю попытаться отделить суть явления от основы её реализации. Давайте взглянем на суть явления, которое мы обсуждаем. С одной стороны, у нас есть научное сообщество, и ему нужна сигнальная система, любому сообществу нужна сигнальная система, и наукометрия в принципе предназначена, чтоб создать эту сигнальную систему. Чтоб учёные видели, что сейчас делают другие учёные, с кем он сотрудничает, кто лучше, кто хуже. Учёным нужна наукометрия для их собственной работы, для развития, для прогресса.
С другой точки зрения, другая суть явления состоит в том, что учёные борются, конкурируют за ограниченный ресурс, за деньги. И это сейчас уже происходит в глобальных масштабах. Мы могли, сейчас, наверное, уже не можем, претендовать на гранты Американского национального научного фонда или Европейской комиссии.
Таким фондам нужна какая-то глобальная система, чтобы они могли нас измерять. Им тоже нужна наукометрия, но именно как средство решения задач - кто лучший конкурент за те ограниченные ресурсы, которые они предлагают.
То, что мы с вами обсуждаем цитирование публикаций, за ними стоит научная кооперация. Почему учёные цитируют? Потому что они чьи-то результаты использовали, и они могут либо признать результат, либо отнестись к нему с критической точки зрения. Если использовали, то значит был факт научной кооперации. Цитирование - это отражение научной кооперации.
Но, поскольку цитирование теперь измеритель чего-то, что влияет на твою зарплату, конечно, ты начнёшь цитировать уже не по сути, а по каким-то другим принципам.
С другой стороны, администратору-менеджеру нужны инструменты для решения задач конкуренции за финансирование, и научному сообществу нужна сигнальная система.
Макаров В.Л.
- Серёжа, в твоих рассуждениях учёный - это проситель, он у кого-то должен просить эти деньги. У кого больше Индекс, те конкурируют. Но это же ложно.
Паринов С.И.
- Я не говорил про какой-то конкретный индекс, я говорил, что нужно разрабатывать. Наукометрия нужна для этого.
Устюжанина Е.В.
- Вы уверены, что можно разработать?
Паринов С.И.
- Конечно, и мы сейчас этим занимаемся с РАНХиГС.
Устюжанина Е.В.
- Сергей Иванович, на каждый даже самый хитрый замок найдётся ключ. Возможно, будет изумительная система, но при этом люди начнут вырабатывать способы её использования для перераспределения денег в свою пользу.
Паринов С.И.
- Но, тем не менее, остаётся задача создания оптимальной системы измерения.
Давыдов Д.В.
- Про совместимые системы уже прозвучало. Есть ещё термин, чуть менее распространённый, неманипулируемые механизмы. Мы знаем, что их класс очень узок,
но они есть. Так вот, проверить наличие неманипулируемого механизма по отношению к такого рода измерению - тоже хорошая задача, и ею надо заниматься. Не уверен насчёт результата. Но, к примеру, можно так запутать систему показателей, сделать ее, например, случайной, что конкретный принимающий решение бюрократ заранее не будет знать, какие индексы и какие веса у каких индексов «выстрелят». Но при этом он должен будет принимать решение на основании некоторых средних показателей, и это может давать некоторый позитивный результат. Неманипулируемость можно рассматривать с точки зрения отдельного исследователя, если он хочет заработать нечестным образом лишнее цитирование или получить лишнюю публикацию, с одной стороны. а с другой стороны, быть может, можно аккуратно поставить задачу и для бюрократа, с точки зрения того, что тот индекс, который он получит в результате вот такой случайной агрегации, будет давать некоторый вполне осязаемый эффект.
Устюжанина Е.В.
- а как же рентоориентированное поведение? Ведь бюрократ, который ничего не решает, а только смотрит на эти неманипулируемые индексы, он же самого главного лишается - власти.
Давыдов Д.В.
- Но мы же говорим о соблюдении законодательства РФ.
Дементьев В.Е.
- К вопросу о сигнальной системе. Во-первых, разговор идёт о наукометрии, но никто не определил, что мы понимаем под наукометрией. Строгие определения и я не буду давать, но считаю на самом деле проблему отслеживания публикационной активности, анализа этой публикационной активности весьма важной.
Обратимся к примеру нашего атомного проекта. В 1940 году Петржаком и Флёровым было сделано фундаментальное открытие, принёсшее авторам мировую известность. Они обнаружили новое физическое явление - спонтанное деление ядер урана-235. В начале 1942 г. лейтенант Флеров вместе со своей воинской частью оказался в Воронеже, вблизи линии фронта. Воронежский университет эвакуировался, но его библиотека осталась. В библиотеке были американские физические журналы, и Флеров стал их смотреть. Его интересовали новые статьи по делению урана, отклики на его с Петржаком работу по спонтанному делению. Флеров обнаружил, что в журналах не только нет отклика на его и Петржака открытие, но и вообще пропали статьи по делению урана. Из журналов вообще исчезли статьи ведущих ядерщиков.
Из того, что «собаки прекратили лай», Флеров сделал вывод, что исследования по делению урана в Соединенных Штатах засекречены. Это означало, заключил он, что американцы работают над созданием ядерного оружия. Тревожным был тот факт, что у нацистской Германии были первоклассные ученые, значительные запасы урановых
руд, завод тяжелой воды, технология получения урана, методы разделения изотопов.
Флеров решил, что отсутствие публикаций - это сигнал не о том, что закончили этой проблематику разрабатывать, а о том, что эту проблематику закрыли и что ей как раз стали интенсивно заниматься. Прежде всего он поделился своей тревогой с Кафтановым, который в Комитете обороны курировал науку, но Кафтанов не отреагировал на его обращение. Тогда Флеров в апреле 1942 года написал письмо Сталину, обрисовал ситуацию с публикациями, представил свои выводы из этой ситуации.
Сталин продемонстрировал не рентоориентированное поведение, отреагировал на это письмо.
Макаров В.Л.
- Причины непубликаций могут быть разные. Как известно, Ньютон не публиковал свои открытия по дифференциальным вычислениям, потому что он с их помощью решал какие-то задачки и выигрывал время.
Дементьев В.Е.
- Согласен, когда я начал читать литературу по нано- и биотехнологиям, в одной из статей мне попалось интересное соображение. Автор писал о том, что если по какому-то направлению биотехнологий снижается количество публикаций, то это не означает свертывания исследований. Скорее, они переходят в более прикладную плоскость, их результаты коммерциализируются. Что касается отслеживания публикационных показателей, такого рода анализ может быть полезным для понимания этапа развития знаний. Другое дело, что мы на себе чувствуем, к чему приводит подмена анализа публикационной активности заданиями по количеству научных статей, когда отделение обязывают выдавать 160 публикаций. Особенно настораживает стремление власть предержащих определить растущие планы этих публикаций.
В этой связи показываю слайд (рис. 1), на котором видно, что на самом деле наука, по крайней мере финансирование науки, развивается неравномерно. Если мы посмотрим, доля финансирования фундаментальных исследований в расходах промышленности США на исследования и разработки меняется волнообразно. Такие же графики можно было бы привести для прикладных исследований, там был бы график совсем другой конфигурации, чуть ли не зеркальный.
Если бы мы посмотрели график, отражающий по американской статистике динамику всех расходов на исследования и разработки, то увидели бы, что этот график напоминает лесенку. То есть, один уровень расходов, потом повышение, потом снова такая более-менее плоская площадка, потом снова рост и т.д. Такая ситуация, видимо, имеет какие-то объективные причины. Можно объяснить эту лесенку тем, что есть период технологических прорывов, а есть период улучшающих инноваций. Такая ситуация не очень вписывается и согласуется со стремлением чиновников навязать нам планы непрерывного устойчивого роста результатов как фундаментальных, так
Рисунок 1. Доля финансирования фундаментальных исследований в расходах на исследования
и разработки в промышленности США
и прикладных исследований. На самом деле, видимо здесь объективные законы такие, что знания накапливаются немонотонно и неравномерно. Требование, чтобы ученые выдавали на-гора, в устойчивом темпе наращивали число публикаций, не соответствует природе реальных процессов накопления знаний.
На самом деле, что мы наблюдаем? Если брать Стратегию научно-технического развития, там большая градация разных типов исследования: фундаментальные, предкон-курентные, ориентированные, поисковые, прикладные, экспериментальные, трансляционные и т.д. Есть предложение со стороны Высшей школы экономики, эту градацию свернуть к двум стадиям - экзальтированной и директивной. Мне такое предложение представляется весьма дискуссионным. Если речь идёт о наукометрии и отслеживании публикаций, отслеживать лучше именно по стадиям, для того чтобы, как я уже говорил, почувствовать, когда у нас приближается стадия, допустим, предконкурентная. Это одна ситуация. На предконкурентной стадии можно как раз ожидать, что количество публикаций будет снижаться. Почему? Потому что это уже период, когда знания переходят в сферу коммерческой тайны.
Что касается использования наукометрии для финансирования научных исследований. Почему такое большое внимание Индексу Хирша? Похоже есть установка, которая связана с ограниченными финансовыми ресурсами, использовать Индекс Хирша для выделения тех, на ком сконцентрировать ресурсы. Поддерживать лидеров хорошо, но и они когда-то могут сокращать количество публикаций по разным причинам, в том в связи с переходом в сферу коммерческой тайны. На самом деле, распределение финансирования должно учитывать, что важно сохранять компетенции, в том числе научные коллективы, которые пусть пока не делают больших открытий, но обеспечивают сохранение компетенций. Такие коллективы тоже надо поддерживать.
Дальше возникает вопрос, а если мы в чём-то отстаём и у нас мало знаний в некоторой сфере, это значит, что мы должны поставить вообще крест на такой сфере и питаться знаниями других? Неочевидно, или скажем так очень сомнительно. Почему? Потому что многие новые вещи рождаются на стыке наук, и если мы не поддержим соответствующие компетенции, если мы не подтягиваемся там, где сильно отстаём, то загоняем себя в тупик и не сможем выходить на прорывы, которые рождаются на стыке наук. Это - во-первых. Во-вторых, сохранение компетенций важно ещё и потому, что опыт показывает, если открытие делается в одной стране, то его коммерциализация может осуществляться в других странах. В тех странах, которые смогли пойти на такую опережающую коммерциализацию, были люди, которые пусть порох не изобретали, но они обладали достаточными компетенциями, чтобы понять, какие новые знания рождены в других странах. Поэтому подход к финансированию должен быть дифференцированным: лидеры, поддержка компетенций, ликвидация отставаний. Всё, спасибо.
Левин Марк Иосифович
- Мне очень нравится, что главная проблема, то как нас будут оценивать бюрократы.
Я недавно прочитал книгу Акунина о Петре Первом. По мнению Акунина, психологический склад Петра Первого был такой, что ему было легко тогда, когда все было регламентировано. Он пытался всё регламентировать. а страна, народ не хотели регламентироваться. Стремление к индексу Хирша - это попытка регламентации.
Мне чужда идея, что ученого надо кормить.
Как это реально происходит? Нам платят за сигналы. Мы им сигналы - они нам платят.
Все показатели, включая индекс Хирша, что-то отражают. Мне это напоминает дискуссию 1932 года. По какой средней надо оценивать темпы роста. Решение: социалистическую экономику - по средней геометрической, капиталистические сраны -по средней арифметической.
Макаров В. Л.
- Вот согласны ли вы, что настоящий учёный не укладывается в стандартные рамки? Ведь не все гонятся за деньгами. Взять конкретный случай Перельмана. Другой человек сидит за нашим столом, это Валерий Григорьевич Гребенников. У нас в ЦЭМИ была такая система оценки научных сотрудников (ПРНД), по которой надо было получать соответствующие баллы за различные достижения - публикации, конференции, гранты и т.д. Так вот, когда Валерия Григорьевича спрашивали: «Почему ты не заполняешь таблицы?», он отвечал: «Да пошли вы с этой системой, не буду я ничего вписывать. У меня есть более важные занятия!». Ему говорили: «Но ты же надбавку не получишь!». Он отвечал: «Да, не нужна мне ваша надбавка ...».
Он чем-то другим руководствовался и не гнался за баллами. И правильно делал, не надо гнаться за баллами.
Щепина Ирина Наумовна
Хочу сказать, что сейчас делает министерство с вузами. Моё определение - решает, как не дать денег вузу. Выясняем, что все по 20 статей написали, а один - 40. Решение -в следующем году у всех должно быть не менее сорока статей. Народ возмущается -это невозможно. Отвечают: «Как невозможно? У одного же есть сорок. Вот и все так пишите. Тех, кто напишет сорок статей, премируем». Преподаватели выложились и сделали по 40 публикаций. Руководство заявляет, что они рассчитывали, что такого результата добьются не более 10% сотрудников, и под это был сформирован бюджет, а оказалось в несколько раз больше. Раздали всем по три копейки. а теперь говорят: Вы должны опубликовать 50 статей в Web of Science. Но Вы же сказали, что надо опубликовать всего 40 статей в РИНЦ. Ну, это было вчера!
Поэтому, какая разница как измерять, если каждый день можно менять правила игры и исходить из того, что ресурсов мало и, главное - их не дать.
Левин М.И.
Я читал работу Ф.Э. Дзержинского, как он руководил ВСНХ. Он пришел к идее, что не годится приказная система. Система показателей приводит к краху. Система самоорганизации (хозрасчет и пр.), система создания стимулов может решить проблему, стоящую перед страной.
Козырев А.Н.
- Действительно, надо разобраться, можно ли оценивать или нельзя оценивать продуктивность учёных?
Гребенников Валерий Григорьевич
Огромное количество сил затрачено, чтобы создавать систему. а у нас вопрос стоит, а можно ли вообще оценить?
Макаров В.Л.
- У нас две проблемы. Одна - как измерять научные достижения. Какой человек великий, а какой - менее великий. а есть еще другая проблема, она касается не человека, а страны. Вот этот проект «Наука». Там говорится о том, что надо найти измерители не для конкретного человека, а для страны. Почему мы там по такому-то показателю на 25 месте, по какому-то - на 5, по какому-то - на 70. Но проблема-то в том, что деньги будут делить именно по тем показателям, которые там записаны.
Левин М.И.
Валерий Леонидович поставил вопрос: «Как измерять научное исследование»? Я видел критерии в ряде стран - это какие болезни были побеждены. Это является одним из критериев развития страны.
Гребенников В.Г.
Мы говорим о фундаментальной науке.
Левин М.И.
- О показателях измерений. Нам же нужны измерители, можно ли мерить фундаментальную науку? Фундаментальная наука не складывается, на мой взгляд, из отдельных составляющих, мы не знаем, как она складывается из фундаментальных направлений. В 1941 году никто не подозревал о том, что работа, малозаметная и опубликованная где-то под каким-то странным названием, о том, как надо чего раскраивать материал (работа будущего лауреата Нобелевской премии Л.В. Канторовича), станет принципиально новым шагом в развитии науки. Как мы можем это измерить?
Для меня всегда это артефакт.
Макаров В.Л.
- Мы все преподаватели и никто из нас не признаёт, что мы в чём-то виноваты. Мы преподаём по 10 лет, по 15, по 20, кто-то уже 40 лет преподаёт. Откуда берутся-то бюрократы? Мы их воспитываем. И не признаём, что это наша вина. Вот, Левон Андреевич правильно говорит, что всё зависит от образования. Всё начинается с образования, цивилизация и т.д. а почему в результате нашего преподавания такие кадры выходят?
Устюжанина Е.В.
- Чем моя любимая институциональная экономическая теория отличается от неоклассической? Прежде всего допущением, что люди могут вести себя оппортунистически, что они могут преследовать собственные интересы, что они могут нарушать установленные правила, что они могут стремиться к извлечению ренты и т.д. Т.е. если мы предположим, что такое вообще в природе существует, то мы действительно должны понять, что бюрократы обязательно будут хотеть взять над нами верх. Особенно если учесть, какие громадные деньги сейчас вертятся в сфере обороны и других видов наук. Понятно, что там, где есть деньги, туда приходят эффективные менеджеры, а мы все превращаемся в людей, которые ...
Макаров В.Л.
- Но ты же этих менеджеров и создавала.
Устюжанина Е.В.
- Нет, эти эффективные менеджеры существуют сами по себе. Вот у меня на кафедре есть несколько молодых преподавателей. И все они делятся на несколько категорий. Одни очень талантливые, с полуслова всё понимают, дашь им только какое-то направление, они сразу пойдут разрабатывать, и, насколько это будет интересный
результат, сказать трудно, но, по крайней мере, они всё понимают, что ты им говоришь. Другие далеко не столь талантливы, но именно им чаще всего дают гранты. Потому что у них есть совершенно другие компетенции, у них есть замечательные компетенции - устанавливать отношения.
Гребенников В. Г.
- Наукометрия, конечно, - это наука, т.е. искусство построения рейтингов научных учреждений, коэффициентов типа интеллектуального уровня человека и измерения психопараметров. Вреда от этого нет, но только до такого момента, когда эти инструменты не передаются нами добровольно в руки бюрократии. Здесь мы не виноваты, не мы передали эти опасные инструменты. В руках бюрократии все эти рейтинги, все эти индексы, и не только Хирша, они являются оружием людей, которые действительно не имеют никакого отношения ни к ценностям науки, ни к ценностям патриотизма. Что это такое, когда мы, отечественные учёные, вынуждены заискивать перед американскими журналами, чтобы попасть туда ради Scopus?
Основной вывод, который может сделать только учёный, порядочный человек, это то, что все попытки урегулировать науку бюрократически опасны. Наука может быть только саморегулируемой системой. Возьмём советское общество, там не было никаких индикаторов, индексов. Как распределяли деньги? На мой взгляд, я не большой специалист по части изучения истории отечественной науки, но мне представляется, дело было чисто человеческим государственным, были научные школы. Эти научные школы конкурировали между собой в рамках, допустим, сельскохозяйственной науки и т.д., там шли баталии вне всякой наукометрии. Верхушка прислушивалась, Иосиф Виссарионович вёл себя по-разному, там решался вопрос не в том смысле, что была какая-то процедура, нет, не было никакой особой процедуры дележа денег. Когда появлялась необходимость, допустим, у большевиков развивать ту или иную отрасль опережающим темпом, они давали больше денег на науку. Огромные провалы, проигрыши были в развитии электронной промышленности и т.д., но никакая наукометрия не помогла бы большевикам, если бы она тогда была прийти к выводу, что электронную базу надо развивать опережающим образом. Всё равно, всё решалось способом дележа денег не технологически, а согласованием, приезжали директора, главные конструкторы, директора институтов.
Сейчас нет никакого ЦК, а есть наукометрия, которая даёт показатели для деления денег. Сейчас есть наукометрия, которая определяет, какой институт надо поддерживать, а какой нет. То, как создаются рейтинги институтов, я немного занимаюсь рейтингами, это бессмысленно даже обсуждать.
Наукометрия может заниматься теми вопросами, где действительно можно осуществлять интересные измерения. Измерения ради процесса познания, а не ради дележа денег. Мы изучаем свойства металла, сплава не ради того, чтобы делить деньги между отдельными заводами, а чтобы понять характер, свойства процесса. Все эти
Хирши и прочее к процессу научного творчества, изучению его закономерностей не имеют никакого, как мне кажется, отношения. Наукометрия как орудие бюрократии для дележа денег - абсолютно вредная вещь. Для всего остального, как внутренняя потребность самоанализа науки она полезна.
Козырев А.Н.
- Если вдруг деньги начинает делить учёный, он определяет, что увлекающее его направление самое перспективное, а всё остальное .
При всех недостатках товарища Сталина, он всё-таки умел оценивать людей и деньги науки, пока был Сталин, назначались довольно удачно, а потом пошло уже как-то ... То ли людей не стало подходящих.
Наука нормально живёт, пока расширяется, пока есть старшее поколение, которое может быть почитаемо несмотря ни на что, что они сделали что-то, есть среднее, которое руководит, и молодое, которое растёт. Это всё нормально. Когда 90% науки - это старшее поколение - это конец.
Устюжанина Е.В.
- Мы играем по этим правилам или пытаемся изменять их? Хотим мы это признавать или не хотим, но мы живем в эпоху технологической революции. И страшно, что, пока бюрократы играют в свои игры, наука за это время в конкретной стране может просто закончиться. Потому что отрицательный отбор идёт, и этот отрицательный отбор очень сильный. Отрицательный отбор - это когда учёный превращается в имитатора учёного, стремится только достичь поставленные показатели: столько-то статей, столько-то ссылок, столько-то грантов, это уже не наука, это - имитация.
Солосина Мария Игоревна
- Как мне кажется, мы не до конца обрисовали предмет сегодняшнего нашего разговора. Если мы обсуждаем то, как оценивают научных сотрудников, то здесь нет тех, кто оценивает. То есть, мы между собой обсуждаем, как нас оценивают. Я на многих совещаниях была в различных городских администрациях, чиновникам тоже не нравится, как их оценивают. Показатели спускаются сверху, их нужно выполнять, почему, как - непонятно, это не способствует городскому развитию и т.д. Поэтому научные сотрудники не единственные, кого оценивают так, что это не идёт на пользу делу.
Сушко Елена Давидовна
- Прозвучало, что в принципе эта система имеет право на существование, но чтобы она была правильно реализована и чтобы кто-то ей пользовался, а кто-то не пользовался, в таком пределе пользовались, а в таком - не пользовались. Мне кажется, нельзя отделять идею от её реализации. Надо понимать, как то, что мы разработали, может быть использовано. Надо осознавать все возможные направления реализации. И вот
эта реализация, если мы ею в принципе не владеем, и она всё равно испортит эту идею, то лучше за неё не браться.
Макаров В.Л.
- Ключевое слово - наукометрия. Все согласились, что нужна наукометрия, измерять надо, в том числе измерять работу научных работников. И, конечно, в этой наукометрии какие-то недостатки есть. Но как её использовать? Наша дискуссия-рассуждение всё же идёт к тому, чтобы наше мнение шло дальше, чтобы такая волна была.
Да, наукометрия хорошая, но сейчас получилось так, что она больше вреда приносит, чем пользы. И вот об этом нужно внятно и четко говорить. Так, чтобы научное сообщество могло выразить свое мнение. Для этого мы сюда и пришли.
Винокурова Наталья Анатольевна
- Вот хотела сказать, что в Англии живёт профессор Смит - Председатель Ассоциации устных историков, и он борется за роль именно экспертного сообщества. Он пишет:
Я резко против того, чтобы играть в эти начетнические игры и увеличивать прибыль корпоративных издательств за счет научной деятельности. Особенно мне противен Elsevier, который отвечает за SCOPUS. Вместе с коллегами мне удалось добиться, чтобы последняя национальная академическая аттестация (UK research assessment exercise (REF14)) признала, что «никакая комиссия проверяющих не имеет права при оценке научных результатов (публикаций) использовать журнальные impact factors, иерархию журналов, иерархические списки или признанную репутацию издательств. Основополагающим принципом при оценке внутри какой бы то ни было дисциплины должно служить лишь справедливое и равное отношение к самим научным результатам». (Research Excellence Framework 2014). Того же самого мы намерены добиться и для грядущей аттестации 2021 года.
В Англии, как я знаю из общения с некоторыми английскими университетскими сотрудниками, индекс Хирша не принимается во внимание при аттестациях. Во всяком случае - не во всех университетах. Моя коллега, к примеру, которая только что проходила аттестацию в своем университете UCLAN (Университет Центрального Ланкашира) и получила повышение, даже не слышала о нем. Но они сильно озабочены требованием публиковаться в журналах, входящих в базу данных Scopus, и престижных издательствах. На аттестацию моя коллега даже не представила книгу, изданную в «среднем» издательстве. Это могло бы её скомпрометировать. Хотя она сама считает эту книгу своим большим достижением. Казалось бы, почему она (или профессор Смит) против такого ранжирования издательств и журналов? Они считают, что когда-то это было хорошим способом оценки научных достижений авторов. Но со временем престижные журналы и издательства стали пользоваться своим привилегированным положением, начали манипулировать учеными, предъявлять слишком жесткие фор-
мальные требования не только по оформлению, но и по содержанию, тормозить всё новое, оригинальное, обслуживать интересы отдельных корпораций или определенных научных школ. Более того, уже давно у издательств стали превалировать их бизнес-интересы, а интересы науки ушли на второй план.
Макаров Валерий Леонидович
Наверное, попытка создать какие-то измеримые показатели качества научной деятельности отдельного ученого или института не лишены смысла. Количество публикаций, число ссылок на работы того или иного ученого, уровень журналов, в которых публикуются результаты научных исследований, - все это, действительно, что-то отражает.
Но совершенно очевидно, что как только какой-нибудь показатель начинает использоваться для принятия тех или иных управленческих решений, он становится важным фактором научной жизни. Нужно больше публикаций - будем дробить результаты или публиковать одно и то же под разными соусами в разных изданиях. Больше ссылок - будем проводить «перекрестное опыление» - ты цитируешь меня, я - тебя. Важным становится импакт-фактор журнала, будем его наращивать всеми доступными нам способами .
Идеальных критериев оценки такого сложного явления как научное творчество нет и быть не может. Отдельные показатели что-то характеризуют, а что-то искажают. Но что нам всем необходимо понимать, так это роль тех, кто устанавливают правила игры. В данном случае четко действует принцип, кто заказывает музыку, тот и получает все бонусы. Мы сейчас изо всех сил пытаемся жить по чужим правилам, участвуем в чужих рейтингах, молимся на иностранные журналы. То есть мы заведомо согласились на роль младшего брата. А это плохая роль. Особенно в науке.
