CC BY
19
Обсуждение статьи Е. В. Осадчука
«ФОРМИРОВАНИЕ СИСТЕМЫ ОЦЕНКИ
результативности взаимодействия научных организаций с организациями предпринимательского сектора»
26 марта 2014 года в РИЭПП прошел Круглый стол, посвященный обсуждению статьи кандидата экономических наук Е. В. Осадчука «Формирование системы оценки результативности взаимодействия научных организаций с организациями предпринимательского сектора». В обсуждении приняли участие:
Борисов Всеволод Васильевич - кандидат физико-математических наук, зав. отделом проблем глобализации и международного сотрудничества в сфере науки и инноваций РИЭПП;
Осадчук Евгений Валентинович - кандидат экономических наук, зав. отделом проблем развития информационной среды и инфраструктуры науки РИЭПП;
Парфёнова Светлана Леонидовна - кандидат экономических наук, доцент, зав. отделом проблем научно-технологической политики и развития науки РИЭПП;
Ростовцев Андрей Африканович - доктор физико-математических наук, профессор;
Рыбакова Людмила Ивановна - зав. сектором оценки состояния и тенденций развития ресурсного обеспечения и объектов НТК и НИС РИЭПП;
Семёнов Евгений Васильевич - доктор философских наук, профессор, академик НАН Украины, директор РИЭПП;
Соколов Денис Сергеевич - кандидат экономических наук, зав. сектором ресурсов науки РИЭПП;
Юревич Максим Андреевич - научный сотрудник сектора проблем гармонизации российского и международного права в области науки и инноваций РИЭПП.
Семёнов Е. В.: Уважаемые коллеги, у нас сегодня очередной Круглый стол. Мы ряд статей, посвященных какой-то значимой теме, публикуем вместе с обсуждением. Обсуждение позволяет затронуть те вопросы, которые в статье опущены, увидеть связи между разными аспектами, изложить разные подходы и разные точки зрения. Сегодня мы обсуждаем статью Евгения Валентиновича Осадчука, имеющего опыт несколько отличный от опыта, которым обладаем мы, здесь присутствующие. Евгений Валентинович много лет, наверное семь - восемь, работал в сфере бизнеса, у него свой взгляд на то, как наука встроена в экономику. Мы, когда говорим про науку, то в основном видим ее связь с бюджетом. И когда мы говорим о критериях оценки эффективности научного труда, то мы тоже с бюджетной точки зрения рассуждаем. Е. В. Осадчук
54
Обсуждение статьи Е. В. Осадчука
предлагает дополнить систему привычных показателей новыми, учитывающими связь науки с бизнесом. Это, на мой взгляд, очень плодотворный подход, который требует обсуждения и осмысления.
Это не проект замены существующей системы показателей, а дополнение к ней. Здесь скорее речь идет о взаимодополнительности, а не о вытеснении одной системы другой. Ясно, что и после нашего сегодняшнего обсуждения проблема не будет до конца решена, и предстоит долгий процесс исследований. Оценка - это не какой-то универсальный способ, раз и навсегда принятый или очень надолго принятый, это вообще процесс. Он всегда подвижен, он всегда должен корректироваться с учетом того, что в самой действительности происходит. Тем более, что система, которую мы оцениваем, она же умная, она эволюционирует. И раз появляется зависимость от оценщиков, то система находит способы, как выгоднее выглядеть.
Евгений Валентинович, Вам слово для представления статьи.
Осадчук Е. В.: Добрый день, уважаемые участники Круглого стола. Позвольте поблагодарить вас за то, что откликнулись на приглашение. Надеюсь, предстоящее обсуждение получится у нас интересным, а для меня, как автора статьи, еще и познавательным. Каждый, кто хочет, сможет поделиться своим видением, опытом, укажет на аспекты, не учтенные в статье.
Идея статьи заключается в необходимости оценки всех аспектов деятельности научной организации, деятельности, результаты которой ориентированы на разные группы потребителей. А раз потребители разные, то и их оценка результативности деятельности научной организации также будет разной. Соответственно, нельзя научную организацию мерять какой-то одной линейкой - измерители должны быть у всех разными и отражающими специфику ожиданий, требований измеряющего.
В статье рассмотрены два основных вопроса:
- действительно ли потребители результатов интеллектуальной деятельности научных организаций обладают такими значимыми особенностями, что их - потребителей - можно разъединить по отдельным группам?
- имеет ли смысл для каждой группы создавать свою систему оценки или, например, компании предпринимательского сектора и без этого прекрасно находят себе партнеров в среде научных организаций?
Эти вопросы и идея в целом, представленная в статье, и предлагаются к обсуждению.
Семёнов Е. В.: Спасибо. Если есть необходимость что-то уточнить, пожалуйста, давайте зададим вопросы, потому что дальше Евгений Валентинович получит слово только в самом конце.
Денис Сергеевич, пожалуйста.
Соколов Д. С.: У меня один небольшой вопрос. В начале статьи у вас говорится, что воплощением предложений со стороны научной организации являются отчеты о выполненных научно-исследовательских работах по темам государственных заданий. Хотелось бы уточнить - с вашей
«Формирование системы оценки результативности...»
55
точки зрения именно сами отчеты являются воплощением предложений, или, все-таки, предложения, содержащиеся в отчетах?
Осадчук Е. В.: Оценивают по качеству предложений, которые представлены в отчетах. Действительно, можно было бы в статье уточнить этот момент.
Рыбакова Л. И.: Правильно ли я поняла, что дальнейшее развитие подсистемы оценки взаимодействия научной организации с организациями предпринимательского сектора предлагается в рамках формирования системы оценки результативности деятельности подведомственных научных организаций федеральными органами исполнительной власти? Или это будет еще одна самостоятельная процедура оценки?
Осадчук Е. В.: Спасибо большое за вопрос, Людмила Ивановна. Вопрос этот требует дальнейшей проработки. Если мы создадим какую-то отдельную систему, ориентированную на предпринимательский сектор, то вполне возможно она будет эффективнее функционировать, вне зависимости от той системы, которая создается органами исполнительной власти. Однако могут возникнуть задачи некой комплексной оценки научной организации исполнительной властью: как эта научная организация способна встроиться в бизнес-среду? И здесь может понадобиться полный срез - и как научная организация взаимодействует с органами исполнительной власти, и как она взаимодействует с бизнесом - анализ всех направлений ее деятельности. Лучше, как мне кажется, начать создавать систему оценки как некую подсистему, потому что в дальнейшем легче разъединить, чем потом объединять совершенно разнонаправленные системы с разной базой по научным организациям.
Рыбакова Л. И.: Понятно, то есть пока, все-таки, как развитие подсистемы внутри системы?
Осадчук Е. В.: Да, на данный момент видится именно так. Как оно будет потом, при более углубленном изучении вопроса - пока неясно.
Рыбакова Л. И.: Тогда еще один вопрос - сразу, чтобы потом отдельно его не задавать. Продумывали ли Вы, как обеспечить доступ заинтересованных юридических лиц к информации, поступающей в порядке мониторинга результативности деятельности научных организаций в Федеральную службу по надзору в сфере образования и науки? Сейчас юридическое лицо, как указано на сайте ведомства, может получить интересующую его информацию по запросу. Но, поскольку я не знакома с практикой: обращался ли кто-то, насколько полно и насколько своевременно данные могут быть получены, у меня и возник такой вопрос.
Осадчук Е. В.: Безусловно такой доступ нужен. Продумывалось ли это на уровне программного обеспечения, каких-то интерфейсов - пока еще нет. Заложить такую возможность безусловно надо, потому что подсистема будет ориентирована именно на эту группу организаций. Они должны зайти в систему, посмотреть, выяснить всё про интересующую научную организацию: какие направления, результаты, отзывы и так далее, и принять соответствующее решение.
Борисов В. В.: Евгений Валентинович, Евгений Васильевич сказал, что у вас накоплен немалый опыт работы в сфере бизнеса. У меня в связи
56
Обсуждение статьи Е. В. Осадчука
с этим и в связи со статьей, которую вы представили, возник вопрос: был ли у вас, когда Вы работали в сфере бизнеса, опыт партнерства с научными организациями?
Осадчук Е. В.: Нет, партнерства именно с научными организациями - такого опыта у меня нет.
Борисов В. В.: То есть теперь это наживной опыт уже с другой стороны?
Осадчук Е. В.: Да.
Юревич М. А.: Евгений Валентинович, в первой части статьи у вас анализируются механизмы формирования спроса на продукцию научных организаций со стороны учредителей и партнеров научной организации, и не совсем четко звучит - как формируется спрос со стороны научного сообщества. Тем более интересно, как обеспечивается качество оценки деятельности научных организаций со стороны научного сообщества? У вас в статье звучит противопоставление оценки качества со стороны учредителей и партнеров научной организации, а какое место занимает оценка со стороны научного сообщества в этой системе координат?
Осадчук Е. В.: Спрос со стороны научного сообщества не так явно выражен, как со стороны тех, кто будет действительно требовать - органов исполнительной власти, либо бизнеса. Поэтому спрос со стороны научного сообщества - он одинаков ко всем научным организациям - это публикационная активность в сфере фундаментальных наук и цитирование. Никакого противопоставления нет. В статье говорится о разности этого спроса - это не означает, что он противопоставлен. Просто разный спрос, разные формы, разные акценты на деятельности научной организации, соответственно и разные критерии оценки.
Семёнов Е. В.: Если с вопросами все, то, Евгений Валентинович, присаживайтесь. Кто хочет выступить? Пожалуйста, Всеволод Васильевич.
Борисов В. В.: Для начала вскользь упомяну о том, что вчера в ФИАНе проходила встреча академического сообщества, и там в ходе обсуждении прозвучали те самые вопросы, которые подняты в статье Евгения Валентиновича. Иными словами, как раз эти вопросы находятся в центре внимания российского научного сообществ. В частности, поднимался вопрос об использовании библиометрических показателей, которым в статье уделено значительное внимание.
Здесь интересен исторический контекст. В нашем научном сообществе вопрос об использовании библиометрических показателей начал широко дискутироваться несколько лет назад на сайте Scientific.ru по инициативе Бориса Евгеньевича Штерна, в настоящее время главного редактора «Троицкого варианта». Тогда среди участников дискуссии господствовало мнение об исключительно большой ценности индекса цитирования как способа оценки эффективности деятельности ученых. Одновременно было обращено внимание на то, что среди нашей академической элиты у многих с этим делом не всё в порядке. Естественно, со стороны затронутых академиков посыпались возражения - какие такие индексы: они мало о чем говорят! Но прошло какое-то время,
«Формирование системы оценки результативности...»
57
и уже Министерство образования и науки официально включило этот показатель в систему оценки эффективности труда ученых. Теперь уже в научном сообществе стали звучать предостережения относительно использования исключительно библиометрических методов оценки работы ученых, была выявлена масса ограничений. И в конечном итоге основная масса недавних сторонников широкого использования индексов цитирования пришли к выводу, что в библиометрии еще много нерешенных проблем, и по этой причине библиометрические методы, при их несомненной полезности, не могут полностью заменить экспертных оценок. Правда, и с экспертными оценками не так все просто, в связи с чем стали предприниматься попытки формирования «Корпуса экспертов».
Что я хочу еще отметить. На той же конференции в ФИАНе в целом ряде выступлений подчеркивалось одно из положений, которое отстаивается и в статье Евгения Валентиновича - что оценку научной организации и её результативности нужно обязательно начинать с оценки ее структурных подразделений. И только затем проводить интегральную оценку научной организации в целом
Что еще характерно для Евгения Валентиновича, если судить по его статье - у него довольно четко прослеживается тенденция к систематизации, к обобщениям, на основе которых можно все разложить по полочкам. И это, конечно, несомненное достоинство статьи. Однако в некоторых случаях систематизация превращается в схематизацию - используются схемы, свидетельствующие о неполном представлении автора о тех вещах, о которых он пишет. Я специально спросил его о том, насколько ему по прежней работе знакома практика взаимодействия науки и бизнеса. Хотя я сам бизнесом никогда не занимался, но даже из того, что я читал, я уяснил для себя, что разнообразие взаимодействий науки и бизнеса - и в нашей стране, и в других странах - заметно шире, чем это представлено в статье.
Тем не менее, мое общее впечатление от статьи и от той логики, которую Евгений Валентинович сумел так кратко изложить в своем выступлении, безусловно, положительное.
Семёнов Е. В.: Спасибо, Всеволод Васильевич. Кто хотел бы еще высказаться? Светлана Леонидовна, пожалуйста.
Парфенова С. Л.: С моей точки зрения, вопросы, которые рассматривает Евгений Валентинович в своей статье, очень актуальны, поскольку способствуют устранению сложившегося в постсоветское время недопонимания во взаимодействии между научными организациями и предпринимательским сектором. К сожалению, универсальная система оценки результативности деятельности научных организаций, предложенная Министерством образования и науки РФ, по мнению научного сообщества и моему мнению, не позволит на основе одних и тех же показателей полноценно оценить результативность организаций, относящихся к фундаментальной и прикладной науке. Положительным моментом проведения данного мероприятия является то, что в состав Межведомственной комиссии планируется включить представителей
58
Обсуждение статьи Е. В. Осадчука
бизнеса (25%), которые в процессе совместной работы с ведущими учеными смогут выразить свое мнение и сформулировать требования, которые они предъявляют к научным организациям. В то же время применение универсального подхода к оценке и равноправное участие представителей бизнеса в оценке организаций, относящихся к фундаментальной и прикладной науке, снижают значимость их мнения. Так как вряд ли бизнесмены смогут объективно оценить деятельность научных организаций, занимающихся поисковыми и фундаментальными исследованиями. Зато было бы целесообразно повысить степень участия бизнеса в оценке результативности отраслевых научных организаций, непосредственно участвующих в процессах инновационного развития отечественной экономики.
Как я поняла из содержания статьи и по ответу на вопрос Людмилы Ивановны, Евгений Валентинович предлагает дополнить существующую систему оценки подсистемой с показателями оценки результативности взаимодействия научных организаций с организациями предпринимательского сектора. По-моему мнению, создание данной подсистемы преждевременно. Рано говорить о системе показателей, на основе которой можно было бы составить рейтинг научных организаций, так как вряд ли он заинтересует представителей бизнеса, потому что будет рассчитан по методикам, разработанным государственными органами управления, без учета мнения представителей бизнеса. Скорее на первом этапе целесообразно заняться разработкой диагностической системы оценки, о которой автор упоминает в статье, позволяющей сформулировать требования, предъявляемые к научным организациям со стороны предпринимательского сектора.
Евгений Валентинович в своей статье предлагает рассмотреть ряд показателей оценки результативности взаимодействия научных организаций с организациями предпринимательского сектора, предупреждая, что это не полный перечень, и он должен быть расширен. Я хочу дополнить данный перечень и предложить, исходя из своего опыта проведения технико-экономического обоснования инвестиционных проектов, в том числе и инновационных, ряд качественных показателей (не экономических), на которые в первую очередь будут обращать внимание представители бизнеса. К таким показателям можно отнести:
1. Соотношение жизненного цикла инноваций и срока окупаемости научно-исследовательского проекта. Если срок окупаемости проекта превышает жизненный цикл инновации, то ни один предприниматель не возьмется финансировать такой проект. Кроме того, если в научной организации неоправданно много времени занимает стадия разработки инноваций, то данная организация становится не конкурентоспособной для заказчика, потому что не сумела соответствующим образом организовать процесс исследований.
2. Планируемые временные горизонты сотрудничества научной организации с представителями бизнеса по данному направлению исследований. Если у научной организации нет опыта, или это случайный заказ, и не планируются дальнейшие исследования в этом направлении,
«Формирование системы оценки результативности...»
59
то, скорее всего, интерес представителей бизнеса к этой организации будет незначителен.
3. Возможность адаптации предлагаемых технологий к условиям конкретного производства, выраженная в активности взаимодействия научных организаций с инжиниринговыми компаниями. В последнее время возрастает потребность бизнеса в инжиниринговых услугах, так как область инжиниринга охватывает весь спектр подготовительных к запуску новой технологии работ (предпроектная подготовка, конструкторские разработки), а также услуги по внедрению и сопровождению технологий. Вряд ли научные сотрудники, сгенерировавшие новую технологию, смогут самостоятельно оказывать услуги бизнесу по ее адаптации к производству, но они могли бы быть включены в инжиниринговые рабочие группы по «доведению» своих технологий до стадии производства.
4. Наличие сертификатов, подтверждающих соответствие объектов требованиям технологических регламентов. Малые инновационные предприятия, имея на руках опытный образец, сталкиваются с проблемами передачи своих разработок в производство, так как их образцы не прошли соответствующих испытаний и вызывают сомнения у производителей в достоверности имеющихся технических характеристик.
Подводя итог, хочется сказать, что для достижения большего взаимопонимания между научно-исследовательскими институтами и промышленными предприятиями, требуется участие и помощь государства в создании условий для диалога, в частности по разработке диагностической системы оценки, которая должна помочь научным организациям понять требования, предъявляемые к ним со стороны бизнеса, и учесть их в своей деятельности.
Семёнов Е. В.: Спасибо за содержательное и интересное выступление. Денис Сергеевич, Вы поднимали руку.
Соколов Д. С.: На мой взгляд, тема очень масштабная и трудная. Я отчасти погружен в данную проблематику, моя диссертационная работа была посвящена близкой теме - оценке эффективности государственного регулирования страховой деятельности. Процесс выхода на защиту был сопряжен с трудностями в связи с тем, что у каждого эксперта было свое видение этой необъятной темы. Тема многогранна, и ее можно раскрывать, используя разные методы и подходы, в ней много «подводных камней». Даже сами слова «система оценки» в названии статьи - это очень смелый ход. В моей работе, например, эксперты все-таки слово «система» заменили на «комплекс показателей оценки эффективности», так как в систему они не совсем сложились. Если мы говорим о системе, то это действительно должны быть какие-то взаимосвязанные блоки и показатели. Нужно будет очень четко выделить и показать взаимосвязи, то есть задача является очень масштабной.
Тем не менее, уже в этом предварительном варианте, который отражает начало работы по данному направлению, видны положительные моменты. Большим плюсом является то, что автор показал: для разных групп потребителей, для разных субъектов экономики, показатели бу-
60
Обсуждение статьи Е. В. Осадчука
дут отличаться, различным будет видение этих показателей. Так было и в моем случае, когда при оценке эффективности регулирования в страховой деятельности с точки зрения государства возникали одни показатели эффективности, другие с точки зрения страховщиков, третьи были актуальны для потребителей.
Часто показатели эффективности противоречат друг другу, потому что возникают различные, противоречивые группы интересов, различные потребности - и все это необходимо учитывать. В статье, по крайней мере, об этом сказано.
Также к безусловному плюсу статьи можно отнести то, что показатели оценки взаимодействия научной организации должны давать заказчику ответы на вопросы, представленные в статье. Правда, перечисленные вопросы лучше было бы свести в какие-то крупные блоки и обосновать: зачем вводится каждый показатель, показать, что его введение имеет смысл.
В статье сделан вывод, что ответами на данные вопросы могут быть как количественные показатели, так и экспертные оценки, то есть оценки в диапазоне «хорошо - плохо», высокий или низкий уровень. Однако в статье наблюдается некоторый перекос в сторону количественных показателей. При оценке эффективности взаимодействия большинство показателей, на мой взгляд, должны быть качественными.
И еще вопрос - на какие источники вы опирались? В списке литературы приведены три источника - постановление правительства, одна статья и «Руководство Осло». Какие-нибудь еще источники были использованы?
Осадчук Е. В.: Основной источник - это предыдущая деятельность и опыт работы в нашей организации.
Соколов Д. С.: Если это следует из собственного опыта, то это действительно ценно. На самом деле в этой теме очень много «подводных камней». В теории систем управления очень много показателей. Вообще у меня есть сомнение, что можно какой-то интегральный показатель результативности вывести, потому что некоторые блоки показателей просто несопоставимы, следует применять различные подходы.
Семёнов Е. В.: Спасибо, Денис Сергеевич. Пожалуйста, коллеги, движемся дальше. Людмила Ивановна.
Рыбакова Л. И.: Прежде всего, хочу сказать, что статья Евгения Валентиновича мне понравилась. В качестве одного из положительных моментов отмечу, что основная тема, заявленная в названии, а именно: оценка результативности взаимодействия научной организации с организациями предпринимательского сектора, рассматривается автором в контексте взаимосвязанных проблем и вопросов:
- различия критериев оценки деятельности научной организации учредителем, научным сообществом, предпринимательским сектором;
- формирования системы оценки результативности деятельности научных организаций федеральными органами исполнительной власти (в рамках Постановления Правительства Российской Федерации № 312);
«Формирование системы оценки результативности...»
61
- необходимости оценки результативности структурных подразделений организации.
Соглашусь с автором, что одним из серьезных недостатков формируемой системы оценки подведомственных научных организаций остается отсутствие учета перспективности научного направления, в котором работает организация, во всяком случае, этот аспект прямо не звучит в утвержденных Постановлением Правительства Российской Федерации от 1 ноября 2013 г. № 979 «Правилах оценки и мониторинга результативности деятельности организаций, выполняющих научноисследовательские, опытно-конструкторские и технологические работы гражданского назначения». В силу этого предлагаемая система оценки вряд ли будет действенным инструментом совершенствования отраслевой и дисциплинарной структуры государственного сектора российского научно-технологического комплекса. Здесь важным является как соответствие Приоритетным направлениям развития науки, технологий и техники РФ, так и тенденциям мирового научного развития. Между тем дисциплинарная структура научных исследований оказывает влияние на общую оценку эффективности деятельности научно-технологического комплекса. Возьмем исследования в рамках направления «Науки о жизни». В нашей стране они финансируются за счет государства и составляют примерно 3% внутренних затрат на исследования и разработки, во многих развитых странах доля наук о жизни значительно выше. Между тем, статьи по тематике этого направления являются, насколько мне известно из средств массовой информации, наиболее цитируемыми. Соответственно, развитие направления повысило бы наукометрические показатели, по которым оценивается российская наука в целом, хотя, конечно, работа на показатели не может являться самоцелью.
Что касается оценки структурных подразделений, то в настоящее время пунктом 27 вышеупомянутых «Правил оценки и мониторинга» предусмотрено, что в случае принятия решения о реорганизации или ликвидации организации ведомственной комиссией проводится экспертный анализ результативности деятельности структурных подразделений организации. Возможно, наряду с порядком оценки результативности научных организаций следует разработать и порядок оценки структурных подразделений с тем, чтобы не допустить расформирования успешно работающих научных коллективов. Вместе с тем, во-первых, насколько мне известно, за период 2009-2012 годов оценку прошли 577 научных организаций, из которых лишь два учреждения были отнесены к категории «отстающих»1. Поэтому разработку порядка оценки деятельности подразделений можно отнести к компетенции ведомств. Во-вторых, необходимо учитывать и возможность развития для оценки формальных и неформальных научных коллективов других инструментов мониторинга и оценки - например, создаваемой ИАС «Карта российской науки».
1 Минобрнауки готовит научно-оценочную революцию. URL: http://rbcdaily.ru/ society/562949989246623.
62
Обсуждение статьи Е. В. Осадчука
Значительная часть статьи посвящена развитию подсистемы оценки результативности взаимодействия научной организации с предпринимательским сектором. На мой взгляд, вряд ли целесообразно значительно расширять перечень показателей, характеризующих коммерческую деятельность научных организаций в рамках этой системы.
Во-первых, целью системы оценки подведомственных федеральным органам исполнительной власти организаций является все-таки совершенствование функционирования государственного сектора, что требует разносторонней и комплексной оценки, а значит, ее подсистемы должны быть соразмерны.
В-вторых, в процессе совершенствования порядка оценки общее количество показателей предполагается сократить с 50 до 25, что оценивается положительно, и снова «переусложнять» систему оценки вряд ли стоит.
В-третьих, все показатели, представляемые научными организациями в Рособрнадзор, должны подтверждаться федеральными органами исполнительной власти. Формализованные в показателях ответы на предложенные автором вопросы вряд ли могут быть проверены органами исполнительной власти. Тем более что автор признает в статье, что для получения ряда данных будет необходимо обращение непосредственно в организации предпринимательского сектора.
Кроме того, должна быть продумана система доступа юридических лиц к данным, интегрированным в Рособрнадзоре.
Во всяком случае, необходима дополнительная аргументация для увеличения круга показателей, отражающих результативность взаимодействия с предпринимательским сектором. Возможно показатели, характеризующие коммерческую деятельность научной организации, следовало бы выделить в отдельный раздел, сейчас они в одном разделе с показателями публикационной активности и финансовой результативности.
Еще одно небольшое замечание, которое, возможно, касается просто использования различной терминологии. Не совсем согласна с предложенной автором группировкой потребителей результатов интеллектуальной деятельности научной организации. Автор выделяет среди потребителей учредителей, научное сообщество и партнеров научной организации.
Но проблема часто в том и состоит, что учредители организаций, являясь заказчиками определенных научных исследований, финансирующими госзадание, далеко не всегда являются потребителями их результата, за исключением случая, когда институт выполняет функции научно-методического и информационно-аналитического сопровождения. Причем в ходе реализации этих функций нечасто создаются результаты интеллектуальной деятельности. Отсюда и возникают проблемы, далее описанные автором, такие, как формирование тематики госзадания фактически самими организациями, невостребованность полученных результатов и т. д.
Партнеры организации также могут не являться потребителями результата интеллектуальной деятельности организации - они, например, могут его создавать совместными усилиями.
«Формирование системы оценки результативности...»
63
Если говорить об учредителях, научном сообществе и партнерах научной организации в контексте статьи, то корректнее, на мой взгляд, их определить, как различных субъектов оценки полученных результатов.
Спасибо, что выслушали.
Семёнов Е. В.: Спасибо, Людмила Ивановна. Максим Андреевич, прошу вас.
Юревич М. А.: Во-первых, я хотел бы отметить важность и актуальность проблемы, которую поднимает автор. Я с Евгением Валентиновичем полностью согласен, что имеющийся список показателей, характеризующих взаимодействие научных организаций с коммерческим сектором недостаточен и требует дополнения. Автором предложен список вопросов, которые могут быть основой для формирования этих показателей, однако, как уже говорила Светлана Леонидовна, необходимо понять для каких типов научных организаций эти показатели могут быть использованы. Соответственно, если бы автор обозначил примерный перечень референтных групп на базе той информации, которая уже есть в проекте методики, это было бы приятным дополнением статьи.
Так же хотел бы обратить внимание на то, что у автора описывается примерная процедура оценки результативности деятельности научных организаций со стороны научного сообщества. У меня есть некоторые сомнения, что научное сообщество вообще проводит оценку результативности научных организаций, как таковую в прямом смысле этого слова. И тем более подвергается ли ей вообще публикационная активность и цитируемость в данном случае? Цитируемость, на мой взгляд, вообще не оценивается, а скорее здесь речь может идти о выступлениях на конференциях, личном общении с представителями научной организации. Это происходит не в рамках какой-либо системы, предложенной учредителем, а естественным путем, т. е. в науке люди сами знают, кто является специалистами в данной области, кто - нет. Таким образом, смысл процедуры оценки утрачивается.
Автором и присутствующими коллегами неоднократно поднимался вопрос об оценке подразделений научной организации. У меня здесь остается некоторая неясность. Если мы проведем оценку подразделения научной организации и выясним, что лаборатория эффективна, а научная организация - нет, то что делать дальше? Расформировывать всю научную организацию и оставлять лабораторию? Тогда наверняка мы увидим, что лаборатория не может в изоляции от остальных подразделений эффективно продолжать свою деятельность. Если присоединять лабораторию к другому институту, то в Москве это возможно и реализуемо, а если из регионов переводить весь штат в другой город, это вряд ли устроит научных работников. В целом статья у меня оставила положительное впечатление. Спасибо.
Семёнов Е. В.: Спасибо Максим Андреевич. Андрей Африканович, Вы?
Ростовцев А. А.: Я скажу пару слов. На что я бы обратил основное внимание. Статья более прагматичная, я бы сказал, чем ожидалось. Но даже может не в этом дело. А в том, что наука очень разная: есть
64
Обсуждение статьи Е. В. Осадчука
фундаментальная, а с другой стороны - прикладная и инжиниринг. И в зависимости от того с какой точки рассматривать эти показатели эффективности, они будут совершенно разными. Если говорить о фундаментальной науке, то основной потребитель ее результатов, возможно, на 99,9% - это само научное сообщество. И никакая публикационная активность, а только репутация по «гамбургскому счету». Вот единственный показатель. Этот показатель формируется в результате коммуникации, в результате поддержания в этой области наук соответствующей академической атмосферы, именно на этом строится механизм, который формирует институт репутации. И, собственно говоря, эта репутация и есть та самая оценка.
В прикладной области важен эффект от оценки коммерческой деятельности. Здесь говорили, что публикационной активности недостаточно, нужно еще и экспертное мнение, и это очень важно. Важно экспертное мнение именно в части взаимодействия коммерческого партнера и научной организации. Я приведу пример из практики. В начале 2000-х годов один из институтов, который занимался и занимается фундаментальными исследованиями в физике, заключил договор с коммерческой организацией, Эта фирма была озабочена выпуском наклеек на бутылки водки, по которым можно было бы отличать контрафактную продукцию от неконтрафактной. Придумали наукоемкие слова. На самом деле коммерческую организацию интересовали дешевая рабочая сила и скрытая дешевая аренда помещений в центре города. Собственно говоря, по вашим показателям, все счастливы, и научная организация, и коммерческая фирма.
Должен быть какой-то механизм, который выстраивает соответствие профиля научной организации с профилем заказа со стороны бизнеса. Много скрытых мотивов в таком взаимодействии, и наверняка все не отследить. Но сдерживающие механизмы должны присутствовать.
Еще я хотел бы упомянуть, что оценку научной организации надо начинать с оценки подразделений, с оценки индивидуальных ученых. Мне кажется, что это очень важно.
Семёнов Е. В.: Спасибо, Андрей Африканович. Если никто активно не настаивает, то я тоже позволю себе несколько соображений высказать.
Существует всеобщая неудовлетворенность используемыми для оценки науки показателями. Всегда высказываются сомнения в их эффективности. И так не только в сфере науки. Существует множество практик, которые осуществляются в обязательном порядке с использованием показателей или каких-то комплексов показателей или даже систем показателей, то есть социальная жизнь без показателей не обходится. При всем недовольстве любыми существующими системами показателей от них нельзя отказаться, они необходимы. Мы постоянно это видим. Каждый день каждый из нас слышит прогноз погоды, а синоптики при этом используют показатели. В медицине используются показатели. В обучении, конечно, используются показатели. Везде есть показатели. Наука просто наполнена этими системами показателей. ВАК работает,
«Формирование системы оценки результативности...»
65
конечно, с системой показателей. Фонды, которые присуждают гранты, работают с системами показателей. Показатели нельзя устранить.
Дискуссии о сочетании экспертного и наукометрического подходов отражают не всю глубину проблемы. Внешне очевидное противостояние этих принципиально разных подходов, на мой взгляд, не совсем верно, потому как в реальной жизни эти подходы всегда сочетаются. То, что мы считаем чисто наукометрическим, например, оценка публикационной активности - вроде чистая наукометрия без экспертизы, в действительности связано с экспертными оценками. Мы ведь не считаем любые публикации, мы не смешиваем серьезный профильный журнал и публикацию в какой-нибудь газетке, то есть мы их как-то ранжируем. Если мы выделяем комплекс изданий, публикации в которых учитываются, то сам-то этот комплекс изданий тоже как-то сформирован - это уже заложенная экспертная оценка. И в любом этом издании, в журнале все основано на экспертной оценке. Рецензирование статей, определение их стандарта осуществляется не наукометрическими методами, а именно экспертными оценками. И поэтому то, что мы обрабатываем потом наукометрическими методами, прошло экспертную оценку. Хорошо известная мне практика фондов - Российского фонда фундаментальных исследований, Российского гуманитарного научного фонда, тоже основана на сочетании экспертной и наукометрической оценок. То есть в отношении этих методов - наукометрического и экспертного - можно найти способ как их сочетать в разных практиках.
При всей важности вопроса о соотношении экспертных и наукометрических оценок, он не отражает всей глубины проблемы. Дело не только в методах. В разных практиках сама система показателей играет разную роль. Где-то она используется для анализа, а где-то и для непосредственного принятия управленческих решений. Научное сообщество прекрасно понимает, что введение любой системы показателей потенциально опасно, потому что ими могут просто воспользоваться для принятия административных решений без анализа существа дела. Мы стоим перед проблемой - как устроена вся практика, в которой эти показатели применяются.
В позднее советское время, во второй половине 1980-х годов, когда стало возможным серьезное научное обсуждение того, как же в действительности устроено наше общество, и в том числе научная система, появились работы, в которых рассматривалась роль показателей в системе управления. Подобное исследование выполнено, например, Тамбовце-вым Виталием Леонидовичем, замечательным экономистом из Московского государственного университета.
Летом 1988-го года я тоже написал монографию «Огонь и пепел науки», где рассуждал о том, как функционирует система показателей в советском обществе, в том числе в науке, как она функционирует и какую роль играет. И тогда, и сейчас, я считаю что это неправильно построенная практика. Дело не в том, что существовавшие показатели нужно было заменить другими. Сама практика основана неправильно. И какие бы показатели здесь ни вводились, будь они экспертные или наукометрические - они все равно выполняли бы отрицательную роль.
66
Обсуждение статьи Е. В. Осадчука
В то время считалось, что бедой нашего общества является диктат производителя над потребителем. А нужен вместо диктата производителя диктат потребителя. Мне же казалось, я и сейчас так думаю, что проблема была в другом: в том, что между производителем и потребителем, между спросом и потреблением, влез всесильный Администратор, который действовал и от лица потребителя, и от лица производителя. При этом бюрократия (Администратор) мало прислушивалась как к потребителю, так и к производителю. Госплан уже все запланировал, производителю и потребителю просто некуда деваться. Как запланировали, как утвердили, как профинансировали, так и будете производить, а потом потреблять. Практика была изувечена не столько идеологией, хотя в основном тогда говорили об идеологии, сколько бюрократией, ролью бюрократии, ставшей монопольно правящим классом. Как мы видим теперь, коррумпированная бюрократия ничуть не лучше идеологизированной в качестве правящего класса.
И эта проблема не решена у нас абсолютно. Бюрократия может совершенно сохранить свои позиции при радикальной смене идеологии. Но если администратор оказывается реальным оценщиком всего, то не важно, какие системы показателей мы ему предложим, он обязательно исковеркает естественный процесс. Ни экспертные - он всегда найдет нужных экспертов. Ни наукометрические - он всегда найдет людей, которые обоснуют нужные наукометрические значения. Ни комбинации экспертных и наукометрических. Эта проблема не техническая или методическая, это проблема хозяйственного механизма, системы управления, структуры отношений, нарушенной обратной связи. Проблема бесконтрольности администратора.
Но это я говорю не к тому, что бессмысленно разрабатывать систему показателей, потому что все равно всё исказят. Я начал с того, что неслучайно практики не обходятся без систем показателей, хотя почти все участники этих процессов говорят о несовершенстве, недостаточности этих систем. И, тем не менее, отказаться от них невозможно, этим нужно заниматься. Эту тематику, безусловно, нужно разрабатывать, но мне кажется правильной сама идеология обсуждаемой статьи: расширение круга субъектов, которые производят оценку, и угла зрения, под которым этот процесс рассматривается при оценке. И необходимо, чтобы там присутствовал не только администратор (бюрократ), но и реальные потребители, гораздо более адекватно представляющие спрос, а это, прежде всего, бизнес. Это могут быть и другие потребители, потому что какие-то знания потребляются другими заказчиками, есть ведь, например и педагогические инновации. Но если даже самый мощный по существу потребитель - бизнес (ведь он гораздо сильнее, чем педагогическое сообщество или медицинское сообщество), если даже он не может настоять на своем, то шансы других сообществ еще ниже. Мы прекрасно видим, как можно прислушиваться или не прислушиваться к мнению научного сообщества. Это не такой субъект, который может очень настойчиво отстаивать свою позицию. Все гражданское общество заинтересовано в том, чтобы бизнес восстановил свои права, усилил свои
«Формирование системы оценки результативности...»
67
позиции, в том числе при оценке нужного для него процесса научного производства. Мне лично эта статья больше нравится не методическими изысками, которые тоже имеют ценность, а самой ее направленностью.
Борисов В. В.: Я попытаюсь провести аналогию с естественными науками, в частности, с физикой. В целом, в физике существует множество параметров, входящих в самые разные уравнения, но одними этими параметрами обойтись невозможно - эти параметры в разных условиях означают разное. У тех, кто работает с этими параметрами, должна быть высокая квалификация и понимание того, как их использовать. В системе управления должна все время совершенствоваться и экспертная оценка, и оценка по показателям, но при этом нужно и самим людям, которые работают в управленческой сфере, уметь этим пользоваться, быть достаточно квалифицированными специалистами.
Возьмем систему, которая есть в программе «Кадры», несколько более совершенной по сравнению с некоторыми предыдущими федеральными целевыми программами. Однако там на практике и согласно положению при оценке заявок экспертам предоставлен только совещательный голос, а решающий голос - членам конкурсной комиссии, составленной почти целиком из сотрудников Министерства, среди которых есть специалисты самого разного уровня грамотности. От этих сотрудников приходилось слышать, что экспертная оценка никуда не годится, разные эксперты дают различные оценки. Конечно, нужно одновременно совершенствовать и процедуру экспертизы, и подбор экспертов, и уровень их работы. Когда я работал экспертом, мне было предоставлено прокрустово ложе показателей, по которым мне трудно было отличить плохую работу от очень хорошей - конечно, это легко было сделать по содержанию заявок, но привести это содержание в соответствие с показателями было не так легко, приходилось как-то ими играть. Так что повторю: нужно совершенствовать и экспертизу, и систему показателей, и особенно умение пользоваться и тем, и другим - уметь пользоваться услугами экспертов, отбирать экспертов, учитывать разногласия между экспертными оценками. Поле деятельности здесь очень большое.
Ростовцев А. А.: Мне представляется, что экспертная оценка - это в любом случае социальный договор в обществе. И здесь никуда не уйти от даже самых субъективных реальностей. Стало модным использовать международные базы данных для оценки публикационной активности: WoS, Scopus. Но мы знаем, что сейчас политическая ситуация изменилась, и некоторые ученые, близкие к руководству страны, говорят: «Нам не надо публиковаться в иностранных журналах, нам надо публиковаться в российских». Мы можем изобрести море разных показателей, но без института независимой экспертной оценки, без института репутации в научном мире это останется лишь как договор в обществе.
Соколов Д. С.: Еще маленький вопрос: Вы учитываете в основном финансовые показатели или трудовые тоже?
Осадчук Е. В.: Вообще желательно, чтобы эта подсистема, если она в каком-то виде будет реализована, давала оценку самого процесса, взаимодействия, качества услуг со стороны научной организации - сроки,
68
Обсуждение статьи Е. В. Осадчука
соответствие техническому заданию и т д., именно это является главным при сотрудничестве, а результат сотрудничества - конкретное изделие. Возможно, и трудовые аспекты придется показать. Главное - грамотно представить реальность. Какими инструментами это будет сделано - посмотрим.
Семёнов Е. В.: В нашей организации нет экспертного совета по защите диссертаций. У нас его практически невозможно создать. Принцип нашего института - полидисциплинарность. Это связано с характером нашей работы, с проблемами, которые мы решаем. Они практические, а практические проблемы не бывают монодисциплинарнными. И экономика, и право, и психология, и еще социология...
Практические проблемы - комплексные. Мне импонирует акцент, который есть у Евгения Валентиновича. Нам надо множество систем, и применять их надо как разные методы. Это лучше, чем какая-то синкретичная система, потому что специализированные системы более эффективны.
Осадчук Е. В.: Уважаемые коллеги, еще раз хотел бы вас поблагодарить. Отдельное спасибо Евгению Васильевичу за то, что вывел эту статью на круглый стол, тем самым продиагностировал интерес к этой теме у института и наших гостей. Суть - это система взаимодействия научных организаций с организациями предпринимательского сектора. Чтобы эта система состоялась - нужен спрос со стороны бизнеса, которому нужен какой-то маяк в деле выбора научных организаций. Система оценки результативности взаимодействия научных организаций с организациями предпринимательского сектора будет оказывать поддержку принятия решений субъектами предпринимательской деятельности. Но чтобы потребность со стороны бизнеса в такой поддержке возникла, нужно, чтобы у него возникла потребность в инновационных продуктах - продуктовых, процессных и т. д. А для этого сама практика, существующая в стране, должна претерпеть изменения. Будем надеяться, что когда-нибудь среда созреет, и тут-то мы и подключимся со своей системой оценки результативности взаимодействия с бизнесом.
Спасибо за внимание.
