CC BY
9
2008.01.026. МИКЕЛСОН Э. ПОДХОДЫ К ОЦЕНКЕ РЕЗУЛЬТАТИВНОСТИ ИР В США: АНАЛИЗ ТЕНДЕНЦИЙ ПОСЛЕДНЕГО ВРЕМЕНИ.
MICHELSON E. Approaches to research and development performance assessment in the United States: An analyses of recent evaluation trends // Science a. publ. policy. - Guildford, 2006. - Vol. 33, N 8. - P. 546-560.
Ключевые слова: США; оценка исполнения федеральных программ ИР; методы оценки, используемые ННФ; НИЗ.
Автор работает в Международном центре ученых им. Вудро Вильсона (Вашингтон). Реферируемая публикация знакомит с результатами исследования, выполненного при поддержке ННФ США. В статье отмечается, что доступ к федеральным фондам в США становится все более затруднительным. Федеральные агентства должны демонстрировать значимость целей, ценности и эффективность своих программ ИР. В связи с этим особое значение приобретают усилия, направленные на разработку количественных методов оценки таких программ. К работе такого рода проявляют значительный интерес и специалисты из других стран. Поскольку в США накоплен более богатый опыт в сфере количественной оценки программ ИР, автор считает важными усилия по изложению данного опыта. Цель реферируемой статьи - обобщение и анализ имеющейся информации, касающейся методов оценки ИР в США в интересах широкого круга заинтересованных лиц за рубежом.
Для описания существующей в предлагаемой области практики автор выбрал период последних пяти лет. Анализируемые материалы взяты им из специальных журнальных статей, отчетов различных комитетов, информации, помещенной на вебсайтах федеральных агентств, материалов конференций и из правительственных документов.
Структура реферируемой публикации выглядит следующим образом: общая оценка ИР правительственных агентств; особые методы оценки (на примере отдельных федеральных агентств); проблемы и возможности; заключение.
Оценка правительственных ИР. Приступая к анализу сегодняшнего состояния оценки правительственных ИР, пишет автор, следует помнить, что главной целью такого рода программ всегда
являлось обслуживание национальных интересов. Сложность проблемы состояла в том, что не существует «единой идеальной программы для оценки научной работы». Но есть ряд законов, регулирующих деятельность в сфере оценки программ ИР.
Правительственный закон об исполнении и результатах (Government performance and results act - GPRA). Хотя большая часть ответственности за оценку исполнения по традиции возлагается на отдельные ведомства, за последние годы правительство предприняло ряд шагов по стандартизации этой деятельности во всех федеральных агентствах. Одна из таких инициатив - создание GPRA в 1993 г. От федеральных агентств требовалось предпринять «серию мероприятий по планированию и отчетности» с использованием оценки результатов выполнения планируемых программ. Предполагалось разрабатывать и представлять в Конгресс несколько разновидностей оценок исполнения документов, касающихся их краткосрочных, среднесрочных и долгосрочных «целей и ожиданий».
В последнем случае речь идет о наборе документов, касающихся стратегии на пятилетний срок. Цель - согласовать порядок работы и бюджет с задачами и целями данного ведомства. Среднесрочные программы и планы рассчитаны на один год. Здесь должны быть перечислены «специальные, поддающиеся измерению цели», достижимые в течение бюджетного года. Агентства при разработке таких планов должны указывать методы измерения полученных результатов и называть конкретных исполнителей такого рода оценок.
Еще один «набор» рекомендаций GPRA предлагает, чтобы в конце каждого финансового года соответствующие ведомства представляли отчет о результатах оценки исполнения запланированных работ, где содержались бы подробные сведения об общем уровне исполнения программ, включая объяснение того, почему не были достигнуты те или иные цели.
Программа методов управления президентской администрации (Presidents management agenda - PMA) обнародована в 2001 г. Она нацелена на то, чтобы правительственные агентства активизировали усилия по экономии своих затрат. Разработчики данной программы «пытаются построить такую гибкую бюрократическую структуру», которая была бы ориентирована на результат. В настоящее время, отмечает автор, PMA идентифицировала
пять областей: стратегическое управление человеческим капиталом; интеграция бюджета и его исполнения; конкурентоспособный поиск; совершенствование управления; эффективный финансовый менеджмент. Предполагается, что каждое ведомство должно заниматься анализом предложенных направлений.
Каждый квартал должна публиковаться «учетная карта» (score card), в которой ведомства ранжируются в соответствии с их достижениями по реализации рекомендаций PMA. Полученные таким образом результаты суммируются в рамках трехступенчатой системы, где каждая ступень («успех», «смешанные результаты» или «неудовлетворительные») отмечается соответственно зеленым, желтым или красным цветом на вебсайте правительства (www.results.gov).
Автор обращает внимание на то, что PMA призвана дополнить GPRA, оценивая достижения правительственных ведомств в рамках специальных критериев, следуя которым они могли бы улучшить свою деятельность.
Механизм оценки рейтинга программы (Program assessment raiting tool). Речь идет о методологии, разработанной Административно-бюджетным управлением США (OMB) и призванной помочь федеральным агентствам точно оценивать их деятельность по реализации программ. С помощью анкеты, разработанной OMB, становится возможной оценка успехов агентства по четырем критериям: цель программы и ее структура; стратегическое планирование; результаты программы; управление ею.
В реферируемой статье приводятся примеры некоторых вопросов анкеты, при этом подчеркивается: ответы на них должны быть подтверждены соответствующими документами. К примеру, автор упоминает следующие вопросы: ясно ли сформулирована цель программы; предусмотрены ли в программе меры по корректировке слабых мест стратегического планирования; осуществляются ли при реализации эффективная кооперация и координация со сходными программами; реализованы ли цели, провозглашенные на отчетный финансовый год; показаны ли шаги в направлении достижения долгосрочных целей? После обработки заполненных анкет подсчитывается и регистрируется «количество очков», заработанных соответствующим агентством. Такие очки далее классифицируются по следующим пяти общим категориям: эффективные;
умеренно эффективные; адекватные; неэффективные; результаты не продемонстрированы. На основании полученной информации происходит ранжирование программ данного агентства по сравнению с прочими правительственными программами.
По результатам подобного обследования в 2004 г. более 50% федеральных программ были оценены как неудовлетворительные (либо с точки зрения их реализации, либо с точки зрения их базы данных). Вводя такую оценочную систему, ее организаторы надеются, что агентства улучшат свою деятельность и получат при этом более полное представление о ее сильных и слабых сторонах.
Общие тенденции в сфере проведения оценок. Первая из такого рода тенденций формулируется как «переход от фрагментации к стандартизации». Автор обращает внимание на то, что организация специальных оценочных программ не заменяет полностью уже действующие методы оценки, используемые правительственными агентствами. Особенно широко практикуются подобные проверка и оценка в агентствах, широко занимающихся финансированием ИР. В данной области существуют давние традиции внутренних и внешних оценок; в последнем случае - с привлечением экспертов со стороны. В течение 20 и более лет такого рода деятельностью занимаются, в частности, ННФ и Национальные институты здоровья (НИЗ).
В целом, подчеркивает автор, из-за существующей в США децентрализованной системы федерального финансирования ИР проведение и сравнение оценочных показателей становятся все более сложным делом. По существующей традиции оценку деятельности поручали разным экспертам, при этом некоторые из них не имели достаточного уровня подготовки, а другие часто представляли «заинтересованную сторону», являясь сотрудниками правительственных учреждений.
В отличие от Европы, где такого рода оценками занимаются специально отобранные университетские специалисты, в США соответствующую работу поручают разнообразным организациям, в том числе бесприбыльным, университетским или коммерческим фирмам. Лишь в самые последние годы проблема раздробленности при проведении оценок стала объектом правительственного внимания.
Еще одна новая тенденция в рассматриваемой сфере - постепенный переход к использованию оценок качества деятельности, в частности, к разработке соответствующих методов решения такого рода задач. Так, агентства используют экспертные группы и методы «оценки коллегами» для получения информации о качестве своих программ. В целом наиболее перспективным признается смешанный подход к оценке деятельности.
Наблюдатели отмечают, что в последние годы в США заметно усовершенствовалась методология количественного измерения и оценки программ ИР. Речь идет прежде всего о библиометрии. Толчком к широкому использованию библиометрических показателей стало создание в 60-е годы «Индекса научного цитирования» (Science citation index - SCI). В качестве мерила продуктивности ИР предлагалось использовать публикации, патенты, ссылки, документы. Библиометрия позволила оценивать «выход продукции» агентств, финансировавших ИР, как ранее оценивались показатели «входа» - финансовые и трудовые вложения. В круг показателей, используемых в библиометрии, помимо легко идентифицируемой информации (количества публикаций, цитирования, авторов), начинают входить такие показатели, как институциональное подчинение, частота употребления ключевых слов, число патентных заявок. Новые библиометрические методы с использованием компьютерной базы данных позволили федеральным финансирующим агентствам демонстрировать влияние поддержанных ими публикаций или патентов, а также роль «перелива» знаний через географические и междисциплинарные границы.
Особые методы оценки. Для иллюстрации особых методов оценки, практикуемых федеральными агентствами, финансирующими ИР, автор отобрал четыре наиболее активных из них. Цель -более подробно осветить рассматриваемую тему. Объектами подобного исследования стали ННФ, НИЗ, Министерство торговли (Программа новейших технологий, реализуемая Национальным институтом стандартов и технологии) и Министерство энергетики (Управление по науке).
ННФ. Задачу данного ведомства в деле количественной оценки финансируемых им ИР автор называет одной из наиболее сложных. Дело в том, что основанный в 1950 г. фонд изначально был предназначен для финансирования фундаментальных исследо-
ваний. Бюджет этого агентства составляет в настоящее время 6 млрд. долл. Из этих средств обеспечиваются свыше 200 различных исследовательских программ и более 10 тыс. персональных исследовательских проектов. Сложность задач по оценке результативности данного фонда определяется не только масштабами его расходов, но и ориентацией финансирования на исследования фундаментального характера; результаты таких ИР с самого начала не поддаются прогнозу и не могут дать быстрой отдачи, поддающейся количественному измерению.
С учетом особых задач ННФ в ответ на инициативы правительства этой организации пришлось разработать особые оценочные методы, в которых не только учитывались количественные индикаторы, но и значительное внимание было обращено на качественные показатели.
ННФ пошел по пути оценки макроэкономических данных, собирая и распространяя информацию такого рода в виде подготовки докладов о «Показателях науки и техники» (Science and engineering indicators). Это издание предпринято для формирования базы, которая может быть использована при количественной оценке национальной ИР-деятельности. Согласно закону президент представляет указанный доклад раз в два года. Он содержит информацию о финансовых и трудовых вложениях в ИР, о долгосрочных тенденциях, связывающих фундаментальные исследования с благосостоянием страны. Здесь же публикуются библиометрические данные о публикациях по результатам ИР, поддержанных ННФ. Проекты и программы ННФ служат базой для библиометрических оценок на микроуровне. Стипендиаты ННФ обязаны регулярно производить и представлять оценку проектов, в том числе годовые и итоговые оценочные заключения. Во многих случаях в таких оценках содержится библиометрическая информация (о публикации статей, патентных заявках, полученных патентах).
Чтобы помочь исследователям и руководителям проектов при выработке оценочной стратегии, ННФ поддержал разработку библиотеки оценок, доступной в режиме онлайн (Online evaluation resource library - OERL). Речь идет об интерактивном ресурсе, призванном помогать профессионалам в их усилиях по проведению оценки проектов. OERL является накопителем ранее проведенных оценок, обладает информационным ресурсом для решения таких
задач, как разработка методов оценки, составление анкет, «построение» интервью и сбор данных.
Одно из исследований, выполненных внешними экспертами, было направлено на оценку Программы центров превосходства в науке и технологии (Centers for research excellence in science and technology - CREST). «Оценщики» использовали такие показатели, как анализ ключевых слов и научного цитирования. Их цель заключалась в том, чтобы выяснить воздействие финансирования ННФ на передовые исследования, в частности, обнаружить связь проектов, поддержанных фондом и их последующего превращения в успешные технологические разработки.
Эксперты обращают внимание на то, что для оценки деятельности ННФ одних лишь количественных показателей недостаточно. Поэтому фонд получил разрешение от Административнобюджетного управления на использование альтернативного метода оценки, предусматривающего введение смешанных показателей -количественных и качественных. Главными «оценщиками» на уровне проектов и программ должны были стать эксперты-обследователи. Данная методология предусматривает, что вместо отдельной оценки каждой программы ННФ выявляются четыре крупные области деятельности фонда: люди, идеи, инструменты и организация работ, причем каждая такая область увязывалась с основными аспектами отдельных программ и проектов. Подобная группировка позволила ННФ представить более целостную картину своей деятельности, ее слабые и сильные стороны.
Национальные институты здоровья (НИЗ). Поддерживая в большом объеме фундаментальные исследования, НИЗ по традиции уделяют заметное внимание оценке количественных параметров деятельности. Еще в 1986 г. Управление по оценке технологии, обследовавшее деятельность НИЗ, представило вывод своих экспертов: «Из всех федеральных агентств, поддерживающих ИР, НИЗ осуществляют наиболее широкую итоговую оценку исследований с использованием библиометрических методов». Эксперты обращают внимание на то, что в отличие от ННФ, не имеющего специального бюджета для проведения оценки, НИЗ в течение 30 лет используют специальный бюджет, составляющий 1% от их общего объема затрат на ИР и ориентированный на оценку программ.
Структура оценки проектов в НИЗ во многом напоминает аналогичную структуру ННФ. Получатели грантов представляют годовые и итоговые отчеты. Для более эффективной координации оценочной деятельности НИЗ сформировали в рамках Отдела портфельного анализа и стратегических инициатив специальное подразделение по оценке. Его сотрудникам поручено «отслеживать» оптимальные методы оценки, организации программ и управления ими. В целом в НИЗ принят «гибридный» подход к оценке деятельности с использованием библиометрического анализа и экспертного обследования выполнения программ.
Национальный институт стандартов и технологии. Программа новейших технологий. Указанный институт входит в систему Министерства торговли и отвечает за поощрение передачи результатов фундаментальных исследований в частнопромышленный сектор и превращение их в технологические инновации. «Флагманская программа» этого института - Программа новейших технологий (Advanced technology program - ATP), которая призвана ускорять развитие инновационных технологий в рамках финансирования частногосударственного партнерства.
Поскольку АТР сосредоточена на решении специфических прикладных проектов и на начальных этапах технологических разработок, ее экспертам проще измерять деятельность, используя разнообразные количественные оценочные подходы. Для сбора количественных данных в рамках ATP была запущена система коммерческой отчетности (Business reporting system - BRS).
Соответствующая база пополняется: а) в начале работы над проектом; б) в конце каждого года; в) по завершении работы над проектом и г) в течение шести лет (один раз в два года) после окончания проекта. Подобная система позволяет в рамках АТР отслеживать публикации, патенты и ссылки за длительный период. Суммирование данных о публикациях и патентах показывает, что более 50% проектов, поддержанных АТР, находят продолжение в виде готового продукта. Кроме того, на основании информации, получаемой от BRS, эксперты ATP могут сравнивать число патентных заявок за разные годы с данными о числе ожидаемых заявок.
Вторая библиометрическая методология, применяемая в рамках ATP, состоит в анализе показателей патентного цитирования.
Сопоставление таких показателей ведет к пониманию «эффекта передачи знаний», полученных при поддержке ATP.
Министерство энергетики (МЭ). Управление по науке (DOESc). Цель оценочной методики, используемой в данном управлении, состоит в совершенствовании понимания связи между фундаментальными исследованиями и новой технологией. Подтверждением результативности усилий в указанном плане служит анализ библиометрических количественных показателей. При этом наряду с традиционной системой оценки используются новые методы, такие как «сетевое картирование» (network mapping) и оперативный анализ цитирования в патентных публикациях. В статье отмечается, что, разрабатывая новые, современные методы оценки, Управление по науке при МЭ стало одним из лидеров реформирования методов, получивших одобрение и применяющихся на практике. В связи с этим автор упоминает специальный справочник, подготовленный и изданный при поддержке Sc9. Здесь представлены данные, которые должны помочь «оценщикам» провести количественный и качественный анализ программ, финансируемых из правительственного бюджета ИР.
Составители предложили характеристику 11 различных методов оценки, используемых в США.
МЭ явилось одним из первых федеральных агентств, финансирующих ИР, которое приступило к разработке методов измерения деятельности, откликнувшись на рекомендации PART. Деятельность каждого из шести крупных исследовательских подразделений МЭ оценивалась в соответствии с целями, рассчитанными на долгосрочные и годовые задачи. Результаты оценки публикуются на специальном сайте и по возможности включаются в ежегодный отчет МЭ, который это ведомство представляет для экспертов PART. При подготовке указанного отчета МЭ использует систему внутренней оценки и отчетности.
Управление по науке в рамках МЭ сотрудничает с другими подразделениями этого ведомства и прежде всего с Управлением по научной и технической информации. Цель подобных усилий -
9 Branch K. et al. The science manager’s resource guide to case studies. - 2006, Seattle (WA).
разработка базы данных для отслеживания библиометрической информации, касающейся программ ИР, финансируемых МЭ.
Вызовы и возможности. В заключительном разделе реферируемой статьи автор отмечает: несмотря на пользу количественных оценок в целом и библиометрических показателей в частности, эксперты отдают себе отчет в том, что полагаться только на такие методы при оценке успехов или неудач программ ИР «было бы опрометчиво». Лица, принимающие научно-политические решения, непосредственные менеджеры должны осознавать ограниченность подобных измерений. Главная проблема заключается в том, что информация, полученная на основании подобных показателей, может оказаться неадекватной. Так, количественные данные о научном цитировании не учитывают характер и качество публикаций. При такой оценке, например, не ясно, содержит ли статья изложение устаревшей идеи или она касается новых научных рубежей.
Эксперты обращают внимание на то, что измеренная биб-лиометрическими методами высокая продуктивность исследователя может быть объяснена тиражированием в разных статьях одной и той же темы. Объективности оценок мешает также узкий набор научных журналов, отобранных для анализа. В данной ситуации полученные оценки будут отражать лишь «часть исследовательских коммуникаций», если ставится задача оценить такой показатель, как соавторство.
Несовершенство библиометрического анализа, утверждает автор, может привести к такой ситуации, когда будут проигнорированы важные тенденции в ИР, что неизбежно грозит привести к неправильной оценке исследовательского процесса в целом. В подобной ситуации может возникнуть нежелательный отрицательный сопутствующий эффект для последующих исследований. Если цитатный анализ выступает в качестве главного мерила при оценке продуктивности научной деятельности, молодые специалисты будут предпочитать «безопасные» проекты. Эксперты предупреждают в связи с этим: те, кто рассматривает библиометрический анализ как главный и единственный компонент в системе оценки, могут представить ошибочную картину исследовательского процесса.
Единственный путь «избежать библиометрической ловушки», полагает автор, - это обратиться к использованию смешанных методов, которые позволят выявить характеристику деятельности по
широкому спектру ее воздействия. Главным инструментом оценки среди альтернативных методов специалисты считают оценку экспертами и коллегами. В этом случае выносится объективное решение о значимости результатов, представленных в публикациях.
Т.В. Горбунова
