CC BY
60
ИННОВАЦИИ № 10 (156), 2011
Оценка и самооценка научной организации
В первой части статьи рассматриваются подходы к оценке и самооценке эффективности и результативности научных организаций, а также особенности научных организаций как объектов оценки.
Ключевые слова: оценка, самооценка, научная организация.
х. ^
I
А. С. Кулагин,
д. э. н., гл. н. с. Института проблем развития науки РАН (ИПРАН РАН), академик РАЕН, ученый секретарь Комиссии по оценке результативности деятельности научных организаций РАН e-mail: andrkulagin@yandex.ru
Часть 1
Правительство Российской Федерации 8 апреля 2009 г. выпустило постановление № 312 «Об оценке результативности деятельности научных организаций, выполняющих научно-исследовательские, опытноконструкторские и технологические работы гражданского назначения».
Согласно этому постановлению по результатам оценки результативности научные организации должны быть разделены на три категории: научные организации — лидеры, стабильные научные организации, демонстрирующие удовлетворительную результативность и, наконец, научные организации, утратившие научный профиль и перспективы развития. Время для оценки состояния научной сферы и «остатка» научных организаций выбрано правильно. Лихие годы закончились. Провозглашен курс на инновации. Наука (вроде бы) государству снова понадобилась.
Вопрос в том правильно ли выбраны принципы оценки.
В этом мы и постараемся разобраться.
В экономической литературе под понятием «оценка организации» обычно понимается определение ее капитализации.
В данном случае под оценкой научной организации понимается анализ ее результативности.
Такой анализ, проведенный учредителем, есть, по сути, выявление способности научной организации качественно выполнять те обязанности, ту миссию, которые он (учредитель) на нее возложил.
Но нельзя забывать, что оценка может быть проведена и потенциальным заказчиком конкретной научнотехнической продукции. Его, в отличие от учредителя, интересует не деятельность научной организации во-
обще, а только одно направление, в рамках которого и нужна соответствующая разработка.
Наконец, может быть проведена и самооценка научной организации. Она проводится руководством организации и имеет целью выявление слабых и сильных системных факторов, слабых мест внутренних процессов, существенно влияющих на ее научный потенциал.
Бытует мнение, что оценка деятельности должна проводиться некой сторонней организацией, что такая независимая оценка более надежна, чем самооценка. Это справедливо, если речь идет о конкретном научном результате, полученном в данной организации. Здесь мнение научного сообщества, выраженное в заключениях экспертов, естественно более объективно, чем мнение автора научного результата или даже научной организации в целом.
Для оценки научных результатов в мире уже давно сложилась целая система. Тут и индексы цитируемо-сти, и рейтинги научных журналов, и разнообразные научные премии, включая Нобелевские премии. Часто эта система и отдельные ее звенья подвергаются критике, но пока никто не предложил ничего лучшего.
В данном случае мы будем говорить не об оценке научных результатов, а об оценке организации, в которой получены научные результаты.
Первый аспект проблемы.
Наряду с понятием «результативная научная организация» существует и понятие «эффективная научная организация». Совпадает ли результативность с эффективностью? Всегда ли результативная организация является эффективной?
В научных изданиях говорят об экономической эффективности, коммерческой эффективности, инвестиционной эффективности и т. д.
Терминологическое различие здесь связано с тем, что собственно оценивается: эффективность конкретного научного результата, либо эффективность деятельности самой научной организации, как субъекта хозяйственной деятельности.
В первом случае речь идет о коммерческой эффективности использования конкретных результатов, то есть, по сути, об инновационной эффективности.
В шестидесятые и семидесятые годы прошлого века исследовательский центр Дженерал Электрик финансировался из специального бюджета, формируемого из отчислений производственных подразделений компании. Центр был известен на весь мир уровнем научных исследований, количеством нобелевских лауреатов, многочисленными научными публикациями. Однажды руководство компании проанализировало эффективность внедрения результатов деятельности центра в производство. Оказалось, что блестящие научные достижения очень слабо влияли на деятельность компании, на выпускаемую ей продукцию. Тогда изменили принцип финансирования исследовательского центра, переведя его на прямые договоры с подразделениями, которые теперь точно знали, за что они платят (или не платят) деньги.
В данном случае цель создания исследовательского центра, по мнению учредителя, не совпала с результатами. Учредителю были не столь важны Нобелевские премии, сколь конкретные инновации. Таким образом, эффективность научной организации (с точки зрения ее учредителя) была крайне низка, а ее результативность (с точки зрения научного сообщества) — весьма велика.
Ситуация эта достаточно типична для многих корпоративных научных организаций. Будь у центра другой учредитель, например национальная академия наук, оценка эффективности была бы совсем иной.
Во втором случае, то есть при оценке эффективности деятельности научной организации как субъекта хозяйственной деятельности, должны учитываться затраты на получение научных результатов.
Например, изучение свойств мерзлотных грунтов можно организовать как в Якутии, так и, например, в Краснодаре. Нет необходимости объяснять, что во втором случае стоимость экспериментов будет значительно выше.
Наконец, с точки зрения норм русского языка «эффект» означает впечатление, производимое кем-либо на кого-либо (см., например, Словарь русского языка С. И. Ожегова).
Исходя из этого, под эффективностью научной организации следует понимать мнение учредителя: во что обходится полное и качественное выполнение научной организацией возложенных на нее задач.
Что же касается термина результативный, то он означает способность получать нужные результаты. Соответственно результативность научной организации — способность получать результаты по конкретным научно-техническим проектам или проблемам.
Естественно, что критерии и методы оценки эффективности и результативности различаются. Но если мы хотим получить объективную оценку, следует постараться эти методы объединить.
Второй аспект проблемы.
Работа над конкретным проектом в некоторых случаях приводит к тому, что заказчик получает желаемый, но в реалии подтасованный результат. Речь идет не о так называемой «лженауке», а о тех случаях, когда в угоду заказчику формулируется определенный итог. Такие случаи, к сожалению, не редки. Но, тем не менее, мы их рассматривать не будем, поскольку сознательные подтасовки рано или поздно вскрываются.
Важнее достоверность научного результата.
Поясним суть вопроса на примере из относительно недавнего прошлого. Многим памятен перевод научных организаций на хозяйственный расчет, предпринятый в СССР в конце 1980-х гг. Помимо изменения взаимоотношений с внешним заказчиком значительное число научных организаций перешло на так называемый внутренний хозрасчет: научная лаборатория — генеральный исполнитель заказа часть выручки отдавала аналитическим, вычислительным, испытательным и другим вспомогательными подразделениям. Сколько нужно провести испытаний: одно или десять, определяла лаборатория — генеральный исполнитель (а если еще точнее — тот научный работник, который собственно и исполнял заказ). Чем меньше испытаний, тем меньше нужно отдать денег. Естественно это порождало желание обойтись меньшим числом испытаний.
В результате вольно или невольно итоговый результат оказывался недостаточно надежным, недостаточно проверенным. По исследованиям автора это в дальнейшем вело к числу ошибочных решений на стадии конструкторских и технологических работ.
В современных условиях данный аспект тем более важен. Поэтому вопрос о надежности научного результата должен обязательно приводить к анализу внутренних процедур и внутренней структуры организации, которые собственно и позволяют обеспечить нужный уровень надежности.
Третий аспект проблемы.
Заказчику важно получить не просто надежный результат, но получить его в определенное время. Поэтому способность научной организации организовать внутренние процессы в необходимом ритме также является элементом оценки.
Это, во-первых, опять-таки приводит нас к анализу внутренних процедур и внутренней структуры организации, которые позволяют обеспечить не только нужный уровень надежности результата, но и обеспечить его в нужные сроки. По существу это анализ мобильности внутренней структуры, способности сконцентрировать ресурсы для достижения нужного результата в оговоренные сроки.
Но есть еще и во-вторых. Заказчик-инвестор не вкладывает деньги в научный результат, в новую технологию, ни, тем более, в научную организацию как таковую. Инвестор вкладывает деньги в бизнес, т. е. в создание механизма зарабатывания денег. Поэтому при анализе любого полученного за его деньги результата он интересуется прежде всего тем, получится ли в результате реализации результата построить механизм зарабатывания, насколько он будет надежным и эффективным.
ИННОВАЦИИ № 10 (156), 2011
ИННОВАЦИИ № 10 (156), 2011
Поэтому научная организация должна не просто сообщить заказчику, что дважды два это четыре, а еще и о том как это результат скажется на механизме зарабатывания. А это уже не только и не столько задача научного работника (физика, химика, математика и т. п.), а задача экономиста или менеджера. Есть ли в структуре научной организации соответствующие подразделения или она закажет такой анализ на стороне, тоже является важным фактором ее оценки.
Четвертый аспект проблемы.
В названии статьи употреблены термины оценка и самооценка. При этом понятие «самооценка» не означает, что научная организация занимается оценкой самостоятельно. Таким способом крайне редко можно выявить собственные сильные и слабые стороны. Более того, понятия «сильная» или «слабая» применительно к научной организации достаточно относительны, о речь об этом пойдет ниже.
Под оценкой здесь понимается оценка извне, со стороны, учредителя заказчика или некоторым межведомственным органом. Критерии и методы оценки в этих случаях могут, естественно, различаться. Проверяющая сторона задает некоторые критерии, по которым и производится проверка.
Но главное, решение по результатам оценки принимается «на стороне»: учредитель может предпринять какие-либо организационные меры, заказчик — дать или не дать заказ, межведомственный орган — присудить или не присудить премию (рис. 1).
Рис. 1
При самооценке руководство организации может организовать все самостоятельно, а может воспользоваться услугами специалистов со стороны. В отличие от ситуации оценки, решения по результатам самооценки принимаются «внутри». Главный вопрос заключается в том, прислушаются ли руководители научной организации к диагнозу, сумеют ли спланировать, а затем осуществить необходимые улучшения. Иначе говоря, вопрос в том, скажется ли полученный «диагноз» на внутреннем стратегическом и тактическом планировании (рис. 2).
Внутренний
аудит
Внутренние
процессы
У довлетворенность руководства
Рис. 2
Коль скоро был употреблен термин «процессы», то очевидно нужно пояснить, что под этим понимается.
Можно вычленить три основных типа процессов, присутствующих в научной организации, в реализации которых участвуют разные типы работников.
Первый (и заметим, основной) тип процессов — собственно научный поиск, т. е. некая последовательность и содержание действий научного работника, либо группы работников. Главное требование — достоверность научного результата. Причем это требование не
зависит от уровня результата: и эпохальный, и микроскопический результаты должны быть достоверны. Выполнение этого требования можно обеспечить внутренней системой «контроля качества», о чем речь пойдет ниже.
Второй тип процессов — обслуживание научного поиска — от бухгалтерских и снабженческих операций, до уборки помещений. Здесь главное — не замедлять научный процесс. Обслуживание научного поиска в принципе достаточно легко оптимизируется за счет совершенствования структуры организации, четкого определения функций, прав и обязанностей каждого работника.
Третий тип процессов носит уже не тактический, а стратегический характер — процессы управления, которые должны приводить к повышению эффективности и результативности, а в итоге — к повышению имиджа организации (да и самого руководства).
Независимо от типа процесс — последовательность (цепочка) действий, с помощью которых научная организация достигает своих целей.
Пятый аспект проблемы.
Разберемся теперь о каких организациях, собственно, идет речь, поскольку официальная статистика говорит не о научных организациях, а об организациях, занимающихся исследованиями и разработками.
По данным статистики в начало 2011 г. в Российской Федерации насчитывалось 3666 таких организаций, в том числе: 1926 научно-исследовательских организаций, 418 конструкторских, проектноконструкторских и технологических организаций, 42 проектных и проектно-изыскательских организаций, 58 опытных заводов, 503 высших учебных заведений, 239 промышленных предприятий и 480 организаций иных типов.
Как видно, здесь в одну кучу свалены и академические институты, и промышленные предприятия, имеющие в своем составе конструкторские подразделения. Правда следует оговорить, что отдельные конструкторские организации наиболее крупных корпораций как по кадрам исследователей, так и по научному оборудованию сделают честь любому НИИ.
Во-вторых, статистика практически не учитывает достаточно большое количество малых научноисследовательских и научно-инновационных организаций, возникших за последние 10-15 лет.
В-третьих, в число 1926 научно-исследовательских организаций попали как НИИ, занимающиеся исключительно фундаментальными проблемами и не имеющие никаких выходов на инновации, так и НИИ вообще не имеющие фундаментальной компоненты и занимающиеся исключительно прикладными проблемами.
А, как уже отмечалось, цель поставленная учредителем при создании организации, важна при вынесении ее оценки. Поэтому нам придется классифицировать организации иными способами.
Как же это сделать? И из каких соображений учредитель должен очертить круг задач научной организации? Ради чего он вообще ее создал?
Одну из первых частных научных организации создал Шлиман — обыкновенный немецкий торговец.
Организуя и финансируя археологическую экспедицию в Трою, он руководствовался, прежде всего, своим интересом к Гомеру. Его экспедиция нашла то, что самого Шлимана удовлетворило (но как потом оказалось совсем не гомеровскую Трою), именно это для него было важно. А отсутствие четких археологических описаний, карт и т. п., без чего археологическая наука немыслима, объясняется отнюдь не только дилетантством Шлимана, о чем часто пишут, но, главное, отсутствием интереса к этой «нудной» работе.
В рассматриваемом простейшем случае главное в оценке — удовлетворенность учредителя, можно даже сказать удовлетворенность его тщеславия.
Таким образом, учредитель должен определить, что собственно он хочет от научной организации, а затем, какая организационно-правовая форма наиболее соответствует его желаниям. Разумеется, это может быть и коммерческой организацией в самых разных форматах.
К сожалению, в России дело обстоит далеко не так. Часто, определив организационно-правовую форму, учредитель (а это в половине случаев государство: из 1926 НИИ государственными (или академическими) являются более 1000), не анализирует соответствие формы содержанию работ, не приводит одно в соответствие другому.
В некоторых случаях имеет место соответствие формы содержанию функций, но в целом ряде случаев этого соответствия нет. Вместе с тем и наше законодательство часто не позволяет установить такое соответствие. Например, отдельные институты Российской академии наук лишь в малой степени финансируются за счет бюджета, в принципе могли бы обойтись и совсем без так называемого «базового» финансирования. Вероятно, наиболее подходящей организационноправовой формой в этом случае была бы форма унитарного предприятия и, соответственно, хозяйственного ведения. Однако Гражданский кодекс предусматривает только государственные и муниципальные унитарные предприятия и не позволяет РАН быть учредителем таких коммерческих научных организаций.
Поэтому, по мнению автора, для начала следовало бы определить основные типы научных организаций по их функциям.
Основными сегментами государственного сектора науки по официальным документам являются:
• научные организации академий наук, имеющих государственный статус;
• научные организации (в том числе ГНЦ), учредителями которых являются Правительство Российской Федерации, министерства и ведомства и государственные корпорации;
• наука системы образования;
• организации научного обслуживания и инфраструктуры научной и научно-технической деятельности.
На самом деле в состав первого сегмента входят как научные организации чисто фундаментального профиля (преимущественно по гуманитарным направлениям), так и организации, имеющие значительную прикладную, а иногда даже инновационную компоненту.
В некоторых случаях значительная доля прикладных исследований оправдана самим профилем организации, сложилась еще в советское время, и потому вполне осмысленна. Примером могут служить научные организации Российской академии медицинских наук, имеющие в своем составе «испытательные полигоны» в виде клиник и других лечебных учреждений. В ряде же случаев (особенно в системе РАН) рост прикладной компоненты проходил достаточно стихийно в девяностые годы в связи с недостатком государственного финансирования.
С другой стороны есть области фундаментальной науки, которые вообще не представлены, либо представлены лишь незначительно в системе государственных академий. Так, Всероссийский электротехнический институт, не входя в систему РАН и будучи подведомственным Минобрнауки, является по существу единственной организацией, ведущей фундаментальные исследований в области электротехники.
Таким образом, основные вопросы, который должен задать себе учредитель, организуя оценку научной организации, это вопрос об оправданности сложившегося соотношения фундаментальных и прикладных работ и об оправданности организационно-правовой формы.
В состав второго сегмента входят несколько групп научных организаций:
• организации, основными функциями которых является комплексное решение отраслевых и межотраслевых проблем, разработка прорывных (критических) технологий, научно-технологическое прогнозирование развития закрепленного приоритетного направления науки, технологий и техники, координация деятельности и экспертиза научно-технических проектов по закрепленному направлению, ведение отраслевых баз данных научно-технической и патентной информации, проведение ориентированных фундаментальных исследований по закрепленному направлению;
• научно-исследовательские, конструкторские и проектно-изыскательские организации военного и специального назначения. Их целевая функция — обеспечение национальной безопасности. Здесь как нигде для учредителя важна надежность результата. Ну и конечно — сроки выполнения заказа;
• научные организации, обеспечивающие выполнение отдельных функций, возложенных на федеральные органы исполнительной власти. Примером может служить институт Роспатента, выполняющий в основном экспертные функции. В США такие функции выполняет само патентное ведомство при штате около 5 тыс. человек. У нас (еще со времен СССР) само ведомство (несколько сот человек) было отделено от научно-экспертной организации (около 3 тыс.) в основном из соображений минимизации числа государственных служащих.
Наука системы образования (сегмент 3) находится в стадии реформирования в связи с созданием исследовательских и федеральных университетов, а также в связи с неясностью судьбы прочих вузов.
ИННОВАЦИИ № 10 (156), 2011
ИННОВАЦИИ № 10 (156), 2011
Следует учесть, что даже наличие значительного научного потенциала и осуществление деятельности по приоритетным направлениям науки, техники и технологий не отменяло основной задачи — подготовка кадров, в том числе высшей квалификации, для науки, образования, оборонно-промышленного комплекса и других наукоемких отраслей. До сих пор, выделяя гранты вузам, Минобрнауки вне зависимости от темы исследования в качестве одного из основных требований предусматривает обязательное участие студентов и аспирантов.
Обеспечить подготовку кадров высокой квалификации (особенно — высшей квалификации) без непосредственного участия студентов и аспирантов в решении проблем фундаментального и поискового профиля практически невозможно. Но этот факт важен не в связи с выполнением определенной темы исследования, а в связи с необходимостью поддержания кадрового потенциала науки. Эта задача в меньшей степени есть задача научной организации, но является одной из основных с точки зрения государства.
Полноценная научная деятельность не может осуществляться без организаций научного обслуживания и научной инфраструктуры (4-й сегмент). Поскольку такие организации практически не ведут непосредственно научно-исследовательские и опытноконструкторские работы, и их целесообразно рассматривать как самостоятельный блок науки, об оценке их результативности мы в данной статье говорить не будем.
Отметим еще один аспект. Почти любая организация (неважно, научная или производственная) входит как элемент в некую большую систему, подчиненную общему руководству: холдинг, объединение, академию наук и т. п. То есть она действует (точнее должна действовать) как элемент крупной системы. Соответственно она должна быть эффективным и качественным звеном этого объединения. Это важно, прежде всего, с точки зрения полноты и качества спектра научных дисциплин и научных направлений, за которые академия или государственная структура отвечает перед государством.
Организации отраслевой науки, исключенные в предыдущие годы из состава госсектора, акционированы, приватизированы, переданы крупным корпоративным структурам или присоединены к организациям, эффективно работающим в сфере науки и образования.
Весьма полезно представить условную среднюю научную организацию. По данным статистики такая усредненная организация насчитывает около 200 сотрудников, из которых половина является собственно исследователями, то есть научными работниками, конструкторами и т.п. В среднем в одной научной организации работает 6-8 докторов наук и 21 кандидат наук. Такая усредненная научная организация определена по всем типам организаций, занимающихся исследованиями и разработками, то есть в ней в примерно равных долях представлены фундаментальные, прикладные и инновационные компоненты. При оценке реальной организации сравнение с усредненной весьма полезно.
Шестой аспект проблемы связан с оценкой персонала научной организации.
По данным как отечественных, так и зарубежных источников в научно-исследовательских организациях примерно 5-8% персонала, так называемых «лидеров» или «генераторов идей», способны выдвигать важные, подчас революционные гипотезы и предложения. Любопытно, что в ряде случаев эти «генераторы» не способны реализовать собственные идеи. Но по сути это мозговой центр научной организации. При отсутствии такого центра или в случаях подавления их предложений, научная организация не способна к результативной деятельности. Примерно 15-20% научного персонала способны к весьма активному научному труду на основе выдвинутых другими гипотез. Остальная часть исследовательского персонала создает, условно говоря, «шумовой фон».
В малых научных организациях, работающих над одним или всего несколькими проектами, доля «шумовых» сотрудников меньше, чем в крупных. Однако совсем без них обойтись нельзя.
Идеи часто приходят в процессе обсуждения научных проблем с коллегами, вне зависимости от того, работают ли эти коллеги в той же сфере науки или какой-то иной. Этот факт хорошо известен и используется руководством некоторых организаций науки. Например, в одном из финских технопарков автора познакомили с принятым там распорядком недели, когда один из дней отводится специально для общения между сотрудниками малых научных и инновационных фирм, действующих в этом технопарке. Сами же фирмы в этот день не работают. По мнению руководства технопарка, эффективность такого «междисциплинарного» общения весьма высока.
Таким образом, при анализе и оценке эффективности работы научной организации нельзя исходить из стопроцентной эффективности всего исследовательского персонала этой организации.
В последние несколько лет весьма часто можно слышать как в бюрократической, так и в научной среде разговоры о необходимости реформирования Российской академии наук. Нередко выдвигается предложение о ревизии и сокращении числа институтов, селекции подразделений, работающих на передовом уровне и их «сбору» в один институт соответствующего научного направления.
Такие меры, по мнению автора, не только не приведут к повышению эффективности РАН, а наоборот, снизят эту эффективность к нулю.
И дело здесь не только в относительности самого понятия «передовой». Передовой сегодня легко может перестать быть таким завтра и непередовой сегодня завтра легко станет передовым.
Дело еще и в уничтожении «шумового фона», которое собственно и обеспечивает продвижение вперед. Известную фразу Ньютона, о том, что он стоял на плечах гигантов, сегодня можно интерпретировать так: любая научная работа сегодня стоит на «плечах» научного сообщества в целом, как гигантов, так и пигмеев.
Теперь от вопроса «кого оценивать» перейдем к «как оценивать».
Выявление сильных и слабых сторон деятельности научной организации относительно поставленных учредителем задач, планирование улучшений и нововведений в соответствии с возможностями, использование полученных оценок в процессах стратегического и тактического планирования — вот те задачи, которые должно постоянно решать ее руководство.
Самая большая опасность состоит в желании (не всегда осознанном) заменить сущность оценки или самооценки неким «действом», неким подсчетом баллов, по которым автоматически принимаются управленческие решения.
Еще хуже дело будет обстоять, если владелец (организатор, учредитель) на основе сопоставления полученных интегральных характеристик будет также автоматически принимать административные меры. Если в одной организации интегральная оценка равна
0,81, а в другой — 0,49, это отнюдь не означает, что директора первой надо поощрить, а второй — немедленно наказать.
Именно так обстояло дело в советское время при подведении итогов социалистического соревнования. Сопоставительный анализ потерял свою привлекательность не только и не столько из-за недостатков самой системы сопоставления, сколько из-за стремления достичь быстрого (но как мы теперь понимаем ненужного и недолговечного) выигрыша.
Поэтому основная наша задача — представить оценку и самооценку как диагностическое средство. Метод (а точнее — методы) оценки, как и медицинский диагноз, разумеется, не обещает автоматического решения имеющихся в организации проблем.
Медицинский диагноз есть лишь исходная точка планирования методов лечения: от хирургических до консервативных, от использования проверенные временем лекарств до экспериментальных методик. Точно также и оценка, а тем более самооценка есть только диагностическое средство. Более того, это только одно из средств, которое позволяет выбрать методы «лечения».
После появления в 1987 г. стандартов ИСО серии 9000 в мире получили широкое распространение аудиты систем качества и национальные премии по качеству. Есть такая премия и у Правительства Российской Федерации.
Да, методы оценки выросли из принципов аудита систем качества. Но как оценка, так и самооценка должны иметь более широкую область применения, чем оценка качества. Их задача — объективное выявление сильных и слабых сторон в деятельности научной организации, позволяющее в дальнейшем привести организацию в соответствие с ее задачами и целями создания.
Аудиторы систем качества ограничиваются заранее установленными стандартами и правилами. Сами же эти правила сформировались на основе характеристик, которые можно оценить, а еще лучше — измерить с достаточной объективностью.
Ситуация с оценкой и самооценкой иная, поскольку они должны охватывать всю деятельность организации. Это порождает определенные методологические трудности, поскольку речь идет как об объективных
характеристиках, так о необходимости учета ряда трудноощутимых параметров, часто не поддающихся измерению и формальной оценке. Кадровые ресурсы, учитывая сказанное выше, есть пример таких трудноощутимых характеристик. Разумеется, и применительно к кадрам есть определенные формальные показатели, такие как наличие ученой степени или даже Щ. Однако нет необходимости объяснять, что эти формальные характеристики даже в малой степени не исчерпывают проблему оценки имеющегося научного персонала. С другой стороны, именно такого рода «неформальными» характеристиками лучшие научные организации часто отличаются от всех прочих.
Любая оценка или самооценка опирается на некоторое представление учредителя, заказчика или руководства организации о том, как эта организация должна выглядеть. В теории оценок это представление принято называть моделью.
Главная трудность при интегральном подходе состоит именно в выборе надлежащей модели. Значимость оценки определяется значимостью модели.
Вместе с тем, очевидно, что модель не может быть застывшей. Она все время меняется под влиянием внешних факторов. Научная организация все время действует под влиянием этих факторов, испытывает влияние макро- и мезосреды.
Таким образом, гибкость модели, ее соответствие данному моменту являются залогом правильности оценки. Отсюда следует три вывода.
Во-первых, модель вполне удовлетворительная вчера, сегодня может оказаться малопригодной, поскольку изменились внешние параметры. Следовательно «замораживание» модели на сколько-нибудь длительный срок лишает смысла и саму оценку. Соответственно, удовлетворительная интегральная оценка, полученная по вчерашней модели, абсолютно не гарантирует успешную работу сегодня.
Во-вторых, модель не может быть застывшей даже в ходе одного цикла оценки. Модель интерпретирует реальность, дает рабочую гипотезу ровно до тех пор, пока не будет найдена лучшая модель.
В-третьих, сколько-нибудь длительная фиксация модели может привести к тому, что заинтересованные должностные лица, стремясь ограничить свои риски, будут воспринимать модель в догматическом смысле, а отнюдь не как диагноз.
Концепция обеспечения качества продукции производственных компаний сформировалась на основе изучения жизненного цикла в 50-60-е годы ХХ века. На первом этапе акцент делался на процессах, имеющих место на разных этапах жизненного цикла. Основная идея состояла в том, что качество конечного результата (т. е. нового изделия), можно обеспечить только на основе качественных результатов каждого из этапов. Применялись методы входного, промежуточного и выходного контроля.
В России подобный подход имел место, прежде всего, в оборонной промышленности, а в гражданской сфере стал распространяться после запуска автомобильного завода в Тольятти.
В 1970-1980-е гг. пришли к пониманию, что целостность системы (не только с точки зрения каче-
ИННОВАЦИИ № 10 (156), 2011
ИННОВАЦИИ № 10 (156), 2011
ства) нечто большее, чем простая сумма ее составных частей. Связи между частями системы часто важнее, чем ее элементы. Так называемая «спираль Джурана» [1] демонстрировала необходимость если не объединения, то, по крайней мере, координации мероприятий по обеспечению качества результата на отдельных этапах жизненного цикла, что собственно и позволяет обеспечить качество конечного результата и повысить общую эффективность.
Тогда же широкое распространение получили принципы одновременной работы над проектами. Инженерно-технические работы стали выполняться параллельно, но обязательно с максимальным взаимодействием, что позволило существенно сократить время разработки без снижения качества конечного продукта.
То есть простое изменение взаимосвязей процессов, а именно в этом и состояла основная организационная идея, дало существенное приращение эффективности. Сами по себе отдельные процессы не менялись, изменились их взаимосвязи.
Применительно к нашему объекту исследования — научным организациям — здесь важно отметить, что модификацией процесса занимаются те, кто в этом процессе участвует, т. е. научные работники и исследователи, а изменением взаимосвязей — как минимум руководство данной организации, а в большинстве случаев группа руководителей нескольких организаций, исполняющих всю совокупность этапов жизненного цикла.
«Значительное сокращение времени выхода на рынок при одновременном проектировании может быть достигнуто лишь путем модификации в организации цикла разработки, а не отдельных процессов в цикле, и только посредством вмешательства высшего руководства, а не изменением внутри системы» [2].
В последние 10-15 лет в Европе сформировалась концепция всеобщего управления качеством (Total Quality Management — TQM), приведшая к определенному ослаблению внимания к организации, как к участнику процесса. Модели качества все меньше учитывали организацию, как организатора процессов, все больше уделяли внимание самим процессам.
Следует признать, что усиление внимания к процессам действительно важно. Если требования к качеству возрастают, то систему можно улучшить за счет совершенствования самих процессов, расширения принципов параллельного их выполнения.
Однако повышение качества отдельного процесса имеет определенный предел. Если организация стремится повысить свой имидж, снизить производственные затраты, то нужны достаточно глубокие изменения в самой организации, прежде всего в части использования всех видов ресурсов (оборудования, персонала и т. д.).
Если же заказчиком является конкретная компания (в случае прикладного исследования), то в этой компании есть, как правило, собственная система качества. Следовательно, возникает вопрос о соответствии систем качества исполнителя и заказчика. Если же речь идет о фундаментальной работе, заказчиком, в определенном смысле, является научное сообщество.
Соответственно необходимо, что бы и сама научная организация, и процесс исследования соответствовал общепринятым (хотя и не всегда явно сформулированным) нормам для конкретной области знания. Иначе говоря, важно знать, способна ли научная организация выполнить соответствующую работу.
Из вышеизложенного следует, что в оценке организации, в оценке, если хотите ее качества, заинтересованы три стороны: сама организация, ее заказчик и ее учредитель.
Однако заинтересованность эта различна.
Руководство научной организации заинтересовано в ее имидже. Причем не в высокой оценке одного-двух подразделений, а высокой интегральной оценке. Имидж, естественно, складывается из многих параметров. Но об этих параметрах речь будет идти ниже.
Заказчику, конечно, имидж организации важен, но еще важнее возможность качественно выполнить конкретный проект. То есть ему важен не только общий имидж, а уровень работы того подразделения, которое собственно и будет выполнять заказ.
Наконец, учредитель (собственник) заинтересован в эффективной работе организации как части большой системы: чтобы она в полном объеме и наилучшим образом выполняла закрепленные за ней функции в определенной сфере науки, что бы она работала как полноценный элемент оркестра.
Естественно периодическая проверка на реальную способность обеспечивать запланированные результаты должна учитывать указанные различия.
Раньше термин «аудит» использовался только в финансовой сфере и определялся как регулярные проверки и ревизии бухгалтерских операций, оплаты и урегулирования счетов или итогового бухгалтерского баланса. Сейчас сфера употребления этого термина значительно расширилась. Говорят и об экологическом аудите, и о технологическом аудите, что для нас важнее, об аудите качества. Таким образом, термин «аудит» стал применяться к любой процедуре проверок соответствия неким установленным процедурам и показателям.
Соответственно, поскольку в оценке организации заинтересованы три стороны, то можно говорить о трех типах аудита. На самом деле есть еще и четвертый тип аудита, возникший в 1987 г. после опубликования международных стандартов ИСО серии 9000. Этим стандартом вводились однородные критерии проверок, что с одной стороны позволили сократить число аудитов, а с другой породило значительное количество организаций, специализирующихся на оценке соответствия систем качества компаний стандартам указанных стандартов, и органов, регистрирующих эти результаты. Этот четвертый тип аудита называется сертификацией.
Последующие 10-15 лет в развитых странах были периодом общего увлечения сертификацией систем качества. Дело в том, что экспертиза структуры организации, ее рабочих процессов, рабочих потоков, оборудования и кадров дает, как было сказано выше, диагноз. Но каковы реальные результаты «лечения» экспертиза ответить не может. Для этого необходимо постоянно вводить в систему результаты работы. А это
можно сделать, только имея собственную систему качества.
В результате, несмотря на совершенствование стандартов ИСО 9000, предпринятое в 2002 г., ситуация запуталась.
Наличие сертификата по ИСО 9000 стали рассматривать как гарантию высокого качества. На самом деле даже сертифицированная система качества не дает гарантий конкурентоспособности организации. Это необходимое предварительное, но недостаточное условие для начала работ по обеспечению качества. Все автомобилисты имеют водительское удостоверение, но все они водят по-разному.
Совершенно очевидно, что здесь не хватает регулярной оценки результатов реальной деятельности. Причем результатов, оцениваемых не только самой научной организацией, но и со стороны. Точно так же, любая современная производственная компания, заключая договор с поставщиком комплектующих, поинтересуется, конечно, наличием сертифицированной системы качества, но обязательно подвергнет продукцию продавца собственным испытаниям. Следовательно, именно результаты становятся реальным способом контроля: сделала ли организация правильные выводы из «диагноза», поставленного в ходе экспертизы и сертификации.
В принципе подобная система проверки научных результатов существует: расчеты перепроверяются, повторные эксперименты ставятся, требуется повторяемость результатов.
Но для нас самое важное здесь состоит в том, что речь идет о всех результатах, а не только о тех, которыми можно «похвастаться» перед Президиумом академии, заказчиком или научным сообществом. Почти во всякой научной организации всегда найдется одно-два направления, по которым она «впереди планеты всей». Но если мы хотим сохранить сферу науки, то нужно вести речь о подтягивании и других направлений. Это как в биатлоне: можно хорошо бегать и плохо стрелять, или наоборот хорошо стрелять, но плохо бегать. Ни в том, ни в другом случае хороших результатов не добиться.
Это рассуждение возвращает нас к самооценке. Только при самооценке организация может распространить оценивание на все имеющиеся результаты, которых естественно значительно больше, чем вошедших, например, в сводный отчет академии.
В сложившейся на сегодняшний день ситуации научные организации государственного сектора получают в среднем около половины в виде прямого бюджетного финансирования через свою академию или свое министерство.
Более того, это финансирование выделяется под некоторый план исследований, который, вообще говоря, не очень придирчиво утверждается и за качественное исполнение которого не слишком строго спрашивают.
Вторая половина финансирования добирается из других источников, которые в целом можно разделить на две группы:
• как отечественные, так и зарубежные гранты, получаемые из различного типа фондов на научные
исследования в основном фундаментального профиля;
• контрактные (договорные) средства, получаемые от коммерческих структур, получаемые, как правило, на конкретную научно-техническую или конструкторскую разработку.
К наиболее характерным особенностям финансирования грантового типа можно отнести:
1. Заказчик (фонд, ведомство и т. д.) производит по принятой у него процедуре отбор конкретных проектов, а не организаций. Участвуя в целом ряде экспертных комиссий, на собственном опыте могу утверждать, что оценка самой научной организации в процессе отбора проектов, текущего и итогового контроля ограничивается высказываниями отдельных членов комиссии: «сильный институт», «хороший вуз», или что то в этом роде. Ни для кого не секрет, что есть определенная корреляция между количеством и объемом грантов, получаемых определенной организацией, и тем, есть ли в составе экспертного совета ее представитель.
2. Организация выступает в процессе финансирования только как посредник, выполняя бухгалтерские, хозяйственно-снабженческие и некоторые иные функции, получая за это от 20 до 40% средств гранта. Роль ученого (или научно-технического) совета здесь сведена к минимуму: представить заказчику выписку из своего решения об обсуждении и одобрении промежуточного или итогового отчета.
3. Приемка итогов работы обычно производится заказчиком не слишком придирчиво. Случаи отказа принять итоги носят единичный характер.
4. К сожалению, точно так же единичный характер носят и случаи, когда высшие руководители организации всерьез анализируют процессы грантового финансирования, в то числе и случаи отказа в выделении гранта. Оценка работы подразделений если и увязывается с количеством полученных в этом подразделении грантов, то за этим почти никогда не следуют какие-либо организационные меры. Иными словами, роль грантового финансирования ни с точки зрения оценки качества работы, ни с точки зрения удовлетворенности потребителя (источника гранта) не являются предметами и показателями оценки работы организации в целом.
5. Характерно, что вышесказанное относится ко всем грантам, независимо от их размера: от нескольких тысяч, до нескольких миллионов рублей.
Это позволяет сформулировать следующий вывод: ни при внутреннем, ни при внешнем аудите показатели, характеризующие состав, размеры и иные показатели грантов, пока не являются опорными для оценки как качества работы самой научной организации и ее подразделений, так и для анализа удовлетворенности потребителей научной продукции.
Почему же научные организации не распространяют оценивание на все имеющиеся в ее распоряжении результаты, в том числе гранты.
С точки зрения автора, это происходит по двум причинам.
Во-первых, сама система выделения грантов во многом строится не на объективной оценке проекта,
ИННОВАЦИИ № 10 (156), 2011
ИННОВАЦИИ № 10 (156), 2011
предложенного на конкурс, а на личностных взаимоотношениях руководства и членов экспертных советов финансирующей организации и заявителя. Этот недостаток отнюдь не является исключительно российской спецификой. Такова общемировая практика. Можно, конечно, предлагать какие-либо меры, но вряд ли они приведут к положительным результатам. Поэтому тратить на это время и внимание читателя не имеет смысла.
Во-вторых, и это уже чисто наша специфика, отношение к грантам во многом сложилось в девяностые годы, когда руководство научных организаций было озабочено проблемой выживания организации в целом, а отнюдь не отдельных ее подразделений. Именно поэтому гранты не учитывались при оценке, если таковая производилась, а если и учитывались, то исключительно по объему, но никак по качеству или удовлетворенности потребителя. С другой стороны, и руководители подразделений в тот период еще «не вжились» в новую систему рыночных отношений и многоисточникового финансирования.
Совершенно иначе складываются отношения научных организаций с коммерческими структурами, инвестирующими в разработку.
Инвестор заинтересован в быстрейшем выполнении всех предварительных этапов инновации, чтобы результаты были внедрены в практику и приносили доход.
Во-первых, важно не только вовремя и в точном соответствии с техническим заданием сдать работу заказчику, но еще и отследить коммерческие результаты использования инновации. Только при положительных коммерческих результатах инвестор будет заинтересован вновь заключить договор с научной организацией. Таким образом, для научной организации, специализирующейся на разработках, удачно выполненная работа гарантирует стабильные заказы и рабочие места для сотрудников с соответствующей оплатой труда. В этом заключается стимул ускорения и качественного выполнения прикладных НИР и ОКР.
Во-вторых, необходимо прогнозировать перспективы развития соответствующих технологий с тем, чтобы предложенные заказчику результаты не оказались уже при рождении устаревшими и, уж тем более, в тупиковой ветви развития технологий.
Хорошо известен пример компании Поляроид, которая вложила значительные средства в разработку кинокамеры, основанной на том же принципе, что и знаменитый фотоаппарат Поляроид. Компания добилась результата. Было сделано несколько кинокамер. Но пока они проходили испытания, на рынке появились видеокамеры. В результате кинокамеры Поляроид остались примером великолепного, но никому не нужного научного результата. К сожалению, перспектива развития технологии была определена неправильно.
В-третьих, заказчик должен найти нужную ему научную организацию. Причем это нужно сделать в условиях глобального рынка. Соответственно и сама научная организация должна заявить о своем присутствии на этом рынке. А это предполагает наличие в ее структуре подразделений, которые занимаются
маркетингом, рекламой и т.п. Все это совершенно нехарактерно для научных организаций фундаментального профиля и предполагает не только иную организацию процессов внутри организации, но и иную структуру внутренних затрат.
В тоже время прикладные исследования и особенно проектно-конструкторские работы в условиях глобализации мирового технологического рынка целесообразно сохранять тогда, когда их уровень обещает в близкой перспективе существенные экономические выгоды или обосновывается соображениями национальной безопасности.
Для этого типа исследований и разработок голос потребителя (заказчика) важен и еще по одному соображению. Если результаты работы не достигают поставленной цели, а потребитель отмечает реальные недостатки, то руководство научной организации становится значительно более чувствительным и мотивированным к корректирующим действиям.
Это приводит к тому, что внутри организации формируется понимание собственных процессов и систем, а затем — как спланировать необходимые улучшения. Таким образом, научная организация движется к самооценке, направленной на интересы потребителя и учредителя.
И если необходимые улучшения будут реализованы, то это будет означать определенный прорыв в качестве работы организации. Полная же удовлетворенность собственными результатами, «почивание на лаврах» обязательно приводят к застою.
Рассмотрим теперь проблему аудита со стороны учредителя. Строго говоря, нынешние министерства, ведомства, государственные академии и корпорации не являются учредителями научных организаций. Подавляющее большинство из них было создано до 1992 г. Поэтому в законодательных актах употребляются термины «в ведении» или «подведомственная». Однако для нас это особого значения не имеет. В любом случае министерство или академия, как и современный учредитель, могут закрыть организацию, сменить ее руководство, изменить профиль и т. д. Поэтому в дальнейшем будет употребляться термин «учредитель».
Здесь важно, что за каждым учредителем закреплена определенная сфера экономической либо научной деятельности и, соответственно, некоторый набор научных организаций. В этом смысле учредитель отвечает перед государством за полноценное функционирование группы научных организаций. Всегда ли эта группа представляет собой систему, всегда ли она действует как слаженный оркестр?
Поскольку в каждой научной организации есть и сильные, и слабые направления, перед учредителем стоят три задачи:
1. Насколько полно подведомственные научные организации покрывают закрепленную за учредителем сферу экономической (или научной) деятельности?
Поясню эту мысль на примере Российской академии наук. РАН отвечает за целый спектр фундаментальных проблем, ее отраслевое отделение — за часть этого спектра. Сама по себе отрасль состоит из множества научных направлений. В уставе каждого
из институтов РАН перечислен набор направлений — сфера ответственности института. Если направление по каким-то соображениям важно, то им нужно заниматься. А в том или в другом институте это будет происходить для Академии в целом, вопрос вторичный. То есть организационная структура РАН должна приспосабливаться к перечню постоянно меняющегося списка перспективных направлений, создавать условия для их реализации, а не выбирать направления, по которым существующие институты что-то могут сделать. Если тот институт, за которым данное направление закреплено, занимается им плохо, то нужны определенные организационные решения, например, передать это направление в другой институт. На практике это, к сожалению, далеко не так;
2. Какие научные направления находятся на уровне, удовлетворяющем учредителя, и как сделать, чтобы этот уровень не падал?
3. Какие научные направления находятся ниже требуемого уровня, в чем причина низкого уровня (диагноз!), важны ли эти направления, закрыть, их или подтянуть, что конкретно предпринять для подтягивания?
Напомню, что согласно постановлению Правительства Российской Федерации от 8 апреля 2009 г. № 312 научные организации должны быть разделены на три категории: научные организации — лидеры, стабильные научные организации, демонстрирующие удовлетворительную результативность и, наконец, научные организации, утратившие научный профиль и перспективы развития.
Только вот вместо модели постановки диагноза и выработки мер по лечению больных предлагается модель умерщвления.
Государство получает ответ на второй и третий вопросы, да и то лишь частично. На вопросы «как сделать, чтобы уровень не падал» или «как их подтянуть» предложенная система оценки не отвечает. Никакой увязки с важностью и перспективностью направлений, которыми занимается научная организация, в этом документе нет. Как быть, если институт попал в третью категорию, а его направления критичны для государства. По каким причинам институт попал в отстающие? Связано ли отставание с хроническим недофинансированием девяностых и начала двухтысячных? Если попадание в третью категорию завершится сменой руководства, это еще полбеды. А если без разбора причин закрывать институты, то это приведет к повторению ситуации с приватизацией, когда были безвозвратно потеряны важнейшие направления науки, поскольку новых владельцев наука вообще не интересовала.
Разумеется, вопрос о закрытии каких-либо организаций или научных направлений в них, а стало быть и соответствующих подразделений, следует решать учредителю научной организации и ее руководству в индивидуальном порядке. Здесь же можно высказать только самые общие соображения.
Прорыв в фундаментальных и особенно поисковых исследованиях происходит часто вне зависимости от предыдущего уровня. Кроме того, целый ряд научных направлений этого профиля представлен исключительно в России. Примером могут служить
региональные отделения РАН, например, Кольский или Якутский. Потому их закрытие со ссылкой на низкий уровень неминуемо приведет к значительным потерям в дальнейшем.
Введение некой государственной системы оценки результативности в России не является чем-либо пионерским.
В Европейском союзе такая система действует уже несколько лет (euroCRIS). При оценке использованы три группы показателей
1. Публикации: статья в журнале, профессиональная книга, раздел в профессиональной книге, доклад в материалах конференции. Учет ведется по базам данных: Scopus, Web of Sciens, Conference Proceedings Citation Index, Science nebo Social Science & Humanities.
2. Прикладные результаты: патенты; полезные модели, промышленные конструкции; опытная установка, проверенная технология, сорт, порода; прототип, функциональные образцы; результаты реализованы поставщиком; сертифицированные методологии и процедуры, специальные карты; программное обеспечение; отчет о секретных исследованиях.
3. Прочие результаты: аудиовизуальная продукция и электронные документы; организация выставки; организация семинара; организация конференции; иные результаты, которые не подпадают под определение типов результатов оценки, например, заявка на патент, небольшая книга, и т. д.
За каждый результат начисляются определенные баллы. Затем общее финансирование организации делится на суммарный балл, что дает некоторую оценку эффективности.
Ограниченность количества показателей, конечно, дает весьма приблизительную оценку. Здесь опять-таки нет учета важности научного направления, инновационной эффективности, оценки процессов, оценки социального значения и многих других важных элементов.
Из европейского опыта нам интересен, пожалуй, принцип наказания научной организации за неверные данные, представленные для оценки. За единичное грубое нарушение правил оценки организация полностью лишается базового финансирования на очередной финансовый год. Под грубым нарушением понимается, например следующее: организация вместо числа полученных патентов указала число поданных заявок на патенты.
Тема достоверности данных в силу своей болезненности требует дополнительного обсуждения, выходящего за рамки данной статьи. Отметим здесь только, что с достоверностью данных у нас далеко не все в порядке. А мер наказания организаций за предоставление неверных данных у нас нет.
Аудит учредителя требует предварительного составления модели функционирования группы научных организаций ему подведомственных. Эта модель должна состоять как минимум из трех компонентов:
• полный перечень научных направлений, закрепленных за учредителем государственными решениями;
ИННОВАЦИИ № 10 (156), 2011
ИННОВАЦИИ № 10 (156), 2011
• организационно-экономические принципы функционирования подведомственных организаций;
• требования к эффективности, уровню исследований и кадровому потенциалу.
Первый из этих компонентов важен не только для суммарной оценки всех научных организаций, входящих в систему данного учредителя. Не менее важен он и для выявления случаев параллельного проведения сходных исследований в разных организациях. Случаи параллелизма должны рассматриваться специально либо для объединения усилий по данному направлению, либо для сознательного использования элементов соревнования нескольких коллективов.
Следующий шаг в развитии оценок — распространение подходов, используемых для оценки удовлетворения заказчика и учредителя, на всю структуру компании, на все проходящие в ней процессы.
Уже говорилось о «типичной» научной организации, в которой из двухсот сотрудников только примерно половина собственно исследователи. Остальные, как хорошо понятно, обслуживают научный процесс: административные службы, испытательные лаборатории, виварии, ремонтные службы и многое другое.
Общая оценка научной организации в значительной степени складывается не только из оценки научных результатов, но и из оценки этой «второй ее половины».
По существу вопрос заключается в том, насколько эффективно используется время научного сотрудника. Может ли он сделать больше и лучше, если освободить его от каких-либо функций, которые может выполнять менее квалифицированный работник.
Поясним это на примере работы снабженческих подразделений.
Можно оставить без изменения сложившуюся годами во многих научных организациях систему снабжения, заставляя руководителя проекта собирать десятки подписей на заявке по новому оборудованию, а потом ждать месяцами, пока служба снабжения закупит и доставит это оборудование. А можно с самого начала предоставить руководителю проекта право самостоятельно распоряжаться определенными материальными средствами. Соответственно он может сам определять, где и как быстро закупить нужное оборудование. Служба снабжения должна будет только обеспечить доставку и установку оборудования.
Здесь необходимо сделать два замечания. Такая оценка процессов, строго говоря, не является традиционной оценкой качества, если под качеством понимается только качество научного продукта или услуги и факторов, влияющих на удовлетворение заказчика или учредителя. Она становится таковой, если концепцию качества распространить на всю научную организацию, на все (а не только научные) процессы, протекающие в ней. Во-вторых, даже при распространении оценки на организацию в целом, эта оценка может быть либо испытанием на соответствие требованиям, установленным учредителем, либо стать диагностическим средством, либо, наконец, комбинацией обоих видов.
Характер оценки может меняться. Если главная цель на данном этапе — определить слабые места, а в дальнейшем улучшить показатели своей деятельности, то оценка должна носить явный диагностический характер. Если же руководство организации желает проверить степень соответствия модели, установленной учредителем и принятым стандартам, оно может использовать оценку соответствия.
Оценка, направленная на улучшение, сложнее, поскольку рассматривает научную организацию как целое, а не как совокупность научных подразделений. Такая оценка требует сопоставления результатов с полным набором стоящих перед организацией задач, имея в виду общее улучшение деятельности. Подходам к построению диагностической модели и будет посвящена следующая часть статьи.
Список использованных источников
1. J. M.Juran. Management of Quality. New York, 1982.
2. T. Conti. Organizational self assessment. London, 1997.
Estimation and self-appraisal of the scientific organization A. S. Kulagin, doctor of sciences.
The first part of article considers approaches to assessment and self assessment of effectiveness and productivity of scientific organizations, as well as peculiarities of scientific organizations, which are the object of assessment.
Keywords: assessment, self assessment, scientific organization.
