CC BY
172
УДК 005.591.6 Н.А. Шишкина
РОЛЬ И ЗНАЧЕНИЕ МЕТОДА ЭКСПЕРТНЫХ ОЦЕНОК В СИСТЕМЕ ОЦЕНИВАНИЯ КАЧЕСТВА ИННОВАЦИОННЫХ ПРОЕКТОВ
Адаптирован алгоритм метода экспертов для оценивания качества инновационных проектов. Предложены рекомендации по использованию оценивания инновационных проектов с помощью метода экспертных оценок.
Ключевые слова: метод экспертных оценок, алгоритм оценивания качества инновационных проектов.
N.A. Shishkina THE ROLE AND SIGNIFICANCE OF THE EXPERT ASSESSMENT METHOD IN THE SYSTEM OF INNOVATIVE PROJECT QUALITY EVALUATION
The algorithm of the expert assessment method for innovative project quality evaluation is adapted. The recommendations for the use of innovative project evaluation with the help of expert assessment method are suggested.
Key words: expert assessment method, algorithm of the innovative project quality evaluation.
В рамках программы социально-экономического развития Российской Федерации и концепции формирования территорий инновационного развития государством предполагается реализация ряда инвестиционных и инновационных проектов. С целью реализации основных задач по созданию инфраструктуры развития наукоемких производств, созданию высококвалифицированных рабочих мест, внедрению современных технологий актуальной становится проблема оценки качества инвестиционных проектов. Для создания на территории Российской Федерации высокотехнологичных производств по направлениям: энергосбережение, космические технологии, строительные технологии, нефтепереработка, медицина и фармация и другие -необходимо поддерживать проекты, отражающие лучшие достижения в отечественной и мировой практике по экологическим, техническим, социально-экономическим параметрам.
Процедура оценивания инновационных проектов требует специализированных знаний и высокого профессионализма в принятии решений. Существенным фактором повышения научного уровня процедуры оценки является применение при подготовке решений математических методов и моделей. Но математическая формализация инновационных задач часто неосуществима вследствие их качественной новизны и сложности. В связи с этим все шире применяются экспертные методы.
В работе В.А. Лукова говорится о том, что метод экспертов есть диагностика состояния социального объекта, установление достоверности информации о нем и окружающей его среде, прогнозирование его изменений и влияния на другие социальные объекты, а также выработка рекомендаций для принятия управленческих решений и социального проектирования в условиях, когда исследовательская задача трудно формализуема [1, с.19]. Е.В. Масленников понимает под ними «комплекс логических и математикостатистических методов и процедур, направленных на получение от специалистов информации, необходимой для подготовки и выбора рациональных решений» [2, с.10]. С.И. Григорьев, Ю.Е. Растов определяют экспертный метод как «методическую стратегию, совокупность приемов перевода количественных оценок в качественные, когда необходимо выработать научно обоснованное групповое управленческое решение или сформулировать мини-теорию нового явления или процесса» [3, с. 202].
Таким образом, метод экспертных оценок применяется в ситуациях, когда выбор, обоснование и оценка результатов принятого решения не могут быть определены на основе точных расчетов. Подобные ситуации возникают при разработке современных проблем инновационного развития страны.
На современном этапе перехода к инновационной экономике возрастают не только сложность управления, но и требования к качеству принимаемых решений. Повысить обоснованность решений и учесть многочисленные факторы, оказывающие влияние на их результаты, поможет применение разностороннего анализа, основанного как на расчетах, так и на аргументированных суждениях. Чем, по сути, и является метод экспертных оценок.
В целях исследования предлагаем использовать метод экспертного опроса (анкетирование), заключающийся в том, что эксперту предлагается для заполнения анкета, содержащая набор вопросов, каждый из которых логически связан с центральной задачей исследования. Анкетный опрос в системе оценки качества инновационных проектов предполагает жестко фиксированные порядок, содержание и форму вопросов, четкое указание формы ответов. Учитывая цели оценки заявок: ранжирование инновационных проектов по степени предпочтительности, то есть составление упорядоченного списка заявок, в котором на первом месте располагается наиболее предпочтительная заявка, а далее - остальные в порядке убывания их предпочтительности, - мы использовали при составлении анкет закрытого типа момент, когда в формулировке вопроса содержатся варианты возможных ответов, один из которых и должен выбрать эксперт.
Основными принципами построения экспертных оценок выступают следующие: рассмотрение экспертов как своеобразных измерительных приборов для случаев, когда непосредственное измерение с помощью объективных методов или расчета невозможно или нецелесообразно; стремление к формализации информации экспертов с помощью соответствующих шкал и статистических методов; научно обоснованная организация проведения всех этапов экспертизы.
Основные этапы использования метода экспертных оценок [4]:
1. Создание группы организаторов.
2. Определение цели экспертизы и формулировка проблемы. Представление оцениваемых факторов или альтернатив должно быть в адекватном виде для количественной оценки.
3. Определение вида экспертизы, выбор шкалы оценок и метода проведения экспертизы.
4. Определение состава экспертной группы.
5. Непосредственно проведение экспертного опроса.
6. Статистическая обработка результатов опроса и расчет показателей согласованности мнений.
7. Подготовка заключительного отчета, рекомендаций.
Основными этапами использования метода экспертных оценок при оценивании качества инновационных проектов являются следующие. На первом этапе осуществляется создание группы организаторов-аналитиков, отвечающих за проведение экспертизы: обеспечение благоприятных условий работы, статистическая обработка результатов.
На втором этапе определяются проблема, цели, сроки выполнения, назначается руководитель, формулируется задача и между членами сформированной на первом этапе группы управления экспертизы распределяются их обязанности и права, выявляются источники финансового и материального обеспечения работ.
На третьем этапе осуществляются: выбор вида окончательной экспертной оценки; уточнение методов опроса, места и времени его проведения; уточнение основных экспертных операций; подготовка распечатанной необходимой документации.
Определение вида экспертизы заключается в выборе из следующих вариантов: индивидуальная -один или несколько экспертов, коллективная - определение долевого состава экспертов по каждой области деятельности, составление предварительного списка экспертов с учетом их местонахождения, анализ качеств экспертов и уточнение списка, получение согласия экспертов на участие в работе, формирование окончательного списка. При коллективной экспертной оценке важным вопросом является установление весовых коэффициентов, характеризующих компетентность каждого эксперта по анализируемой проблеме. В целях исследования рекомендуем к применению индивидуальный очный метод опроса.
В настоящее время не существует способа, который позволял бы безоговорочно решить проблему назначения весовых коэффициентов для каждого эксперта. Все известные приемы назначения весовых коэффициентов основываются на самооценке экспертов. При самооценке выясняется степень знакомства каждого эксперта с анализируемой проблемой: каждый эксперт по десятибалльной шкале оценивает степень своего знакомства с каждым вопросом анкеты. Основной недостаток прямой самооценки заключается в том, что на результат самооценки эксперта может оказать влияние целый ряд психологических факторов: опасение, что результаты самооценки станут достоянием гласности и, как следствие, боязнь прослыть невеждой среди подчиненных или сослуживцев; опасение, что результаты самооценки могут повредить служебному положению. В целях избежания получения на основе лишь метода самооценки необъективных весовых коэффициентов мы используем эвристический метод, то есть директор бизнес-инкубатора ранжирует экспертов в зависимости от их опыта, компетенций и листа самооценки по каждому вопросу.
На четвертом этапе определяется состав экспертной группы. При этом решаются следующие вопросы: количественный состав группы, компетентность каждого эксперта, способ информационного обеспечения экспертов. Необходимо отметить, что эксперты делятся на две категории: узкие специалисты и специа-
листы широкого профиля. Если в процедуре оценивания участвуют эксперты широкого профиля, то необходимо учитывать их компетентность. В случае, если привлекаются узкие специалисты, дающие оценку критериям только в области своей компетенции, то оценка компетентности не проводится.
На пятом этапе осуществляется непосредственно проведение экспертного опроса. Экспертам предлагается указать меру ценностей путем установления соответствия между удовлетворенностью по критерию и баллами. В качестве методики для оценки инновационных проектов Г.Я. Гольдштейн рекомендует STAR (Strateqic technology assesment review - свод стратегических технологических оценок) и IRI (Industrial Research Institute) [5, с. 78].
Проведенный анализ выявил, что методика STAR использует более детальный анализ факторов неопределенности и соответствующих им рисков, более широкий спектр оценок используемой балльной шкалы.
Однако для оценки инновационных проектов по данной методике недостаточно предоставляемых документов (бизнес-плана) для оценки всех рисков, наличия дублирования в номенклатуре оцениваемых рисков. В то же время методика IRI имеет более простую и прозрачную структуру оцениваемых факторов неопределенности и рисков, однако имеет более узкий спектр оценок используемой балльной шкалы.
Далее, в связи с тем, что шкала IRI имеет узкий спектр оценок и принимает значения от 0 до 1, преобразуем пятибалльную шкалу IRI в девятибалльную следующим образом.
Таблица 1
Преобразование шкалы IRI
Шкала IRI Преобразованная шкала IRI
1 0,1
2 0,3
3 0,5
4 0,7
б 0,9
0,2, 0,4, 0,6, 0,8 - промежуточные оценки
Пример оценочной школы приведен в таблице 2.
Таблица 2
Показатель энергоемкости
Величина показателя энергоемкости
Баллы Описание
0,1 Показатель энергоемкости намного выше показателя нормы
0,3 Показатель энергоемкости немного выше показателя нормы
0,5 Показатель энергоемкости равен показателю нормы
0,7 Показатель энергоемкости немного ниже показателя мировой практики
0,9 Показатель энергоемкости почти равен показателю мировой практики
Подобные таблицы составлены по следующим показателям: средняя заработная плата, материалоемкость, экологические показатели, уровень технологий, производительность труда, новизна проекта.
Наиболее важному, с точки зрения эксперта, фактору дается оценка 0,9, а остальным - определенная доля оценки. Трудностью в данном случае выступает обеспечение единообразного понимания всеми участниками опроса критерия оценки и достижения сопоставимости оценочных шкал отдельных экспертов, без чего невозможно получение обобщенных мнений. Для решения этого вопроса эксперты могут совещаться при процедуре оценки.
На шестом этапе использования метода экспертных оценок осуществляются: статистический анализ результатов на основе заполненных экспертами оценочных листов, проверка оценок на согласованность. Далее оценка компетентности экспертов, составление конечного отчета об оценке, обсуждение и одобрение результатов оценивания, представление отчета на утверждение группе экспертов.
На заключительном этапе происходит информирование заинтересованных лиц: авторов и реализаторов инновационных проектов - о результатах экспертизы. На основе проведенной экспертизы качества инновационных проектов методом экспертных оценок получаем наиболее объективный результат, на базе которого принимается решение по реализации инновационного проекта.
Таким образом, адаптирована методика оценки качества инноваций, включающая в себя алгоритм и методику оценки качества инновационных проектов.
Основными этапами алгоритма экспертизы являются:
-построение системы критериев в виде оценочных таблиц;
- оценка инноваций по оценочным критериям и выстраивание рейтинга инноваций (непосредственно методика оценки).
- принятие решения о государственной поддержке на основе рейтинга.
Методика оценки включает в себя следующие этапы:
1) формирование мнений экспертов по оценочным критериям;
2) формирование рангов критериев в зависимости от отрасли;
3) определение согласованности полученных оценок. Если оценки не согласованы, то экспертам предлагается пересмотреть своё мнение относительности важности критериев;
4) получение конечных количественных оценок инноваций. Если для оценки используется универсальная экспертная группа (каждый эксперт даёт оценки по всем критериям), то необходимо определить ранги экспертов аналогично определению рангов критериев. Если для оценки используется специализированная экспертная группа (каждый эксперт дает оценки только в области своей специализации), то необходимость определения рангов экспертов отпадает.
На основе проведенной экспертизы качества инновационных проектов методом экспертных оценок получаем наиболее объективный результат, на базе которого принимается решение по реализации инновационного проекта.
Литература
1. Луков В.А. Социальное проектирование: учеб. пособие.- М., 2003.
2. Масленников Е.В. Экспертное знание. - М., 2001.
3. Григорьев С.И., Растов Ю.Е. Основы современной социологии: учеб. пособие. - М.: Педагогическое
общество России, 2002.
4. Васерманис Э.К., Дубра В.Я., Здаиовскис И.Ф. Применение экспертных методов в прогнозировании и планировании (на прим. бытового обслуживания населения): обзор. - Рига: Изд-во Латв.НИИНТИ, 1981. - 46с.
5. Гольдштейн Г.Я. Стратегический инновационный менеджмент: учеб. пособие. - Таганрог: Изд-во
ТРТУ, 2004. - 267 с.
