CC BY
38
Использование экспертных технологий для управления ресурсным обеспечением научно-инновационной деятельности
В. П. Майборода,
д. т. н., проф., зав. кафедрой МГИЭМ
А. В. Титов,
к. т. н, доцент МГИЭМ
А. А. Харин,
аспирант ГУУ
•ЧТЯ ^
Я
V
lib.
В статье дается обоснование необходимости использования технологии оценки качества управления ресурсным обеспечением научно-инновационной деятельности. Рассматривается построение оценочной системы на основе экспертных методов и технологий, включающей: совокупность критериев, характеризующих объект оценки; формирование шкал, в которых оценивается объект по сформированной системе критериев; оценку сравнительной важности критериев; оценку пороговых значений критериев.
Проблема управления ресурсным обеспечением и качеством инноваций приобретает в настоящее время все большую актуальность в условиях высокой динамики социально-экономического развития общества. На сегодняшний день не существует системы управления и оценки качества ресурсного обеспечения инноваций, которая адекватно учитывала бы особенности и перспективы инновационных процессов развития рыночной экономики в стране.
Результаты системного и структурного анализа показывают, что процесс управления ресурсами для инноваций должен включать следующие стадии: прогнозирование будущего; определение целей; формирование промежуточных задач; определение программ действий; выполнение планов и программ; оценка результатов; обеспечение обратной связи для корректировки инновационного процесса.
Важными звеньями всей цепи управления ресурсным обеспечением инноваций являются определенные стадии оценки результатов управления и обеспечения обратной связи.
Степень эффективности такой системы управления не в последнюю очередь связана с созданием эффективных средств формализованного описания системных параметров и характеристик ресурсного обеспечения инновационного процесса в целом. Вместе с тем, технологии оценки, используемые в настоящее время в квалиметрии сложных процессов или объектов, часто основаны на формальном аппарате, который не учитывает особенностей измерения качества в условиях, когда затруднены количественные измерения значений параметров оценки.
Некорректное использование методов обработки результатов оценки значений параметров качества ресурсного обеспечения инновационного процесса
The substantiation of necessity of quality evaluation technology use in resource maintenance management of scientific-innovative activities is given in the article. Evaluation system construction is considered on the basis of expert methods and technologies, including: criteria system describing evaluation object; scales formation in which the evaluation object is evaluated on the basis of generated criteria system; comparative importance evaluation of evaluation criteria; an evaluation of threshold criteria values.
может привести к нарушению принципа соответствия уровней формализации оценки и модели процесса — строгость методов обработки оценок может превышать строгость уровня описания объекта оценки, что снижает эффективность оценочной деятельности как инструмента управления качеством и продуктивность синтеза технологий оценочной деятельности как сложных, многоуровневых процедур, объединяющих в единую систему все виды оценочной деятельности в сфере инновационной деятельности.
Использование экспертных методов и технологий, а также методов теории нечетких множеств позволяет придать численный характер вербальным оценкам параметров оценки качества управления ресурсным обеспечением, а также придать методам оценки степень формализации, необходимую для автоматизации процессов оценки и управления качеством.
В этой связи особое значение приобретает поиск подходов к разработке комплексной модели оценочной деятельности на основе современных методов таксономии, экспертной и нечеткой квалиметрий, опирающихся на формирование формального языка теории нечетких множеств и экспертных оценок.
Инновационные процессы и их ресурсное обеспечение относятся, как правило, к объектам высокой сложности. Принятие важных решений как при управлении, так и при оценке таких объектов невозможно без применения технологий оценки, использующих знания специалистов.
Следует заметить, что задачи оценки качества выполняемых работ или продуктов деятельности, ранжирование по уровню качества объектов оценки, проведение конкурсов проектов или компаний, претендующих на реализацию тех или иных проектов и т. д., часто сво-
ИННОВАЦИИ № 8 (85), 2005
ИННОВАЦИИ № 8 (85), 2005
дятся к задаче выбора наиболее предпочтительной альтернативы из набора имеющихся или возможных.
Технология оценки качества управления ресурсным обеспечением научно-инновационной деятельности в приведенной постановке включает следующие этапы: выбор критериев, по которым оцениваются объекты экспертизы, и формирование на их основе системы показателей, по которым проводят оценки эксперты; оценка сравнительной важности показателей оценки; формирование шкал, в которых проводятся оценки объектов экспертизы по показателям оценки; формирование результирующей оценки объекта экспертизы и определение на ее основе уровня качества управления ресурсным обеспечением.
Оценочная система является основой для оценки качества ресурсного обеспечения. От точности построения оценочной системы и корректного ее использования во многом зависит надежность оценки. Большое значение имеет также качество информации, характеризующей объект оценки, и профессиональный уровень экспертов, на основании заключений которых принимается решение. Оценочная система должна учитывать как вклад тех или иных параметров при оценке качества, так и возможности проведения оценок объекта по этим параметрам.
Разработка оценочной системы как при оценке качества управления, так и при решении более общей задачи принятия управленческого решения на основе оценки приоритетности альтернатив содержит следующие разделы: формирование системы критериев, характеризующих объект оценки; формирование шкал, в которых оценивается объект оценки по сформированной системе критериев; оценка сравнительной важности критериев оценки; оценка пороговых значений критериев.
При оценке сложных объектов в общем случае процесс разработки оценочной системы невозможен без привлечения экспертов.
Выбор адекватного набора критериев, в котором представлены наиболее важные свойства ресурсного обеспечения инноваций, удовлетворяющего, с одной стороны, требованию полноты, с другой — неизбыточ-ности, требует проведения специальной экспертизы по его формированию. Кроме того, при формировании оценочной системы сложных объектов, каковым является инновационный процесс, приходится иметь дело с критериями различных иерархических уровней, т. е. системе критериев придается вид дерева критериев (рис. 1).
Сложная иерархическая структура критериев оценки, используемых при оценке уровня качества управления ресурсным обеспечением инноваций, не является раз и навсегда заданной, а непрерывно развивается в зависимости от целей и объектов оценки. Различные объекты оценки требуют использования различающихся наборов критериев, а значит, и различающихся оценочных систем.
Оценочная система должна строиться в виде иерархически организованной системы критериев, обладающей возможностями изменения и настройки.
При формировании оценочной системы должны учитываться как опыт создания и функционирования существующих систем оценки качества таких процессов, так и опыт высококвалифицированных специалистов. Поэтому в системах оценки качества должны быть предусмотрены процедуры формирования
Критерии 1-го уровня Критерии 1-го уровня
Критерии 2-го уровня Критерии 2-го уровня
Рис. 1. Ресурсное обеспечение научно-инновационной деятельности различных иерархически организованных структур-деревьев или графов критериев, отражающих различные цели в интерпретации разных экспертов.
Процедура формирования списка критериев каждого иерархического уровня может проходить в два этапа. На первом каждый эксперт формирует предварительный список. Окончательный список формируется на втором этапе, например, из тех критериев, за которые «проголосовало» более 2/3 всех экспертов. Могут быть предусмотрены и более «тонкие» процедуры формирования окончательного списка критериев оценки качества ресурсного обеспечения каждого уровня. Если критерий носит комплексный характер, т. е. если сам может быть описан системой тех или иных показателей, то для экспертного формирования этой системы может применяться описанная процедура.
Как при оценке качества управления ресурсным обеспечением инноваций, так и при принятии управленческих решений на основе оценки приоритетности альтернатив, объект должен оцениваться по каждому из простых критериев, т. е. тех критериев, которые не подразумевают дальнейшего разложения.
Для сложных объектов оценки не всегда такое оценивание может проводиться в традиционных количественных шкалах. Достаточно часты случаи, когда такие оценки носят вербальный характер вида «лучше», «хуже» и т. д. Однако для унификации оценок по всем критериям с целью получения результирующей оценки, если эта оценка получается с помощью алгоритмов агрегирования результатов оценивания объекта оценки по простым критериям, необходимо и вербальные оценки привести к числовому виду. Одним из путей «оцифровки» вербальных значений оценки является использование шкалы Харрингтона (табл. 1).
Таким образом, если экспертами оценивается критерий, определяемый как некоторое свойство, которым должен обладать объект оценки, что в модели объекта оценки может быть выражено одноместным предикатом вида F ^), означающим, что «объект х обладает свойством F». Уровни шкалы Харрингтона при этом могут выражать в числовой форме интенсивность, с которой в оцениваемом объекте проявляется данное свойство.
При получении результирующей оценки по оценкам простых критериев важную роль играет правильная оценка относительной важности критериев, по которым оценивается качество ресурсного обеспечения.
Таблица 1
Шкала Харрингтона
Наимеование градации шкалы Численные значения
Высокий уровень 0,80-1,00
Уровень выше среднего 0,64-0,80
Средний уровень 0,37-0,64
Уровень ниже среднего 0,20-0,37
Низкий уровень 0,00-0,20
Пользователи
Эксперты
Модуль
объектов
оценки
Модуль интерфейсов пользователя
Модуль
подготовки
оценочной
системы
АСЭО
Модуль
проведения
экспертизы
Модуль агрегирования оценок
Таблица
«объекты
оценки»
• Таблица «Параметры»
• Таблица «Эксперты»
• Таблица «Шкалы»
Таблица «Оценки по параметрам»
Таблица
«Итоговые
оценки»
Критерии
Шкалы
Получение оценок по критериям <- Объекты
*
Выбор способа свертки Способы
критериев свертки
+
Обработка оценок Оценки
Вычисление результирующих оценок по критериям
Построение интегральных характеристик уровня ресурсного обеспечения научно-инновационной деятельности
Рис. 2. Концептуальная модель АСЭО
С учетом принятых в практике экспертного оценивания процедур формирования систем критериев оценки может быть принята следующая схема ранжирования критериальной системы.
Этап 1. Дерево критериев разбивается на классы К1, К2, . . ., Кт, в каждый из которых входят критерии только того уровня, каков индекс класса.
Этап 2. По предпочтительности сравниваются только критерии, находящиеся внутри одного класса. Все критерии класса К1 сравниваются между собой. Критерии, входящие в классы К2, ..., Кт, разбиваются на классы, сравниваемые между собой по предпочтительности критериев. Разбиение внутри класса К осуществляется следующим образом: класс К 0>1) разбивается на классы С1, С2, . . ., Сб таким образом, что С] содержит лишь те критерии, которые имеют вершиной один и тот же критерий предыдущего уровня. Если критерии И и к] принадлежат одному и тому же классу Су, то к] < к либо И < к], либо к примерно равно к].
Этап 3. Критерии, принадлежащие каждому из классов Су (у принадлежит набору 1, ..., б) ранжируются по сравнительной важности, так что, если Ы, к] принадлежит Су и к > к], то ранг к меньше, чем ранг к] (чем важнее критерий, тем ниже значение его ранга, но выше вес), если к1=к], то критериям И и к] присваивается одинаковый ранг. Таким образом, критерии пронумерованы в соответствии с убыванием их важности.
Этап 4. Указывается отношение сильного предпочтения (лексикографического предпочтения) на множестве критериев, т. е. такие пары критериев Ы, Ы+1, что оценка объекта аг предпочтительней оценки объекта а1 при Ы(аг) > к1(а1), даже если к1+1(а1) > к1+1(аг).
После четвертого этапа процедуры все множество критериев оказывается разбитым на подклассы критериев, попарно сравниваемых между собой и не находящихся в отношении сильного предпочтения.
Этап 5. Для каждой пары критериев И, к1+1, принадлежащей одному подклассу, оценивается степень предпочтительности одним из трех следующих способов:
1) присваиваются весовые коэффициенты Wi и Wi+1 каждому из критериев к и Ы+1, откуда следует, что Ы предпочтительней Ы+1 в Wi/Wi+1 раз;
2) интервалы значений, которым принадлежат весовые коэффициенты Wi и Wi+1 критериев Ы и Ы+1;
Рис. 3. Подсистема получения и обработки оценок
3 ) дается качественная оценка степени предпочтительности критерия Ы относительно критерия Ы+1;
4) Wi строится в виде нечеткого множества (нечеткого числа).
Для каждой пары сравниваемых критериев Ы, Ы+1 может быть использован любой из перечисленных способов оценки сравнительной предпочтительности критерия к относительно критерия Н+1 в зависимости от имеющейся информации об отношении между к и Н+1.
После завершения этапа 5 процедуры относительно каждой пары критериев Ы, к] будет определено, являются ли они сравнимыми, а если сравнимы, то в каком виде представляется информация об их сравнимой важности. В частности, она может являться суперпозицией различных способов представления информации о сравнительной важности критериев (1)-(4). Каждый из способов оценки сравнительной важности критериев одного класса может включать экспертные технологии, сводящиеся, например, к заполнению экспертами определенного рода анкет и дальнейшую обработку результатов анкетирования аналитической группой.
После того, как разработана оценочная система, оценка качества ресурсного обеспечения научно-инновационной деятельности сводится к задаче многокритериального оценивания с помощью выбранного заранее решающего правила.
Причем наличие неопределенности и нечеткости при проведении процедур оценки ресурсного обеспечения и качества инноваций делают актуальным применение сверток и решающих правил с использованием функций принадлежности и нечеткой логики.
В качестве возможной архитектуры можно принять следующую схему (рис. 2) автоматизированной информационно-аналитической системы экспертного оценивания ресурсного обеспечения научно-инновационной деятельности, позволяющей с помощью сетевых технологий реализовать не только эффективное хранение и поиск информации об экспертах, об оценочной системе как таковой, но также и выполнение интерактивных процедур оценивания качества ресурсного обеспечения инновационного цикла.
Структурно подсистема получения и обработки оценок ресурсного обеспечения представляется следующим образом (рис. 3).
Программная реализация автоматизированной системы принципиальных сложностей не имеет. В качестве наиболее подходящей программной среды представляется серверный язык сценариев — РНР.
ИННОВАЦИИ № 8 (85), 2005
