Комплексная оценка эффективности инновационного проекта на основе анализа качественных характеристик Текст научной статьи по специальности «Компьютерные и информационные науки»

3. Тихомирова Н. В., Мальченко С. Н. Интеллектуальная собственность как объект управления знаниями // Открытое образование, 2008. № 5. С. 69-74.

КОМПЛЕКСНАЯ ОЦЕНКА ЭФФЕКТИВНОСТИ ИННОВАЦИОННОГО ПРОЕКТА НА ОСНОВЕ АНАЛИЗА КАЧЕСТВЕННЫХ ХАРАКТЕРИСТИК

О. В. Рогозин, доцент, к. т. н., кафедра «Программное обеспечение ЭВМ и информационные технологии»

Тел.: (495) 442-80-98, e-mail: orogozin@mail.ru Московский государственный технический университет им. Н. Э. Баумана

http://www.bmstu.ru

This article presents complex evaluation of innovation project effectiveness with the help of the developed hybrid fuzzy-neural system providing decision support in the conditions of uncertainty. The sectional system structure and realization variants for several fuzzy algorithms is given. The system of criteria of innovation project effectiveness assessment is developed. Hybrid system training speed and quality is analysed.

В данной статье рассматривается вариант комплексной оценки эффективности инновационного проекта с помощью разработанной гибридной нечетко-нейронной системы, обеспечивающей поддержку принятия решений в условиях неопределенности. Рассмотрена блочная структурная схема системы, приведены варианты реализации блоков для различных алгоритмов нечеткого вывода. Разработана система критериев для оценки эффективности инновационного проекта. Проведен анализ скорости и качества обучения системы.

Ключевые слова: нечеткая логика, нейронная сеть, поддержка принятия решений, инновационный проект, качество.

Key words: fuzzy logic, neural network, decision support, innovation project, quality.

Оценка проекта является важнейшей процедурой не только на начальной стадии проекта, но и на протяжении всего процесса, предполагая возможность остановки проекта в любой момент в связи с появляющейся дополнительной информацией. Таким образом, это одна из процедур оперативного управления и оценки инновационного проекта. Основные факторы, которые должны быть учтены в процедуре оценки:

• финансовые результаты реализации проекта;

• воздействие данного проекта на другие в рамках портфеля НИОКР корпорации;

• влияние проекта в случае его успеха на экономику корпорации в целом.

Все эти факторы связаны с состоянием рынка и, соответственно, содержат в себе значительную долю непредсказуемости. Таким образом, при оценке проекта мы имеем дело с типичной задачей принятия решений в условиях неопределенности.

Один из методов оценки эффективности инновационного проекта основан на использовании нейро-нечеткой системы, объединяющей в себе привлекательные черты обоих подходов -прозрачность и естественность нечеткой логики и способность к обучению нейронных сетей, с использованием так называемых уточняемых нечетких множеств, то есть нечетких множеств, для которых функции принадлежности могут быть скорректированы с помощью нейронной сети особой структуры.

Критерии оценки эффективности инновационного проекта

До начала оценки проекта любым способом необходимо выделить критерии, по которым будет производиться оценка.

Большая часть критериев оценки не относится к научно-технической области. Инновации (успешные и неуспешные) распространяются на деятельность всей компании и становятся частью ее экономической деятельности.

Все критерии можно разделить на 5 групп.

1. Критерии, связанные с целями корпорации, ее стратегиями, политикой и ценностями:

• Совместимость проекта с текущей стратегией компании и ее долгосрочными планами.

• Допустимость изменений в стратегии фирмы с учетом потенциала проекта.

• Согласованность проекта с представлениями о компании.

• Соответствие проекта отношению корпорации к риску.

• Соответствие проекта отношению корпорации к нововведениям.

• Соответствие временного аспекта проекта требованиям корпорации.

2. Рыночные критерии:

• Соответствие проекта четко определенным потребностям рынка.

• Общая емкость рынка.

• Доля рынка, которую сможет контролировать корпорация.

• Жизненный цикл продукта в виде товара.

• Вероятность коммерческого успеха.

• Вероятный объем продаж.

• Временной аспект рыночного плана.

• Воздействие на существующие продукты.

• Ценообразование и восприятие продукта потребителями.

• Позиция в конкуренции.

• Соответствие продукта существующим каналам распределения.

• Оценка стартовых затрат.

3. Научно-технические критерии.

• Соответствие проекта стратегии НИОКР.

• Допустимость изменений в стратегии НИОКР с учетом потенциала проекта.

• Вероятность технического успеха проекта.

• Стоимость и время разработки проекта.

• Патентная чистота проекта.

• Наличие научно технических ресурсов для выполнения проекта.

• Возможность выполнения будущих НИОКР на базе данного проекта и новой технологии.

• Воздействие на другие проекты.

4. Финансовые критерии.

• Стоимость НИОКР.

• Вложения в производство.

• Вложения в маркетинг.

• Наличие финансов в нужные моменты времени.

• Влияние на другие проекты, требующие финансовых средств.

• Время достижения точки безубыточности и максимальное отрицательное значение расходов.

• Потенциальный годовой размер прибыли.

• Ожидаемая норма прибыли.

• Соответствие проекта критериям эффективности инвестиций, принятым в компании.

5. Производственные критерии.

• Новые технологические процессы.

• Достаточная численность и квалификация производственного персонала.

• Соответствие проекта имеющимся производственным мощностям.

• Цена и наличие материалов.

• Производственные издержки.

• Потребности в дополнительных мощностях.

6. Внешние и экономические критерии.

• Возможные вредные воздействия продуктов и технологии.

• Влияние общественного мнения.

• Текущее и перспективное законодательство.

• Воздействие на уровень занятости.

В этот список входят все возможные критерии оценки. Для конкретных проектов, как правило, используются только наиболее значимые, по мнению менеджера инноваций компании, критерии.

Для исследования работы созданной системы оценки будет использоваться следующий набор критериев:

• соответствие проекта отношению корпорации к риску;

• вероятность коммерческого успеха;

• стоимость и время разработки проекта;

• возможность выполнения будущих НИОКР на базе данного проекта и новой технологии;

• стоимость НИОКР;

• вложения в производство;

• вложения в маркетинг;

• время достижения точки безубыточности и максимальное отрицательное значение расходов;

• потенциальный годовой размер прибыли;

• цена и наличие материалов.

Каждый из этих критериев обладает определенной степенью нечеткости и хорошо описывается лингвистическими понятиями, такими как «высокий», «низкий», «минимальный» и пр. Многие из критериев тяжело поддаются числовому выражению. Поэтому очень удобно в данном случае использование нечеткой логики для описания зависимости эффективности проекта от выбранных качественных критериев.

Количество знаний о конкретном проекте и об инновациях в целом накапливается с течением времени, уменьшая степень неопределенности при оценке проекта. Эти знания должны быть использованы для обучения системы оценки и увеличения точности ее предсказаний.

Созданная система, основанная на объединении нечеткой логики и нейронных сетей, предоставляет возможность удобного для человека представления знаний и самообучения на основе статистических данных.

Нечетко-нейронная гибридная система

Системы, объединяющие в себе различные подходы, называют гибридными. Гибридные системы, основанные на объединении нечеткой логики и нейросетей, весьма разнообразны, но мы будем рассматривать только модули нечеткого управления с нейронной сетью для коррекции функций принадлежности, так как именно точное задание функций принадлежности является наиболее сложной задачей для эксперта. Определим уточняемое нечеткое множество как нечеткое множество, функция принадлежности которого может быть скорректирована в процессе обучения гибридной сети, построенной на основе механизма нечеткого вывода.

Корректировка функций прыка^этокносш

Рис. 1. Структура гибридной сети Рис. 2. Многослойная нейронная

сеть для корректировки функций принадлежности

База знаний задается в виде нечетких правил вида

П,^ : Если (х1 — это А^ и х2 — это ... хп — это А%), то (у — это Вк) , где хь х2, ..хп - условие, у - заключение, е - мера ошибки, у - полученный результат, ( - требуемый результат.

Логический вывод производится так же, как в нечетких системах, за счет особой структу-

V-/ V-* V-/ V/ | | КУ /Ч

ры многослойной нейронной сети. Пример такой сети представлен на рис. 2.

Сеть состоит из четырех слоев.

Первый (входной) слой реализует функции принадлежности для каждого терма каждой входной переменной. На вход слоя поступают входные сигналы х, а на выходе слоя получаем значение функции принадлежности для этих сигналов ^^(х). Параметры функций принадлежности становятся весами связей для нейронов первого слоя сети, и они будут модифицироваться в процессе обучения. То, что веса теперь имеют конкретную физическую интерпретацию, позволяет задать хорошие начальные значения, а также анализировать и контролировать процесс корректировки этих параметров.

Конфигурация связей второго слоя соответствует структуре правил, а сам слой реализует блок логического вывода. Число нейронов в слое равно количеству правил. Каждый узел слоя связан с предыдущим слоем таким образом, что узел слоя Ь2, соответствующий &-му правилу, соединен со всеми нейронами слоя Ьь соответствующими нечетким множествам условий этого правила. Нейроны слоя Ь2 могут быть либо мультипликаторами, либо реализовывать функцию

«минимум», в зависимости от выбранной модели логического вывода. На выходе слоя формируются значения функций принадлежности .

Третий и четвертый слои представляют собой реализацию блока дефазификации. Веса связей, входящих в верхний сумматор слоя Ь3, обозначенные , интерпретируются как центры функций принадлежности выходной переменной и также будут скорректированы в процессе обучения. На выходе слоя Ь4 формируется четкое значение переменной вывода.

При такой структуре нейронной сети можно говорить об уточняемых нечетких множествах как входных переменных, так и переменной вывода. Так как описанная структура является многослойной нейронной сетью с прямым распространением сигнала, то для ее обучения может быть применен, например, алгоритм обратного распространения ошибки.

Срсл рашиггня

Среда рекдме нл щш

БЗна 31ыхй нечеткой логики

I

Извлечен не знаний

' к Ксрркпрли

Моьакнзм вы боля

Пользовательски Я интерфейс

I

Рекомендуемые зеПствня

Бе«

кфкхмхк

Ги ори дня я сеть

1ЧЯ с*рг

Верификация знаний

Ооучаюшая высюрка

Реализация алгоритмов нечеткого вывода Ларсена

Рассмотрим подробнее прохождение сигнала по сети, изображенной на рис. 2.

После прохождения сигнала через первый и второй слой на выходе второго слоя получаем степени истинности для каждого правила

..^у^ = и,; = (1)

если нейроны второго слоя реали-

зуют операцию «произведение», ^^ = = ■ = (2)

если нейроны второго слоя реализуют операцию «минимум», где

- количество условий в к-м правиле;

- лингвистические переменные, содержащиеся в условиях к-го правила;

- функции принадлежности для термов, входящих в условия к-го правила.

Таким образом, первые два слоя сети реализуют фазификацию и композицию «минимум» именно Рис. 3. Блочная структура системы так. как предусмотрено алгорит-

мом нечеткого вывода Ларсена. Кроме того, возможна модификация алгоритма путем замены композиции «минимум» на «произведение».

Дефазификация в алгоритме Ларсена состоит в сведении к четкому значению следующей функции принадлежности выходной переменной: С (у) = ак С^ (у).

Если использовать для этого дискретный вариант центроидного метода, то с достаточно высокой степенью точности можно утверждать, что Т^л -Иг

(3)

если функция унимодальна,

г , если функция не унимодальна.

Посмотрим, что получается на выходе стандартной гибридной сети:

V — *=д

что полностью совпадает с формулой (3).

Таким образом, гибридная сеть, изображенная на рис. 2, реализует алгоритм нечеткого вывода Ларсена с композицией «произведение». Для построения сети с композицией «минимум» необходимо заменить функцию активации второго слоя на «минимум».

Обучение гибридной сети

Обучение сети состоит в модификации весов таким образом, чтобы мера погрешности, задаваемая выражением

(4,

была минимальной.

В соответствии с рис. 2 выход нейронной сети для нечеткого вывода по алгоритму Ларсена равен:

гле^* = Пм/*СО или** =

, где-

Тогда можно рассчитать производную ошибки по каждому весу &у да _ (у-ср

де _ ^ _

¿у™ " ¿а

С учетом (4) получаем

(5)

&у

Так как выход сети не зависит от эталонного сигнала (, то мы можем рассматривать ( в качестве константы:

е — (V

<ЗСу-<£)

Зу

Применяя формулу для расчета производной сложной функции, получаем

_ ^ _

& 6f

— Г— д _

да Ь Зу

^ „ _ ТЛ Гть^ь = " Ттк7к = У'4

Так как и ~ У 2 'дут ^ ^к=1

а независим! при к Фтл,

при к = т.

з^™ 1

Отдельные веса независимы друг от друга, поэтому у^з"'} _ | О, при к Ф та,

в?

Следовательно,

_да

Эу:

И окончательно получаем _8в_ _ {у-<0 т &у™ Ъ - ■

В соответствии с алгоритмом обратного распространения ошибки у™(<п - 1) = ут(п) -

(6)

(7)

Дальнейший расчет различен в зависимости от того, какую операцию композиции мы используем.

Для операции «произведение»

~ 1 =1'} * - авпН/^й// >•

" _ 3 »-ги гш_ ^" Г!™ гт^тч

так как функции принадлежности независимы друг от друга. В конечном итоге для композиции «произведение» получаем

— - ^П^Цру* - «} Ии^ГГ^ТУУ'

ёв _ {у- <£) удг ,

ъ'*

(8)

(9)

(10) (11)

Для операции «минимум» примем, что выходной сигнал второго слоя сети зависит только от параметров минимальных функций. Тогда

СО яс.™ ™ зЬ Л™

г-'" г---1"'"" г-"" т. „V- =*■■ (12)

11 11 ' ' пап ■

Аналогично

О .есшГ^ФГГ,

= (13)

ВС ;

В конечном итоге для композиции «минимум» получаем

еагьг = 1шт И

га

аф /Г-

(14)

(15)

Исследование работы и обучения гибридной системы оценки эффективности инновационных проектов

Задачу оценки эффективности инновационных проектов с учетом выбранных критериев можно формализовать с помощью следующего набора лингвистических переменных (ЛП):

• допустимый риск;

• риск проекта;

• вероятность коммерческого успеха;

• время разработки;

• вероятность использования в будущих НИОКР;

• совокупные затраты;

• время достижения точки безубыточности;

• потенциальный годовой размер прибыли;

• доступность материалов;

• эффективность проекта.

Для каждого показателя целесообразно ввести по три терма:

- «низкий», «средний», «высокий» для ЛП «допустимый риск», «риск проекта», «вероятность коммерческого успеха», «вероятность использования в будущих НИОКР», «совокупные затраты», «доступность материалов»;

- «маленький», «средний», «большой» для ЛП «время разработки», «время достижения точки безубыточности», «потенциальный годовой размер прибыли».

Для ЛП «эффективность проекта» введем более детальную градацию: «очень низкая», «низкая», «средняя», «высокая» и «очень высокая». База знаний должна содержать нечеткие правила двух типов:

- отражающие зависимость риска банкротства от каждого из показателей, например:

ЕСЛИ Совокупные затраты Высокие, ТО Эффективность проекта Низкая.

- выражающие взаимосвязь некоторых показателей, например:

ЕСЛИ Совокупные затраты Высокие И Вероятность коммерческого успеха Высокая, ТО Эффективность проекта Средняя.

Обучение системы можно проводить как по результатам различных этапов одного проекта, так и по истории многих инновационных проектов.

В качестве обучающей выборки использовались данные из таблицы.

Таблица

Oбучающая выборка

Допустимый риск, % 40 10 10 80

Риск проекта, % 50 50 90 10

Вероятность коммерческого успеха, % 75 30 10 99

Время разработки, мес. 12 20 24 6

Вероятность выполнения будущих НИОКР на базе этой, % 10 50 14 60

Совокупные затраты, млн. руб. 2.3 4 5.7 1.5

Время достижения точки безубыточности, мес. 16 30 30 12

Потенциальный годовой размер прибыли, млн. руб. 5 4 5 10.6

Доступность материалов, % 60 30 20 100

Эффективность проекта, % 55.7 21 5.6 89.1

Эффективность алгоритмов обучения можно оценить с помощью величины а — /ум у к е где N - число итераций обучения, К - количество векторов обучающей

¿])/ , выборки, е£, - ошибка на каждом шаге.

В величине ц учтена как форма графика функции ошибки, так и значение ошибки на конец обучения.

Чем меньше ц, тем эффективнее обучение. Поэтому в качестве критерия эффективности удобно использовать обратную величину

0=1 =_1_

^ Я (У^оУ^еу)'

В работе реализовано четыре различные структуры сети: четырехслойные нейронные сети для нечеткого вывода по алгоритму Ларсена с композицией «произведение».

Графики изменения суммарной погрешности для различных сетей показаны на рис. 4 и 5. По оси е отложена суммарная погрешность по всем элементам обучающей выборки, по оси N -номер итерации.

°у Суммарная погрешность . □

е 0,76 0,18

\

\ V

\

о ю N

Суммарная погрешность

айв

е

2,66

0,58

0 ю N

Рис. 4. График изменения суммарной погрешности для сети, реализующей алгоритм Ларсена с композицией «произведение». О = 13.64

Рис. 5. График изменения суммарной погрешности для сети, реализующей алгоритм Ларсена с композицией «минимум». О = 4.85

На графике изменения погрешности наблюдаются резкие скачки функции, что также обусловлено функцией вычисления центра, значение которой может существенно меняться даже при незначительном изменении входа, если функция несимметрична. Таким образом, мы можем «перескочить» минимум функции погрешности. Эту проблему можно решить путем уменьшения шага коррекции, но при этом существенно увеличивается время обучения. Поэтому часто в начале обучения берут достаточно большой шаг коррекции, но по мере приближения ошибки к нулю шаг уменьшают. При использовании операции «минимум» корректируются только веса тех нейронов, которые дают минимальные значения на входе нейронов-правил. С одной стороны, это приводит к более резкому уменьшению погрешности за счет обратного прохождения ошибки через нейрон-минимизатор без изменения. Но, с другой стороны, возможно и резкое возрастание погрешности, что и наблюдается на 2-й итерации из-за изменения нейрона, дающего минимальное значение. В целом, обучение для такой композиции эффективно, если соответствующие изменения весов отрицательны, и неэффективно, если они положительны, так как высок риск «перехода» минимума на другой нейрон.

Заключение

Предложенная система может быть использована и в других задачах поддержки принятия решений в условиях неопределенности. Разработаны структуры гибридных сетей для реализации следующих алгоритмов нечеткого вывода:

• алгоритма Ларсена с композицией «произведение»,

• алгоритма Ларсена с композицией «минимум».

Исследована эффективность обучения созданной системы с помощью алгоритма обратного распространения ошибки для различных структур сети и следующие его модификации:

• корректировка весов сразу по всей обучающей выборке;

• уменьшение шага коррекции.

По результатам исследований сделаны следующие выводы:

• Алгоритм обратного распространения ошибки более эффективен при обучении сети, имеющей меньшее число слоев.

• Сеть, содержащая операцию «минимум», менее стабильна при обучении - может наблюдаться как резкое уменьшение погрешности, так и появление резких локальных максимумов.

• Возникновение локальных максимумов обусловлено слишком большим шагом коррекции. Уменьшение шага коррекции по ходу обучения существенно увеличивает эффективность алгоритма, практически устраняя данную проблему. При этом скорость обучения практически не снижается.

• Возникновение локальных максимумов обусловлено отдельной коррекцией весов для каждого вектора обучающей выборки. Эта проблема может быть решена путем взятия производной по всей обучающей выборке, что значительно улучшает сходимость алгоритма. Однако эта модификация подвержена попаданию в локальный минимум вместо глобального.

• Для сети с композицией «произведение» проблема попадания в локальный минимум решается с помощью введения момента. Для сетей с композицией «минимум» данная модификация неэффективна.

Литература:

1. Алексеев А. Н., Волков Н. И., Кочевский А. Н. Элементы нечеткой логики при программном контроле знаний // Открытое образование, 2003. № 4. С. 23-25.

2. Смирнова Г. Н., Сорокин А. А., Тельнов Ю. Ф. Проектирование экономических информационных систем: Учебник. - М.: Финансы и статистика, 2001.

3. Рогозин О. В. Выбор инструментальных средств анализа качественных характеристик программного обеспечения в области образования как объекта инвестиций // Открытое образование, 2009. № 3. С. 48-63.

4. Тельнов Ю. Ф. Интеллектуальные информационные системы в экономике: Учебное пособие для вузов. 3-е изд., расшир. и доп. - М.: СИНТЕГ, 2002. - 306 с.

УДК 004.891 ВАК 05.13.01 РИНЦ 0004-3702

ЭКСПЕРТНАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Т. К. Кравченко, д. э. н., профессор кафедры бизнес-аналитики Тел.: (985) 727-52-14, e-mail: krawchenko@yandex.ru Государственный университет - Высшая школа экономики

http://www.hse.ru

Expert Decision Support System (EDSS) is an analytical application that combines advantages of both expert systems and decision support systems. EDSS includes the database, the knowledge base — a set of decision making rules for the choice of appropriate decision making methods, the analytical reporting module. Users can get access to the system, using «thin client» technology.

Экспертная система поддержки принятия решений (ЭСППР) сочетает преимущества экспертных систем и систем поддержки принятия решений. ЭСППР включает в себя базу данных, базу знаний -набор правил принятия решений для выбора соответствующих методов принятия решений, подсистему аналитической отчетности. Доступ пользователям в систему предоставляется по технологии «тонкий клиент».

Ключевые слова: Экспертная система поддержки принятия решений (ЭСППР), база знаний ЭСППР, база данных ЭСППР, подсистема аналитической отчетности.

Keyworlds: Expert Decision Support System (EDSS), Knowledge Base EDSS, database EDSS, the Analytical Reporting module.

Введение

Подготовка, принятие и реализация стратегических решений требует сбора и обработки больших объемов информации, проведения расчетов на основе экономико-математических моделей и использования опыта экспертов. Существенную роль в практической реализации обозначенной проблемы играют информационные системы поддержки принятия решений (СППР).