CC BY
51
РАЗВИТИЕ МЕТОДА РАЗРАБОТКИ НЕИРО-НЕЧЕТКИХ МОДЕЛЕЙ МНОГОАГЕНТНЫХ ЭКОНОМИЧЕСКИХ СТРУКТУР В ЗАДАЧЕ ОЦЕНКИ ИННОВАЦИОННОЙ ПРИВЛЕКАТЕЛЬНОСТИ ПРОЕКТА
УДК 330.322
Юрий Филиппович Тельнов,
д.э.н., проф., зав. кафедрой Прикладной информатики в экономике, Московский государственный университет экономики, статистики и информатики (МЭСИ),
Тел.: (495) 442-80-98, Эл. почта: YTelnov@mesi.ru
Олег Викторович Рогозин,
к.т.н., доц. кафедры Математического обеспечения информационных систем и инноватики,
Московский государственный университет экономики, статистики и информатики (МЭСИ),
Тел.: (495) 442-80-98, Эл. почта: logic00@mail.ru
В статье рассматривается разработанный программный комплекс анализа качественных характеристик инновационного проекта с помощью разработанной нейро-нечеткой модели, обеспечивающей получение эффективного решения для слабо-структурируемых задач. Предложен подход реализации структуры системы на основе процессной организации, приведена реализация модуля для наиболее известного алгоритма нечеткого вывода Мамдани. Разработана система критериев для оценки эффективности инновационного проекта. Обосновано развитие предложенных моделей в многоагентных структурах.
Ключевые слова: нечеткая логика, нейронная сеть, поддержка принятия решений, инновационный проект, качество.
Yuri F. Telnov,
Doctor of Economics, Associate Professor, the Department of Applied Informatics in Economics,
Moscow State University of Economics, Statistics and Informatics, Tel.: (495) 442-80-98, E-mail: logic00@mail.ru
Oleg V. Rogozin,
PhD in Engineering, Associate Professor, the Department of Software of Information Systems and Innovation Theory, Moscow State University of Economics, Statistics and Informatics, Tel.: (495) 442-80-98, E-mail: logic00@mail.ru
COMPLEX EVALUATION OF INNOVATION PROJECT EFFECTIVENESS BY QUALITATIVE CHARACTERISTICS ANALYSIS
This article gives an overview of soft application for analysis of quality parameters of innovation project with developed hybrid fuzzy-neural system providing effective decision for certain conditions. The authors offer a system based on processes structure and unit implementation of the most famous Mamdani's fuzzy algorithm. The criteria system to estimate the efficiency of innovation project is worked out. The development of offered models in the multiagent systems is proved.
Keywords: fuzzy logic, neural network, decision support, innovation project, quality.
1. Введение
Одним из подходов в решении задач разработки и внедрения новых технологий является нахождение лучшего выбора из конечного множества имеющихся вариантов инновационных решений. В качестве инновационного решения будем понимать объединение инновационных проектов на основе цели или набора целей и критериев выбора. Инновационные проекты могут включать как завершенные, так и не завершенные процессы. Каждый инновационный процесс включает совокупность технологий, ресурсы требующиеся для их выполнения и определенное время выполнения. Сформируем набор показателей эффективности инновационного проекта и представим обобщенную модель инновационного проекта процессного типа в виде I < 1п, в, Т, Я >, где I - инновационный проект, 1п - начальное состояние инновационного проекта, в - цель, Т - технологии или правила перехода от одного состояния проекта к другому, Я - ресурсы, используемые при этом. В показатели оценки проекта включим:
• финансовые результаты реализации проекта;
• воздействие данного проекта на другие в рамках портфеля НИОКР корпорации;
• влияние проекта в случае его успеха на экономику корпорации в целом.
Все эти факторы связаны с состоянием рынка и, соответственно, содержат в
себе значительную долю непредсказуемости. Таким образом, при оценке проекта мы имеем дело с типичной задачей принятия решений в условиях неопределенности.
Предложенный метод оценки эффективности инновационного проекта основан на использовании нейро-нечеткого вывода, объединяющего в себе естественность нечеткой логики и способность к обучению нейронных сетей, с использованием так называемых уточняемых нечетких множеств, то есть нечетких множеств, для которых функции принадлежности могут быть скорректированы с помощью нейронной сети особой структуры.
2. Критерии оценки эффективности инновационного проекта
До начала оценки проекта любым способом необходимо выделить критерии, по которым будет производиться оценка. Большая часть критериев оценки не относится к научно-технической области. Инновации (успешные и неуспешные) распространяются на деятельность всей компании и становятся частью ее экономической деятельности. Все критерии можно разделить на 5 групп:
1. Критерии, связанные с целями корпорации, ее стратегиями, политикой и ценностями: совместимость проекта с текущей стратегией компании и ее долгосрочными планами, допустимость изменений в стратегии фирмы с учетом потенциала проекта, согласованность проекта с представлениями о компании, соответствие проекта отношению корпорации к риску, соответствие проекта отношению корпорации к нововведениям, соответствие временного аспекта проекта требованиям корпорации.
2. Рыночные критерии: соответствие проекта четко определенным потребностям рынка, общая емкость рынка, доля рынка, которую сможет контролировать корпорация, жизненный цикл продукта в виде товара, вероятность коммерческого успеха, вероятный объем продаж, временной аспект рыночного плана, воздействие на существующие продукты, ценообразование и восприятие продукта потребителями, позиция в конкуренции, соответствие продукта существующим каналам распределения, оценка стартовых затрат
3. Научно-технические критерии: соответствие проекта стратегии НИОКР, допустимость изменений в стратегии НИОКР с учетом потенциала проекта, вероятность технического успеха проекта, стоимость и время разработки проекта, патентная чистота проекта, наличие научно технических ресурсов для выполнения проекта, возможность выполнения будущих НИОКР на базе данного проекта и новой технологии, воздействие на другие проекты.
4. Финансовые критерии: стоимость НИОКР, вложения в производство, вло-
жения в маркетинг, наличие финансов в нужные моменты времени, влияние на другие проекты, требующие финансовых средств, время достижения точки безубыточности и максимальное отрицательное значение расходов, потенциальный годовой размер прибыли, ожидаемая норма прибыли, соответствие проекта критериям эффективности инвестиций, принятым в компании, производственные критерии, новые технологические процессы, достаточная численность и квалификация производственного персонала, соответствие проекта имеющимся производственным мощностям, цена и наличие материалов, производственные издержки, потребности в дополнительных мощностях
5. Внешние и экономические критерии: возможные вредные воздействия продуктов и технологии, влияние общественного мнения, текущее и перспективное законодательство, воздействие на уровень занятости, в этот список входят все возможные критерии оценки, для конкретных проектов, как правило, используются только наиболее значимые критерии: соответствие проекта отношению корпорации к риску, вероятность коммерческого успеха, стоимость и время разработки проекта, возможность выполнения будущих НИОКР на базе данного проекта и новой технологии, стоимость НИ-ОКР, вложения в производство, вложения в маркетинг, время достижения точки безубыточности и максимальное отрицательное значение расходов, потенциальный годовой размер прибыли, цена и наличие материалов.
Каждый из этих критериев обладает определенной степенью нечеткости, и хорошо описывается лингвистическими понятиями, такими как «высокий», «низкий», «минимальный» и пр. Многие из критериев тяжело поддаются числовому выражению. Поэтому очень удобно в данном случае использование нечеткой логики для описания зависимости эффективности проекта от выбранных качественных критериев. Количество знаний о конкретном проекте и об инновациях в целом накапливается с течением времени, уменьшая степень неопределенности при оценке проекта. Эти знания должны быть использованы для обучения системы оценки и увеличения точности ее предсказаний.
Созданная система, основанная на объединении нечеткой логики и ней-
ронных сетей, предоставляет возможность удобного для человека представления знаний и самообучения на основе статистических данных. (Рис 1.)
3. Нейро-нечеткая гибридная система
Определим уточняемое нечеткое множество как нечеткое множество, функция принадлежности которого может быть скорректирована в процессе обучения гибридной сети, построенной на основе механизма нечеткого вывода. Для объединения достоинств продукционной модели и нейронных сетей появилась гибридная система, основанная на нейро-нечеткой модели, сочетающая в себе возможности обучения и возможность задания знаний на языке, близком к естественному. Под гибридной системой будем понимать систему, сочетающих в себе подходы и методы нейронных сетей, экспертных и нечетких систем. (Рис. 2)
4. Адаптивная нейро-нечеткая система вывода на основе алгоритма Суджено
Рассмотрим способ конструирования гибридных систем, основанных на методе Суджено. Пусть система имеет следующие правила:
«Д; : если х1 есть Ац и х2 есть А12, то г = с11х1 + с12х2 » ,
«Д,
если Xj есть А21 и х2 есть А22
то z = с 21Х1 + С22 Х2 »
Выход системы представлен формулой ^n * -
a.z.
Zn
г =l'
где z. — выход г-го правила. Данная система может быть реализована в виде нейронной сети, состоящей из пяти слоев, называемой адаптивной нейро-нечеткой системой вывода (Adaptive Neuro-Fuzzy Inference System, ANFIS) со следующими функциями каждого слоя:
- Слой 1. Выходы нейронов этого слоя представляют собой степени принадлежностей входных значений нечетким множествам, ассоциированным с нейронами. Обычно применяются га-уссовские функции принадлежности:
, 2
А = ехр
1 /а:- я. Д
А ЬЦ )
где а..- множество параметров, требующих настройки в процессе обучения. Также могут быть использована произвольная непрерывная функция, например, трапециевидной или треугольной формы.
- Слой 2. Каждый нейрон этого слоя вычисляет уровень истинности прави-
Блок Блок Блок
фазифнкапни вывода дефазификацин
I
Гибридная сеть
Верификация знаний
Обучающая выборка
Рис. 1. Структура нейро-нечеткой системы
0
ла по формуле:
ац = А1 (х1) Л А2 (УО^ 1 = 1, 2 где для моделирования связки «и» может использоваться дифференцируемая Т-норма.
- Слой 3. На данном слое производится нормализация уровней истинности каждого правила по формулам р. =а1(ах + а2).
- Слой 4. Выходы нейронов представляют произведение нормализованных значений уровней истинности на соответствующие выходы правил:
У,- = Р, (сЛ + С,Л ).
- Слой 5. Нейрон последнего (выходного) слоя производит адаптивное суммирование выходов нейронов предыдущего слоя. Адаптивная нейро-нечеткая система вывода (ЛМР18) представлена на рис. 3.
5. Гибридная сеть на основе алгоритма вывода Мамдани
Разработанная гибридная сеть основана на алгоритме нечеткого вывода Мамдани и имеет пять слоев, как и сеть на основе Суджено. Первый (входной) слой реализует функции принадлежности для каждого терма каждой входной переменной. На вход слоя поступают входные сигналы х, а на выходе слоя получаем значение функции принадлежности для этих сигналов ¡лАк (х). Параметры функций принадлежности становятся весами связей для нейронов первого слоя сети, и они будут модифицироваться в процессе обучения. То, что веса теперь имеют конкретную физическую интерпретацию, позволяет задать хорошие начальные значения, а также анализировать и контролировать процесс корректировки этих параметров.
Конфигурация связей второго слоя соответствует структуре правил, а сам слой реализует блок логического вывода. Число нейронов в слое равно количеству правил. Каждый узел слоя связан с предыдущим слоем таким образом, что узел слоя Ь2, соответствующий к-му правилу, соединен со всеми нейронами слоя Ы, соответствующими нечетким множествам условий этого правила. Нейроны слоя Ь2 могут быть либо мультипликаторами, либо реализовывать функцию «минимум», в зависимости от выбранной модели логического вывода. На выходе слоя формируются значения функций принадлежности ¡в (у). Третий, четвертый и пятый слои представляют собой реализацию блока дефазификации. Веса связей, входящих в верхний сумматор слоя
Рис. 2. Структура нейро-нечеткой сети
Рис. 3. Общая структура нейро-нечеткой гибридной сети, основанная на методе Суджено
Ь3, обозначенные у, интерпретируются как центры функций принадлежности выходной переменной и также будут скорректированы в процессе обучения. На выходе слоя Ь5 формируется четкое значение переменной вывода 20. При такой структуре нейронной сети можно говорить об уточняемых нечетких множествах как входных переменных, так и переменной вывода.
Так как описанная структура является многослойной нейронной сетью с прямым распространением сигнала, то
для ее обучения может быть применен, например, алгоритм обратного распространения ошибки. Алгоритм нечеткого вывода Мамдани для получения результирующего нечеткого множества использует операцию отсечения: С(y) = VkNJak л Ck (y). (1) Чтобы получить четкое значение, необходимо вычислить границы отсечения:
У1> У2 : Ck (У1) = Ck (У2) = ak > У1 < У2. Тогда четкое значение равно: Center (ak л Ck ) = (У1 + У2)/2. (2)
Для реализации этих вычислений необходимо ввести еще один слой нейронов между слоями Ь2 и Ь3. Полученная при этом структура изображена Рис. 4.
6. Обучение сети для нечеткого вывода по алгоритму Мамдани
В сети, изображенной на рис. 4, значения ут определяются динамически с помощью специально введенного слоя. Поэтому они уже не могут быть модифицированы, как веса. Следовательно,
т
■ и
— т ^. :
de (y - d)
(
dwm
b2
da db -b--a
\
de _ (y - d)
дкГ db
b2 d
Kdw?
dwm ,
da . db ^ ——b —=— a
dhm ;
\dh " -iN
Рис. 4. Гибридная сеть, реализующая алгоритм Мамдани с композицией «минимум»
YNzk}=YN
L-ik =1 J ¿-^k_1
N dZk
da
d
^Center (ck (-k))
dwm dwm _1 J ^k_1 dwm dwm dzm где Center(Ck(-k))= -m ZllZ2-, y2 : Ck(yi) = Ck(У2) = -k,y < У2,
т.е. для «сложной» функции Center (к (-k))
. zmCL\-k) + cR-),
Так как функции принадлежности независимы друг от друга, получаем:
-1 / —т\ з/"'-! /—т
d
YJNk=1Center(ck (-k))
д^т
Окончательно получаем - для композиции «произведение»:
(
1 -m = — -
2
dCL (-m) ^dCjK-mi
d-m
d-m
C-1(-k) + CR(-k)
1/- k \
2
de _(y - d)
dwm
de
YL Cyk - a)
^ YN_1 (byk - a)
1 — m
dCL\-m) + dCR(-m)
d-m
d-m
/г-1 / —m\ , /-1-1 /—m\ CL (- ) + CR (- )
-1 /—m \ \
dfm
dwm
(
дк т ь2 ^=1
для композиции «минимум»: ( - d)
1 -m — -
2
dCj-1(-m) + dCR(-m)
d-m
dz
y-r-1 / —m\ . y-r-1 /—m \\ CL (- ) + CR (- )
2
dfm
dh'
nn_1, ,,, fm () nn_1, m fm к)
(3)
(4)
(5)
de
dwr
de
~dhr
b2
(C - d)
b2
YN_1 (byk - a)
YN_1 Ck - a)
1 — m — -
1 — m
dCt(. zm) + dCR(- -m)
y-r- 1 / —m \ , /-Т-1 / —m \ CL (- ) + CR (- )
-1s—m \ Л
d-m d-m
0, если fmmn * fm
dfm
df-, если fmmm _ fm
dCL'(-m) + dCR(-m)
d-m
y-r-W—m \ . /-r-W—m \
CL (- ) + CR (- )
2
dw,
dfm
yj i „ rm rn.
d=~, если fmin _ f i
(6)
(7)
0, если * /Т.
7. Практическое приложение нейро-нечеткой сети
Задачу оценки эффективности инновационных проектов с учетом выбранных критериев можно формализовать с помощью следующего набора лингвистических переменных (ЛП): допустимый риск; риск проекта; вероятность коммерческого успеха; время разработки; вероятность использования в будущих НИОКР; совокупные затраты; время достижения точки безубыточности; потенциальный годовой размер прибыли; доступность материалов; эффективность проекта. Для каждого показателя целесообразно ввести по три терма: «низкий», «средний», «высокий» для ЛП «допустимый риск», «риск проекта», «вероятность коммерческого успеха», «вероятность использования в будущих НИОКР», «совокупные затраты», «доступность материалов»; «маленький», «средний», «большой» для ЛП «время разработки», «время достижения точки безубыточности», «потенциальный годовой размер прибыли». Для ЛП «эффективность проекта» введем более детальную градацию: «очень низкая», «низкая», «средняя», «высокая» и «очень высокая». База знаний должна содержать нечеткие правила двух типов:
1) отражающие зависимость риска банкротства от каждого из показателей, например:
ЕСЛИ Совокупные затраты Высокие, ТО Эффективность проекта Низкая.
2) выражающие взаимосвязь некоторых показателей, например:
+
+
2
2
b
+
+
2
ЕСЛИ Совокупные затраты Высокие И Вероятность коммерческого успеха Высокая, ТО Эффективность проекта Средняя.
В качестве обучающей выборки использовались следующие данные (Табл. 1).
Эффективность алгоритмов обучения можно оценить с помощью величины:
(1,0 ^ ы еч ) / , где N - ко-1= /М
личество итераций обучения, К - количество векторов обучающей выборки, е .. - ошибка на каждом шаге. В величине q учтена как форма графика функции ошибки, так и значение ошибки на конец обучения.
Чем меньше q, тем эффективнее обучение. Поэтому в качестве критерия эффективности удобно использовать обратную величину:
1 N
1=0^/=1
График изменения суммарной погрешности для различных сетей показаны на рис. 6 - 7. По оси е отложена суммарная погрешность по всем элементам обучающей выборки, по оси N - номер итерации.
Из графиков видно, что уменьшение шага коррекции ведет к сглаживанию локальных максимумов. В начале обучения, когда шаг коррекции еще велик, наблюдается кратковременный рост ошибки, но затем она эффективно уменьшается. При этом скорость обучения снижается незначительно, в отличие от варианта, когда шаг коррекции мал изначально.
8. Многоагентные среды и функции агента в задаче управления инновационным процессом (ИВП)
Агента условно определяют как программу или объект, обладающий программой, который после получения задания способен поставить себя на место ЛПР, и обладающий следующими свойствами:
• Автономность - возможность действовать независимо от пользователя.
• Адаптивность - способность к обучению во время работы. Агент считается адаптивным, если он может изменять свое поведение на основании опыта.
• Коммуникативность - способность коммуникации с другими пользователями или агентами.
• Способность к сотрудничеству. Агент способен к сотрудничеству, если
Таблица 1. Данные обучающей выборки
Допустимый риск, % 40 10 10 80
Риск проекта, % 50 50 90 10
Вероятность коммерческого успеха, % 75 30 10 99
Время разработки, мес. 12 20 24 6
Вероятность выполнения будущих НИОКР на базе этой, % 10 50 14 60
Совокупные затраты, млн. руб. 2,3 4 5,7 1,5
Время достижения точки безубыточности, мес. 16 30 30 12
Потенциальный годовой размер прибыли, млн. руб. 5 4 5 10,6
Доступность материалов, % 60 30 20 100
Эффективность проекта, % 55,7 21 5,6 89,1
■□I
Суммарная погрешность
"ЛЕШ
е 0,66
А
Л
V
0 50 N
Рис. 5. График изменения суммарной погрешности для сети, реализующей алгоритм Мамдани с композицией «произведение». О = 15,85
а§ Суммарная погрешность
ТДШМ
е 0,66
А
Л
V
0 50 И"
Рис. 6. График изменения суммарной погрешности для сети, реализующей алгоритм Мамдани с композицией «минимум». О = 15,85
он может общаться с другими агентами для решения своих задач.
• Персонифицированность - естественное поведение.
• Мобильность - возможность перемещения по окружающей среде.
Дж. Люгер определяет МАС как вычислительную программу, решатели которой расположены в некоторой среде и каждый из них способен к гибким, автономным и социально-организованным действиям в направлении предопределенной цели В. Б. Тарасов дает формализованное определение МАС в виде MAS (A,E,R,ORG,ACT ,COM ,EV) , где А - множество агентов, Е - множество сред, находящихся в определенных отношениях R и взаимодействующих друг с другом, формирующие некоторую организацию ORG, обладающих набором индивидуальных и совместимых действий ACT (стратегия поведения и поступков), включая возможные коммуникативные действия COM и возможность эволюции EV Согласно [5] МАС может рассматриваться как сильно связанная сеть решателей совместно работающих над проблемами, которые могут выходить за рамки возможностей индивидуальных агентов. Суммируя изложенное, определим МАС как совокупность взаимосвязанных агентов как программных, так и аппаратных, способных взаимодействовать друг с другом и окружающей средой, обладающих определенными интеллектуальными способностями и возможностью индивидуальных и совместных действий. Классифицировать МАС можно по целому ряду признаков Важным признаком является способ решения проблем. Системы распределенного решения проблем содержат агентов специально разработанных для решения определенного круга задач или достижения известных целей. В этом случае все агенты определяются априорно (на стадии проектирования) и должны взаимодействовать согласованно и непротиворечиво (благожелательно). Открытые МАС могут содержать переменные множеств агентов, входящих в систему и выходящих из нее, причем возможно столкновение интересов поведение агентов.
9. Заключение
Проведенные исследования показывают перспективу разработки интеллектуальных агентов на основе нейро-нечетких моделей. Этот подход обеспечивает возможность реализации известной теоремы нечетких множеств об
универсальном нечетком аппроксимато-ре и его применении в многоагентной экономической структуре при решении задач, связанных с формированием наукоемких, инновационных решений. Автономность агента и способность принятия решений на основе как количественных, так и качественных показателей значительно расширяют область применения предложенного математического аппарата.
Литература
1. Колмогоров А.Н., Драгалин А.Г. Математическая логика.-М. КомКни-га,2006 .- 240 с.
2. Смирнов В. А. Теория логического вывода: Сборник трудов по теории логического вывода.- М.: РОССПЭН, 1999 .- 318 с.
3. Уэно Х. Исидзука М. Представление и использование знаний: Пер. с япон. - М.: Мир, 1989.- 220с.
4. Осуга С. Обработка знаний: Пер. с япон. - М.: Мир, 1989.- 293с.
5. Тарасов В. Б. Методология агентно-ориентированного формирования синергетических организаций. 9-я научно-практическая конференция "Реинжиниринг бизнес -процессов на основе современных информационных технологий. Системы управления знаниями": Сборник научных трудов./ Моск. госуд. ун-т экономики, статистики и информатики - М., 2006
6. Quinlan J.R. Introduction of decision tree. Machine Learning,1:81-106,1986
7. Quinlan J.R C4.5 : Programs for Machine Learning:Morgan Kauffman, 1993
8. Заде Л. Понятие лингвистической переменной и его применение к принятию приближенных решений. - М.: Мир, 1976.- 165c.
9. Zadeh, Lotfi. Fuzzy Sets // Information and Control.- June 1965. -№8(3).- pp.338-353.
10. Круглов В.В., Дли М.И. Нечеткая логика и искусственные нейронные сети.-М.: Физматлит,2001.-224с.
11. Mamdani E.H., AssilianS. An experiment in linguistic synthesis with a fuzzy logic controller// Int. J. Man Mach. Studies.- 1975. - Vol. 7, No. 1.- pp 1-13.
12. Sugeno M. Kang G.T. Structure identification of fuzzy model//Fuzzy Sets Syst.- 1988 .- Vol. 28, No. 1.- pp. 15-33.
13. Рогозин О.В. Адаптивный программный комплекс анализа качественных показателей инновационного решения. Открытое образование,2011,М.,№5, С. 54-59
14. Рогозин О.В. Метод нечеткого вывода решения в задаче подбора программного обеспечения на основе качественных характеристик этого обеспечения как объекта инвестиций. Качество Инновации Образование, М., 2009, №3 с. 43-49.
References
1. Kolmogorov A.N., Dragalin A.G. Mathematical logic.-M. KomKniga,2006.
- 240 s.
2. Smirnov VA. The theory of of logical inference: Proceedings of the theory of logical inference.- M.: ROSSPEN, 1999 .- 318 s.
3. Ueno H. Isidzuka M. The presentation and use of knowledge: Per. s yapon.
- M.: Mir, 1989.- 220s.
4. Osuga S. Knowledge information processing: Per. s yapon. - M.: Mir, 1989.- 293s.
5. Tarasov V.B. The methodology of agent-oriented formation of synergistic organizations. 9th Scientific Conference «Business process reengineering based on modern information technology. Knowledge Management System»: Sbornik nauchnyh trudov./ Mosk. gosud. un-t ekonomiki, statistiki i informatiki - M., 2006
6. Quinlan J.R. Introduction of decision tree. Machine Learning,1:81-106,1986
7. Quinlan J.R C4.5 : Programs for Machine Learning:Morgan Kauffman, 1993
8. Zade L. The concept of a linguistic variable and its application to the adoption of approximate solutions. - M.: Mir, 1976.- 165c.
9. Zadeh, Lotfi. Fuzzy Sets // Information and Control.- June 1965 .- №8(3).-pp.338-353.
10. Kruglov V.V., Dli M.I. Fuzzy logic and artificial neural networks.-M.: Fizmatlit,2001.-224s.
11. Mamdani E.H., AssilianS. An experiment in linguistic synthesis with a fuzzy logic controller// Int. J. Man Mach. Studies.- 1975.- Vol. 7, No. 1.- pp 1-13.
12. Sugeno M. Kang G.T. Structure identification of fuzzy model//Fuzzy Sets Syst.- 1988 .- Vol. 28, No. 1.- pp. 15-33.
13. Rogozin O.V. Adaptive software systems analysis of qualitative indicators of innovative solutions. Otkrytoe obrazovanie,2011,M.,№5, S. 54-59
14. Rogozin O.V Fuzzy output solutions for the problem of selection of software based on the qualitative features of this software as an investment. Kachestvo Innovacii Obrazovanie, M., 2009, №3 s. 43-49.
