CC BY
194
УДК 62-503.5
05.00.00 Технические науки
ИССЛЕДОВАНИЕ АЛГОРИТМОВ ОБУЧЕНИЯ НЕЙРО-НЕЧЕТКОЙ СИСТЕМЫ УПРАВЛЕНИЯ БИОТЕХНОЛОГИЧЕСКИМ ПРОЦЕССОМ
Лубенцова Елена Валерьевна К.т.н., доцент кафедры автоматизации производственных процессов
ФГБОУ ВПО «Кубанский государственный технологический университет» Краснодар, Россия
Пиотровский Дмитрий Леонидович Д.т.н., профессор, заведующий кафедрой автоматизации производственных процессов ФГБОУ ВПО «Кубанский государственный технологический университет» Краснодар, Россия
Предметом исследований данной работы являлся алгоритм обучения нейро-нечеткой системы с различными функциями принадлежности. В известных опубликованных работах отсутствуют результаты подобных исследований, что затрудняет синтез ней-ро-нечеткой системы управления новыми объектами в прикладной биотехнологии, в том числе технологическими объектами АПК. Проведен сравнительный анализ алгоритмов обучения нейро-нечеткой системы с различными функциями принадлежности с применением метода обратного распространения ошибки и гибридного метода. Для этого использована обучающая выборка, содержащая данные по температуре и концентрации растворенных в культу-ральной жидкости газов: кислорода (рО2), углекислого газа (рСО2) биотехнологического процесса. Показано, что гибридный метод осуществляет обучение нейронной сети за число эпох в 23 раза меньшее, чем алгоритм обратного распространения ошибки. В ходе исследований установлено, что двухсторонняя гауссовская функция принадлежности обеспечивает наименьшую ошибку обучения сети 5, равную 3,28-10-3, по сравнению с другими, дающими наибольшую ошибку обучения нейронной сети 5=0,138. По результатам исследований сделан вывод, что для адаптации нейро-нечеткой сети А№1Б и системы нечеткого вывода Сугено нулевого порядка к решению задачи управления биотехнологическими процессами микробиологических производств эффективным является использование гибридного метода обучения и двухсторонней гауссовской функции принадлежности
Ключевые слова: НЕЙРО-НЕЧЕТКАЯ СЕТЬ, АЛГОРИТМ ОБУЧЕНИЯ, ФУНКЦИЯ ПРИНАДЛЕЖНОСТИ, ОБУЧАЮЩАЯ ВЫБОРКА, ПРОЦЕСС ФЕРМЕНТАЦИИ
Рок 10.21515/1990-4665-128-026
UDC 62-503.5 Technical sciences
THE STUDY OF LEARNING ALGORITHMS OF NEURO-FUZZY SYSTEMS CONTROL OF BIOTECHNOLOGICAL PROCESS
Lubentsova Elena Valeryevna Cand.Tech.Sci., senior lecturer of the faculty «Automation of production processes» Kuban State Technological University, Krasnodar, Russia
Piotrovsky Dmitry Leonidovich
Dr.Sci.Tech., professor, head of the Department of
«Automation of production processes»
Kuban State Technological University, Krasnodar,
Russia
The subject of study of this work was learning algorithm of neuro-fuzzy systems with different membership functions. In the prior works there are no published studies of such studies, making it difficult synthesis of neuro-fuzzy control system with new objects in the application of biotechnology, including technological agribusiness entities. A comparative analysis of learning algorithms of neuro-fuzzy system with different membership functions using the method of error back propagation and a hybrid method. For this we used a training sample that contains data of temperature and concentration of dissolved gas in the culture liquid: oxygen (pO2), carbon dioxide (pCO2) of a biotechnological process. It is shown that the hybrid method carries out training of a neural network for the number of periods is 23 times smaller than the algorithm back-propagation errors. The studies found that the two-sided Gaussian membership function provides the smallest learning error of the network 5 equal of 3,28-10-3, compared to the other, giving the largest error of training the neural network 5=0,138. Therefore, the task of running the fermentation process effective is the use a hybrid method of education and two-sided Gaussian membership functions. According to the research, we can conclude that for the adaptation of neuro-fuzzy network AN-FIS and fuzzy inference system Sugeno zero order to solve biotechnological process control tasks microbiological production efficiency is to use a hybrid method of education and bilateral Gaussian membership functions
Keywords: NEURO-FUZZY NETWORK, LEARNING ALGORITHM, MEMBERSHIP FUNCTION, TRAINING SAMPLE, FERMENTATION PROCESS
Введение
В настоящее время в связи с появлением новых возможностей применение нейро-нечетких систем (ННС), совмещающих принципиально различные подходы, становится одним из наиболее актуальных направлений автоматизации различных производств АПК, в числе которых пищевая промышленность, а также производства, производящие минеральные удобрения, химикаты - те производства, которые обеспечивают сельское хозяйство материальными ресурсами и где используются технологические комплексы, присутствует массовость и серийность производства.
Теоретически, интеллектуальные системы с нечеткой логикой и искусственные нейронные сети подобны друг другу, однако на практике у них имеются свои собственные достоинства и недостатки. Данное соображение легло в основу создания аппарата нейро-нечетких сетей, в которых выводы делаются на основе аппарата нечеткой логики, но соответствующие функции принадлежности подстраиваются с использованием алгоритмов обучения нейронных сетей. В основном, разрабатываемые гибридные ННС носят прикладной характер и направлены на наиболее эффективное решение какой-либо конкретной задачи в различных сферах деятельности. Поэтому при отсутствии общих рекомендаций выбор типа ННС и функции принадлежности, а также оценка их эффективности для управления технологическими комплексами является одним из важных этапов адаптации ННС к задаче управления.
В настоящее время интенсивно развиваются гибридные модели ННС в интеллектуальных системах управления технологическими объектами прикладной биотехнологии [2]. Адаптация этих моделей, предусматривающая в качестве первоочередных этапов обучение нейронной сети (НС) и выбор функции принадлежности (ФП), подстраиваемых с помощью НС с целью повышения эффективности управления, является актуальной задачей.
Постановка и решение задачи
Гибридизация нейронных сетей с нечеткой логикой (НЛ) позволяет существенно повысить эффективность работы систем автоматического управления с такими ННС за счет того, что недостатки, присущие одной из технологий, компенсируются преимуществами другой [4]. В частности, НС обладают хорошей способностью обучаться, но процесс работы обучающей сети сложен для понимания. В тоже время системы с НЛ хорошо объясняют выводы, но имеют ограничения на количество входных переменных. Вследствие этого возможно построение ННС, в которых выводы формируются на основе НЛ, а функции принадлежности подстраиваются с помощью НС. Преимущество таких систем очевидно: построенная структура не только использует априорную информацию, но может приобретать новые знания, являясь логически «прозрачной» [1, 3].
В настоящее время имеются различные по архитектуре, возможностям и используемым методам гибридные нейро-нечеткие сети [4]. На основе их анализа можно отметить следующие ключевые свойства: возможность автоматического формирования набора решающих правил; возможность применения различных алгоритмов обучения; возможность оперативного обучения в процессе поступления данных; возможность изменения структуры; сохранение заложенных в систему знаний в процессе параметрической оптимизации или обучения новым правилам. Основные особенности некоторых гибридных нейро-нечетких систем и рекомендации по их выбору в зависимости от типа решаемой задачи приведены в [6]. В соответствии с приведенными в [6] данными для построения системы управления технологическим процессом целесообразно использовать адаптивную систему нейро-нечеткого вывода - ANFIS (Adaptive Network-based Fuzzy Inference System) [1]. ANFIS обладает по сравнению с другими методами высокой скоростью обучения, простотой алгоритма и оптимальной проработанностью программного обеспечения в системе математического
моделирования MatLab [7, 10]. В данной системе выводы делаются на основе аппарата НЛ, а параметры ФП настраиваются с помощью алгоритма обратного распространения ошибки или гибридным методом в процессе обучения НС. Такой подход позволит выделять закономерности и обнаруживать новые зависимости. С учетом отмеченных рекомендаций в данной работе моделирование системы управления биотехнологическим процессом выполнено в среде MаtLab с пакетом расширения Fuzzy Logic Toolbox [7]. В пакете Fuzzy Logic Toolbox системы МatLab адаптивная система нейро-нечеткого вывода ANFIS представляет собой гибридную сеть, которая является многослойной нейронной сетью специальной структуры без обратных связей. В данной сети используются обычные (не нечеткие) сигналы, веса и функции активации, а выполнение операции суммирования основано на использовании фиксированной Т-нормы, Т-конормы или некоторой другой непрерывной операции [4]. При этом значения входов, выходов и весов гибридной нейронной сети представляют собой вещественные числа из отрезка [0, 1].
В качестве алгоритма вывода решения могут применяться известные алгоритмы вывода: Мамдани, Сугено, Цукамото, Ларсена [10]. Данные алгоритмы по-разному реализуют нечеткий логический вывод, но существенных отличий не имеют [9]. Однако правильно выбранный алгоритм вывода может повысить точность получаемого управляющего сигнала. Сравнительный анализ алгоритмов показал [5], что при прочих равных условиях погрешность аппроксимации функции с применением алгоритма Сугэно несколько меньше, чем с применением алгоритма Мамдани. Причем алгоритм Сугэно с вычислительной точки зрения реализуется значительно проще, чем алгоритм Мамдани, а время счета для него меньше, чем для алгоритма Мамдани в 50-100 раз. Поэтому для построения нечеткого регулятора системы управления биотехнологическим объектом воспользу-
емся алгоритмом Сугэно [8]. В пакете МаНаЬ система вывода Сугено представлена ЛОТ^-редактором.
Методика обучения сети Л№18 для определения параметров функций принадлежности систем нечеткого вывода типа Сугено может использовать алгоритм обратного распространения ошибки или алгоритм гибридного обучения. Проведем сравнительный анализ обучения четырех-слойной нейро-нечеткой сети с различными функциями принадлежности с применением метода обратного распространения ошибки и гибридного метода. Для обучения АОТ^-сети могут быть применены типовые процедуры обучения нейронных сетей, так как в ней используют только дифференцируемые функции. Обычно применяется комбинация градиентного спуска в виде алгоритма обратного распространения ошибки и метода наименьших квадратов.
Алгоритм обратного распространения ошибки настраивает параметры антецедентов правил, т.е. функций принадлежности. Методом наименьших квадратов оцениваются коэффициенты заключений правил, так как они линейно связаны с выходом сети. Каждая итерация процедуры настройки выполняется в два этапа. На первом этапе на входы подается обучающая выборка и по невязке между желаемым и действительным поведением сети итерационным методом наименьших квадратов находятся оптимальные параметры узлов четвертого слоя. На втором этапе остаточная невязка передается с выхода сети на входы, и методом обратного распространения ошибки модифицируются параметры узлов первого слоя. При этом найденные на первом этапе коэффициенты заключений правил не изменяются. Итерационная процедура настройки продолжается пока невязка превышает заранее установленное значение.
Для оценки эффективности использования сети Л№18 для управления биотехнологическим процессом ферментации использована обучающая выборка, содержащая данные по температуре и концентрации раство-
ренных в культуральной жидкости газов; кислорода (рО2) и углекислого газа (рСО2), характеризующих различные состояния биосистемы; нормальное протекание процесса ферментации, условия лимитирования процесса роста микроорганизмов кислородом рО2 и условия, ингибирующие синтез целевого продукта повышенными концентрациями растворенного углекислого газа рСО2. Фрагмент экспертной матрицы знаний для режимов роста биомассы и синтеза целевого продукта в реакторе-ферментаторе приведен в табл. 1.
Таблица 1 - Экспертная матрица знаний для режимов роста биомассы и
синтеза целевого продукта
Номер правила ЕСЛИ <входы> ТО <выход> Вес правила
Концентрация рО2 в режиме роста биомассы при ёрО2/ёК0, рО2'Ю"2 мг/л Концентрация рО2 в режиме синтеза продукта при ёрО2/^>0, рО2-Ю"2 мг/л Температура в реакторе, С
1 4 3.3 26 0 1
2 3.5 3.3 26.5 0 1
3 3.5 3 25.5 0 1
...
7 2 2 27 1 1
8 1.5 1.8 26.5 1 1
9 1.5 1.7 26.8 1 1
...
14 2 0.7 28 2 1
15 3 0.6 30 2 1
16 3.5 0.75 30 2 1
...
21 2 0.3 26.5 3 1
22 1.8 0.2 29 3 1
23 1.8 0.3 30 3 1
Результаты и их обсуждение
Вначале НС была обучена при помощи алгоритма обратного распространения ошибки (рис. 1). После 3000 эпох обучения получена ошибка
обучения составила 5=2,52-10 . По результатам обучения гибридным методом (рис. 2) ошибка обучения после 37 эпох составила 5=9,30-10-4, т.е. в 2,7 раза меньше, чем при обучении алгоритмом обратного распространения ошибки.
Рисунок 1 - Процесс обучения ННС алгоритмом обратного распространения ошибки
Рисунок 2 - Процесс обучения ННС гибридным методом
Отсюда следует, что гибридный метод осуществляет обучение сети за число эпох в 23 раза меньшее, чем алгоритм обратного распространения ошибки. Поэтому для обучения нейронной сети в работе использован гибридный метод.
При построении нейро-нечеткой сети чрезвычайно важен выбор функции принадлежности (ФП). В таблице 2 приведена ошибка обучения сети, полученная при различных ФП в результате обучения сети гибридным методом.
Таблица 2 - Ошибка обучения сети, полученная при различных функциях принадлежности
Наименование функции принадлежности Ошибка обучения сети Число эпох
треугольная функция принадлежности (Шт! 0,075882 34
трапециевидная функция принадлежности (^атр! 0,137540 84
обобщенная колоколообразная функция принадлежности ^Ье11т! 0,003857 120
симметричная гауссовская функция принадлежности ^ашБт!) 0,006087 125
двухсторонняя гауссовская функция принадлежности ^аш82т!) 0,003283 140
функция принадлежности в виде разности между двумя сигмоидными функциями (dsigmf) 0,013696 277
произведение двух сигмоидных функций принадлежности (psigmf) 0,013715 290
В ходе исследований установлено, что двухсторонняя гауссовская
_3
ФП обеспечивает наименьшую ошибку обучения сети 5, равную 3,28-10 ,
при числе эпох N=140 по сравнению с симметричной гауссовской ФП, да_3
ющей ошибку 5=6,09-10 при числе эпох N=125, и по сравнению с трапециевидной ФП, дающей наибольшую ошибку обучения сети 5=0,138 при числе эпох N=84. Поэтому при адаптации ННС в решении задачи управления целесообразно использование двухсторонней гауссовской ФП.
Заключение
В современных условиях повышение конкурентоспособности предприятий различных отраслей АПК связано с автоматизаций технологических процессов и применением интеллектуальных систем управления (нечетких, нейросетевых и нейро-нечетких). Предметом исследований данной работы являлся алгоритм обучения нейро-нечеткой системы с различными функциями принадлежности. В известных опубликованных работах отсутствуют результаты подобных исследований, что затрудняет синтез нейро-нечеткой системы управления новыми объектами в прикладной биотехнологии, в том числе технологическими объектами АПК. В процессе исследования использованы метод обратного распространения ошибки и гибридный метод. В результате исследования установлено, что эффективным методом является гибридный метод, а рациональной функцией принадлежности является двухсторонняя гауссовская функция принадлежности, обеспечивающие минимальную ошибку обучения сети. Полученные рекомендации по использованию методов обучения и выбору функций принадлежности позволят повысить эффективность разрабатываемой нейро-нечеткой системы управления биотехнологическими объектами.
Выводы
По результатам исследований можно сделать вывод, что для адаптации нейро-нечеткой сети А№!8 и системы нечеткого вывода Сугено нулевого порядка к решению задачи управления биотехнологическими процессами микробиологических производств эффективным является использование гибридного метода обучения и двухсторонней гауссовской функции принадлежности.
ЛИТЕРАТУРА
1. Адаптивные нейро-нечеткие системы инференции (ANFIS) [Электронный ресурс]. - Режим доступа: http://life-prog.ru/1_22027_adaptivnie-neyronechetkie-sistemi-inferentsii-NFIS.html (дата обращения 28.05.2015).
2. Ивашкин Ю.А. Управление нечеткими объектами в прикладной биотехнологии / Ю.А. Ивашкин, И.И. Протопопов // Журнал Горный информационно-аналитический бюллетень (научно-технический журнал). - М.: МГГУ. - 1999. - Вып. 4. - С. 1-3.
3. Карпенко А.П. Многокритериальная оптимизация на основе нейро-нечеткой аппроксимации функции предпочтений лица, принимающего решения / А.П. Карпенко, Д.А. Моор, Д.Т. Мухлисуллина // Электронное научно-техническое издание: наука и образование. - 2010. - № 1. URL:
http://technomag.edu.ru/doc/143964.html (дата обращения 18.02.2015).
4. Круглов В.В. Гибридные нейронные сети / В.В. Круглов, В.В. Борисов. -Смоленск: Русич, 2001. - 224 с.
5. Круглов В.В. Сравнение алгоритмов Мамдани и Сугэно в задаче аппроксимации функции / В.В. Круглов. 2001. http://sgma.alpha-design.ru/MMORPH/N-7-html/KRUGLOV/krugl ov. htm
6. Кузькин А.А. Оценивание показателей эффективности и результативности ИТ-процессов с использованием гибридных нейро-нечетких сетей / А.А. Кузькин // Интернет-журнал «Науковедение». - Вып. 1, январь - февраль 2014.
URL: http://naukovedenie.ru/PDF/57TVN114.pdf (дата обращения 20.09.2015).
7. Леоненков А.В. Нечеткое моделирование в среде MATLAB и fuzzyTECH / А.В. Леоненков. - СПб.: БХВ-Петербург, 2003. - 736 с.
8. Лубенцова, Е.В. Интеллектуальные технологии в управлении нечетко-определенными объектами биосистемы / Е.В. Лубенцова // Математические методы в технике и технологиях - ММТТ-26 : сб. трудов XXVI Междунар. науч. конф.: в 10 т. Т. 8. Секция 7 / под общ. ред. А.А. Большакова. - Нижний Новгород: Нижегород. гос. техн. ун-т, 2013. - С. 71-72.
9. Петрова И.Ю. Прогнозирование электропотребления с помощью нейро-нечеткой системы ANFIS. Алгоритм отбора входных переменных / И.Ю. Петрова, А.А. Глебов // Электронное издание «НАУКА и ОБРАЗОВАНИЕ». - Издатель ФГБОУ ВПО «МГТУ им. Н.Э. Баумана». - № 7, 2006.
10. Штовба С.Д. Проектирование нечетких систем средствами MATLAB / С.Д. Штовба. - М.: Горячая линия - Телеком, 2007. - 288 с.
Reference
1. Adaptyvnyye nejro-nechetkye systemyy ynferencyy (ANFIS) plektronnyyj resurs]. - Rezhym dostupa: http://life-prog.ru/1_22027_adaptivnie-neyronechetkie-sistemi-inferentsii-NFIS.html (data obrashhenyja 28.05.2015).
2. Yvashkyn Ju.A. Upravlenye nechetkymy ob#ektamy v prykladnoj byotehnologyy / Ju.A. Yvashkyn, Y.Y. Protopopov // Zhurnal Gornyyj ynformacyonno-analytycheskyj bjulleten' (nauchno-tehnycheskyj zhurnal). - M.: MGGU. - 1999. - Vyyp. 4. - S. 1-3.
3. Karpenko A.P. Mnogokryteryal'naja optymyzacyja na osnove nejro-nechetkoj approksymacyy funkcyy predpochtenyj lyca, prynymajushhego reshenyja / A.P. Karpenko, D.A. Moor, D.T. Muhlysullyna // Эlektronnoe nauchno-tehnycheskoe yzdanye: nauka y obrazovanye. - 2010. - № 1. URL:
http://technomag.edu.ru/doc/143964.html (data obrashhenyja 18.02.2015).
4. Kruglov V.V. Gybrydnyye nejronnyye sety / V.V. Kruglov, V.V. Borysov. -Smolensk: Rusych, 2001. - 224 s.
5. Kruglov V.V. Sravnenye algorytmov Mamdany y Sugэno v zadache ap-proksymacyy funkcyy / V.V. Kruglov. 2001. http://sgma.alpha-design.ru/MMORPH/N-7-html/KRUGLOV/krugl ov. htm
6. Kuz'kyn A.A. Ocenyvanye pokazatelej эffektyvnosty y rezul'tatyvnosty YT-processov s yspol'zovanyem gybrydnyyh nejro-nechetkyh setej / A.A. Kuz'kyn // Ynter-net-zhurnal «Naukovedenye». - Vyyp. 1, janvar' - fevral' 2014.
URL: http://naukovedenie.ru/PDF/57TVN114.pdf (data obrashhenyja 20.09.2015).
7. Leonenkov A.V. Nechetkoe modelyrovanye v srede MATLAB y fuzzyTECH / A.V. Leonenkov. - SPb.: BHV-Peterburg, 2003. - 736 s.
8. Lubencova, E.V. Yntellektual'nyye tehnologyy v upravlenyy nechetko-opredelennyymy ob#ektamy byosystemyy / E.V. Lubencova // Matematycheskye metodyy v tehnyke y tehnologyjah - MMTT-26 : sb. trudov XXVI Mezhdunar. nauch. konf.: v 10 t. T. 8. Sekcyja 7 / pod obshh. red. A.A. Bol'shakova. - Nyzhnyj Novgorod: Nyzhegorod. gos. tehn. un-t, 2013. - S. 71-72.
9. Petrova Y.Ju. Prognozyrovanye эlektropotreblenyja s pomoshh'ju nejro-nechetkoj systemyy ANFIS. Algorytm otbora vhodnyyh peremennyyh / Y.Ju. Petrova, A.A. Glebov // Эlektronnoe yzdanye «NAUKA y OBRAZOVANYE». - Yzdatel' FGBOU VPO «MGTU ym. N3. Baumana». - № 7, 2006.
10. Shtovba S.D. Proektyrovanye nechetkyh system sredstvamy MATLAB / S.D. Shtovba. - M.: Gorjachaja lynyja - Telekom, 2007. - 288 s.
