CC BY
22
17. Stutzle T. Local search algorithms for combinatorial problems: analysis, improvements, and new applications / T. Stutzle. - Sankt Augustin : Infix, 1999. - 18 p.
18. Stutzle T. MAX - MIN ant system / T. Stutzle, H.H. Hoos // Future Generation Computer Systems. - 2000. - № 16(8). - Pp. 889-914.
19. Gambardella L.M. Solving symmetric and asymmetric TSPs by ant colonies / L.M. Gambardella, M. Dorigo // Proceedings of the 1996 IEEE International Conference on Evolutionary Computation (ICEC'96). - New Jersey : IEEE Press, 1996. - Pp. 622-627.
Устенко С.В., Бибко О.О. Использование метода муравьиной колонии для решения оптимизационных задач
Обоснована целесообразность использования метода муравьиной колонии и его модификаций как способа решения сложных комбинаторных задач оптимизации в экономических и технических отраслях. Исследованы биологическая природа, преимущества, недостатки и возможные сферы использования этого метода. Определены основные особенности, заложенный математический аппарат и механизм функционирования метода муравьиной колонии. Проанализированы различия между разновидностями метода муравьиной колонии в разрезе критериев эффективности решения задач. Предложены перспективные пути улучшения этого метода.
Ключевые слова: агент, граф решений, коллективный интеллект, муравьиная колония, оптимизация, самоорганизация.
Ustenko S.V., Bibko O.O. Using Ant Colony Method to Solve Optimization Problems
The expediency of using ant colony method and its modifications as a way of solving complex combinatorial optimization problems in economic and technical fields is substantiated. The biological nature, advantages, disadvantages and possible areas of the use of this method are studied. The main features, the mathematical apparatus and the functioning mechanism of ant colony method are defined. The differences between the species of ant colony method in terms of efficiency criteria of solving problems are analyzed. Promising ways to improve this method are offered.
Keywords: agent, graph of decisions, swarm intelligence, ant colony, optimization, self-organization.
УДК 004.[827+89] Проф. Р.О. Ткаченко, д-р техн. наук;
acnip. С.М. Дем'янчук - НУ "Льbeiecbm nолiтехнiкa "
ПОБУДОВА ЕМП1РИЧНИХ ФОРМУЛ ЗА ДОПОМОГОЮ БАГАТОШАРОВИХ НЕЙРОПОД1БНИХ СТРУКТУР ГЕОМЕТРИЧНИХ ПЕРЕТВОРЕНЬ
Запропоновано методи побудови самооргашзацшних полiномiальних моделей регресп з функцюнальним розширенням сигналiв на основi машини геометричних пе-ретворень. Функцюнальне розширення вхщних сигналiв реалiзуeться за допомогою набору полшомш Колмогорова-Габора. Для побудови полшома Колмогорова-Габора ви-користовуються головш компонента, як видшяються шляхом побудови автоасощатив-но! мережi на осж^ вхщних i вихщних сигналiв. Наведено результати побудови аналь тично! формули, яка може бути використана для подальших прогнозувань задач зi схожими залежностями у моделях даних. На основi отриманих результайв встановлено ефективну здатнiсть прогнозування розробленого методу для вибiрок великого розмiру.
Ключовi слова: полiномiальнi моделi регреси, нейронна мережа, автоасоцiативна нейронна мережа, метод групового урахування аргументов, модель геометричних перет-ворень.
Вступ. Статистичш методи побудови емпiричних формул з використан-ням множинного регресiйного ан^зу недостатньо ефективнi для випадкiв ic-
тотно!' нелшшносп залежностей, а також для майже вироджених задач. Штучнi нейроннi мережi (ШНМ) традицiйного типу, якi виявляються важливою альтернативою в подiбних випадках, реалiзують варiант апроксимацií залежностей за принципом "чорно1 скриньки", що не завжди задовольняе користувача шстру-менту моделювання. Крш цього, ШНМ традицшного типу не забезпечують повторюваносп результатов навчання через початкову равдошзацда параметров, мають певнi трудношд при налагодженнi структури. Розглянемо можливкть застосування нейроподiбних структур на основi моделi геометричних перетво-рень (МГП) для здiйснення багатофакторного параметричного синтезу апрокси-муючих полiномiв високих степешв. Загалом, ШНМ МГП, забезпечують швид-ке, неiтеративне навчання за умов досягнення високо!' точностi генералiзацií, результати якого повторюваш, забезпечують побудову емтричних формул за результатами такого навчання [1]. Разом з тим пропоноваш варiанти нейроме-реж МГП базуються на одношарових структурах, що обмежуе використання полiномiв високих степенiв для варiантiв функцiонального розширення входав ШНМ. Отже, важливим завданням можна вважати розвиток архггектурних засад побудови багатошарових ШНМ МГП з використанням принципiв функщ-онального розширення, зокрема для створення ефективних емпiричних формул.
Опис методу побудови емшрично! формули. В основу шдходу покла-дено метод формування ряду Вiнера (iншi вiдомi назви "полiном Колмогорова-Габора", "розклад 1то" [2-4]) шляхом покрокового синтезу структури i навчання ШНМ МГП. Загалом ряд Вшера розглядають як дискретний аналог ряду Воль-тери. У загальному випадку ряд Вшера мае вигляд [5]
п п п п п п
У (хЬ..., Хп) = ао + 2 ЩХ1 + 22 аих'х] + 222 аЦкхгхХ + .... (1)
1=1 1=1 ]=1 1=1 ]=1 к=1
Вибiр ряду Вшера як ефективного апроксиматора теоретично обгрунто-вуеться теоремою Вейерштраса [6]. Покращення його точностi на задачах зi к-тотною нелiнiйнiстю досягаеться за допомогою збшьшення степеня полшома. Одночасно побудова ряду Вiнера (1) для високих степешв на основi заданих табличних даних обмежуеться очевидними обставинами:
• стрiмке збiльшення юлькосл членiв ряду;
• великi похибки узагальнення, що одночасно наявт за малих похибок навчання. Вiдомий ефективний спосiб усунення наведених обмежень на основi застосування методу групового урахування аргументiв (МГУА), в основу якого закладено певний генетичний алгоритм синтезу моделi оптимально!' складностi з використанням системи зовшшнх критерiíв ощнювання [7]. Побудова систем самоорганiзацií за методом МГУА базуеться на таких принципах:
• Принцип самооргатзацп моделi.
• Гьоделiвський пiдхiд при самооргатзацп моделей.
• Зовтшт критерп селекцц моделей.
• Розбивка таблицi даних на частини: навчальна, перевiрочна та екзаменацшна вибiрка.
• Принцип збереження свободи вибору.
• Застосування евристичних методiв.
• Одночасне моделювання на рiзних рiвнях спiльностi мови математичного опи-су об'eктiв.
• Принцип зовтшнього доповнення, який мае недолш, а саме необхiднiсть юну-вання зовнiшнього критерiю оптимальностi для виршення задач iнтерполяцií, тому що внутрiшнi критерií, що не використовують н1яко!' додатково! шформа-цií, при юнувант шумiв i завад у вхщних даних не можуть виршити задачу ви-бору моделi оптимально! складносп.
• Гiпотеза селекцп, яка накладае обмеження на кiлькiсть поколшь селекцп. За-надто велика юльюсть поколiнь приводить до того, що шформацшна матриця стае погано обумовленою, але з iншоí сторони чим складтше задача селекцп, тим бшьше потрiбно поколiнь для одержання моделi оптимально! складностi. Як зазначено вище, усунення наведених обмежень досягаеться шляхом
застосування МГУА, основою якого е певний генетичний алгоритм синтезу мо-делi оптимально!' складностi.
Опис методу синтезу полшома Вiнера на основi застосування нейро-мереж МГП:
• побудова полшома здшснюеться iз застосуванням головних компонентах (ГК), видiлених автоасощативною нейромережею МГП на об'еднанiй вибiрцi вхiдних даних (для навчання i застосування);
• дисперс1я ГК зпдно з нейропарадигмою МГП зменшуеться, починаючи вiд пер-шо! з них i до останньо!;
• ГК з дуже малою дисперсiею вщкидаються (причому враховуеться тiльки дис-перс1я, обчислена для даних тренувально! вибiрки), це логiчно, оскiльки вихiд формуеться як лшшний полiном вiд ГК i якщо крутизна виходiв по остантх ГК (коли коефiцiенти для них мал^ мала, то 1'х вiдкидання помiтно не погiршить точтсть через незначний внесок малих доданюв суми, але якщо крутизна велика i такi ГК не вщкинути, то точнiсть в режимi застосування рiзко впаде (невелик вiдхилення по цих ГК дадуть велик викиди для 1'х доданюв - варiант майже виродженостi).
• пор^ вiдкидання ГК в наявнш бiблiотецi структур МГП встановлений i реалi-зуеться автоматично, але е дуже малим, тому пропонуеться його робити ре-гульованим - А, який би встановлювався для рiзних задач, але при збереженнi також вже наявного порогу;
• встановлення робити шляхом обчислення середнього квадратичного вщхилен-ня (СКВ) - а для кожно! ГК, де залишаються тiльки тi ГК, для яких а > А. Нейромережевий синтез полiнома Вiнера, що реатзуеться нейромереж-
ним комплексом, здшснюеться за допомогою каскаду з двох штучних нейрон-них мереж МГП [7], де першою е ШНМ в автоасощативному режиш й застосування. Автоасощативна нейронна мережа (ААНМ) будуеться i навчаеться ко-жен раз наново у ввдповвдному цикл, використовуючи як вхiднi данi кожного циклу результати попереднього циклу [8]. На першому циклi множина векторiв
ГК1 вид1ляеться цiею ШНМ на основi множини вхiдних вектор1в X, пiсля вiд-кидання ГК з малими середнiми квадратичними вiдхиленнями (СКВ), множина
вектор1в ГК1 розглядаеться як множина векторiв нових вход1в. Для нових входiв виконуеться повне квадратичне розширення, далi новi входи i 'х розширення подаються на нову ААНМ (попередньо навчаючи й) i вид1ляеться нова множи-
ну вектор1в ГК2; шсля вiдкидання ГК з малими СКВ отримаш новi ГК розгля-даються як ще новiшi входи. Для цих входдв виконуеться повне квадратичне розширення, i новi входи i 'х розширення знову подаються в ААНМ i знову ви-дiляються новi входи. Метод нейромережевого синтезу може бути описаний
якiсною анаштичною формулою. Аналiтична формула може бути використана користувачем для подальших прогнозувань задач зi схожими залежностями у моделях даних. Проведеш дослiдження довели, що обчислення анал^ично! формули вщтворюе результати роботи нейромережевого комплексу.
Результата чисельних експерименпв. Як демонстрацiйний приклад використано експериментальш данi прогнозування енергонавантаження елек-тромережi на основi 11 вхщних дiючих факторiв. Тренувальна вибiрка задачi складаеться з 365 вхщних векторiв, що мiстять по 11 стовпцiв-входiв та один стовпець-вихщ. Тестова вибiрка вiдповiдно складаеться з 214 векторiв (рис. 1). Для побудови графшв використано графiчну бiблiотеку ZedGraph [9].
М АР = 1204-9.4-44 МАРЕ = 0.030 М Э Е = 323866735.598 И = 0.984 ЭАЕ = 2578580.976
Рис. 1. Результат застосування розроблено! програми для експериментальних даних прогнозування енергонавантаження електромереж
Розроблена програма демонструе високу точнють прогнозування, при розв'язуванш задач з великими об'емами тренувальних вибiрок. Вщтак вщносна похибка прогнозування становить 3 %. Формулу, яку отримано внаслщок робо-ти нейромережевого комплексу, показано на рис. 2.
ДБ / Градкнт Генератор Формул ВЫ И
Файл Вимд
Трвмувальна виб||жз | Тестува^иа вибрка | Вибр1рка застосяваьия Показаги згенероеач фор*к(лу |
у = 11266464.4500484 + (6600006 53630636*х1*х1) + (5696754 7380483*х2'х1) + (1010703.9614723"х2*х2) + (-943871.137796277 *хЗ*х1) + (-300857.040917991*хЗ"х2) + (590397 9289В92ЭГхЗ*хЗ) + (18728.220107137В*х4*х1) + (-108315 120643625*х4*х2) + (-30788.5в639205бв*х4'х3) + (15834.1072950978*х4*х4) + (-1243.37077734806"х5*х1) + (32 420650В963819*х5"'х2) + (311 720028292388*х5'х3) + (-671 38143552606"х5*х4) + (-78.393872424960 Гх5*х5) + (437262.381306Э39*х6'х1) + (152830.806403978*х8*х2) + (-71В04.63В5В36В11*х6*хЗ) + (8543.47209572233*х6'х4) + (-98.3490374311805"хБ"х5) + (-274359.928015187*х6*х6) + (-69993.7487867456"х7*х1) + (8479.1464719139*х7*х2) + (-51933.7895446233*х7*х3) + (12329 9285570122*х7*х4) + (-818.5274221710В6*х7*х5) + (-872В.38787В0Э1Э4*х7'хВ) + (38В73 58188Э838*х7*х7) + (3578.872778В506*хВ»х1) + (-35352.8224027811*х8*х2) + (0*х8*хЗ) + (-21610.7550278287,х8*х4) + (-1148.13430681122*х8*х5) + (2816.19638041407*х8*х6) + (О-хв'х?) + (37679.2373273298*хРх8) + (5485.37530516274"х9*х1) + (-3167.0015105363*х9*х2) + (6133 64186031558*х9*хЗ) + (598.Э75664123вЭЗ'хЭ*х4) + (-13.4953555241227*хЗ*х5) + (724.566Б35351154*х9'х6) + (510 Э074844ЭЭ73В*х9"-х7) + (-840 958821956068'*х9*х8) + (5В.1В72244В86389*х9*х9) + (-3511 64351210557*х10*х1) + (-202.97354314В48В*х10*х2) + (348.376487929374*х10*х3) + (661.768070694059*х10*х4) + (-2.42274542339146*х10*х5) + (-!34.703265825287*х10'х8) + (262.87В7254802ВВ*х10«х7) + (533.499235846102"х10'х8) + (-15 4066920038313*х10"х9) + (10 4542194325477*х10*х10) + (349183.33547024В*х11*х1) + (-137492-283229496"х11*х2) + (521 В2 02775932ВВ*х1 ГхЗ) + (11263 9451119117'х11*х4) + (-250.306699385867"х11"х5) + (22818.855163395"х1 Гхб) + (6797.9369390314ГХ1Гх7) + (5564 0073100374Гх1Гх8) + (-2196.531В28Э9ВЗВ"х1 ГхЗ) + (14.85517183В5173'х1 Гх1В) + (-23118.0576363201*х11*х11) + (-17507478.306466В*х1) + (-6916476.7700772*х2) + (590397,928969234*х3) + (15834.1072951108*х4) + (1183В.7378359124*х5) + (-274359.928015195"х6) + (39873.581889В38'х7) + (37679.2373273261*х8) + (-498.25716675818'хЭ) + (5333 20307432027'х10) + (-153506.273791185'х11)|
Рис. 2. Анал1тична формула
Висновки. Розроблений метод забезпечуе формування елементами структури ШНМ МГП полiномiв для моделювання багатофакторних залежнос-тей 3i ктотною нелiнiйнiстю. Синтезований полiном можна застосувати як у нейромережному варiантi "чорно! скриньки", так i в явному вигляд^ використо-вуючи результати навчання нейронно! структури, де шляхом застосування ок-ремого модуля нейромережевого комплексу забезпечуеться згенерування аналь тично! формули. Програмний продукт, створений на базi описаного методу, забезпечуе таю властивостг
• унiверсальнiсть застосування для даних з малою i великою po3MipmcTO;
• високу точтсть в режимi застосування навченого предиктора;
• генеращю якiсноí аналiтичноí формули для подальшого прогнозування;
• вiдсутнiсть спещальних вимог до математично'1 та комп'ютерно'1 квалiфiкацií
користувача.
Лiтература
1. Ткаченко Р.О. Самооргашзащя полiномiальних моделей регреси в нейрошощбних структурах геометричних перетворень / Р.О. Ткаченко, С.М. Дем'янчук // Вюник Львгвського державного ушверситету безпеки життeдiяльностi : зб. наук. праць. - Львгв : Вид-во Львгвського ДУ БЖД. - 2014. - № 9. - С. 12-17.
2. Sergii Demianchuk Improving the generalization quality in the neural structures of general regression // Computer science & information technologies (CSIT'2013), 2013. - Lviv, Ukraine.
3. Gabor D. A universal nonlinear filter, predictor and simulator which optimizes itself by a learning process / D. Gabor, W.R. Wilby, R.A. Woodcock // Proc. Inst. Electr. Engrs. - 1961. - Vol. 108., part B. - № 40. - Pp. 85-98.
4. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Известия АН СССР. - Сер.: Математическая. - Т. 5:1, 1941. - С. 3-14.
5. Weiner N. The Extrapolation Interpolation and Smoothing of Stationary Time-Series. I. Willey, New York, 1949. - 290 p.
6. Wеiеrstrass К., Abhandlungen aus der Funktionenlehre, В., 1860; Math. Werke, Bd 2, В.,
1895.
7. Ивахненко А.Г. Помехоустойчивость моделирования / А.Г. Ивахненко, В.С. Степашко. -К. : Изд-во "Наук. думка", 1985. - 236 с.
8. Mladenov V. On the recurrent neural networks for solving general quadratic programming problems / V. Mladenov // Neural Network Applications in Electrical Engineering, 2004. - 236 p.
9. Haykin, Simon. Adaptive Filter Theory, 4th Ed. Upper Saddle River, NJ: Prentice Hall, 2002.
10. ZedGraph: A flexible charting library for.NET. [Electronic resource]. - Mode of access http://www. codeproject.com/Articles/5431/A-flexible-charting-library-for-NET
Ткаченко Р.А., Демьянчук С.М. Построение эмпирических формул с помощью многослойных нейроподобных структур геометрических преобразований
Предложены методы построения самоорганизационных полиномиальных моделей регрессии с функциональным расширением сигналов на основе машины геометрических преобразований. Функциональное расширение входных сигналов реализуется с помощью набора полиномов Колмогорова-Габора. Для построения полинома Колмогоро-ва-Габора используются главные компоненты, которые выделяются путем построения автоассоциативной сети на основе входных и выходных сигналов. Приведены результаты построения аналитической формулы, которая может быть использована для дальнейших прогнозирований задач с похожими зависимостями в моделях данных. На основе полученных результатов установлена эффективная способность прогнозирования разработанного метода для выборок большого размера.
Ключевые слова: полиномиальные модели регрессии, нейронная сеть, автоассоциативная нейронная сеть, метод группового учета аргументов, модель геометрических преобразований.
Tkachenko R.O., Demyanchuk S.M. The Construction of Empirical Formulas using Multilayer Neural Structures of Geometric Transformations
The construction of the methods for self-organizational polynomial regression models with functional extension of signals based on geometric transformations machine are proposed. Functional extension of the input signals is implemented by a set of Kolmogorov-Gabor polynomials. To construct Kolmogorov-Gabor polynomial, principal components are used, that are marked out by building auto-associative network, based on the input and output signals. The results of analytical formulas can be used for further forecasting tasks with similar dependencies in the data model. Based on the results, an effective forecasting ability of this method for large samples is found.
Keywords: polynomial regression models, neural network, auto-associative neural network, group method of data handling, the model of geometric transformations.
УДК 519.765 Асист. 1.Ю. Хомицька;
проф. В.М. Теслюк, д-р техн. наук - НУ "Львiвська полтехшка"
МОДЕЛЬ СТАТИСТИЧНОГО АНАЛ1ЗУ ПРОЦЕСУ ФУНКЦЮНУВАННЯ
ГРУП АНГЛШСЬКИХ ПРИГОЛОСНИХ ФОНЕМ У СИСТЕМ1 ФУНКЦЮНАЛЬНИХ СТИЛ1В
Проаналiзовано здатшсть кожно! iз груп приголосних фонем розмежовувати тек-сти, що репрезентують функщональш стилi англшсько! мови. Доведено, що середш частоти груп приголосних фонем е критерieм диференщацп зютавлених текспв. Роз-роблено модель визначення стилерозмежувально! потужност груп приголосних фонем, яка встановлюе мюце кожно! групи приголосних фонем у системi дослщжуваних функщональних стилiв: художнього (поезiя, художня проза, драматургiя), розмовного, газетного, наукового. Запропонована модель вщображае специфiку процесу функщону-вання груп приголосних фонем, враховуючи позищю фонем у словi.
Ключовi слова: стилерозмежувальна потужнiсть груп приголосних фонем, пози-цiя фонеми у слов^
Вступ. Характеристика процесу функцiонування груп приголосних фонем у межах системи певного стилю чи системи функщональних стилш перед-бачае врахування статистичних параметрiв. Тому застосування методiв матема-тично! статистики е актуальним у сучасних дослiдженнях. Статистичний метод однозначно, з математичною точнiстю, визначае мкце кожно! групи приголосних фонем у межах певно!, задано! до^дником системи. У наших попередтх статтях [10-15] розглянуто: 1) систему поетичних творiв одного iсторичного пе-рiоду i лiтературного напряму (поезк Дж. Г. Байрона i Т. Мура); 2) систему художнього стилю, який поеднуе пiдстилi поези, художньо! прози, драматургií; 3) систему функщональних стилш англiйськоí мови (художнього, розмовного, газетного, наукового). Частота вживання певно! групи приголосних фонем у межах певно! системи дае шформащю про цю дослвджувану групу фонем щодо 11 здатносп розмежовувати зiставлюванi тексти. Здатнiсть диференщювати тексти рiзних стилiв названо стилерозмежувальною потужнiстю [8].
Методи математично! статистики дають змогу встановити ктотт та не-iстотнi вiдмiнностi за групами приголосних фонем i, цим самим, встановити ступiнь вiдмiнностi мiж текстами, визначити взаемодда мовного та стильового чинниюв, перший з яких виявляе свою даю пiд час встановлення неiстотних вщ-мiнностей, а другий - iстотних вiдмiнностей.
