CC BY
24
HEÉPOIHÔOPMATÈKA TA IHTEËEKTÔAËbHI CÈCTEMÈ
была оценена с помощью среднеквадратичного отклонения и приведена в табл. 1.
Поскольку максимальное значение коэффициента отражения составляет 1, точность интерполяции с помощью нейро-фаззи системы не превышает 5 %, что является удовлетворительным для большинства практических задач.
ЗАКЛЮЧЕНИЕ
Предложенная нейро-фаззи система обеспечивает высокое качество интерполяции двумерных функций, заданных на произвольно расположенных на плоскости узлах, проста в численной реализации, характеризуется высокой скоростью обучения и может найти применение в решении широкого круга задач. В частности, вычислительная простота алгоритма позволяет применять его при подготовке цветных изображений к отображению с использованием профилей печатных устройств в реальном времени.
ПЕРЕЧЕНЬ ССЫЛОК
1. Bishop C. M. Neural Networks for Pattern Recognition. -Oxford: Clarendon Press, 1995. - 482 p.
2. Hristev R. M. The ANN Book. - 1998. - 374 p.
3. Sigitani T., ligumi G., Maeda H. Image interpolation for progressive transmission by using radial-basis functions networks // IEEE Trans. on Neural Networks. - 1999. -10. - Pp. 381-390.
4. Кулишова H. E. Интерполяция коэффициентов отражения красок с помощью радиально-базисной искусственной нейронной сети // Бионика интеллекта. -2006. - № 1(64). - С. 105-109.
5. Jang J. - S.R., Sun C. - T., Mizutani E. Neuro-Fuzzy and Soft Computing. - Upper Saddle River, NJ: Prentice Hall, 1997. - 614 p.
6. Cios K. J., Pedrycz W. Neuro-fuzzy algorithms / In: «Handbook on Neural Computation». - Oxford: IOP Publishing and Oxford University Press, 1997. - D1.3:1-D1.3: 7.
7. Jang J. - S.R. ANFIS: Adaptive-Network-based Fuzzy Inference System // IEEE Trans. on Systems, Man and Cybernetics. - 1993. - 23. - Pp. 665-685.
8. Jang J. - S.R., Sun C. - T, Mizutani E. Neuro-fuzzy modeling and control // Proc. IEEE. - 1995. - 83. - Pp. 378-406.
9. Brown M, Harris C. J. Neural networks for modeling and control / In: Ed. by C. J. Harris «Advances in Intellectual Control». - London: Taylor and Francis, 1994. - Pp. 17-55.
10. Specht D. A general regression neural network // IEEE Trans. on Neural Networks. - 1991. - 2. - Pp. 568-576.
11. Wang H., Liu G. P., Harris C. J., Brown M. Advanced Adaptive Control. - Oxford: Pergamon, 1995. - 262 p.
12. Wang L., Mendel J. M. Fuzzy basis functions, universal approximation and orthogonal least squares learning // IEEE Trans. on Neural Networks. - 1992. - 3. - Pp. 807-814.
13. Wang L. - X., Mendel J. M. Generating fuzzy rules by learning from examples // IEEE Trans. on Systems, Man and Cybernetics. - 1992. - 22. - Pp. 1414-1427.
14. Takagi T, Sugeno M. Fuzzy identification of systems and its application to modeling and control // IEEE Trans. on Systems, Man and Cybernetics. - 1985. - 15. - Pp. 116-132.
15. Zahirniak D. R, Chapman R, Rogers S. K, Suter B. W, Kabrisky M., Pyati V. Pattern recognition using radial basis function network // Proc. 6-th Ann. Aerospace Application of AI Conf. - Dayton, OH, 1990. - Pp. 249260.
16. Parzen E. On the estimation of a probability density function and the mode // Ann. Math. Statist. - 1962. - 38. -Pp. 1065-1076.
17. Надарая Э. A. О непараметрических оценках плотности вероятности и регрессии // Теория вероятностей и ее применение. - 1965. - 10. - № 1. - С. 199-203.
18. Friedman J., Hastie J., Tibshirani R. The Elements of Statistical Learning, Data Mining, Inference, and Prediction. - Berlin: Springer, 2003. - 552 p.
Надшшла 22.10.07
Запропоновано apximeumypy та алгоритм навчання нейро-фазз1 системи, яка призначена для розв'язання зaдaчi iнmерполяцi'i двовимiрниx функцш, що задан на довiльно розташованих на площит вузлах.
The architecture and learning algorithm for the neuro-fuzzy system is proposed. This system is aimed for decision of the interpolation task of two-variable functions, that are known in nodes, which are arbitrary placed on the plane.
YAK 004.032.26
Т. В. Киприч, В. И. Дубровин
АНАЛИЗ МОДИФИКАЦИЙ САМООРГАНИЗУЮЩИХСЯ КАРТ КОХОНЕНА ПО КРИТЕРИЯМ РЕГУЛЯРНОСТИ И ТОЧНОСТИ
АППРОКСИМАЦИИ
Paccмampuвaemcя npoблeмa взauмoвлuянuя peгyляpнo-cmu u moчнocmu annpoкcuмaцuu cemu cpeдu paзлuчныx мoдuфuкaцuй caмoopгaнuзyющuxcя кapm Koxoнeнa. Пpuв-oдumcя cpaвнumeльный анал^ даннъа мoдuфuкaцuй no кoлuчecmвy цuклoв oбyчeнuя кapmы, oшuбкaм квaнmoвa-нua u monoгpaфuчecкoгo ynopядoчuвaнuя нeйpoнoв.
© ^прич T. В., Дубровин В. И., 2007
ВВЕДЕНИЕ
Построение самоорганизующейся карты Кохонена (СОК), адекватно описывающей исходное многообразие данных, качественно связано со значениями топографической ошибки и погрешности аппроксимации.
96
ISSN 1607-3274 «Pадiоелектpонiка. !нформатика. Управлшня» № 2, 2007
Т. В. Киприч, В. И. Дубровин: АНАЛИЗ МОДИФИКАЦИЙ САМООРГАНИЗУЮЩИХСЯ КАРТ КОХОНЕНА ПО КРИТЕРИЯМ РЕГУЛЯРНОСТИ И ТОЧНОСТИ АППРОКСИМАЦИИ
Однако минимизация одного из параметров вызывает определенное противоречие, поскольку сохранение топологических особенностей выборки приводит к ухудшению качества векторного квантования и наоборот [1]. Подобный эффект наблюдается независимо от соответствия структуры карты распределению обучаемого множества. При этом точность аппроксимации зависит от векторного квантования, а регулярность определяет меру сохранения особенностей топологии выборки.
Основной целью векторного квантования является извлечение векторов прототипов из множества данных, которые представляют и аппроксимируют многообразие данных наилучшим образом. При поступлении на вход устройства квантования нового вектора, в первую очередь определяется область, к которой он принадлежит, а после этого создается представление через вектор воспроизведения (прототип) данной области [2]. Таким образом, входное пространство подразделяется на множество четких областей, для каждой из которых определяется свой вектор воспроизведения.
Топологическая упорядоченность в терминах СОК означает, что соседние компоненты в латентном пространстве являются также ближайшими в исходном многообразии [3]. Данное свойство является прямым следствием уравнения перемещения весового вектора победившего нейрона и его окружения в сторону входных данных. С помощью топографической ошибки оценивается величина локального искажения карты (степень регулярности) по расположению нейрона относительно его окружения.
Проведенные ранее исследования дилеммы «регулярность - точность» показали, что такая закономерность не имеет отношения к реальному конфликту в выборке и возникает вследствие свойств обучения СОК [1].
ПОСТАНОВКА ЗАДАЧИ
Существующие модификации СОК по-разному расставляют акценты при решении задачи оптимального расположения нейронов сети. Рассмотрев алгоритмы основных модификаций, проведем сравнительный анализ качества полученных результатов по соответствующим показателям карты.
АЛГОРИТМЫ ОБУЧЕНИЯ НЕКОТОРЫХ
МОДИФИКАЦИЙ СОК
Исходный алгоритм построения СОК (Sequential SOM либо SEQ SOM) можно описать следующим образом [4]:
1) инициализация весов нейронов случайными величинами Wj;
2) предвыборка. Выбор вектора x из исходного множества X с определенной вероятностью;
3) определение нейрона победителя, используя минимум Евклидова расстояния:
c = argmin||x - Wj||; (1)
4) коррекция векторов синаптических весов всех нейронов в соответствии со следующей формулой:
wj(t + 1) = wj(t) + ahuc(t)(x - wj(t)), (2)
где a(t) - параметр скорости обучения; hj,c (t) - функция окрестности с центром в победившем нейроне;
5) повторение шагов 2-4 до тех пор, пока на карте признаков не перестанут происходить заметные изменения.
Обучение сети обычно выполняется в два этапа [5]:
1. Этап 1. Ordering / Rough-Tuning. На первом этапе обычно используются относительно большие значения начальной скорости обучения и радиуса настройки соседей.
2. Этап 2. Fine-tuning. На втором этапе скорость обучения a(t) и 0,01, а радиус обучения - выбирается так, чтобы в движении участвовало 2-3 узла.
Рассмотрим несколько характерных модификаций данного алгоритма.
Пакетный алгоритм (batch SOM), также как и SEQ SOM является итеративным, но смещение весовых векторов происходит в конце каждой эпохи обучения, т. е. после того, как карте будут представлены все записи [6]:
n
X К С (t)xj Wi( t + 1) = —n-. (3)
I hi, c(t)
j = 1
В результате, порядок представления входных образов не оказывает влияния на окончательную форму карты признаков и пропадает необходимость в зависимости скорости обучения от времени [2]. В последнем случае преимуществом является устранение потенциального источника плохой сходимости, когда коэффициент a(t) подобран не должным образом.
Основной целью Regularized SOM является улучшение гладкости сгенерированной карты. Для этого вводится понятие «идеального положения» нейрона. Поскольку под «хорошей» регулярностью понимается такое местоположение весового вектора, при котором он располагается на прямой линии L, между левым и правым соседями, идеальное положение определяется с помощью ортогональной проекции данного вектора на прямую L. Соответственно, для сетки правило движения нейрона модифицируется таким образом, чтобы помимо смещения в сторону входных данных, весовой
НЕЙР01НФ0РМАТИКА ТА 1НТЕЛЕКТУАЛЬН1 СИСТЕМИ
вектор испытывал смещение относительно своего «идеального положения». Таким образом, достигается частичное спрямление линии, соединяющей три соседних узла, и сетка становится более гладкой [1].
Модификация AdSOM сводит величину топографической ошибки практически к нулю за счет локальной настройки радиуса захвата соседей 8^. В результате карта оказывается менее «изогнутой», что приводит к несколько худшей точности аппроксимации [5].
Алгоритм Density Tracking SOM аналогичен Batch SOM, за исключением того, что процедура смещения узла происходит в сторону более «весомого» соседа, в окрестности которого большее количество точек данных [5]:
wi +1 = wi + 8Wj, (4)
где wj - центр одного из соседних таксонов, в котором содержится максимальное (среди всех соседей) количество точек; 8 - некоторый параметр порядка десятых единицы.
В результате применения Density Tracking SOM в областях скопления данных оказывается большее количество узлов, чем в разреженных областях [5].
Таким образом, перечисленные алгоритмы СОК стремятся сделать сетку или более гладкой, или лучше соответствующей локальной структуре данных.
Проведем численное сравнение данных модификаций.
СРАВНИТЕЛЬНЫЙ АНАЛИЗ
МОДИФИКАЦИЙ СОК
При исследовании свойств алгоритмов СОК параметрами качества сети были выбраны: погрешность аппроксимации MSE, топографическая ошибка TPE и число итераций.
MSE рассчитывалась, как среднеквадратичное расстояние от точки данных до ближайшего к ней образца
[5]:
ШЕ = N IIIх' - УЬши(хг)||2> (5)
Ч ! = 1
где уьти(Хг) - ближайший к точке данных X' образец.
При определении топографической ошибки исходили из того, что для некоторых точек данных ближайший узел сетки и второй по близости не являются соседями. Такие точки были названы неустойчивыми [5]. В результате топографическая ошибка ТРЕ рассчитывалась как отношение числа неустойчивых точек к общему количеству точек исходного многообразия.
Число итераций указывало, сколько раз для каждого метода происходит полное обучение карты выборкой.
В качестве анализируемой информации были выбраны данные из файла 'iris.dat' [7]. Файл содержал 150 строк. Измерения проводились по четырем показателям. Карта, с помощью которой осуществлялось обобщение информации, имела следующие параметры:
1) тип - прямоугольный;
2) размер 10x10;
3) процесс обучения заканчивался при достижении определенного уровня точности настройки карты.
По результатам обработки информации из 'iris.dat' была составлена табл. 1. Значения параметров алгоритмов в данной таблице были зафиксированы, после этапа тонкой настройки, без учета «Rough-tune».
Таблица 1 - Сравнение различных алгоритмов СОК
№ Алгоритм СОК MSE TPE Число итераций
1 SEQ SOM 0,32 0,25 230
2 Batch SOM 0,18 0,28 40
3 Density Tracking SOM 0,12 0,3 22
4 Regularity SOM 0,27 0,074 50
5 Adaptive SOM 0,48 0,061 212
Минимальные значения 0,12 0,061 22
Информация в табл. 1 показывает, что с помощью Density Tracking SOM была получена самая высокая точность аппроксимации, и понадобилось наименьшее количество циклов обучения карты выборкой, а Adaptive SOM определил минимум топографической ошибки. Однако для данных алгоритмов, наряду с оптимальными значениями исследуемых параметров, наблюдается дилемма «регулярность - точность». Расчет соотношений погрешностей MSE и TPE, как JAR, приводится в табл. 2.
Таблица 2 - Нахождение оптимального соотношения MSE-TPE
№ Алгоритм СОК MSE TPE mse2+tpe2, AR JAR
1 SEQ SOM 0,32 0,25 0,16 0,4
2 Batch SOM 0,18 0,28 0,11 0,33
3 Density Tracking SOM 0,12 0,3 0,10 0,32
4 Regularity SOM 0,27 0,074 0,08 0,28
5 Adaptive SOM 0,48 0,061 0,23 0,48
Минимальные значения 0,12 0,061 0,08 0,28
98
ISSN 1607-3274 «Радюелектронжа. 1нформатика. Управлшня» № 2, 2007
О. Г. Руденко, А. В. Заец, Ю. Э. Ткач: УПРАВЛЕНИЕ НАГРУЗКОЙ В РАПРЕДЕЛЕННОЙ КОМПЬЮТЕРНОЙ СИСТЕМЕ ПРИ ПОМОЩИ НЕЙРОННЫХ СЕТЕЙ
1 2 " 4 5
номер алгоритма СОК
Рисунок 1 - Диаграмма соотношения MSE-TPE для данного эксперимента
На рис. 1 представлена диаграмма изменения JAR для перечисленных модификаций. В результате алгоритм Regularity SOM имеет оптимальное соотношение данных показателей, поскольку обладает минимальным значением TAR.
ВЫВОДЫ
Сравнительный анализ величин погрешности аппроксимации и топографической ошибки упорядочивания нейронов среди различных алгоритмов СОК показал что, с помощью Density Tracking SOM была получена самая высокая точность аппроксимации, и понадобилось наименьшее количество циклов обучения карты выборкой, а Adaptive SOM определил минимум топографической ошибки. Однако для перечисленных модификаций, наряду с оптимальными значениями исследуемых параметров, характерна диллема «регу-
лярность - точность». Результаты расчета наилучшего соотношения погрешности аппроксимации и топографической ошибки упорядочивания нейронов, показали, что карта, построенная с помощью Regularity SOM, обладает оптимальными суммарными показателями.
ПЕРЕЧЕНЬ ССЫЛОК
1. Josef Goppert. Wolfgang Rosenstiel Regularized SOM-Traning: A solution to the Topology-Approximation Dilemma? Режим доступа: http://citeseer.ist.psu.edu/ 422534.html, свободный. - Загл. с экрана. - Англ.
2. Саймон Хайкин. Нейронные сети: полный курс, 2-е издание // Пер. с англ. М.: Издательский дом «Виль-ямс», 2006. - С. 1104.
3. J. J. Verbeek, N. Vlassis. The generative self-organizing map: a probabilistic generalization of Kohonen's SOM // Technical Report IAS-UVA-02-03 on European Symposium on Artificial Neural Networks 2003, Amsterdam. Доступный режим: http://citeseer.ist.psu.edu/verbe-ek02generative.html, свободный. - Загл. с экрана. -Англ.
4. Juha Vesanto, Johan Himberg. SOM Toolbox for Matlab5. Доступный режим: http://www.cis.hut.fi/projects/somto-olbox/package/papers/techrep.zip, свободный. - Загл. с экрана. - Англ.
5. Зиновьев А. Ю. Визуализация многомерных данных: Монография. Красноярск: ИПЦ КГТУ, 2000. - 168 с.
6. Amalendu Roy. A survey on data clustering using self-organizing maps. Доступный режим: http://www.cs. ndsu.nodak.edu/~amroy/courses.html, свободный. - Загл. с экрана. - Англ.
7. http://www.ihes.fr/~zinovyev/vida/vidaexpert.htm.
Надшшла 5.11.07
Розглядаеться проблема взаемовпливу регулярност1 та точност1 апроксимацИ с1тки серед р1зних модиф1-кацш власнеоргатзованих карт Кохонена. Приводиться пор1вняльний анал1з даних модифтацш по тлькост1 цикл1в навчання карти, похибкам квантування й топо-граф1чного впорядковування нейротв.
The interference problem of accuracy and regularity of the net among various self-organizing Kohonen's map modifications is considered. The comparative analysis of these modifications over the cycles amount of training map, errors of quantization and topographical neurons ordering is given.
УДК 004.3:004.6
О. Г. Руденко, А. В. Заец, Ю. Э. Ткач
УПРАВЛЕНИЕ НАГРУЗКОЙ В РАПРЕДЕЛЕННОЙ КОМПЬЮТЕРНОЙ СИСТЕМЕ ПРИ ПОМОЩИ НЕЙРОННЫХ СЕТЕЙ
Разработка диспетчера распределенной компьютерной системы на основе нейронных сетей персептронного типа разрешила упростить процесс управления ресурсами распределенной компьютерной системы благодаря предложенной системе оценивания задач по критерию необходимых ресурсов. Использование нейронных сетей разрешает сократить время оценивания и повысить точность © Руденко О. Г., Заец А. В., Ткач Ю. Э., 2007
оценки, которая разрешит более точно выбрать вычислительные ресурсы, на которые будет выполняться задача.
ВВЕДЕНИЕ
При построении распределенных компьютерных систем возникает проблема эффективного управления
