CC BY
72
№ 5 (35) 2011
В. В. Аюев, канд. техн. наук, доцент Калужского филиала МГТУ им. Н. Э. Баумана
Метод динамической реконфигурации и обучения сети на основе радиально-базисных функций
Основным препятствием, возникающим на пути практического внедрения нейросетевых приложений на основе радиально-базисных функций, является требование полноты обрабатываемых выборок данных. По этой причине особый интерес представляют методы, свободные от указанного ограничения.
Введение
Искусственные нейронные сети (ИНС) на основе радиально-базисных функций (РБФ) являются эффективным средством решения широкого спектра задач [1]. Их отличает простота архитектуры и высокая репрезентативная мощность. Качество работы этих сетей во многом зависит от эффективности кластеризации данных, в результате которой определяются центры базисных функций (БФ) и их дисперсии. Ключевой параметр архитектуры сетей РБФ — количество базисных функций, ограничивающее число узлов аппроксимации. Корректный подбор количества базисных функций позволяет достичь оптимального соотношения между обобщающей способностью сети и точностью ее настройки на конкретные обучающие данные.
Первой широко известной моделью сети РБФ с динамической структурой скрытого слоя, позволившей автоматизировать подбор значений параметра К, стала модель Платта [2], усовершенствованная позже в ряде работ, например [3, 4]. Труды отдельных отечественных научных школ, посвященные вопросу автоматизации подбора архитектуры РБФ-сетей, фокусируются как на локальных модификациях алгоритмов обучения [5, 6], так и на применении бионических моделей [7] для оптимизации числа БФ [8, 9]. Последние обладают хорошим
118 J-
потенциалом, что обуславливает рост интереса к использованию распределенных интеллектуальных систем для оптимизации нейросетевой архитектуры [10, 11]. Альтернативу описанным решениям составляют методы, основанные на специальных подходах к плотностной кластеризации, в результате проведения которой определяется оптимальное число БФ и устанавливаются их ключевые характеристики [12 - 14].
Общим недостатком большинства предложенных решений является требование полноты обрабатываемых выборок, что делает применение подобных методов для работы в системах с динамически изменяющимися данными, например в системах управления, малоэффективным по сравнению с такими специализированными нейроархи-тектурами, как сети Джордана, Элмана или рекуррентные многослойные персептроны. В настоящей работе предложен новый механизм формирования и настройки скрытого слоя РБФ, позволяющий снять указанное ограничение и оптимизировать структуру сети в режиме реального времени.
Метод динамической реконфигурации и обучения ИНС РБФ
Функционально ИНС РБФ представляет собой трехслойную нейронную сеть (рис. 1), состоящую из распределительного слоя N передаточных нейронов, скрытого слоя К
№ 5 (35) 2011
радиальных нейронов и выходного слоя М нейронов (как правило, с линейной актива-ционной функцией).
> У1
*■ У2
* Ум
лагаемой модели положен механизм учета активности скрытых радиальных нейронов для динамической адаптации ИНС к данным. Ключевым понятием здесь является потенциал Ъ,к активности к-го радиального нейрона, рассчитываемый в соответствии с выражением:
Ь _ Фк (х)
Ьк _ ,
ех
р (IIх - Мк1 |}£ф/ (х)
(к _ 1,2,...К). (3)
Рис. 1. Структурная схема нейронной сети РБФ
Выход ИНС будет определяться выражением:
У _^/1ф1 (х) + 0/ (/_ 1,2,...М), (1)
у _1
где у, — выход /-го нейрона выходного слоя ИНС РБФ (/-ый выход сети); К — число БФ; wjj — весовой коэффициент связи между у'-м радиальным нейроном и /-м нейроном выходного слоя сети; х _(, х2.....хы) — сигнал, поданный на вход сети; фу — выход у'-го радиального нейрона; 8, — смещение /-го нейрона выходного слоя.
Функция радиального нейрона может быть определена различными способами [15]. В настоящей работе применялась гауссова функция с Евклидовой метрикой вида:
Фк (х)_ ехР
1 к(к _ 1,2,.К, (2) IIх - м*|| _уХ(х/ -м,к)
где ок — дисперсия к-й базисной функции;
Мк _(,^2к.....Мш)7 — координаты центра
к-ой базисной функции.
В отличие от классической сети РБФ со статической архитектурой, в основу пред-
В случае если потенциал некоторого радиального нейрона с индексом к превысит пороговое значение £7, в архитектуру сети добавляют еще Я радиальных нейронов (где Я — определяемый пользователем параметр), причем у нейрона с превышенным потенциалом и у добавленных радиальных нейронов устанавливаются следующие значения параметров:
М, _ аМк + Р/х;
о, _ а,ок
((_ к,К + 1,К + 2.....К + Я 1),
(4)
где величины 0,9 < а < 1,1 и 0 < р < 0,1 выбираются из указанных диапазонов случайным образом для каждого нейрона; мк соответствует центру БФ с превышенным потенциалом активности до обновления параметров.
После добавления новых радиальных нейронов рассчитываются их выходные значения при заданном входном сигнале х и производится настройка весовых коэффициентов связей, соединяющих их с нейронами выходного слоя, в соответствии с выражением:
w■ _ —^— у Яф , (х)
К фк (х) + ^ (х)- Уу (х)]
(5)
((_ к,К + 1,К + 2.....К + Я -1;у _ 1,2.....М),
где (х) — целевое значение у'-го выхода сети при предъявлении входного сигнала х; уу (х) — актуальное значение у'-го выхода сети при предъявлении входного сигнала х;
119
со аа
№ 5 (35) 2011
у, — нормировочные переменные, причем
I,У, =1.
Ранние работы по автоматизации подбора архитектуры РБФ [2, 3] предполагали только наращивание сети. В настоящем подходе присутствует механизм динамической редукции слоя радиальных нейронов. Для его реализации требуется установить наличие или отсутствие статистической взаимосвязи между выходами радиальных нейронов и нейронной сети, т. е. информационную ценность межнейронной связи. Для этого используется величина взаимной информации [1б], определяемая через энтропию и условную энтропию:
1
г Й чз
8 I
её
Её
и о
<и и
г I
0
г
6 И
1 §
I I
ч
I ( У, ) = Н (ф,)-н (ф,I у , ) = = н (у,)-н (у уф, ) =
= Н (ф,)+Н (у,)-Н (у, ,ф(.),
(6)
где ф, = (р((1),ф(2).....р(Р)) — вектор выходных
значений /-го радиального нейрона, полученный при предъявлении всех Р вход^ых
сигналов из выборки; у, =(у((),у(2).....у(Р)) —
вектор выходных значений ,-го нейрона выходного слоя сети, полученный при предъявлении всех Р входных сигналов из выборки.
В соответствии с [17] энтропия может быть численно выражена через вариации:
К
Н (ф, ) = 7Т [1 + 1п2п]аг (ф,)
М
(7)
Н (у, ) = Т [1 + 1п2п]аг (у,).
В случае если величина взаимной информации между парой нейронов близка к 0, связь между ними должна быть разорвана. Радиальные нейроны, у которых разорваны связи со всеми нейронами выходного слоя, удаляются из сети.
Если радиальный нейрон , (1 < , < К) удаляется из сети, осуществляется поиск ближайшего к нему (например, в смысле метрики Евклида) нейрона к (1 < к < К, I ф к), весо-
вые коэффициенты которого перенастраиваются в соответствии с выражением:
% = ™к]+ ^ф^ (( = 1,2.....М . (8)
фк
Алгоритм динамической реконфигурации и обучения ИНС РБФ состоит из следующих этапов:
1. Установка значений рабочих параметров: К (начальное количество БФ), Я, V (максимальное количество эпох обучения), £т, Етах (допустимая величина ошибки обучения ИНС), 1тпп (минимальная допустимая величина взаимной информации для сохранения межнейронной связи). Инициализация переменных: р = 1 (счетчик примеров в обучающей выборке), V = 1 (номер эпохи обучения).
2. Создание ИНС РБФ с N распределительными нейронами, К скрытыми нейронами и М нейронами в выходном слое. Инициализация весовых коэффициентов сети, установка центров радиальных нейронов и их дисперсий в соответствии с алгоритмами к-средних [18].
3. Выбор обучающего примера х р) из выборки, предъявление его на вход ИНС, получение выхода сети у (р).
4. Анализ потенциалов активности у каждого радиального нейрона (к = 1,2,...К ) в соответствии с выражением (3).
1) Если > £т, то добавить еще Я- радиальных нейронов, настроив параметры в соответствии с выражениями (4) и (5). Обновить К: К = К + Я — 1.
2) Если 1к < 1Т и I (фк, у,) < 1т|П, то разорвать связь wkj. Если у радиального нейрона к окажутся разорванными все связи с нейронами выходного слоя, осуществить пересчет весов ближайшего к нему нейрона в соответствии с выражением (8); обновить К: К = К- 1.
3) Если 1к < 1т и 1(фк, у) ^ 1т1п, то обновить весовой коэффициент wk, j в соответствии с матричным или градиентным алгоритмом [18].
5. Если р < Р, то р = р + 1 и перейти к п. 3.
120
№ 5 (35) 2011
6. Расчет ошибки работы сети:
* = d,(x'f. (9)
Критерии эффективности
/=1 ;=i
Если Е > Emax и v < V, то p = 1, v = v+ 1 и перейти к п. 3.
Экспериментальный анализ
Экспериментальный анализ разработанного метода динамической реконфигурации и обучения (МДР) сети РБФ был проведен на трех открытых тестовых базах данных (БД) Wine [19] и Concrete [20], для которых получены удовлетворительные результаты моделирования в РБФ-сетях [13, 14]. Сравнительный анализ обработки динамических данных был осуществлен на БД Pont-sur-Sambre [21].
БД Wine содержит результаты химического анализа 178 вин. В 14 атрибутах описаны результаты замеров содержания 13 органических и неорганических соединений, а также сорт винограда (целевой категор-ный атрибут).
БД Concrete содержит результаты 1030 экспериментов с различными смесями бетона, физические параметры которых определены в 9 перечисляемых атрибутах. Целевым атрибутом является величина максимально допустимой деформации на сжатие.
БД Pont-sur-Sambre содержит результаты 200 показаний датчиков, установленных на газовой энергетической станции, каждое показание представлено 5 атрибутами и целевым перечисляемым атрибутом выходного давления пара.
Эффективность различных моделей настройки параметров ИНС РБФ оценивалась в сравнении с ИНС, реализованными в Neural Network Toolbox [24] из пакета MATLAB 2008a. Для анализа ИНС из исходных БД случайным образом были выделены 75% записей для формирования обучающей выборки (ОВ) и 25% для тестовой выборки (ТВ).
PtestM p=1 /=1
y(P),d<P)):
1,| y(p)- d(p)|>T \d(p)\ 0,1 y(p)- dH<T IdH
(10)
где Ptest — объем тестовой выборки.
Показатель RE определяет процент записей из ТВ, для которых ИНС формирует отклик, отличающийся более чем на т% от целевой величины. RE принимает значения в диапазоне [0, 100], где значению 0 соответствует абсолютная точность настройки сети.
Ввиду разбалансированности БД Wine по целевому атрибуту эффективность настройки и обучения ИНС РБФ здесь описывалась показателем ACP:
ACP = -1 ^
+ - i-
U::
(11:
ig
Оценка качества работы ИНС осущест- оа влялась по агрегированным показателям, рассчитанным для целевых перечисляемых атрибутов в БД Concrete и Pont-sur-Sambre. Основным критерием выбран показатель относительной ошибки (RE, %) для заданного порога чувствительности т = 5%:
где С — количество классов (категорий) в целевом атрибуте ТВ; и¡. — элемент матрицы ошибок [23], находящийся на пересечении строки I и столбца ¡. Показатель АСР принимает значения в диапазоне [0, 1], где значение 1 соответствует абсолютно точной классификации.
Анализ влияния внутренних параметров на эффективность работы МДР
Исследуемый подход является трехпара-метрическим недетерминированным мето-
121
X
№ 5 (35) 2011
БД Concrete
БД Wine
I 0,01 0,01
min
0,05
Рис. 2. Влияние параметров £T и Imin на точность работы МДР РБФ
1
i Й 43
S
I £
Eg
U
о
<и
U
I
I
43
0
1
! f
I §
Eg
IE I
ч
дом. Влияние вариации параметров и Imn на результирующие показатели работы МДР РБФ (при R = 2 и K = 2) отражено на графиках (рис. 2).
Из приведенных результатов видно, что вариация параметров £T и Imn приводит к различному изменению качественных показателей функционирования РБФ при решении различных задач. Так, для ТВ на базе БД Concrete отмечена тенденция к стабильно низкой ошибке при выборе £T в окрестности значения 0,1. В то же время анализ работы МДР на ТВ Wine не позволяет сделать вывод о предпочтительном выборе внутренних параметров метода.
Отметим, что разброс значений приведенных показателей работы РБФ находится в пределах 2 - 5% для всего проанализированного спектра £T и Imjn. Таким образом, единственным эффективным критерием становится время работы нейронной сети (рис. 3).
БД Concrete
0.1 ^0,05
I 0,2 0,1 е min
0,01
=Т
Анализ времени, затраченного на обучение сети на ОВ, позволяет выявить общую тенденцию: снижение продолжительности обучения МДР РБФ пропорционально росту величины £T при несущественной зависимости от параметра Imn. В поставленных экспериментах компромисс между скоростью и точностью был достигнут при выборе £T=0,07 Imn = 0,1. Заметим, что установка £T> 0,02 приводила к резкому росту времени обучения.
Описанная динамика объясняется особенностью реализации п. 4 в МДР. C одной стороны, малое значение параметра £T приводит к частому добавлению новых нейронов в архитектуру сети в силу подп. 1. С другой стороны, большое значение £T обуславливает необходимость ресурсоемкого расчета величины взаимной информации в подп. 2 и 3. Относительная независимость скорости обучения РБФ от величины Imnn свя-
БД Wine
Рис. 3. Влияние параметров £T и Imin на время работы МДР РБФ
122
№ 5 (35) 2011
зана с тем, что при малых значениях этого параметра инициируется процедура обновления весовых коэффициентов в подп. 3, которая, при реализации в матричной форме, имеет сложность порядка О (max {М2,4, К24}) [24]. При значительных величинах Imnn будет инициироваться процедура разрыва межнейронных связей, что приведет к более частому добавлению новых нейронов.
В наименьшей степени скорость обучения ИНС зависит от параметра R, поскольку он непосредственно влияет только на величину потенциала активности радиальных нейронов. Это подтверждается эмпирическими данными, приведенными в табл. 1.
Таблица 1
Влияние параметра R на время работы МДР РБФ, в мин. (при ^т = 0,07; Imln = 0,1)
БД r = 2 r = 3 r = 4 r = 5 r = 6 r = 7 r = 8
Concrete 0,54 0,61 0,95 1,41 1,90 3,20 2,83
Wine 0,43 0,51 0,40 0,62 0,56 0,72 0,97
Ввиду того, что разработанный метод является недетерминированным, следует выявить его чувствительность к случайному выбору параметров а, и р, из указанных в алгоритме диапазонов. Результаты экспериментального анализа, полученные для 250 запусков процедуры обучения ИНС с оди-
наковыми начальными значениями весовых коэффициентов, отображены на ящичковых диаграммах [25] на рис. 4.
Приведенные данные позволяют сделать вывод о незначительном влиянии механизма случайного смещения новых центров БФ и их дисперсий на общую стабильность ключевых характеристик РБФ. Отметим, что усредненные (медианные) показатели ошибки работы на БД Concrete, точность классификации и время обучения на БД Wine выявили лучшую динамику работы МДР РБФ, чем данные, приведенные выше на рис. 2 и 3.
Важным фактором, влияющим на производительность метода динамической реконфигурации ИНС РБФ, является величина взаимной информации. На фоне незначительного вклада величины порога Imnn в скорость обучения сети, сама процедура расчета ценности межнейронной связи занимает от 30 до 55% вычислительного времени. Применение более простых мер, например коэффициентов корреляции [26], может ускорить процедуру обучения.
Сравнительный анализ эффективности работы алгоритмов настройки ИНС РБФ
Реализованные в [12 - 14] методы настройки параметров сети РБФ были рассчитаны, в первую очередь, на обработку
со аа
RE,
х = 5%
АСР
БД Concrete
Т (мин.
Т (мин.
БД Concrete
БД Wine
0,45
0,35
БД Wine
Рис. 4. Влияние выбора случайных значений для параметров а и на устойчивость показателей работы МДР РБФ (при £т = 0,07; 1т1п = 0,1; И = 2)
123
№ 5 (35) 2011
данных с различным объемом полностью случайных информационных пропусков. Алгоритм статической кластеризации (АСК), алгоритм динамической кластеризации (АДК) и метод на базе эрозийной кластеризации (ДЭК) были основаны на двухуровневом алгоритме формирования кластеров: определение внешнего контура и последующий расчет принадлежности оставшихся записей.
Результаты сравнительного анализа этих подходов с МДР применительно к нейроар-хитектуре РБФ приведены в табл. 2.
Полученные результаты свидетельствуют о высоком качестве работы всех рассмотренных ИНС. По сравнению с кластерными методами настройки параметров РБФ, МДР не обладает преимуществом в точности и скорости обучения. Это обуславливается вероятностным механизмом установки центров БФ, который не обеспечивает надлежащего качества покрытия обучающего множества.
Указанный недостаток может быть преодолен за счет применения более ресурсоемких алгоритмов настройки БФ, например на основе локализованной аттракторной кластеризации [27]. Другим возможным решением является многократная случайная установка центров с выбором оптимального покрытия. Кроме того, можно ожидать увеличения точности функционирования сети при применении сплайн-функций [28] в радиальных нейронах скрытого слоя.
Сравнительный анализ эффективности работы РБФ и рекуррентных ИНС
Ключевым недостатком методов настройки РБФ на базе предварительной кластеризации данных является их низкая производительность, связанная с необходимостью расчета матриц смежности и матриц ближайших общих соседей. В случае, когда весь массив обучающих данных известен заранее, этими вычислительными затратами можно пренебречь (табл. 2). Рассмотрим, как изменятся показатели производительности сетей РБФ при обработке данных, в пакетном режиме (10 пакетов). Экспериментальные показатели, приведенные в табл. 3, соответствуют результатам работы ИНС РБФ, ИНС Элмана и рекуррентного многослойного персеп-трона (РМП).
Полученные результаты выявляют сильную сторону разработанного метода: высокая производительность при хорошей точности аппроксимации динамических данных. Специализированные нейроархитек-туры могут обеспечивать максимальную точность работы, однако остаются открытыми вопросы корректного подбора их архитектуры и преодоления отдельных недостатков многослойных персептронов (переобучение, стагнация и др. [18]).
Кластерные методы АСК и АДК демонстрируют высокую точность настройки РБФ, но полная процедура кластеризации нарас-
Таблица 2
1
i Й 43
S
I £
Eg
U
о
<и
U
I
I
43
0
1
! t
I §
Eg
IE IE
ч
Показатели эффективности методов настройки РБФ, полученные при решении задач на БД Concrete и Wine
Алгоритм настройки РБФ БД Concrete БД Wine
T ACP T
МДР 9,85 0,54 0,949 0,43
АСК 9,01 0,99 0,942 0,54
АДК 8,05 0,47 0,955 0,27
ДЭК 8,03 0,32 0,960 0,19
ПРИКЛАДНАЯ ИНФОРМАТИКА /-
' № 5 (35) 2011
Таблица 3 §
Показатели эффективности решения задачи на БД Роп^иг^атЬге, ^
полученные для различных нейроархитектур ^
ИНС RET=5% T ИНС REt=5% T
Элмана 16,2 2,12 АСКРБФ 12,0 6,14
РМП 11,0 3,77 АДКРБФ 13,2 4,05
МДР РБФ 13,4 1,62 ДЭК РБФ 19,8 3,19
тающей ОВ делает эти методы малоэффективными в смысле времени обучения. Высокий показатель ошибки на ТВ у ДЭК РБФ объясняется сложностью подбора управляющего параметра обучения р.
Заключение
В настоящей работе предложен и исследован новый метод динамической реконфигурации и обучения искусственных нейронных сетей на базе радиально-базисных функций. В основу метода положены процедура выявления активности радиальных нейронов с функцией активации Гаусса, позволяющая избежать соотнесения слишком большого количества обучающих записей одной базисной функции, а также процедура анализа информационной ценности межнейронной связи, позволяющая осуществлять динамическую редукцию сети. Результирующая модель испытывалась на решении трех задач из различных предметных областей.
Из преимуществ разработанного метода следует отметить:
• использование параметров, эффективные значения которых (£т = 0,07; 1гпю = 0,1; Я = 2) являются достаточно общими для различных задач, что было подтверждено экспериментально;
• автоматическое построение и модификация архитектуры нейронной сети;
• минимальное время обучения ИНС при среднем уровне ошибки и работе с данными в пакетном режиме, сопоставимом с лучшими нейросетевыми решениями.
Применение вероятностного алгоритма перенастройки радиальных нейронов, не учитывающего характер распределения данных около нейронов с высокими потенциалами активности, позволяет добиться хорошей производительности сети, но при этом накладывает ограничения на точность предложенного метода. Ограниченная точность функционирования метода обусловлена вероятностным алгоритмом перенастройки радиальных нейронов, сообщающим сети высокую производительность.
Дальнейший практический интерес может представлять интеграция распределенного метода динамической кластеризации [29] в разработанную модель, что позволит, с одной стороны, реализовать обучение сети на данных, содержащих полностью случайные и случайные информационные пропуски, с другой стороны, осуществить быструю первичную настройку архитектуры сети РБФ.
Список литературы
1. Галушкин А. И. Нейронные сети. Основы теории. М.: Горячая линия — телеком, 2010. — 496 с.
2. Platt J. A resource-allocating network for function interpolation // Neural Computation. 1991. Vol. 3. №. 2. P. 213 - 225.
3. Li Y. W, Sundararajan N, Saratchandran P. A sequential learning scheme for function approximation using minimal radial basis function (RBF) neural networks // Neural Computation. 1997. Vol. 9. №. 2. P. 461- 478.
4. Billings S. A., Wei H. L, Balikhin M. A. Generalized multiscale radial basis function networks // Neural Networks. 2007. № 20. P. 1081- 1094.
№ 5 (35) 2011
i
! Й 43
s
I £
Eg
u о
<u u
i! I
43
0
1
! f
I §
Eg
IE IE
4
5. Ososkov G, StadnikA. Effective training algorithms for RBF neural networks // Nuclear Instruments and Methods in Physics Research. Section A. Vol. 502. № 2. 2003. P. 529 - 531.
6. Вичугов В. Н. Модифицированный градиентный алгоритм обучения радиально-базисных нейронных сетей // Известия Томского политехнического университета. Т. 315. № 5. 2009. С. 149 - 152.
7. Биоинспирированные методы в оптимизации / Гладков Л. А., Курейчик В. В., Курейчик В. М., Со-роколетов П. В. М.: Физматлит, 2009. — 384 с.
8. Снитюк В. Е., Шарапов В. М. Эволюционно-па-раметрическая оптимизация RBF-сети // Искусственный интеллект. 2003. № 4. С. 493 - 501.
9. Литвиненко В. И. Синтез радиально-базисных сетей для решения задачи дистанционного определения концентрации хлорофилла // Автоматика. Автоматизация. Электротехнические комплексы и системы. 2007. № 1 (19). С. 53 - 65.
10. Feng H. M. Self-generation RBFNs using evolutional PSO learning // Neurocomputing. 2006. №. 70.
11. Man C, LiX., Zhang L. Radial Basis Function Neural Network Based on Ant Colony Optimization // International Conference on Computational Intelligence and Security Workshops. Harbin, 2007. P. 59 - 62.
12. Аюев В. В., Карпухин П. А. Кластерный метод подбора параметров и обучения на неполных данных искусственных нейронных сетей Хехт-Нильсона // Информатика и системы управления. 2009. № 1 (19). С. 91- 103. Аунг З. Е., Аюев В. В. Нейронная сеть РБФ на основе аттракторной кластеризации // Системы управления и информационные технологии. 2010. № 4 (42). С. 4 - 8. Аюев В. В., Аунг З. Е. Настройка параметров и обучение ИНС РБФ на данных с полностью случайными информационными пропусками // Нейрокомпьютеры: разработка, применение. 2011. № 2. С. 30 -37.
15. Buhmann M. D. Radial Basis Functions: Theory and Implementations. Cambridge: Cambridge University Press, 2003. — 271 p.
16. Кудряшов Б. Д. Теория информации. СПб.: Питер, 2009. — 320 с.
17. Прелов В. В. Взаимная информация нескольких случайных величин и ее оценивание через вариацию // Проблемы передачи информации. 2009. Т. 45. № 4. С. 3 - 17.
13
14
20
21
18. Хайкин С. Нейронные сети: полный курс / пер. с англ. 2-е изд. М.: Вильямс, 2006. — 1104 c.
19. Jiang Y, Zhou Z. H. Editing Training Data for kNN Classifiers with Neural Network Ensemble // Proc. of the 1-st International Symposium on Neural Networks. Dalian, 2004. P. 356 - 361. I - Cheng Y. Analysis of strength of concrete using design of experiments and neural networks // Journal of Materials in Civil Engineering. Vol. 18. № 4. 2006. P. 597 - 604.
On- and off-line identification of linear state-space models / Moonen M., De Moor B., Vandenber-ghe L., Vandewalle J. // International Journal of Control. Vol. 49. 1989. P. 219 - 232.
22. Медведев В. С., Потемкин В. Г. Нейронные сети. MATLAB 6. М.: Диалог-МИФИ, 2002. — 496 с.
23. Kolte M. T, Chaudhari D. S, Chopade N. B. Confusion matrix and information transmission analysis using Matlab for evaluation of speech analysis // International Journal of Mathematical Science and Engineering Applications. Vol. 2. №. 3. 2008. P. 243 - 250.
24. Introduction to Algorithms, Third Edition / Cor-men T. H., Leiserson C. E., Rivest R. L., Stein C. Boston: The MIT Press, 2009. — 1312 p. Rousseeuw P. J., Ruts I., Tukey J. W. The Bagplot: A Bivariate Boxplot // The American Statistician. Vol. 53. №. 4. 1999. P. 382 - 387. Кобзарь А. И. Прикладная математическая статистика. М.: Физматлит, 2006. — 816 с. k-Attractors: A Clustering Algorithm for Software Measurement Data Analysis / Kanellopoulos Y., Antonellis P., Tjortjis C., Makris C. // Proc. in the 19th IEEE International Conference on Tools with Artificial Intelligence (ICTAI 2007). Patras, 2007. P. 358 - 365.
28. Wahba G. RBF's, SBF's, TreeBF's, Smoothing Spline ANOVA: Representers and pseudo-repre-senters for a dictionary of basis functions for penalized likelihood estimates // Proc. in the NIPS 96 Model Complexity Workshop Notes. Snowmass (Colorado), 1996. P. 1- 16.
29. Аюев В. В., Логинова М. Б. Распределенный метод восстановления полностью случайных информационных пропусков на основе динамической кластеризации // Вестник компьютерных и информационных технологий. 2011. № 5. С. 46 - 51.
25
26
27
126
