CC BY
82
ЗАКЛЮЧЕНИЕ
Исследования авторов показали, что при выполнении условий (3) и (4) метод кодирования номеров переходов позволяет уменьшить стоимость реализации автомата ^. При этом экономия повышается по мере роста разности Л0-?ПЛУ и может достигать 35-42% по сравнению с традиционной реализацией автомата ^. Предложенный метод приводит к более медленным схемам КМУУ из-за введения ПК, увеличивающего время формирования микроопераций. Таким образом, метод кодирования
номеров переходов применим, если критерием эффективности схемы УУ является минимум стоимости.
ПЕРЕЧЕНЬ ССЫЛОК
1. Баркалов A.A. ПалатинА.В. Синтез микропрограммных устройств управления. - Киев: ИК HAH Украины, 1997 - 156 с.
2. Соловьев В. В. Проектирование цифровых систем на основе программных логических интегральных схем. - М.: Горячая линия - Телеком, 2001 - 636 с.
3. Баркалов A.A. Синтез устройств управления на программируемых логических устройствах. - Донецк: ДонНТУ, 2002 - 262 с.
УДК 681.513.6
ОБ АДАПТИВНОМ ОБЪЕДИНЕНИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ ДЛЯ ОБРАБОТКИ МНОГОМЕРНЫХ СИГНАЛОВ
Е.В.Бодянский, С.В.Попов
Рассмотрена задача объединения ансамбля искусственных нейронных сетей, осуществляющих обработку многомерных сигналов, заданных в виде дискретных временных рядов. Предложен алгоритм объединения сетей на конечной выборке, и доказана его оптимальность. Разработаны рекуррентные процедуры, предназначенные для работы в реальном времени. Предложен алгоритм для оценки "вклада" каждой из сетей, входящих в ансамбль, в объединенную оценку. Синтезирована архитектура нейронной метасети, решающей рассматриваемую проблему. Развиваемый подход позволяет повысить точность решения задач прогнозирования, фильтрации, сглаживания, эмуляции, обратного моделирования и им подобных, для решения которых используют искусственные нейронные сети, основанные на парадигме обучения с учителем.
Розглянуто задачу об'еднання ансамблю штучних нейронних мереж, що здшснюють обробку багатовим1рних сигнал1в, як задано у вигляд1 дискретних часових ряд1в. Запропоновано алгоритм об'еднання мереж на ктцевш виб1рщ, i доведено його оптимальтсть. Розроблено рекурентт процедури для роботи в реальному часi. Запропоновано алгоритм для оцтки "внеску" кожноЧ з мереж, що входять до ансамблю, в об'еднану оцтку. Синтезовано архтектуру нейронноЧ метамережi, що розв'язуе розглянуту проблему. Пiдхiд, що розвиваеться, дозволяе тдви-щити точтсть розв'язання задач прогнозування, фiльтрацi'i, згладжування, емуляцп, зворотного моделювання та подiбних ¿м, для розв'язання яких використовують штучт нейронт мережi, що засноваш на парадигм навчання з учителем.
The problem of combining of an ensemble of artificial neural networks that process multivariate signals presented as discrete time series is considered. An algorithm for combining of the networks on a finite sample is proposed and its optimality is proven. Recurrent procedures for real-time processing are developed. An algorithm for assessing the "contribution" of each member network into the combined estimate is proposed. Architecture of a neural meta-network for the considered problem's solution is synthesized. The presented approach provides improvement of the solution's precision in extrapolation, filtering, smoothing, emulation, reverse modeling and other similar problems that can be solved using artificial neural networks based on supervised learning paradigm.
1. ПОСТАНОВКА ПРОБЛЕМЫ
В настоящее время искусственные нейронные сети (ИНС) нашли широкое применение в задачах обработки информации таких, как прогнозирование, фильтрация, сглаживание, эмуляция, обратное моделирование, адаптивное управление, т.е. в задачах, которые могут быть решены в рамках нейросетевой парадигмы обучения с учителем. Успех использования ИНС связан, прежде всего, с универсальными аппроксимирующими возможностями, позволяющими решать достаточно сложные нелинейные стохастические задачи в условиях априорной и текущей неопределенности о характеристиках обрабатываемых сигналов.
Вместе с тем следует отметить, что одна и та же задача может быть решена с помощью различных сетей, отличающихся архитектурой, количеством нейронов, алгоритмами обучения, начальными условиями, способами организации обучающей выборки так, что выбор конкретной сети для конкретной задачи является достаточно сложной проблемой.
Качество решения задачи может быть существенно повышено с помощью так называемого ансамбля (комитета) нейросетей [1-9], когда одни и те же данные обрабатываются параллельно несколькими ИНС, выходные сигналы которых далее некоторым образом комбинируются в объединенную оценку, превосходящую по качеству оценки, полученные с помощью локальных сетей, входящих в ансамбль так, как это показано на рис.1. На практике наибольшее распространение получили два подхода к объединению сетей ансамбля: модульный и основанный на взвешенном усреднении [3]. И хотя содержательно они достаточно отличаются друг от друга, их объединяет то, что оба они используют линейную комбинацию своих компонент в той или иной форме [9]. Модульный подход имеет достаточно эвристический характер в отличие от математически более
строгого взвешенного усреднения, хотя и здесь остается элемент субъективизма, связанный с выбором членов ансамбля. Эта задача обычно решается с помощью тех или иных эвристик, хотя можно сослаться и на более строгие результаты, основанные на генетическом программировании [5] или постепенном наращивании сложности сетей-членов ансамбля [10, 11].
2. ОПРЕДЕЛЕНИЕ ВЕСОВЫХ КОЭФФИЦИЕНТОВ
Неизвестный вектор весовых коэффициентов w определим с помощью метода неопределенных множителей Лагранжа, для чего введем (к + 1 )х п матрицу наблюдений Х(к), (к + 1 )х пк -матрицу обработанных
сигналов Х(к) :
Х( к) =
ХТ (0) Х Т( 0) Х Т( 0) . ■ ХТ( 0)
ХТ (1) , к) = Х Т( 1) Х Т( 1) • •Х Т(1)
ХТ( к)_ ХТ (к) Х Т( к) . ХТ( к\
, (3)
Рисунок 1 - Ансамбль нейросетей
В настоящей работе предлагается оптимальный метод взвешенного объединения многомерных выходных сигналов локальных ИНС-членов ансамбля, предназначенный для работы в реальном времени в темпе поступления новых данных и позволяющий автоматически выявлять "наилучшие" локальные сети, наиболее приспособленные для решения конкретной задачи.
Пусть сигнал, подлежащий обработке, задан в форме п-мерной временной последовательности х(к), к = 0, 1, 2,..., а оценка этого сигнала на выходе у-ой локальной сети-
члена ансамбля - Ху(к) , у = 1, 2, ..., к. Введем в
рассмотрение объединенную оценку
(к + 1) х п -матрицу ошибок на обучающей выборке
ек = Х(к) -Х(к) 1пп ® w (4)
и лагранжиан
Ь(w,X) = 1 Тг((ек)тек) + Х(wTIh - 1) =
= 2тТг((Х(К) -Х(к)1пп ® w)Т(Х(К) -Х(к)1пп ® ^) +
+ Х(wTIh - 1) = 2 X IX(г) - Х(г)w|| + Х(wTIh - 1). (5)
Здесь 1пп - (п х п )-единичная матрица, ® - символ тензорного произведения, Тг( ■) - символ следа матрицы, X - неопределенный множитель Лагранжа. Решение системы уравнений Куна-Таккера
х(к) = X WjXj(к) = X(к) w ,
У = 1
(1)
где w = (Wl, W2, . Wh) - вектор неизвестных весовых коэффициентов, определяющих близость обработанных
членами ансамбля сигналов Ху(к) к реальному процессу
Х(к) и отвечающих условию несмещенности [2]
= I,
1к - (к х 1)
вектор, состоящий
ХУ( к) = (X 1( к), Х2( к),..., Хк (к))
(w,X) = X (-хТ(г)Х(г) + Хт(г)х(г)w) + Щ = 0,
г = 0
дЬ(w, Х)/дХ = wTIh = 0 (6)
позволяет получить искомый вектор оценок в виде
(2)
единиц,
1 - ^^^ w = w* + Р (к) —-Т-— ^ ,
(к) ь
где
- п х Т -матрица,
к=0,1,2,... - текущее дискретное время, Т - символ транспонирования.
Необходимо определить вектор коэффициентов позволяющий получить наилучшую по точности оценку вида (1).
к
Р (к) =
V
X -ХТ (г) Х (г)
& г = 0 к
= Р (к) X -Х Т( г )Х (г) = Р (к) г( к)
г=0
(7)
к
к
из
стандартная оценка наименьших квадратов.
С тем, чтобы исследовать свойства оценки (7), перепишем ее в несколько иной форме. Рассматривая последовательность ошибок в виде
е (к) = х (к) - х (к) w = х (к) I^ - х (к) w = = (х (к) 1Т - X (к)) w = V (к) w, (9)
лагранжиан (5) можно переписать в форме
к
Ь(w,X) = 2- £ WTVT(г)V(г)w +Х(wTIh - 1 ) =
г = 0
= 1 wTV(к)w +Х(wTIh - 1), 2 h
после чего, решая систему уравнений
У^ (w,X) = V( к) w + \1Ь = 0, дЬ(w,X)/дX = wTIh - 1 = 0,
(10)
(11)
где Vjj( к) - диагональный элемент матрицы V(k).
Из (17) следует, что объединенная оценка х(к) не уступает по точности наилучшей из локальных оценок Xj(к) , сформированнойу'-й сетью, входящей в ансамбль.
С тем, чтобы обеспечить обработку информации в реальном времени, выражение (7) следует представить в рекуррентной форме, которая с помощью формулы Шермана-Моррисона-Вудбери приобретает вид
Р (к + 1) = Р (к) - Р (к) х т( к + 1 )■
■ (П + х (к + 1) Р (к) х т( к + 1 ))-1х (к + 1) Р (к)=
= (^ - Р(к)хт(к + 1 )х(к + 1 ))-1 Р(к),
г( к + 1) = г( к) + х т( к + 1 )х (к + 1), w*(k + 1) = Р (к + 1) г( к + 1), w( к + 1) = w*( к + 1) + + Р (к + 1)(IIР (к + 1 )-1( 1 - к + 1))
(18)
получаем
w = V-1( к) ^ (!^-1( к) ^)-1,
X = -^-Чк) Ь,
(12)
при этом функция Лагранжа (10) в седловой точке имеет значение
Ь*( w,X) = (^ (к) К )-1.
откуда следует
(Ф^' )<( Т jV(к) к.')(^ (к) ь),
h, h
3. ОПРЕДЕЛЕНИЕ НАИЛУЧШИХ ЧЛЕНОВ АНСАМБЛЯ
Элементам весового вектора можно придать смысл вероятностей или оценок вклада каждого из членов ансамбля в объединенную оценку, если в лагранжиан ввести дополнительные ограничения на неотрицательность получаемых весов [9], т.е.
(13)
h
Заметим также, что (12) является обобщением на многомерный случай оценки, приведенной в [2].
Рассмотрим далее произвольную пару векторов у и г и запишем неравенство Коши-Шварца в форме
(утг)2 = (yTV172(к) V-172(к)г)2 =
= ((V172(к)у)т( V-172(к)г))2 <
< || V172(к)у\21V-172(к)г\\2 = (yTV(к)у)(zTV-1 (к)г). (14)
Введем также (h X 1 )-вектор , образованный нулями, кроме у'-го элемента, который равен 1, и перепишем (14) в виде
ч.р = IР', 0 < Р' < Ь ' = 1
(19)
(15)
гдер = (р1, р2, ... Рh)T - вектор неотрицательных весовых коэффициентов в объединенной оценке
хр(к) = £ р'к) = х(к)р . (20)
' = 1
Вводя в рассмотрение лагранжиан
Ь(р,х,\1) = 2Тг((ек)тек) + Х(р% - 1) - \1ТР =
= 2Тг((Х(к) -Х(к)® р)Т(Х(к) -X(к)^ ® р)) +
I < V'к)(^ (к),
(16)
+ Х(р\-1) - дтр = 11 ||х(I) -х(I)р||2 +
I = 0
(21)
V'(к) = I ||х(I) - х'(I)|2 = I V(I)|2 >
г = 0 г = 0
>(ITV-1(к)Ь)-1 = Ь*(w.X),
(здесь д - (h X 1 )-вектор неотрицательных неопределенных множителей Лагранжа) и систему уравнений Куна-Таккера
h
к
или
к
к
УрЬ (р,Х,д) = 0, дЬ (р,Х,д)/дХ = 0, "д > 0, У = 1, 2,., к,
решение которой имеет вид
Х=
р = Р(к)(г(к) - Х1Ъ + д), IIР (к) г (к) - 1 + IIР (к
ЧТР (к) Ь
(22)
(23)
и применив далее процедуру Эрроу-Гурвица-Удзавы, получаем алгоритм определения весовых коэффициентов Ру в виде
Р (к + 1) = Р (к) - Р (к) Х Т( к + 1 )■
■ (пп+Х (к +1) Р (к) Х Т( к +1 ))-1 Х (к +1 )Р (к)= = (^п - Р(к)ХТ(к + 1)Х(к + 1 ))-1 Р(к), г( к + 1) = г (к) + Х Т( к + 1 )Х (к + 1),
w•*( к + 1) = Р (к + 1) г (к + 1),
w( к + 1) = w*( к + 1) +
+ Р (к + 1 Х^Р (к + 1 )-1 (1 - ^{к + 1 )Щ,
IIР (к + 1 )д( к)
р (к + 1) = w(к + 1) - Р(к + 1) -
(к +1) ь ^
+ Р (к + 1 )д( к), к + 1) = Рг+
(д(к) - к)р(к)).
(27)
I, +
р(к + 1) = w*(k + 1) -
^^к + 1) - 1 + IIР(к + 1 )д(к)
- Р (к + 1) -
+ Р (к + 1 )д( к), к + 1) = Рг+
ЯР (к + 1) 4
(д(к) - к)р(к)).
к +
(24)
Здесь Рг+( ■) - проектор на положительный ортант, П..(к) > 0 - параметр шага поиска.
Первое соотношение (24) можно преобразовать к виду
!1Р (к + 1 )д( к),
р (к + 1) = w(к + 1) - Р(к + 1) -
Ь +
+ Р(к + 1 )д(к) = w(к + 1) + \к -
IIР (к + 1) Ь ^
Р (к +1) щГ
IIР (к + 1) 4
+ Р (к + 1 )д( к),
$р (к + 1) = w (к + 1) + Ргр % = 1 (Р (к + 1 )д( к)), #к + 1) = Рг+ (д(к) - к)р(к)).
4. НЕЙРОННАЯ МЕТАСЕТЬ ДЛЯ ОБЪЕДИНЕНИЯ АНСАМБЛЯ ЛОКАЛЬНЫХ СЕТЕЙ
На рис. 2 приведена архитектура искусственной нейронной метасети, решающей задачу объединения ансамбля локальных сетей. На вход метасети поступает обрабатываемый многомерный сигнал Х( к), подающийся далее на первый слой, образованный к параллельно функционирующими И НС, решающими одну и ту же задачу (фильтрации, прогнозирования и т.п.) и
формирующими набор векторных оценок Ху(к) ,
У = 1, 2,. к . Эти локальные оценки поступают на выходной слой, образованный двумя нейронами, представляющими собой по сути многомерные аналоги стандартных адаптивных линейных ассоциаторов (адалин) и вычисляющими объединенные оценки
(25)
где w(к + 1) определяется соотношением (7), ^к - к х к - единичная матрица, - Р(к + 1)IhIT( 1у1Р(к + 1)^)-1 -
проектор на гиперплоскость pTIh = 1 .
Несложно видеть также, что вектор Ьк - Р(к + 1 ЩТ^ТР(к + 1 )Ь)Р(к + 1 )д(к) ортогонален вектору ^, что позволяет переписать (24) в простой форме
Х(к) = Х(к^(к), - (ЛЬЛ№)
Хр( к) = Х (к)р (к).-(ЛЬЛр)
(28)
Обучение нейронов и ЛЬЛр осуществляется с
помощью алгоритма (27).
»(к + 1),Л(к+1)
(26)
Тогда окончательно рекуррентный алгоритм определения векторов весов w*, w и р имеет вид
р(к + 1),Л(к + 1),м(к + 1) Рисунок 2 - Нейронная метасеть для объединения
локальных сетей
Использование нейронной метасети позволяет повысить качество обработки информации на основе ансамбля ИНС и определить сети-"победители", наилучшим образом приспособленные к решению конкретной задачи и вносящие наибольший вклад в ее решение.
5. РЕЗУЛЬТАТЫ ЧИСЛЕННОГО
ЭКСПЕРИМЕНТА
Для проверки работоспособности предложенного подхода был проведен численный эксперимент по объединению многомерных прогнозов, полученных на ансамбле нейросетей. В ансамбль входят 4 нейросети, прогнозирую-
щих один и тот же трехмерный сигнал, т.е. h = 4, п = 3. Все четыре сети относятся к классу сетей с прямой передачей информации и отличаются количеством слоев и нейронов. В качестве прогнозируемого ряда использованы данные, характеризующие потребление электроэнергии, горячей и холодной воды в пределах жилого дома [12].
Для получения объединенной оценки использована модель (1), параметры которой настраиваются при помощи процедуры (7), (8). После обработки всех элементов прогнозируемой последовательности (к = 1150) получено значение вектора весов w=(0.747519, 0.0255052,
0.0164822, 0.2104936)т.
Рассмотрим графики ошибок прогнозирования ансамбля и входящих сетей в отдельности (рис. 3). Здесь е1(к), е2(к), е3(к) представляют собой соответствующие компоненты трехмерного сигнала.
Рисунок 3 - Ошибки прогнозирования
Анализ показывает, что в среднем объединенный прогноз имеет меньшие ошибки, чем любой из прогнозов отдельных сетей. Это подтверждается и сравнением относительных ошибок прогнозирования: для входящих сетей eANNi = 11.89%, eANN2 = 24.66%, = 15.37%, eANN4 =
=12.98%; для объединенного прогноза eensemble= 11.74%.
Таким образом, численный эксперимент подтвердил работоспособность предложенного метода объединения нейронных сетей и превосходство объединенной оценки над оценками, полученными с помощью отдельных сетей.
6. ПЕРЕЧЕНЬ ССЫЛОК
1. Hansen L.K., Salamon P. Neural network ensembles // IEEE Trans. on Pattern Analysis and Machine Intelligence. - 1990. -12. - P. 993-1000.
2. Bishop C.M. Neural Networks for Pattern Recognition. -Oxford: Clarendon Press, 1995. - 482 p.
3. Sharkey A.J.C. On combining artificial neural nets // Connect. Sci. - 1996. - 8. - N. 3, 4. - P. 299-313.
4. Hashem S. Effects of collinearity on combining neural networks// Connect. Sci. - 1995. - 7. - N. 3, 4. - P. 211-245.
5. Opitz D.W., Shavlik J.W. Actively searching for an effective neural network ensemble // Connect. Sci. - 1996. - 8. - N. 3, 4. - P. 337-353.
6. Rojas R. Neural Networks. A Systemstic Introduction. - Berlin: Springer Verlag, 1996. - 502 p.
7. Hashem S. Optimal linear combination of neural networks // Neural Networks. - 1997. - 10. - N. 4. - P. 599-614.
8. Naftaly U., Intrator N., Horn D. Optimal ensemble averaging of neural networks //Network: Comput. Neural Syst. - 1997. -8. - P. 283-296.
9. Haykin S. Neural Networks. A Comprehensive Foundation. -Upper Saddle River, N.J.: Prentice Hall, Inc., 1999. - 842 p.
10. Бодянский E.B. Автоматическое обнаружение разладок с помощью искусственной нейронной метасети // Проблемы бионики. - 1998. - Вып. 49. - С. 34-38.
11. Bodyanskiy Ye., Vorobyov S., Stephan A. Detection of NARMA sequence order using recurrent artificial neural networks // Proc. of European Control Conference ECC'99. - Karlsruhe, Germany, 1999. - CD-ROM.
12. ftp://ftp.cs.colorado.edu/pub/cs/energy-shootout/
УДК 681.32
МЕТОД ОЦЕНКИ ВРЕМЕНИ ВЫПОЛНЕНИЯ ЗАПРОСОВ SQL К РЕЛЯЦИОННЫМ БАЗАМ ДАННЫХ
Ю.А.Григорьев, А.Д.Плутенко
The article presents a new mathematic apparatus that estimates the time necessary for the execution of queries SQL to the distributed databases. The new apparatus takes into account the decomposition procedures of queries into sub-queries and the join of the results of their execution. The parameters of logical scheme and the random character of the databases features are also considered.
Представлен новый математический аппарат анализа времени выполнения запросов SQL к распределенным базам данных, учитывающий механизмы декомпозиции сложных запросов на подзапросы и соединения результатов их выполнения, параметры логической схемы и случайную природу характеристик наполнения баз данных.
ВВЕДЕНИЕ
Для оценки времени выполнения запросов к базам данных в некоторых работах [1-3], с целью нахождения коэффициентов аналитических выражений, предлагается применять калибровочную модель, представляющую собой определенную базу данных, набор запросов, а также аппаратно-программный комплекс, на котором выполняются калибрующие эксперименты. Подобные аналитические выражения необходимо строить для каждой конфигурации аппаратно-программных средств. Более того, эти выражения не отражают особенностей выполнения сложных запросов SQL. Для проведения расчетов вводятся некоторые сложные интегрированные
параметры, причем природа их не совсем понятна и не указывается, как можно оценить такие параметры.
В работах [4-6] предлагаются методы оценки стоимостных характеристик различных способов соединения таблиц (NLJ, SMJ, HJ), используемых при выполнении запросов к базе данных. К сожалению, здесь не учитывается случайных характер параметров соединяемых таблиц, т. е. расчеты ведутся на уровне средних значений. К тому же не показано, как можно получить исходные данные для расчетов характеристик соединения промежуточных таблиц, получаемых при реализации оптимального плана выполнения исходного запроса к базе данных.
Данная статья посвящена разработке нового математического аппарата анализа времени выполнения запросов SELECT к распределенной базе данных, учитывающего механизмы декомпозиции сложных запросов на подзапросы и соединения результатов их выполнения, параметры логической схемы и случайную природу характеристик наполнения базы данных. Предлагаемый подход можно использовать на ранних этапах проектирования баз данных для оценки временных характеристик выполнения запросов разной степени сложности на различных аппаратно-программных платформах. При этом оценки получаются в виде преобразований Лапласа-Стилтьеса, что позволяет оценивать не только средние величины, но и дисперсии, а также моменты более высоких порядков.
