Решение краевых задач математической физики на радиально-базисных нейронных сетях Текст научной статьи по специальности «Электротехника, электронная техника, информационные технологии»

ных АСУ, можно обеспечить совместное использование в процессе синтеза оптимизационных и имитационных моделей их рациональное взаимодействие в оптимизационно-имитационных процедурах, описывающих как состав и взаимосвязи структурных элементов системы, так и динамические и стохастические аспекты их функционирования. С учетом проблем анализа и синтеза структур сложных АСУ, предлагается использовать аг-регативно-декомпозиционный подход к формализации и синтезу структур систем на различных уровнях их детализации.

При исследовании структур существующих, а также проектируемых АСУ широко применяются принципы и методы имитационного моделирования и инструментальные средства имитационного моделирования.

Проблема синтеза структуры систем управления включает выбор числа уровней и подсистем управления (иерархии управления); согласование целей подсистем различных уровней; создание контуров принятия решений; оптимальное распределение выполняемых функций (задач, информационных массивов и процедур) по уровням и узлам системы; выбор структуры технических средств передачи и обработки информации.

Задачи синтеза структуры рассматриваемых систем включают: определение оптимального числа, расположения и вариантов построения элементов системы; распределение функций управления по элементам системы и выбор варианта реализации задач управления; выбор мероприятий по обеспечению требуемой живучести систем; распределение функций и задач между техническими средствами; выбор и распределение технических средств по элементам системы и т.д.

Формирование структуры АСУ и управление ее развитием является задачей оптимизации, которая, как правило, оказывается многокритериальной, поскольку приходится учитывать ряд технико-экономических требований на уровне функциональных задач управления и на уровне элементов организационной структуры системы (узлов управления).

Таким образом, задача синтеза структуры с использованием оптимизационно-имитационного подхода состоит в поиске оптимального отображения множества взаимосвязанных функций (задач) и вариантов их выполнения на множество взаимосвязанных узлов системы.

С учетом основных аспектов оптимизационно-имитационного подхода была реализована система программной поддержки, предназначенная для формирования и управления развитием структур АСУ. Применение данного похода обеспечивает высокую надежность обработки информации и обоснованность выбора рациональных вариантов развития структуры системы на многоэтапном периоде функционирования системы.

Система программной поддержки формирования структур АСУ и управления их развитием была применена для развития космического комплекса связи «Гонец-М».

Структура комплекса связи определялась, исходя из следующих основных положений, справедливых для любых структурно-сложных систем связи. Система существует и развивается многие годы, поэтому она должна быть рассчитана на последовательную постепенную модернизацию аппаратуры и программных средств в процессе эксплуатации. Уровень автоматизации, алгоритмы и программы работ системы должны обеспечивать требуемое качество работы при условии непрерывного ввода в эксплуатацию новых средств. Стандарты системы на протоколы связи между элементами системы со смежными системами, а также стандарты на аппаратные средства системы и на программное обеспечение должны обеспечивать независимость этих функций и максимальную гибкость в развитии.

При моделировании функционирования структуры АСУ космическим комплексом связи «Гонец-М» предлагаемая программная система позволила проектировщикам прогнозировать поведение системы при ее проектировании и исследовании конкретных структур системы управления космическим комплексом связи. Удобный пользовательский интерфейс делает работу с программой более комфортной.

Результатом работы программной системы является построенная структура АСУ космическим комплексом связи «Гонец-М» при многоэтапном развитии системы (6 стадий) и развертывании орбитальной группировки из 12 космических аппаратов.

Таким образом, результаты работы программной системы показывают, что оптимизационно-имитационный подход может успешно применяться при формировании АСУ и управлении их развитием в процессе эксплуатации.

РЕШЕНИЕ КРАЕВЫХ ЗАДАЧ МАТЕМАТИЧЕСКОМ ФИЗИКИ НА РАДИАЛЬНО-БАЗИСНЫ1Х НЕЙРОННЫ1Х СЕТЯХ

(Работа выполнена при финансововй поддержке РФФИ, грант 06-07-89259-а) Е.В. Артюхина, В.И. Горбаченко, д.т.н. (Пенза)

Методы решения дифференциальных уравнений в частных производных (ДУЧП) с применени-

ем радиально-базисных функций (ЯБР) вызывают большой интерес (см.: http://uahtitan.uah.edu/kansa-

web.html). Эти методы могут быть эффективно реализованы на радиально-базисных нейронных сетях (ЯБРКК) (см.: А.Н. Васильев, Д.А. Тархов. Новые подходы на основе RBF-сеmей к решению краевых задач для уравнения Лапласа на плоскости. //Нейрокомпьютеры: разработка, применение. 2004. № 7-8).

ЯБР-сеть рассматривают как аппроксиматор неизвестной функции решения:

u (x) = £ w^fl|x - c(i)||).

(1)

т

(x ) = ^ ^

i=1

Для создания оптимальной сети можно использовать различные виды ЯББ, наиболее часто используемыми являются мультиквадрик

(2 2 \ П 2

г + a ) , п = -1,1,2,3,..., и гауссиан

ф = exp(-г2/a2), где a - определенная пользователем константа.

Рассмотрим работу ЯБРКК при решении ДУЧП. На вход сети подаются координаты точек области (точек коллокации) х=(х1,х2,^хп), п -размерность пространства. Радиальная функция каждого нейрона характеризуется своими параметрами: центром с1 = (е|,е'2,...еП) и шириной

а1 > 0, которые уточняются в процессе обучения. Каждый нейрон радиально-базисного слоя выполняет нелинейное преобразование ф(1), аргументом которого является расстояние от точки х до соответствующего центра с1. Роль выходного слоя сводится к взвешенному суммированию сигналов, поступающих от нейронов скрытого слоя

т

^ -(1)ф(1) (х). На выходе получаем значение ис-

1=1

т

комой функции в точке х: и (х) = ^ -(1)ф(1) (х).

1=1

Обучение сети сводится к нахождению неизвестных параметров: весов ширины а, центров е.

В работе Е.В. Яничкиной и В.И. Горбаченко «Решение эллиптических дифференциальных уравнений в частных производных с использованием ради-ально-базисных нейронных сетей» (М.: МИФИ. 2006) рассмотрен подход к обучению нейронной сети, где радиально-базисная сеть явным образом аппроксимирует производные функции и (х). Из (1)

производные функции и (х) рассчитываются следующим образом:

дки ^ П)_дк ф(1)

uj...l(x) =

= V w^ 3xj...3xl "i=í 3xj...3xl

Для нахождения решения определяется функционал ошибки как сумма квадратов невязок, получаемых при подстановке и и производных в уравнение и в граничные условия.

Предлагается другой подход к обучению, использующий конечно-разностную аппроксимацию уравнения. При этом отпадает необходимость рас-

чета явным образом частных производных. Функционал ошибки определяется как сумма квадратов невязок, получаемых при подстановке и в конечно-разностную аппроксимацию во внутренних и граничных точках.

Как в первом, так и во втором подходе для обучения сети используется градиентный алгоритм обучения, минимизирующий функционал ошибки I путем настройки весов центров с и ширины а.

д1 (е(1] а(1) (1) (1) „ (С -1 'а' -1 )

cti)= с« -в

3w(t-i di (eíÜi ,at-i ,wti))

ЭсО

ati) = a(t-\ -a

di (eti) ,a« ,wti))

где n, в, a - скорости (коэффициенты) обучения. Процесс уточнения параметров продолжается до достижения определенной погрешности.

В качестве модельной задачи с целью сравнительного анализа было взято уравнение Пуассона

^ + = sin (nx)-sin (пу), (x,y )efí (2) d x d y

с граничными условиями Дирихле по всей границе области

u = 0, (x,y )edfí , (3)

что позволяет использовать ее для сравнительного анализа.

Задача имеет аналитическое решение

Ue (x,y ) = -7Т2 sin (nx )•sin (пУ)'

2п

(4)

которое использовалось для оценки точности решения.

Рассмотрим градиентный алгоритм обучения RBFNN при решении задачи (2)-(3). Конечно-разностная аппроксимация (2) имеет вид:

4uij - ui+ij - ui-ij - uij+i - uij-i = -h2fij. Функционал ошибки равен: I(w,c,a)=

n n

= VV^ij - u,+ij - u,-ij-uij+1 -uij-1 + f + (5)

i=1 j

K 2

+^V(ui-Pi) >

l=1

где f¡j = sin (nx¡ )• sin (ny) - функция правой части уравнения (2); pl - значение граничных условий первого рода в точке l границы; N = n • n и K - количество внутренних и граничных контрольных точек.

Обозначим через urs¡j удовлетворение разностной схеме в точке (xi5yj):

ursij = 4uij - ui+ij - ui-ij - uij+i - uij-i + hf'

а также введем следующие обозначения:

Л Л

fdIw = e ак , fdIa = e ак • гк2,

fdIx = e ак •(x_Xck), fdIy = e ак •(у_Уа).

Функционал ошибки равен:

п п K

I(w,c,a) = XXuгSij2 + ^X(Ul _Pl )2 . (6)

i=1 j=1 l=1

Несложно вычисляются градиенты функционала по параметрам сети.

Прежде всего исследовалось решение контрольной задачи при фиксированном наборе контрольных точек и фиксированных (подбираемых) коэффициент ах скорости обучения. Перво начально центры располагаются в узлах заданной сетки. Начальные значения весов принимаются нулевыми.

Процесс обучения продолжается до достижения функционалом ошибки (51) заданной величины. Предусмотрен также выход из цикла обучения по достижении предельного числа циклов обучения. В программе также рассчитывается относительная среднеквадратическая погрешность реше-

М8Е =

X (и, _иа, )2

X и2,

(7)

где иа, - аналитическое решение (4) в точке I; q -число внутренних и граничных контрольных точек.

В процессе решения выводятся графики зависимостей функционала ошибки и относительной среднеквадратической погрешности решения от номера цикла обучения, а также графики погрешности решения по сравнению с аналитическим решением и расположение центров в процессе решения.

Эксперименты показали трудность подбора фиксированных скоростей обучения. При этом на скорость обучения сети основное влияние оказывает скорость обучения весов. При больших значениях скорости обучения процесс обучения носит колебательный характер и расходится. При малых значениях скорости достигается большая точность, но обучение производится очень медленно. При постоянных скоростях существует минимум функционала ошибки, после которого функционал начинает расти.

Причем с уменьшением скорости обучения весов график становится более гладким и достигается большая точность, но ценой большего числа итераций. В целом процесс обучения весьма медленный и при каждом значении скорости обучения наблюдается предельное достигаемое значение функционала ошибки.

Предлагается подход, основанный на алгоритме градиентного спуска и вычислении в каждом цикле обучения коэффициента скорости обучения.

Градиентный алгоритм обучения для весов:

д1(п _1) (п) (п_1) (п_1) д1

—к = —к _ П -

Э—

(п_1) '

(8)

при зафиксированных центрах и ширине подставим (8) в (6). Обозначим

т

Аи = X —кп_1) •(4• _(+ fdIwi+lj +

к=1

+ fdIwij_l + fdIwij+l)) + ^^, (9)

В = X•(4• fdIWij _(fdIWi_lj + +

(п_1)

к=1 Э—

^^^ + fdIwij+l)),

т

С, = X —Г'-fdIw1 _р, ,

к=1

т дI(n_1'

В = XТ-ЩГЗГ fdIWl .

к=1 о—к

(10) (11) (12)

Тогда

!(п) = XX{Aij ■п(п_1) в„|?+а£{с ■п(п_1)01| .

1=1 j=l

Выберем скорость обучения п(п ^ из условия минимума функционала I(n' при заданном значении !(п_1), получаем

XX АиВX С1°1

_(п_1) = 1=1 j=l I п п

(13)

XX в,/X в?

1=1 j=1 1=1

Несмотря на несколько громоздкий вид, коэффициент скорости обучения п(п_1) несложно вычисляется по выражениям (9)-(12).

В целях борьбы с переобучением сети целесообразно применить случайное изменение контрольных точек в процессе обучения сети. Необходимо также исследовать вычисляемые в процессе обучения коэффициенты скорости обучения весов сети.

Исследовалось решение задачи со случайным выбором контрольных точек, с постоянными скоростями обучения. Чтобы обеспечить случайный набор контрольных точек, расположенных на сетке п х п, случайно задается число п. Решение при случайно выбранных контрольных точках повторяется некоторое число раз (внутренние итерации). Первоначально центры нейронов располагались внутри и вне области решения на регулярной сетке.

к

к

1 =1

1=1

1=1

К

Задача решалась при следующих исходных данных: n = 7 — 15- количество узлов на стороне сетки контрольных точек; n1 = 8 - количество узлов на стороне сетки центров нейронов. Скорости обучения: п = 0.01, а = 1, ß = 5.

В процессе решения получены следующие результаты: за 724 итерации достигнуто значение функционала ошибки I=1.4958e-005. Средняя относительная погрешность на сетке 0.0135. При случайном выборе контрольных точек переобучение не проявляется. График погрешности по сравнению с аналитическим решением (см.: Numerical solution of elliptic partial differential equation using radial basis function neural networks / L. Jianyu, L. Siwei, Q. Yingjiana, H. Yapinga // Neural Networks. - 2003. -16(5/6)) показывает лучший результат.

Исследование алгоритма со случайным набором контрольных точек и вычисляемым коэффициентом скорости обучения весов в алгоритме градиентного спуска дало следующие результаты: за 179 итераций достигнуто значение функционала ошибки I=2.7929e-007, средняя относительная погрешность на сетке 0.0071.

Эффект от применения вычисляемого коэффициента заключается не столько в сокращении числа циклов обучения, сколько в упрощении вычислений. График изменения коэффициента скорости обучения весов носит колебательный

Рис. Зависимость вычисляемой скорости обучения весов от номера цикла обучения

характер (см. рис.).

Погрешность по сравнению с аналитическим решением несколько меньше, чем в других вариантах, и не превышает 0,00021.

Экспериментально доказана эффективность предложенного варианта алгоритма градиентного спуска обучения ЯБР-сети, отличающегося от известных алгоритмов использованием конечно-разностной аппроксимации дифференциального уравнения и вычисляемым коэффициентом скорости обучения весов сети.

ОРТОГОНАЛЬНОЕ КОДИРОВАНИЕ И ЕГО ИСПОЛЬЗОВАНИЕ С ФАЗОРАЗНОСТНОЙ МОДУЛЯЦИЕЙ

А.В. Рабин, Е.Т. Мирончиков, д.т.н. (Санкт-Петербург)

При обработке сигналов на приемной стороне системы передачи информации различают первичные и вторичные виды обработки. Под первичным видом обработки понимается принятие решения о значении передаваемого символа и иногда об оценке условной вероятности ошибки. Под вторичным - исправление ошибок в декодирующем устройстве с использованием жестких решений или полученных ранее условных вероятностей ошибки (см.: Johannesson Rolf, Zigangirov Kamil Sh. Fundamentals of convolutional coding. - IEEE Press, 1999). Целью разделения на виды обработки является уменьшение сложности и, как следствие, стоимости приемной аппаратуры. В тех случаях, когда надежность связи должна быть особенно высокой, оба вида обработки выполняются одновременно. Такой способ приема называется приемом в целом.

В работе показано, что между первым и вторым видами обработки можно ввести еще один

вид, который не ограничивает возможности указанных ранее видов обработки, а позволяет без внесения избыточности дополнительно снизить вероятность ошибки.

Уменьшение вероятности ошибки осуществляется за счет использования ортогонального кодирования, которое является аналогом сверточно-го кодирования над полем действительных чисел.

Основная цель этой работы заключается в исследовании характеристик систем передачи информации с ортогональным кодированием и фа-зоразностной модуляцией (ФРМ).

Ортогональное кодирование осуществляется умножением входного информационного вектора на квадратную полиномиальную матрицу, элементами которой являются полиномы от переменной Б с целыми коэффициентами. Будем называть ее системной матрицей и обозначать как О(Б). На приемной стороне декодирование осуществляется умножением на обратную системную матрицу.