Разработка компонент подсистемы принятия решений на основе нейросетевых технологий Текст научной статьи по специальности «Математика»

4. Федотова Д.Э., Семенов Ю.Д., Чижик К.Н. САБЕ-технологии: Практикум. М.: Горячая линия-Телеком, Радио и связь, 2003.

5. Кузнецов С.В. Основы современных баз данных - К.: Издательская группа БИУ, 1998.

6. Автоматизированное рабочее место для статистической обработки данных/ В.В.Шураков, Д.М.Дайитбегов, С.В.Мизрохи, С.В.Ясеновский. - М.: Финансы и статистика, 1990.

Степанова Г.В., Авсеева О.В.

РАЗРАБОТКА КОМПОНЕНТ ПОДСИСТЕМЫ ПРИНЯТИЯ РЕШЕНИЙ НА ОСНОВЕ НЕЙРОСЕТЕВЫХ ТЕХНОЛОГИЙ

Воронежский экономико-правовой институт

Введение

Объект исследования или разработки - система прогнозирования на основе однослойной нейронной сети с синоптическим нечетким обучением нейрона.

Полученные результаты и их новизна - разработана “Система прогнозирования на основе однослойной нейронной сети с нечетким обучением нейрона”, обеспечивающая расчет всех необходимых значений для настройки нейронной сети и последующего корректного прогнозирования событий.

Область применения - программный продукт предназначен для расчета нечетких синоптических коэффициентов для настройки однослойной нейронной сети.

Актуальность

Аналитические технологии - это методики, которые на основе каких-либо моделей, алгоритмов, математических теорем позволяют по известным данным оценить структуру исследуемых процессов, значения их параметров, и на этой основе прогнозировать дальнейшее поведение этих процессов.

Аналитические технологии нужны в первую очередь людям, принимающим важные решения - руководителям, аналитикам, экспертам, консультантам. Доход компании в большой степени определяется качеством этих решений - точностью прогнозов, оптимальностью выбранных стратегий.

Как правило, для реальных задач бизнеса и производства не существует четких алгоритмов решения. Раньше руководители и эксперты решали такие задачи только на основе личного опыта.

С помощью аналитических технологий строятся системы, позволяющие существенно повысить эффективность решений.

Детерминированные технологии

Аналитические технологии типа теоремы Пифагора используются человеком уже много веков. За это время было создано огромное количество формул, теорем и алгоритмов для решения классических задач - определения объемов, решения систем линейных уравнений, поиска корней многочленов. Разработаны сложные и эффективные методы для решения задач оптималь-

ного управления, решения дифференциальных уравнений и т.д. Все эти методы действуют по одной и той же схеме.

Для того, чтобы алгоритм был применим, необходимо, чтобы данная задача полностью описывалась определенной детерминированной моделью (некоторым набором известных функций и параметров). В таком случае алгоритм дает точный ответ.

Вероятностные технологии

На практике часто встречаются задачи, связанные с наблюдением случайных величин - например, задача прогнозирования курса акций. Для подобных задач не удается построить детерминированные модели, поэтому применяется принципиально иной, вероятностный подход. Параметры вероятностных моделей - это законы распределения случайных величин, их числовые моменты средние значения, дисперсии и т. д. Как правило, эти параметры изначально неизвестны, а для их оценки используются статистические методы, применяемые к выборкам наблюдаемых значений (историческим данным).

Такого рода методы также предполагают, что известна некоторая вероятностная модель задачи.

Недостатки традиционных технологий.

К сожалению, классические методики оказываются малоэффективными во многих практических задачах. Это связано с тем, что невозможно достаточно полно описать реальность с помощью небольшого числа параметров модели, либо расчет модели требует слишком много времени и вычислительных ресурсов. В частности, рассмотрим проблемы, возникающие при решении задачи оптимального распределения инвестиций.

1. В реальной задаче ни одна из функций не известна точно - известны лишь приблизительные или ожидаемые значения прибыли. Для того, чтобы избавиться от неопределенности, мы вынуждены зафиксировать функции, теряя при этом в точности описания задачи.

2. Детерминированный алгоритм для поиска оптимального решения (симплекс-метод) применим только в том случае, если все данные функции линейны. В реальных задачах бизнеса это условие не выполняется. Хотя реальные функции можно аппроксимировать линейными, решение в этом случае будет далеким от оптимального даже при аппроксимации ломаными.

3. Если одна из функций нелинейна, то симплекс-метод неприменим, и остается два традиционных пути решения этой задачи.

Первый путь - использовать метод градиентного спуска для поиска максимума прибыли. В данном случае область определения функции прибыли имеет сложную форму, а сама функция - несколько локальных максимумов, поэтому градиентный метод может привести к неоптимальному решению.

Второй путь - провести полный перебор вариантов инвестирования. Если каждая из 10 функций задана в 100 точках, то придется проверить около

1020 вариантов, что потребует не менее нескольких месяцев работы современного компьютера.

Вероятностные технологии также обладают существенными недостатками при решении практических задач. Мы проиллюстрировали работу вероятностного подхода на примере простой линейной авторегрессионной модели, однако зависимости, встречающиеся на практике, часто нелинейны. Даже если и существует простая зависимость, то ее вид заранее неизвестен. Отметим также, что статистические методы хорошо развиты только для одномерных случайных величин. Если же мы хотим учитывать для прогнозирования курса акций несколько взаимосвязанных факторов (например, объем сделок, курс доллара и т.д.), то придется обратиться к построению многомерной статистической модели. Однако, такие модели либо предполагают гауссовское распределение наблюдений (что не часто выполняется на практике), либо не обоснованы теоретически. В многомерной статистике за неимением лучшего нередко применяют малообоснованные эвристические методы, которые, тем не менее, по своей сути очень близки к технологии нейронных сетей, развитие которых и является предметом рассмотрения в данной работе.

Постановка задачи

Пусть х = (х1,...,хп) - входные переменные; у - выходная переменная объекта управления. Зададим для х1 (' = 1, п) детерминированные значения, а для у - нечёткие, и математическую зависимость между указанными переменными опишем нечётким уравнением регрессии, параметры которого неизвестны,

у = 7 (х1,..., хп х (1)

где ~ - оператор нечёткости.

Нечётким уравнением называют уравнение, чьи коэффициенты или переменные являются нечёткими множествами на множестве действительных чисел Ш.

Предположим, что в результате наблюдения объекта получено N значений входных (выходных) переменных (х1г., х 2',..., хп') которые приведены в табл. 1.

Таблица 1

№ х1 х2 хп У

1 х11 х21 хп1

2 х12 х22 хп2 У 2

N хш х2 N XnN УN

Задачи идентификации этого объекта:

1) выбрать функцию, аппроксимирующую 7 (х 1з..., хп), заданную табл. 1:

у = / (X!,..., хп, а1,...,ап) = 2 а ]х], (2)

]=о

где у, - оператор нечеткого оценивания;

2) определить оценки её параметров.

Для подобной оценки можно воспользоваться критерием минимизации отклонения нечётких значений выходного параметра у,, полученных по (2), от его выборочных нечётких значений, представленных в табл. 1:

у = и_(у‘- Н у, ) ® т1п (3)

, = 1, N

Здесь | - | — ограниченная разница нечётких чисел, определяемая по формуле:

Му(х) = М-у !-у. (х) = тах(0, (х) - (х)). (4)

Метод идентификации

На начальном этапе идентификации определяющее значение имеет качественный анализ процесса. Что касается второго этапа, то здесь основным вопросом является выбор способа оценивания, обеспечивающего необходимые свойства получаемых объектов.

Рассмотрим математическую модель, представленную в виде нечёткого уравнения множественной регрессии:

у = у0 + у х1 + у2 х2 +... + апхп. (5)

Задача оценивания параметров уравнения (5) заключается в определении коэффициентов у, (, = 0, п) удовлетворяющих условию (3).

Выражение у = /(х1,...,хп,у1,...,ап) представляет собой многомерную функцию с нечёткими переменными. Если учесть это в (3), то

•у = и (у. Н/(X1,..., хп , У1,..., ап ))2 ® т1п •

,=1^ а

Иными словами, задача оценивания параметров уравнения регрессии сводится к минимизации многомерной функции с нечёткими переменными.

Предположим, что нечёткие коэффициенты ai (, = 0, п) являются нормальными нечёткими множествами на Ш : у = и Му (а.)/ а,.

а. еЯ

Определим а -уровневые множества нечётких коэффициентов у:

а* = {а. : аг е Я, Му (а,) > а}, , = 0,п, где а е [0;1].

Тогда для каждого уровня а :{а0 = 0,а1,...,а},...,ар = 1} можно написать уравнение множественной регрессии (5):

(7)

уа0 = аа0 и0 + аа0 х1 +. ..+<0 х,

уа1 = - аа 0 + аа1 х1 +.. . + а„ хп,

ап аР а„ а„

У р м а о р + а/ х + .. + ап хп .

Уравнения (7) являются обыкновенными уравнениями множественной

регрессии, представляющими собой корреляционную связь между многими величинами на уровнях г,. Для оценивания нечётких коэффициентов

~0, ~ 1 ~ п достаточно определить такие коэффициенты а а,, а а]аа],

, = 1,р на каждом уровне г,, которые удовлетворяют условию:

3, = Е " уГ' 1 ® min, 1 1 р, (8)

/ =1

а, а, а, а, а,

где у/ = а 0' + а/х1 + а 2' х2 +... + а/хп.

Наблюдаемые детерминированные значения получены аппроксимацией помещённые в табл. 1 нёчетких наблюдённых значений выходной переменной ~. а -уровневыми нечёткими множествами в соответствии с аппроксимацией нечётких коэффициентов ~ (/ = 0,п) (табл. 2).

Таблица 2

№ Х1 х2 хп у

1 хн х21 хп1 уГ0

N Х\N х2 N хм V а0 У N

1 хн х21 хп1 уГ

N Х1N х2 N хм у * рр •

Таким образом, исходная задача оценивания нечётких коэффициентов нечёткого уравнения регрессии (5) сводится к классическим задачам оценивания параметров множественной регрессии (7).

Метод наименьших квадратов (МНК)

Этот метод является одним из наиболее распространенных приемов статистической обработки экспериментальных данных, относящихся к различным функциональным зависимостям физических величин друг от друга. В том числе, он применим к линейной зависимости и позволяет получить достоверные оценки ее параметров а и Ь, а также оценить их погрешности. Рассмотрим статистическую модель эксперимента, в котором исследуют линейную зависимость. Пусть проведено п парных измерений величин х и у : х^ у^ где i = 1, ... , п. По экспериментальным данным необходимо найти оценки

и 2 2

параметров а и Ь, а также оценки их дисперсий аа и аЬ .

Распределение плотности вероятности величины yi вокруг точного значения axi + Ь задает выражение:

с (у> ) = —^ ■ехрI" С \у> " (ах + Ь)]21 (9)

ал/2р I 2с ]

Плотность вероятности реализации полученных экспериментальных

данных Ь(у1, у2, .., уп) , называемую функцией правдоподобия, определяют

через произведение плотностей вероятностей распределений отдельных измерений, так как распределения yi независимы:

Ь =

1^у -(ахх + Ъ)]2}•...•—1

—7^ехРІ-^ -(ахі + Ъ)] Г ••• •—/т= о ^2

аы2р I 2а ] ал/2р I 2а

1у [У2 - (аХ2 + Й)]2 } (10)

Натуральный логарифм этой функции:

п 2

Ё1у - (ах + ъ)]

п, . п, 2 і

1п Ь = — 1п(2р) — 1п а - 2

2 2 2а г=і

(11)

Рис. 1. Иллюстрация модели метода наименьших квадратов

Оценками а, Ь, а2 будет правильным считать значения, при которых Ь и 1пЬ максимальны, т.е. реализуется наибольшая вероятность получения набора экспериментальных данных. Экстремум функции 1пЬ находят дифференцированием:

^ = о ^ = 0 ®пк = 0 (12)

да дЪ да2

После дифференцирования система уравнений относительно искомых параметров примет вид:

Е[(у - аХ - Ъ) Х ] = 0

і=1

п

ЕЪг- ах-- Ъ]=0

і=1

°2 = Е(Уі -ахі -ЪУ

(13)

і=1

Два первых уравнения в (13) есть ни что иное, как условие минимума выражения

^ = Е(у- (ах +Ъ))

(14)

і=1

составленного из суммы квадратов отклонений экспериментальных данных от точной линейной зависимости, в связи с чем описываемый метод и получил название метода наименьших квадратов. Решив (13), находим

а=

пЕхУг -Ех -ЕУі Ех2 -Еу -Ех -Еу

і =1 і =1 і =1 і =1 і =1

Ъ=

хі

і=1 і=1

гхг

\

(15)

пЕх -1Е х

і=1 V і=1 0

п ( п Л2

пЕх2 -[х ч

г-1 V г =1 0

Согласно выводам математической статистики, для получения несмещенной относительно точного значения оценки дисперсии решение, найден-

1

ное из (13), необходимо помножить на п/(п-2).

п п п

пЕ хіУі-Е х -X у і

а2 =

1

п(п - 2)

л

пЕУі -IXу

і=1 V і=1 0

,Х

і=1 і=1

п Ґ п I2

пЕх2-ІЕх I

і=1 V і=1 0

Оценим дисперсии параметров. Преобразуем выражение для а:

(16)

хі - х

а=Е кіУі > где кі =

м Е (х- х)

і=1

— 1 п

х=- Е х

2 п і=1

После преобразования видно, что а получается как линейная комбинация взаимно независимых величин у , так как коэффициенты к заданы точно - согласно пункту 1 предположений о статистике изучаемых величин. Следовательно, параметр а распределен нормально, а его дисперсия аа2 представляет собой линейную комбинацию дисперсий величин у с коэффициентами к|2 - это свойство сложения нормальных распределений уже встреча-

лось при рассмотрении погрешностей косвенных измерении.

22

а2. = Е кг о =

і=1

па

п

п Ґ п 12

Е ^-ІЕ х,1

і=1 V і=1 0

Преобразуем выражение для Ь:

1 п 1 п

ъ=- Е Уі- а - Е хі

п і=1 п і=1

Параметр Ь также нормально распределен. Его дисперсия:

^ 2 _

2 ° , Ґ \2 2

аи = ----+ (х) • а а

п

Из (17) выразим и подставим в предыдущее выражение:

Ех2 - п(х )2

(17)

22 а 2 = аа

і=1

22

п

2 1 аЪ =-Е хі * а а п

(18)

і=1

Иногда при обработке линейной зависимости необходимо найти координату точки пересечения графиком оси х: с = -Ъ. Соответствующая диспер-

а

22 сия ас = с

ґа2 а2ъ ^

а | Ъ

V а 2 ъ 0

Для практических расчетов методом наименьших квадратов удобно использовать видоизмененные выражения, получаемые при введении следующих величин:

У^1 хуЛ_х =11х-,_^ = Iхх,у„_У =1 хУ,,_х =1 хх,.

п , п , п , п , п ,

В таком случае:

а=

ху - х • У ъ = х2 [У_ - х •(хУ) а 2 = п у2 (У,2 а2

х2 - (х)2

х2 - (х)2

п-2

- (У) - а

х -1

и

(19)

і =1

2 ________

2 V 2 2 2

аа = ЖЖ'аъ=аа

Выражения (19) удобны и для прямых расчетов на калькуляторе, и для программирования вычислений при использовании компьютера. Кстати, многие прикладные компьютерные программы содержат метод наименьших квадратов. Часто после введения экспериментальных точек они строят график зависимости и тут же автоматически обрабатывают ее для определения оценок параметров и их погрешностей.

Возможности программы

Разработанная программа вычисляет коэффициенты уравнения для входных данных в количестве от 2 до 8 параметров. Это обеспечивает гибкость в предъявляемых программе выборок (опытов). И требует предъявления параметра оценивания (выходной параметр). Количество опытов для расчета коэффициентов варьируется от 1 до 100, что позволяет с хорошей точностью настроить коэффициенты уравнения регрессии.

Разработанная программа проста для обучения пользователя, т.к. для ее реализации был разработан удобный интерфейс с помощью среды программирования Бе1рЫ 7. Для программиста может представлять интерес расчет нечетких коэффициентов т.к. реализован он на основе одного из простейших, но в то же время эффективных методов наименьших квадратов.

Данная программа может быть использована для настройки весовых коэффициентов сети как отдельный юнит, или полученные с помощью программы результаты могут быть использованы для начального приближения весов сети (при необходимости более их точной настройки) и их настройки стандартными методами обучения. При этом потребуется гораздо меньше эпох обучения (настройка сети займет значительно меньше времени).

Общая структурная схема программы приведена на рис. 2. На рис. 3 представлено рабочее окно разработанной программы

Использование в качестве отдельного приложения

Программный продукт может быть использован как отдельное приложение для отыскания коэффициентов нечеткого уравнения регрессии.

Для разработки собственных приложений нейронных сетей или математической статистики могут быть использованы отдельные модули программы. Наибольший интерес могут представлять процедуры реализующие метод наименьших квадратов и метод Гаусса (решение системы линейных уравнений).

Полученные с помощью программы данные могут применяться для конечной настройки синоптических весов нейронной сети, а также для начального приближения последних, если требуется настройка с большей точностью.

Данной программой можно дополнить пакеты программ для прогнози-

рования событий или пакеты построения и работы с нейронными сетями.

Рис. 2. Общая структурная схема программы: 1 - основная процедура программы, формирующая систему линейных уравнений для определения коэффициентов уравнения нечеткой регрессии по методу наименьших квадратов и производящая расчет среднеквадратического отклонения рассчитанного значения от желаемого; 2 - процедура, решающая систему линейных уравнений 1 по методу Г аусса

ятттштмштшт

0пьгт1

Опыт 2

□пыт Э

Опьт 4

XI

Х2

12

54

32

65

98

45

17

Э

Х1 + Х2* Б

Коэффициент приХп А1 "0,001 39 А2«0,18156 АЗ-165,4573

гднИ

Ко/мчество переменных |2 і

Количество ОПЫТОЕ р-----------------

в

Вычислить

Невязка

1.36078217367249

Уопыт Урасчетное Пог-ть X

Опыт 1 Є 5,3268373890! 2,87181162457:

Опыт 2 12 1ШЙ62Мй 1.03593116538;

Опыт 3 17 17,302055744' 5,03003837434:

Опыт 4 э 8,2915127Е01! 8,54+72а32&97.

Рис 3. Вид пользовательского интерфейса

Заключение

В ходе работы была создана автоматизированная система расчета коэффициентов нечеткого уравнения регрессии. Приведены примеры работы системы. Описано дальнейшее использование результатов работы программы применительно к построению однослойной нейронной сети с нечеткими весовыми коэффициентами. Новизна разработки заключается в использовании нового метода обучения сети, основывающимся на нечеткости предъявляемой информации. В данной работе для отыскания нечетких коэффициентов нейронной сети было предложено использовать МНК. Результаты, приведенные в работе, показывают, что МНК удобно использовать для настройки нечетких весов т.к. он прост в программной реализации и с хорошей точностью настраивает коэффициенты.

Список использованных источников

1. Осовский С. Нейронные сети для обработки информации. - М.: Финансы и статистика, 2004.

2. Соколов Е.Н., Вайткявичус Г.Г. Нейроинтеллект: от нейрона к нейрокомпьютеру. М., Наука, 1989.

3. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. - Новосибирск: Наука, 1996. 275 с.

4. Кофман А., Хил А.Х. Введение в теорию нечетких множеств в управлении предприятием».— Минск: Высшая школа, 1992. 223 с.

5. Галушкин А.И. Теория нейронных сетей. - М., 2000. - 416 с.

6. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его приложения в экономике. -М.: МИФИ, 1998. - 224 с.

7. Галушкин А.И., Шмидт А.В. Итерационные методы поиска экстремума

функций многих переменных при ограничениях типа равенств// Автоматика и вычислительная техника, АН Латв. ССР. - 1971.

8. Дли М.И., Круглов В.В., Осокин М.В. Аппроксимационные модели социально-экономических систем и процессов. — М.: Наука, Физматлит, 2000. - 224 с.

Чутченко Ю.Е., Преображенский А.П.

ИССЛЕДОВАНИЕ ВОЗМОЖНОСТИ УЛУЧШЕНИЯ КАЧЕСТВА

ИЗОБРАЖЕНИЯ

Воронежский институт высоких технологий

Введение. Многие отрасли техники, имеющие отношение к получению, обработке, хранению и передаче информации, в значительной степени ориентируются в настоящее время на развитие систем, в которых информация имеет характер изображений. Изображение, которое можно рассматривать как двумерный сигнал, является значительно более емким носителем информации, чем обычный одномерный (временной) сигнал. Вместе с тем, решение научных и инженерных задач при работе с визуальными данными требует особых усилий, опирающихся на знание специфических методов, поскольку традиционная идеология одномерных сигналов и систем мало пригодна в этих случаях. В особой мере это проявляется при создании новых типов информационных систем, решающих такие проблемы, которые до сих пор в науке и технике не решались, и которые решаются сейчас благодаря использованию информации визуального характера. Очень редко изображения, получаемые в информационных системах, имеют цифровую форму. Поэтому их преобразование к этому виду является обязательной операцией, если предполагается использовать цифровую обработку, передачу, хранение. Как и при одномерных сигналах, данное преобразование включает в себя две процедуры. Первая состоит в замене непрерывного кадра дискретным и обычно называется дискретизацией, а вторая выполняет замену непрерывного множества значений яркости множеством квантованных значений и носит название квантования. При цифровом представлении каждому из квантованных значений яркости ставится в соответствие двоичное число, чем и достигается возможность ввода изображения в ЭВМ.

Замену непрерывного изображения дискретным можно выполнить различными способами. Можно, например, выбрать какую-либо систему ортогональных функций и, вычислив коэффициенты представления изображения по этой системе (по этому базису), заменить ими изображение.

Многообразие базисов дает возможность образования различных дискретных представлений непрерывного изображения. Однако наиболее употребительной является периодическая дискретизация, в частности, как упоминалось выше, дискретизация с прямоугольным растром. Такой способ дискретизации может рассматриваться как один из вариантов применения ортогонального базиса, использующего в качестве своих элементов сдвинутые 5 функции. Далее, следуя, в основном, подробно рассмотрим основные осо-