CC BY
92
ВЫВОДЫ
Поскольку мир неопределенностей и нечеткостей исходной информации чрезвычайно разнообразен, то при исследовании конкретной предметной области целесообразно выделять наиболее характерные для нее неопределенности и нечеткости с точки зрения решаемых задач.
В задачах принятия управленческих решений широко распространена неопределенность обстановки, причинами которой являются случайные отклонения параметров процессов, непредсказуемые волевые решения организационных вопросов, изменяющиеся неслучайным образом условия работы и проявления внешней среды, старение и износ оборудования.
В задачах оптимизации неопределенность проявляется в недостоверности и неполноте исходных данных, неадекватности используемых соотношений и противоречивости системы ограничений. Неопределенность многокритериальных задач включает в себя неопределенность, вносимую исходными данными, регуляризацией при оценивании параметров функциональных ограничений, аппроксимацией некорректно поставленных задач и сверткой частных критериев.
Решение конкретных задач с учетом нечеткости характеристик объекта, проявления внешней среды и нарушения исходных предпосылок требует разработки интеллектуальных (регуляризованных, эвристических) процедур принятия управленческих решений с ориентацией на существующий вид неопределенности и нечеткость исходной информации.
СПИСОК ЛИТЕРАТУРЫ
1. Авраменко В. П. Управление производством в условиях неопределенности / Авраменко В. П. - Киев : УМК ВО, 1992. - 48 с.
2. Авраменко В. П. Концепции интеллектуализации процедур принятия управленческих решений в условиях неопределенности / Авраменко В. П. // АСУ и приборы автоматики. - 1998. -Вып. 108. - С. 42-58.
3. Пономарев А. С. Нечеткие множества в задачах автоматизированного управления и принятия решений / Пономарев А. С. - Харьков : НТУ «ХПИ», 2005. -258 с.
4. Раскин Л. Г. Нечеткая математика. Основы теории. Приложения / Раскин Л. Г, Серая О. В. - Харьков : Парус, 2008. - 352 с.
5. Леоненков А. Нечеткое моделирование в среде Matlab и fuzzyTECH / Леоненков А. - СПб. : БХВ-Петербург, 2005. - 716 с.
Надійшла 12.04.2010
Авраменко В. П., Ткаченко В. П., Середа Л. Б.
ПРИЙНЯТТЯ УПРАВЛІНСЬКИХ РІШЕНЬ В УМОВАХ НЕВИЗНАЧЕНОСТІ ТА НЕЧІТКОСТІ ВИХОДНОЇ ІНФОРМАЦІЇ
Досліджено інтелектуальні обчислювальні процедури прийняття управлінських рішень в умовах невизначеності та нечітко заданої початкової інформації. Розроблено гнучкі математичні моделі та регуляризовані процедури прийняття багатокритеріальних управлінських рішень.
Ключові слова: прийняття рішень, інтелектуальні процедури, умови невизначеності та нечіткості.
Avramenko V. P., Tkachenko V. P., Sereda L. B.
MANAGEMENT DECISIONS IN CONDITIONS OF UNCERTAIN AND FUZZY SOURCE INFORMATION
Intelligent computer procedures of making management decisions in conditions of uncertain and fuzzy source information were studied. Flexible mathematic models and regularized procedures of making multicriterion management decisions were developed.
Key words: decision-making, intellectual procedures, conditions of uncertainty and fuzziness.
УДК 004.032.26
Асеев Г. Г.
Докт. техн. наук, заведующий кафедрой Харьковской государственной академии культуры
МЕТОДЫ ИНТЕЛЛЕКТУАЛЬНОЙ ПРЕДОБРАБОТКИ ДАННЫХ В ЭЛЕКТРОННЫХ ХРАНИЛИЩАХ
Представлен один из возможных формализмов задачи предобработки входных сигналов для сигмоидных обучающихся нейронных сетей на основании минимизации критерия Липшица.
Ключевые слова: предобработка, нейронная сеть, электронное хранилище, константа Липшица, синапс, сумматор.
ВВЕДЕНИЕ нию количества документов, в связи с чем традици-
Возрастание объемов информации, необходимой онные методы работы с последними становятся ма-
для принятия решений, приводит к резкому увеличе- лоэффективными. На помощь приходят корпоратив-
© Асеев Г. Г., 2010
ные информационные системы (КИС), которые позволяют создавать и обрабатывать документы электронными средствами. КИС обеспечивают процесс создания, управления доступом и распространения больших объемов информации в компьютерных сетях, а также контроль над ее потоками в организации. Информация рассматривается не только как некая принадлежащая предприятию ценность, но и как исходная точка для построения информационной системы, обслуживающей предприятие. Следует отметить, что правильное понимание информационного аспекта служит необходимой предпосылкой для построения высококачественных и целостных информационных систем. По этой причине ведущим направлением при создании КИС является переход от процедурно-ориентированных методов разработки [1, 2] к информационно-ориентированным [3].
Обычно информация в виде документов хранится в специальных хранилищах данных, где за время своего существования большинством организаций накоплены огромные объемы данных, которые могли бы быть использованы в практической деятельности: дать ответ о том, что нужно клиентам, наиболее предпочтительным для организации, как наиболее эффективно разместить ресурсы, каким образом минимизировать потери и т. д.
ПОСТАНОВКА ПРОБЛЕМЫ
В настоящее время потоки текстовой и числовой информации ежедневно порождаются и оседают в хранилищах данных. Насколько полно на практике используются все те закономерности, которые кроются в этих данных и, возможно, представляют большую ценность? Можно предположить, что процент переработки «сырых» данных в практически значимые знания пока что весьма скромен.
Всякое познание может быть представлено в виде модели. Модель - это искусственно создаваемая система, в которой отражено сходство структуры и функции с системой-оригиналом. Существуют два вида моделей: предсказательные и описательные. В первых используется один набор данных с известными результатами для построения моделей, которые явно предсказывают результаты для других наборов данных [3, 4], а во вторых описываются зависимости в существующих данных [5]. Созданная модель не сможет претендовать на абсолютное знание, но даст аналитику определенное преимущество уже самим фактом обнаружения альтернативной статистически значимой модели.
В последнее время активно развиваются новые описательные методы анализа данных и извлечения знаний, базирующиеся на иных, нежели традиционная интегро-дифференциальная парадигма, подходах. Имеются в виду методы эволюционного моделирования. Под этим термином подразумеваются искусственные нейронные сети, генетические алгоритмы, КБР сети и пр.
Рассмотрим искусственные нейронные сети, а именно, компоненту предобработки входных данных. Существует множество различных видов нейронных сетей [6-9]. Однако, для большинства нейронных сетей характерно наличие такого интервала входных сигналов, в пределах которого сигналы различимы. Для различных нейронных сетей эти интервалы различны. До настоящего времени результаты попыток формализовать или унифицировать подходы к предобработке входных сигналов были незначительны. В настоящей статье дадим один из возможных формализмов этой задачи.
ОПИСАНИЕ ПРЕДОБРАБОТЧИКА
В качестве примера рассмотрим сети с сигмоидными нелинейными преобразователями. Описываемые ниже способы предобработки могут быть применены для сетей с произвольными нелинейными преобразователями.
Нейрон. Нейроны, используемые в большинстве нейронных сетей, имеют структуру, приведенную на рис. 1, где применены следующие обозначения: х -вектор входных сигналов нейрона; а - вектор синаптических весов нейрона; X - входной сумматор нейрона; р = р (а, х) - выходной сигнал входного сум-
матора; о - функциональный преобразователь; у -выходной сигнал нейрона.
Обычно нейронным сетям присваивают названия по виду функции о(р). Хорошо известны и наиболее часто используются следующие два вида сигмоидных сетей:
Яр о(р) = 1/( 1+ехр(-ср)),
^: о(р) = р/( с + |р|),
где с - параметр, называемый «характеристикой нейрона». Обе функции имеют идентичные графики.
Рис. 1. Пример нейрона
Каждому типу нейрона соответствует свой интервал приемлемых входных данных. Как правило, этот диапазон либо совпадает с диапазоном выдаваемых выходных сигналов (например, для сигмоидных нейронов с функцией Sj), либо является объединением диапазона выдаваемых выходных сигналов и отрезка, симметричного ему относительно нуля (например, для сигмоидных нейронов с функцией S2). Этот диапазон будем обозначать как [a, b].
Простейшая предобработка числовых признаков. Числовые сигналы рекомендуется масштабировать и сдвигать так, чтобы весь диапазон значений попадал в диапазон приемлемых входных сигналов. Эта предобработка проста и задается следующей формулой:
с, = (c-cmn)(b-a- + a,
С — С ■
'-'max L'mm
где [a, b] - диапазон приемлемых входных сигналов; [cmin, cmax] - диапазон значений признака с, с' - пре-добработанный сигнал, который будет подан на вход сети. Предобработку входного сигнала по формуле (j) будем называть простейшей предобработкой.
Оценка способности сети решить задачу. В данном подразделе рассматриваются только сети, все элементы которых непрерывно зависят от своих аргументов. Предполагается, что все входные данные предобработаны так, что все входные сигналы сети лежат в диапазоне приемлемых входных сигналов [a, b]. Будем обозначать векторы входных сигналов через x , а требуемые ответы сети через f'. Компоненты векторов будем обозначать нижним индексом, например, компоненты входного вектора через xj. Будем полагать, что в каждом примере ответ является вектором чисел из диапазона приемлемых сигналов [a, b]. В случае обучения сети задаче классификации требуемый ответ зависит от вида используемого интерпретатора ответа.
Нейронная сеть вычисляет некоторую вектор-функцию F от входных сигналов. Эта функция зависит от параметров сети. Обучение сети состоит в подборе такого набора параметров сети, чтобы величина
^ [Fj (x‘) - f j ]2 была минимальной (в идеале равна
j
нулю). Для того, чтобы нейронная сеть могла хорошо приблизить таблично заданную функцию f, необходимо, чтобы реализуемая сетью функция F при изменении входных сигналов с x на xJ могла изменить значение с f на f. Очевидно, что наиболее трудным для сети должно быть приближение функции в точках, в которых при малом изменении входных
сигналов происходит большое изменение значения функции. Таким образом, наибольшую сложность будет представлять приближение функции f в точках, в которых достигает максимума выражение
If' - /II/|\x - x i. Для аналитически заданных функций величина sup f( x) - f(y )\\/\\x - y|| называется кон-
x y
стантой Липшица. Исходя из этих соображений, можно дать следующее определение сложности задачи.
Сложность аппроксимации таблично заданной функции f, которая в точках x' принимает значения f ', задается выборочной оценкой константы Липшица, вычисляемой по следующей формуле:
Л' = max || f -f\\/\\x‘ - X\\. (2)
' * j
Оценка (2) является оценкой константы Липшица аппроксимируемой функции снизу.
Для того, чтобы оценить способность сети заданной конфигурации решить задачу, необходимо оценить константу Липшица сети и сравнить ее с выборочной оценкой (2). Константа Липшица сети вычисляется по следующей формуле:
Лп = sup||F(x) - F(y)\\/\\x -y||. (3)
x, y
В формулах (2) и (3) можно использовать произвольные нормы. Однако для нейронных сетей наиболее удобной является евклидова норма. Далее везде используется евклидова норма.
Ниже опишем способ вычисления оценки константы Липшица сети (3) сверху. Очевидно, что в случае Лп < Л' сеть принципиально не способна решить задачу аппроксимации функции f.
Оценка константы Липшица сети. Оценку константы Липшица сети будем строить в соответствии с принципом иерархического устройства сети. При этом потребуются следующие правила:
1. Для композиции функций f og = f(g(x)) константа Липшица оценивается как произведение констант Липшица:
Лf og ^^^. (4)
2. Для вектор-функции f = (f1,f2, fn) константа Липшица равна:
Л = Д4 (5)
Для непрерывных функций константа Липшица является максимумом производной в направлении r = (r1, r2,rn) по всем точкам и всем направлениям. При этом вектор направления имеет единичную
длину I r2 = 1. Напомним формулу производной
функции f(x1, x2, xn) в направлении r:
df = dr
I r
Э/.
d x,'
(6)
Синапс. Обозначим входной сигнал синапса через х, а синаптический вес через а. Тогда выходной сигнал синапса равен ax. Поскольку синапс является функцией одной переменной, то константа Липшица равна максимуму модуля производной - модулю синаптического веса:
л* = а. (7)
Умножитель. Обозначим входные сигналы умножителя через x1, x2. Тогда выходной сигнал умножителя равен f* = x1x2. Используя (6), получаем ЛЛ = sup |r1 x2 + r2x^. Выражение r1x2 + r2x1 является
x, r
скалярным произведением векторов (r1, r2) и, учитывая единичную длину вектора r, достигает максиму -ма, когда эти векторы сонаправлены. То есть, при векторе
I Х2 X! I ¡2,2
= I П" ' ПП , ИХ = л/Хі + Х2.
Используя это выражение, можно записать константу Липшица для умножителя:
\2 + х2|
Лл = sup |r1 Х2 + r2x! = sup1 ‘и .. 2 = sup||х||
* x, r x x x
(8)
Если входные сигналы умножителя принадлежат интервалу [а, Ь], то константа Липшица для умножителя может быть записана в следующем виде:
hf = V2max{|а|, \b\ }.
(9)
Точка ветвления. Поскольку в точке ветвления не происходит преобразование сигнала, то константа Липшица для нее равна единице.
Сумматор. Производная суммы по любому из слагаемых равна единице. В соответствии с (6) получаем:
ЛЕ = sup
= jn,
(10)
поскольку максимум суммы при ограничении на сумму квадратов достигается при одинаковых слагаемых.
Нелинейный Паде преобразователь. Нелинейный Паде преобразователь или Паде элемент имеет два входных сигнала и один выходной. Обозначим входные сигналы через х1, х2. Используя (6), можно записать константу Липшица в следующем виде:
Лп = sup
rnx2 r2xj = sup r-x2-r2x1
x2 x2 r, x x2
Знаменатель выражения под знаком модуля не зависит от направления, а числитель можно преобразовать так же, как и для умножителя. После преобразования получаем:
Лп = sup""-“".
x x 22
(11)
Нелинейный сигмоидный преобразователь. Нелинейный сигмоидный преобразователь, как и любой другой нелинейный преобразователь, имеющий один входной сигнал х, имеет константу Липшица, равную максимуму модуля производной:
А
Лф = sup^f.
x x 2
(12)
Адаптивный сумматор. Для адаптивного сумматора на п входов оценка константы Липшица, получаемая через представление его в виде суперпозиции слоя синапсов и простого сумматора, вычисляется следующим образом. Используя формулу (7) для синапсов и правило (5) для вектор-функции, получаем следующую оценку константы Липшица слоя синапсов:
Л, =
' ЛІ =
IКЇ
(13)
Используя правило (4) для суперпозиции функций и оценку константы Липшица для простого сумматора (10), получаем:
ЛА = sup
x, r
I ra
i = 1
I a
i = 1
a,-
(14)
Очевидно, что оценка (14) точнее, чем оценка (13).
Константа Липшица слоистой сигмоидной сети.
Рассмотрим слоистую сигмоидную сеть со следующими свойствами: а) число входных сигналов - п0; б) число нейронов в г-м слое - п; в) каждый нейрон первого слоя получает все входные сигналы, а каждый нейрон любого другого слоя получает сигналы всех нейронов предыдущего слоя; г) все нейроны всех слоев имеют вид, приведенный на рис. 1 и имеют одинаковую характеристику; д) все синаптические веса ограничены по модулю единицей; е) в сети т слоев.
В этом случае, учитывая формулы (4), (5), (12) и (14), константу Липшица г-го слоя можно оценить следующей величиной:
ini ini
л, - /I (ЛфЛа.)2 = Лф Ц|Ia||2 <Лф7п,-1 п,.
V = 1
№ = 1
і = 1
i=1
r
і = 1
Используя формулу (4), получаем оценку константы Липшица всей сети:
т ____т - 1
Лп < ПЛ-<Лт4щПт П П]. i=1 i=1
Если используются нейроны типа S1, то Лф = с и оценка константы Липшица сети равна:
т - 1
Лs1 < cmJn0Пт П п-.
i =1
Для нейронов типа S2 Лф = 1/с и оценка константы Липшица сети равна:
т - 1
Лs2 < c'Vn0Пт П п.
i = 1
Обе последние формулы подтверждают экспериментально установленный факт, что чем круче характеристическая функция нейрона, тем более сложные функции (функции с большей константой Липшица) может аппроксимировать сеть с такими нейронами.
ПРЕДОБРАБОТКА, ОБЛЕГЧАЮЩАЯ ОБУЧЕНИЕ
При обучении нейронных сетей иногда возникают ситуации, когда дальнейшее обучение нейронной сети невозможно. В этом случае необходимо выявить и проанализировать причины. Возможны несколько видов анализа. Одной из возможных причин является высокая сложность задачи, определяемая как выборочная оценка константы Липшица.
Для упрощения задачи необходимо уменьшить выборочную оценку константы Липшица. Наиболее простой способ добиться этого - увеличить расстояние между входными сигналами. Рассмотрим пару примеров - x, x J, таких, в которых Л,- = = \f -fll A\x‘ - x J||. Определим среди координат векторов xi и x j координату, в которой достигает минимума величина |xj - xJ|, исключив из рассмотрения совпадающие координаты. Очевидно, что эта координата является «узким местом», определяющим сложность задачи. Следовательно, для уменьшения сложности задачи требуется увеличить расстояние между
векторами x и xJ, а наиболее перспективной координатой для этого является /-я. Однако увеличение расстояния между x/ и x1i не всегда имеет смысл. Дело в том, что все параметры, как правило, измеряются с конечной точностью. Поэтому, если величина ij
|x/ - x/\ меньше точности измерения /-го параметра, значения x] и x’/ можно считать совпадающими. Таким образом, для изменения масштаба надо выби-
рать тот из входных параметров, для которого значение \х\ - Х\ минимально, но превышает точность измерения этого параметра.
Предположим, что все входные параметры предоб-работаны в соответствии с формулой (1). Перенумеруем примеры обучающего множества так, чтобы были
1 „ 2 ^ * N
верны следующие неравенства: х1 < х1 < ... < х1, где
N - число примеров в обучающем множестве. При
этом придется исключить ряд пар «параметр - ответ»
с совпадающими значениями параметра. Если в какой-
либо из таких пар значения ответов различаются, это
снижает возможную полезность данной процедуры.
Наиболее простой путь - разбить диапазон 1-го параметра на два. Зададимся точкой х. Будем кодировать 1-й параметр двумя входными сигналами в соответствии с табл. 1.
Таблица 1. Кодирование параметра после разбиения на два сигнала
Значение Первый сигнал Второй сигнал
Xi < x (X - a)(b - a) V l (, ) + a (b - a) a
Xi > X b (Xi - a)(b - a) , (b-x) a
При таком кодировании критерий Липшица, очевидно, уменьшится. Вопрос о выборе точки х может решаться по-разному. Простейший путь - задать x = (a - b)/2. Более сложный, но часто более эффективный - подбор x, исходя из требования минимальности критерия Липшица.
ВЫВОДЫ
При больших объемах хранилищ данных практически невозможно напрямую применить методы Data Mining. Если не будут произведены формализация и сбор данных и их представления, то тогда плохое «качество» исходных данных явится одной из самых серьезных проблем. В связи с тем, что в большинстве случаев источником информации для аналитических систем является корпоративное хранилище данных, в котором аккумулируются сведения из множества разнородных источников, острота проблемы существенно возрастает.
Необходимость предварительной обработки данных при их анализе возникает независимо от того, какие технологии и алгоритмы используются. Более того, эта задача может представлять самостоятельную ценность в областях, не имеющих непосредственного отношения к анализу данных. При исполь-
зовании же механизмов анализа, в основе которых лежат самообучающиеся алгоритмы, такие как нейронные сети, деревья решений и прочее, хорошее качество данных является ключевым требованием. В данной работе был дан один из возможных формализмов этой задачи к предобработке входных сигналов на основании минимизации критерия Липшица для сигмоидных обучающихся нейронных сетей.
СПИСОК ЛИТЕРАТУРЫ
1. Асеев Г Г Логико-алгебраический подход к описанию информационных процессов электронного документооборота / Г. Г. Асеев, Т. Г. Белова // АСУ и приборы автоматики. - 2004. - Вып. 126. - С. 161-167.
2. Асеев Г Г Концепция математической модели информационных потоков электронного взаимодействия в документообороте / Г. Г. Асеев, Т. Г. Белова // Вестник НТУ «ХПИ». - 2003. - № 6. - С. 161-168.
3. Асеев Г Г Электронный документооборот : учеб. / Г Г. Асеев. - К. : Кондор, 2007. - 500 с.
4. Асеев Г Г Методы интеллектуального анализа данных в электронных хранилищах / Г Г Асеев // Бионика интеллекта : науч.-техн. журнал. - 2008. - № 1(70). -С. 28-33.
5. Асеев Г. Г. Проблема обнаружения нового знания в хранилищах данных методами Knowledge Discovery in Databases / Г. Г. Асеев // Вестник НТУ «ХПИ». -№ 19. - С. 62-70.
6. Галушкин А. И. Нейрокомпьютеры и их применение. Кн. 1: Теория нейронных сетей / А. И. Галушкин. -
М. : Изд. предприятие редакции журнала «Радиотехника», 2000. - 354 с.
7. Кохонен Т. Анализ финансовых данных с помощью самоорганизующихся карт / Тейво Кохонен, Гвидо Де-бок. - М. : Альпина, 2001. - 380 с.
8. Корнеев В. В. Базы данных. Интеллектуальная обработка информации / В. В. Корнеев, А. Ф. Гарев, С. В. Васютин, В. В. Райх. - М. : Нолидж, 2000. - 352 с.
9. Царегородцев В. Г Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы Х Всеросс. семинара «Нейроинформатика и ее приложения» / В. Г Царегородцев. - Красноярск, 2002. - С. 146-150.
Надійшла 22.03.2010
Асєєв Г. Г.
МЕТОДИ ІНТЕЛЕКТУАЛЬНОЇ ПЕРЕДОБРОБКИ ДАНИХ В ЕЛЕКТРОННИХ СХОВИЩАХ
Подано один з можливих формалізмів задачі передоб-робки вхідних сигналів для сигмоїдних нейронних мереж, що навчаються, на підставі мінімізації критерія Ліпшиця.
Ключові слова: передобробка, нейронна мережа, електронне сховище, константа Ліпшиця, синапс, суматор.
Aseyev G. G.
METHODS OF INTELLIGENT INPUT DATA PRELIMINARY PROCESSING IN DATA WAREHOUSE One of the possible formalisms is presented of the problem of input signals preliminary processing for sigmoidal learnable neural networks on the basis of Lipschitz criterion minimization.
Key words: pre-treatment, neural network, electronic data warehouse, Lipschitz constant, synapse, summator.
УДК519.7: 655.3.022.16 Бодянский Е. В.1, Кулишова Н. Е.2
1Д-р техн. наук, профессор Харьковского национального университета радиоэлектроники 2Канд. техн. наук, доцент Харьковского национального университета радиоэлектроники
СГЛАЖИВАНИЕ ПОМЕХ НА ЦВЕТНЫХ ИЗОБРАЖЕНИЯХ С ПОМОЩЬЮ НЕЙРО-ФАЗЗИ ФИЛЬТРА
Рассмотрена проблема подавления помех на цветных цифровых изображениях. Для решения предложен нейро-фаззи фильтр, который обеспечивает высокое качество фильтрации с сохранением контуров, текстур и плавных тоновых переходов.
Ключевые слова: цветные изображения, вычислительный интеллект, нейро-фаззи
фильтрация, помеха.
ВВЕДЕНИЕ
В структуре полиграфических изданий зачастую значительную долю составляют иллюстрации, кото -рые могут быть получены либо фотографированием, либо создаются с помощью специальных графических пакетов. В настоящее время цифровые или оцифрованные фотографии используются для иллюстраций гораздо чаще, в связи с чем возникает множе-© Бодянский Е. В., Кулишова Н. Е., 2010
ство проблем по подготовке таких изображений к печати [1, 2].
На оцифрованных изображениях, как правило, присутствует шум в виде пятен различного рода [3-5], порождаемых различного рода возмущениями:
- мелкие черные пятна, обусловленные наличием пыли на поверхности. Они встречаются на многих фотографиях. Размеры пятен очень малы, в связи с чем их можно считать точечными объектами;
