CC BY
45
УДК 681.327.12
С.А. ЗУЕВ, А.С. ГАСАНОВ
ОБ ОДНОМ ПОДХОДЕ К АНАЛИЗУ И СИНТЕЗУ ОБНАРУЖИТЕЛЕЙ РЕАЛЬНОГО ВРЕМЕНИ - МНОГОУРОВНЕВЫХ СХЕМАХ ПРИНЯТИЯ РЕШЕНИЯ
Abstract: The approach to analysis and synthesis of the optimal multil-level schemes of decision making with reference to systems is considered, the frame of which (or algorithm of operation) is representable by the way of sink tree. The offered approach allows evaluating quality of operation of a system of recognition at all stages of constructing - from starting algorithms to instrument realisation on personal digital computers or specialized automatic devices. It is exhibited, that non-optimum (from the point of view of power losses of a system on decision making) the schemes of reception of the unique solution have other useful property - insensibility to distribution signal/noise, that does convenient their microprocessor realization. The realization being offered methods and algorithms for a practically relevant problem - synthesis of the scheme of automatic monitor of “dead zone” warning driver about availability of the in visible means of transport on the adjacent band of unilateral motion is adduced.
Key words: multi-level schemes of decision marking, pattern recognition, root graph, white noise, optimization, model, structure, realization of device.
Анотація: Розглянуто підхід до аналізу і синтезу оптимальних багаторівневих схем ухвалення рішення стосовно до систем, структура яких (чи алгоритм функціонування) представлені у вигляді кореневого дерева. Запропонований підхід дозволяє оцінити якість функціонування системи розпізнавання на усіх етапах її конструювання: від вихідних алгоритмів до апаратурної реалізації на персональних комп’ютерах чи спеціалізованих автоматичних пристроях. Показано, що неоптимальні (з погляду енергетичних витрат системи на ухвалення рішення) схеми ухвалення єдиного рішення володіють іншою корисною властивістю -нечутливістю до розподілу сигнал/шум, що робить зручним їхню мікропроцесорну реалізацію. Приведено реалізацію методів і алгоритмів, що пропонуються для практично важливої задачі - синтезу схеми пристрою автоматичного контролю «мертвої зони», що попереджає водія про наявність непомітного транспортного засобу на сусідній смузі однобічного руху.
Ключові слова: багаторівнева схема ухвалення рішення, розпізнавання образів, кореневий граф, білий шум, оптимізація, модель, структура, реалізація пристрою.
Аннотация: Рассмотрен подход к анализу и синтезу оптимальных многоуровневых схем принятия решения применительно к системам, структура которых (или алгоритм функционирования) представлена в виде корневого дерева. Предлагаемый подход позволяет оценивать качество функционирования системы распознавания на всех этапах её конструирования: от исходных алгоритмов до аппаратурной реализации на персональных компьютерах или специализированных автоматических устройствах. Показано, что неоптимальные (с точки зрения энергетических потерь системы на принятие решения) схемы принятия единственного решения обладают другим полезным свойством -нечувствительностью к распределению сигнал/шум, что делает удобным их микропроцессорную реализацию. Приведена реализация предлагаемых методов и алгоритмов для практически важной задачи -синтеза схемы устройства автоматического контроля ««мёртвой зоны», предупреждающего водителя о наличии невидимого транспортного средства на соседней полосе одностороннего движения.
Ключевые слова: многоуровневая схема принятия решения, распознавание образов, корневой граф, белый шум, оптимизация, модель, структура, реализация устройства.
1. Введение
Данная статья посвящена анализу и синтезу многоуровневых схем принятия решения применительно к задаче классификации простых образов, обнаружению сигналов в многоканальных системах, анализу иерархических систем принятия единственного решения, анализу отказа сложных иерархических систем и многих других систем, структура которых (или алгоритм функционирования) представима в виде корневого дерева.
Предлагаемый подход позволяет оценивать качество функционирования системы распознавания на всех этапах её конструирования: от исходных алгоритмов до аппаратурной реализации на персональных компьютерах или специализированных автоматических устройствах. Основу статистического подхода к задаче классификации образов составляет байесовская теория принятия решения. Подход этот основан на предположении, что задача принятия решения
сформулирована в терминах теории вероятностей и известны все необходимые вероятностные характеристики. Отсюда следует основной недостаток такого подхода к распознаванию образов или классификации сложных объектов-необходимость задания многомерных функций распределений определенных величин-параметров образа. При применении аппарата теории статистических решений к распознаванию образов задача распознавания распадается на две: задачу описания образа (или выделения информативных признаков) и задачу классификации по выделенным признакам.
В данной работе предполагается, что уже имеется описание для данного образа. Термин "простой образ" как раз подразумевает, в пределах настоящей работы, наличие описания информативных признаков образа при его распознавании.
2. Постановка задачи
Пусть имеется определенный образ Ь, заданный описанием его информативных признаков (частей образа), число которых равно п1 (п1 признаков образа на первом уровне). Пусть также имеется простейший классификатор байесовского типа, относящий некоторый г признак образа к множеству Н0 в случае отсутствия г признака у предъявленного образа либо к множеству
(пространству) Н1 — при наличии г признака у образа Ь. Простейшим примером таких распознающих систем может служить система распознавания двумерных плоских зрительных образов, разбитых на п1 частей, на каждую из которых синтезирован оптимальный оптический фильтр, например, типа фильтров Вандер Люгта [6, 7]. После бинарной классификации п1 признаков образа получим п1 решений о наличии или отсутствии того или иного признака. Припишем решению о наличии признака - единицу, а противоположному решению - ноль.
При ограничениях на сложность организации и технической реализации необходимо найти оптимальные алгоритмы принятия единственного решения.
3. Описание и построение модели в виде корневого графа
Найдем структуру многоуровневой схемы принятия решения при распознавании простого образа. Из начальных п1 решений, полученных бинарным классификатором, воспользуемся группой из
решений первого уровня. Применим какой-либо алгоритм классификации этой группы: отнесем ранения либо к пространству Н0, либо Н1. В результате получим одно решение следующего, второго, уровня, которому в зависимости от исхода классификации присвоим значение единицы или нуля. Используя все п1 начальных решений группами по тг 1, получим следующий, второй,
уровень решений, состоящий из п2 позиций единиц и нулей. Далее, разбив п2 решений группами
где
(1)
по ті 2 и принимая по одному решению по каждой из групп, получим очередной - третий уровень решений, состоящий из п3 точек. При этом для любого уровня справедливо равенство
пк
пк-і = £ т,к-і, (2)
і=і
где к = 2, 3 , ..., Л пробегает значения от двух до Л - числа уровней принятия решения.
Потребуем, чтобы на каждом уровне выполнялось следующее дополнительное условие:
пк-і > пк. (3)
Неравенство (3) эквивалентно требованию того, что на любом уровне обязательно
найдется хотя бы одна группа ті к, в которой объединено не менее двух решений к уровня, при
к £ Л — і. Описанный процесс принятия промежуточных решений об анализируемом образе приводит к принятию единственного окончательного решения на последнем уровне Л. Число уровней принятия решения многоуровневыми схемами подчиняется следующему очевидному неравенству:
Л £ п1. (4)
Знак равенства возможен только тогда, когда на каждом уровне имеется ровно одна группа решений ті к, в которой объединены по два решения уровня, а в остальных же группах содержится по одному решению, т.е. они просто передают решения с верхнего уровня на нижний. Отметим, что лишь п решений первого (верхнего) уровня получены на основании классификации реального физического образа. На остальных уровнях происходит обработка лишь самих решений независимо от того получены эти решения на основании обработки других решений или на основе классификации частей (признаков) изображения (образа).
Для определения качества распознавания образа, т.е. определения вероятностных характеристик его классификации, зададимся вероятностью правильной классификации Рк (Л) и
величиной ошибки классификации Рош (Л) при условии, что окончательное решение о распознавании образа происходит на уровне Л. Вероятность Рк (Л) есть вероятность того, что предъявленный образ будет правильно классифицирован. Вероятность Рош (Л) есть вероятность
принятия решения о наличии заданного образа, хотя на самом деле предъявленный образ не является заданным.
По известному алгоритму обработки (объединения) т1 Л-1 решений уровня Л-1 можно
определить требуемые для этого вероятности Рк (Л-1) и Рош (Л-1) на Л-1 уровне. Процесс этот можно легко продолжить до начального верхнего уровня и определить требуемые для обеспечения заданных Рк (Л) и Рош (Л) вероятности начальных классификаций Рк (і) и Рош (і)
первого уровня. Зная Рк (і), Рош (і) и задаваясь вероятностными характеристиками входных образов, а также задав вид помехи, которыми зашумлены входные образы, можно определить
параметры бинарных входных классификаторов. Таким образом, можно решить задачу синтеза многоуровневых схем распознавания простых образов; задача анализа решается в обратном порядке.
Изложенную процедуру принятия окончательного единственного решения удобно
изобразить в виде графа (рис. 1).
Рис. 1. Граф принятия единственного решения Будем считать заданными пі - количество исходных (начальных) решений (признаков образа), а также величины Рк (Л) и Рош (Л), определяющие качество принятия окончательного
решения об образе. Требуется по заданным величинам найти граф Г, оптимизирующий в каком-то смысле алгоритм принятия решения. При этом на граф Г могут накладываться дополнительные ограничения: заданное или ограниченное число уровней принятия решения
Л = Л 0; (5)
Л<Л0. (6)
Заданное или ограниченное число решений, объединяемых в группы
ті к = т
тгк £ т!,к .
Равенство определенному числу всех групп одного уровня
(7)
(8)
(9)
Щ,к = тк ,
наличие или отсутствие влияния решений последующих уровней на предыдущие и т.д.
Двухуровневый вариант (Л = 2) представляет собой бинарный классификатор для обнаружения двоично-квантованного сигнала на фоне помех различной статистической природы [17, 21, 24], когда по принятой выборке единиц и нулей на выходе цифрового приемного устройства необходимо принять решение о наличии или отсутствии сигнала в его смеси с шумом, подаваемым на вход приемного устройства. Трехуровневый вариант (Л = 3) может быть использован при анализе многоканальных систем обработки данных, многочастотной локации, распознавании
двухмерных изображений, если изображение предварительно разбивается на отдельные составные части. Вся же модель в целом может оказаться полезной всюду, где по множеству частных решений необходимо принять одно окончательное.
3.1. Метода оптимизации многоуровневых схем
Перечисление корневых деревьев показывает, что в общем случае при большом числе начальных вершин оптимизировать граф принятия решения путем простого перебора вариантов не реально. Перейдем к вопросам оптимизации многоуровневых схем с точки зрения графоаналитического подхода.
Для ребра графа, соединяющего вершину і уровня к с вершиной 5 уровня к +1, припишем меру
равную потерям на обработку группы т1 к уровня к, для получения решения в точке 5 уровня
Задача оптимизации алгоритма принятия окончательного решения многоуровневыми схемами заключается в построении корневого дерева (определенного ранее типа), имеющего минимальную полную меру
при условиях целочисленности (1), (2) и ограничениях (3) и (4).
Вопросам целочисленной (дискретной) оптимизации посвящено много работ [1, 6, 18, 25,
Из литературы следует, что при прочих равных условиях принятие решения по дереву, имеющему меньшее число уровней, предпочтительней, чем по дереву с большим числом уровней.
3.2. Основные соотношения для определения вероятностных характеристик принятия единственного решения при распознавании многоуровневыми схемами
При распознавании образов многоуровневыми схемами принятия решения предварительно осуществляется классификация щ частей или признаков образа. По сути, на первом уровне производится бинарное квантование образа. Потери, вызванные бинарным квантованием, и выбор оптимального порога можно вычислить по приведенным в литературе [3, 5, 10, 21, 26] данным. При разработке систем технического зрения для целей навигации и ориентации подвижных объектов в среде функционирования важными данными являются вероятность правильного обнаружения заданного ориентира и частота сбоев системы (вероятность ложных тревог Рош). Поэтому
наиболее подходящим, в данном случае, классификатором байесовского типа [23] является классификатор Неймана-Пирсона [11, 12, 23]. Правило Неймана-Пирсона является равномерно
(10)
к +1.
Л пк
(11)
к=1 і (^)
27].
наиболее мощным среди всех правил выбора, максимизирующих значение величины правильного обнаружения при заданной значимости критерия [22].
На выходе классификатора имеем последовательность из единиц и нулей, содержащую п1
дальнейших результатов (вычисления меры дуги графа st) выделим два подслучая.
3.2.1. Случай одинаковых вероятностей распознавания составляющих частей образа
В данном пункте предположим, что значение вероятностей на первом уровне не зависит от номера решения, а все объединенные группы в пределах одного уровня равны между собой, то есть
Это значит, что значения Рк, Рош и шк зависят только от номера уровня принятия решения. Зафиксируем этот уровень и предположим, что на нем
Выберем следующее правило обработки группы из q промежуточных решений [20, 24]: если из q
решений к уровня не менее, чем г единичные, то получаем единичное решение следующего уровня и нулевое решение в противоположном случае. При этом приходим к обычной схеме испытаний Бернулли.
Вероятностные характеристики на следующем уровне связаны с (15), (16) и (17), а также введенным правилом, следующим образом [19]:
3.2.2. Качество распознавания при различных вероятностях классификации частей образа
Рассмотрим далее случай, когда введенные ограничения (15) - (17) несправедливы, вероятности Рк и Рош классификации зависят от номера решения г и группы тг к не равны между собой на
позиций, с вероятностями правильных решений Рк (п) и ошибки
Для получения
(12)
(13)
(14)
Рк (к) = Рк = const;
(15)
(16)
тк = ц = const.
(17)
к
(18)
к=г
к
(19)
к=г
где Рк {с[,г)- вероятность правильной классификации на к +1 уровне; Рош ^,г ) - вероятность ошибки классификации на к +1 уровне.
одном фиксированном уровне. Тогда, зафиксировав уровень к и определенную группу решений на этом уровне,
тг,к = q . (20)
Для вероятностей единичного решения на следующем к +1 уровне можно записать [28] (для выбранного правила образования этого решения, определенного в пункте 3.4.1):
q 1 ак q
Рк (я, г) = Т у П[1 - Рк (г)]+хРк (г)| х=о; (21)
к=гк! ОХ г=1
q 1 ак q
Рош (q, г) = Ту. -ГГП - Рош (г)]+ хРош (г| х=0 . (22)
к=г к! ах г=1
Формулы (21) - (22) представляют собой вероятность появления события не менее г раз в q независимых испытаниях по схеме Бернулли при условии, что вероятность события в г
испытании равна Р(г).
Применяя последовательно выражения (21) - (22) от первого до Л уровня, можно определить финальные вероятности классификации Рк (Л) и Рош (Л) из известных вероятностей
Рк и Рош первого уровня. Однако приведенные формулы не удобны для численных расчетов на персональных компьютерах, поскольку необходимо вычислять производную от сложного полинома. Найдем зависимости Рк г ) от Рк (г) и Рош (Я,г) от Рош (г) в более удобном виде для практических вычислений. Рассмотрим для этого функцию
г 1 Гк ' |
2(г,7';Х15х2,..., х ) = Ту, тгП(1 - хп + Ухп^у=о , (23)
к=}к\ Гх Щ=|
где г и 7 - целые числа, удовлетворяющие дополнительному условию
7 < г. (24)
Кроме того, ограничим аргументы функции условиями
0 < хк < 1 при к < 1. (25)
Отметим свойства 2(г,7;х1зх2,..., хг)-функции, следующие из её определения (23) и введенных
ограничений (24) - (25).
Свойство 1.
Функции 2(г,7;х1зх2,...,хг) при любом числе любых перестановок аргументов хк равны между собой для заданной пары чисел г и 7 .
Свойство 2.
Область изменения значений функций 2(г,7;х1зх2,...,хг) лежит в интервале [0;1], принимая значения границ интервала лишь в случае равенства аргументов хг одной из границ (25).
Свойство 3.
2(г,г;х1зх2,...,хг) = 2(г,г -7 +1; 1 -х1з 1 -х2,..., 1 -хг). (26)
Доказательство свойства 3 основывается на вероятностной трактовке 2 - функций. Функция 2 - функций представляет собой вероятность того, что событие в г независимых испытаниях по схеме Бернулли произойдет не менее 7 раз при условии равенства вероятности
каждого события хг. Вероятность противоположного события состоит в том, что в г независимых испытаниях по схеме Бернулли событие не произойдет (г - 7 +1) раз. Вероятность того, что событие не произойдет один раз, равна (1 - хг). Поскольку все исходы по схеме Бернулли образуют полную группу событий, то сумма вероятностей того, что событие произойдет, 7 раз и не произойдет (г -7 +1) раз, равна единице. Отсюда и следует свойство 3.
Задачу оптимизации многоуровневых схем принятия решения можно сформулировать в следующем виде: при заданных п1 решениях на первом уровне, Рк и Рош принятия этих решений
- найти числа q* и г * на каждом уровне и число уровней Л*, которые максимизировали бы Рк (Л) на последнем уровне при ограничении на Рош (Л) (правило Неймана-Пирсона). То есть имеется
следующая задача нелинейного целочисленного программирования (двухуровневый случай): максимизировать
Рк (п15 г ) = 2 (п15 г; Рк) (27)
при условии, что
Рош (п15 г )= 2(п1г; Рош )< Ро0ш . (28)
Решение задачи (27) - (28) методами нелинейного программирования возможно лишь при знании статистических характеристик образа (т.к. на самом деле величины Рк и Рош зависят друг от друга), поэтому её решение будет отложено до последующих разделов, где будут рассмотрены конкретные виды статистик, которые определяют связь вероятностей Рк и Рош .
4. Исследование двухуровневых схем принятия при различных видах распределений отношения сигнал/шум
Целью дальнейшего рассмотрения является получение зависимостей между основными статистическими характеристиками системы распознавания и физическими величинами образов (распределения интенсивностей изображений, сигналы в многоканальных приёмниках, а также типов присутствующих шумов и т.д.).
Рассмотрим модель на примере обработки плоского изображения. Пусть данное сложное изображение разбито на Л частей. На каждую из частей построим оптимальный оптический
фильтр (например, типа Вандер Люгта [8, 9]). Решетка оптимальных оптических фильтров
расположена в пространстве согласованно со своей частью изображения. Тогда получим в плоскости выходов оптимальных фильтров п1 решений о наличии в предъявленном образе заданных частей изображения.
4.1. Массив решений о полностью известных сигналах на фоне аддитивного нормального белого шума
Пусть на входе многоканального приёмника имеется п1 каналов, на которые поступает вектор
полностью известного сигнала на фоне нормального аддитивного белого шума. Для каждого из рецепторов, являющихся оптимальным классификатором Неймана-Пирсона, справедливы соотношения [11]
- ¥ - Z
Рк = 1 --.= Г е ~Тdz = F(V2s- V);
v2p nsrr
(29)
V2s-v
1 ¥ - Z2
Рош =f e^dz = 1 -F(V), (30)
где Pk - вероятность правильной классификации сигнала;
Рош - уровень значимости критерия Неймана-Пирсона (вероятность ложных тревог);
ф( х)-функция нормального распределения [19];
V - порог принятия решения обнаружителя;
а- отношение мощности сигнала к спектральной плотности нормального белого шума;
Р= 3,141592653589793238462643383279502884197169399375105820974944592 - число пи.
При численных расчетах по формулам (29) - (30) необходимо знать разложения функции ф(х), а также связанных с нею функций интеграла вероятностей erf( х) и дополнительного интеграла вероятностей erfc (х) [19] в степенные ряды и цепные дроби [32 - 34]. Из (29) - (30) найдем выражение для отношения сигнал/шум через вероятности Pk и Рош :
а = \inverf (2Рош ) + inverfc[2(1 - рк )]}2, (31)
где функция invefc(x) есть функция, обратная к дополнительному интегралу вероятностей erfc(x) [31]. Разложение функции invefc(x) и связанных с нею функций дано в [29 - 31, 37].
Зная вероятностные характеристики решений первого уровня, можно легко определить, по формулам первого раздела, характеристики всей двухуровневой системы в целом. А поскольку граф двухуровневой схемы принятия решения r(n;2,n) при заданном n единственный, то дальнейшей оптимизации его структуры не требуется.
Используя (29) - (31) и (18) - (19) для двухуровневой схемы в рассматриваемом случае массива решений, полученного на основании оптимальной обработки полностью известного массива сигналов, можем записать [15]
а = [inverfc\2ateb(r, q - r +1; Рош (q, r))] + inverfc[2 - 2ateb(r, q - r +1; Рк (q, r))] }2. (32) Задачу оптимизации можно сформулировать в следующем виде. Зафиксируем отношение сигнал/шум и потребуем, чтобы величина ошибки системы Р не превышала заданной величины
Рош (д, г) < Р1. (33)
Из (31) найдем величину Рк для одиночного классификатора Неймана-Пирсона:
Рк = 2{1 + еГ-Т- ™вгМ2рош)]}. (34)
Примем во внимание, что для двухуровневых схем принятия решения
Рк (д, г) = 1рк (г, д - г +1), (35)
где индекс Рк у отношения неполной бета-функции к полной находится из выражения (34).
Вероятность Рош в (34) и вероятность ошибок двухуровневой системы Рош (д,г) связаны
соотношением
Рош = а1еЬ(г, д - г +1; Рош (д, г)). (36)
Сформулируем задачу оптимизации в несколько другом виде. При заданных д и а найти такое г, которое максимизировало бы (35) при ограничении (33) и связях (34), (36) (правило Неймана-Пирсона для двухуровневой схемы принятия решения).
Формулы, аналогичные (29) и (30), для сигналов с флуктуирующей фазой [11] с флуктуирующей по релеевскому закону амплитудой [11], логарифмически нормальному закону [6], распределение Накагами [7] и шумоподобный гауссовский сигнал с известной спектральной мощностью были использованы для моделирования оптимизации двухуровневых схем принятия решения при изучении влияния характеристик сигнала на оптимум.
Результаты решения задач типа (32) - (36) для различных распределений отношения сигнал/шум приведены в виде графиков на рисунках. Расчеты производились на персональных компьютерах численными методами с учетом разложений и асимптотических приближений, приведённых в работах [29 - 33].
Полностью известный сигнал на фоне нормального аддитивного шума.
1 - Рош =10-6; Рк =0.8;
2 - Рош =10-6; Рк =0.999;
3 - Рош =0.2; Рк =0.999.
Рис. 2. Зависимость оптимального г от общего числа решений первого уровня д
о*я
/ 30 і
/— 2 3
20
4
10
5 6
20 40 И 30 ч
Рис. 3. Зависимость произведения оптимального О* на д от общего числа решений первого уровня д
Полностью известный сигнал.
1 - Рош =10"6; Рк =0.99; 2 - Рош =8х10'4; Рк =0.999;
3 - Рош =10-6; Рк =0.8; 4 -Рош =10-3; Рк =0.8;
5 - Рош =0.1; Рк =0.8; 6 - Р^ =0.2; Рк =0.8.
Проведённые расчёты показали, что при всех
выбранных моделях сигналов зависимости г * от д для
д > 20 представляют собой прямые, типа изображённых
на рис. 2 с разными коэффициентами наклона, тангенс угла наклона меняется от 0,5 до 0,1 в зависимости от
значений выбранных пар Рк, Рош и статистики сигнала.
Энергетические потери, в зависимости от статистики
сигнала при Рк =0.999 и Рош =10-6, можно оценить по
графикам, приведённым на рис. 4.
произведения оптимального О на д от общего числа решений первого уровня д
1 - логарифмически-нормальные флуктуации амплитуды сигнала;
2 - сигнал с флуктуациями амплитуды по закону Накагами;
3 - шумоподобный гауссовский сигнал;
4 - сигнал с релеевскими флуктуациями амплитуды;
5 - сигнал с флуктуацией фазы;
6 - полностью известный сигнал.
При выбранных парах Рк и Рош энергетические потери практически постоянны при д > 20 для любого вида флуктуаций сигнала, только для сигнала с флуктуирующей фазой заметен небольшой подъем потерь с ростом д. Однако, если уменьшать Рош и/или увеличивать Рк, то прямая потерь для этого вида сигнала тоже становится параллельной оси д (Рк > 0,99999 ; Рош £ 10-8).
10 Іа(о ■*Ч)
120 і 2
60
30 3
4 5 £
2 0 4 0 1< 30 Ч
Рис. 4. Зависимость логарифма от
5. Исследование многоуровневых схем принятия решения при обработке информации
Двухуровневые схемы принятия решения, как было показано в первом разделе, при прочих равных условиях имеют минимально возможную полную меру. Многоуровневые схемы принятия решения с числом уровней не менее трех требуют оптимизации своей структуры, так как задано обычно пг — число решений на первом уровне и единственное решение на последнем уровне. Разрядность
микропроцессора ограничивает сверху число исходных или промежуточных решений, объединяемых в группы для принятия решения следующего уровня (ограничивая, таким образом, снизу число уровней принятия решения).
Целью настоящего раздела является получение количественных соотношений при распознавании простых образов многоуровневыми схемами принятия решения с ростом числа уровней для различных распределений отношения сигнал/шум.
5.1. Многоуровневая обработка простых образов
Вначале рассмотрим трехуровневые схемы принятия решения при классификации. Разобьем п1
имеющихся исходных решений на равные группы тг у = д, если найдется не менее г из д
положительных (единичных) решений, то получим одно положительное (единичное) решение второго уровня, если положительных решений меньше г, то получаем отрицательное (нулевое) решение на втором уровне. Всего на втором уровне получим г решений, если не менее у из них положительные, то системой принимается положительное окончательное решение. Учитывая (11) - (12) и (31) для трехуровневой системы, можно записать
О = {туег/с\2МеЪ(г, д — г +1; МвЪ(], г — у +1; Рош (Л)))] +
¡пуег/с{2 — 2а1еЪ(т, д — г +1; а1еЪ(], г — у +1; Рк (Л)))] }2, (37)
где запись Рк (Л) и Рош (Л) означает, что задаются вероятности принятия решения на уровне Л.
Задача оптимизации заключается в нахождении г, г и у, минимизирующих (37) при
заданном числе исходных решений п1 и финальных вероятностях Рк (Л) и Рош (Л).
Также, как и в случае изучения двухуровневых схем, задачу (37) можно перефразировать в терминах вероятностных характеристик, применив стандартное правило классификации Неймана-Пирсона
рк (Л) = ¡р2(], г — у +1), (38)
причем Р2 находится из равенства
Р2 = !рк (г, д — г +1) , (39)
а Рк определяется, как и ранее, из (34). Учитывая, что для трехуровневой схемы
Рош = ateЪ{г, д — г +1; ateЪ\j, г — у +1; Р,ш(Л)]}, (40)
можно сформулировать задачу оптимизации (38) по правилу Неймана-Пирсона.
Найти г , г и у , максимизирующие (38) при связях (34), (39), (40), с условием, что величина ошибок при принятии единственного решения не превышает заданного значения, а общее число исходных решений равно щ. Заметим, что д Xг = п1.
В (37) зафиксируем д и /, кроме того,
зафиксируем правило отбора положительного решения второго уровня по заданным решениям первого. После этого определим оптимальное значение у , минимизирующее (37), и так проделаем для каждого г от 1 до д при различных д (либо г). Результаты расчетов по приведенной методике даны в виде графиков на рис. 5 для г, равного семи и десяти. Для разных правил ” г из д" получены разные оптимальные правила типа ” у* из г" (звездочка означает оптимальное ]).
00
7 3 2
6 2
5 4 1 1
1 2 4 6 8 г
Рис. 5. Влияние логики обработки
решений второго уровня на оптимальную
обработку первого
1-г = 10 ; 2-г = 7 .
Рк = 0.999; Р
10'6.
Цифры по вертикальной оси: первая колонка 4-8 относится к кривой 1; вторая колонка 1-5-ко второй кривой.
Минимум минимума (37) соответствует случаю г = г *, у = у *.
Сформулируем задачу оптимизации четырехуровневого графа принятия решения. Для массива решений о полностью известном сигнале в этом случае справедливо соотношение
а = {гтег/с[2МеЬ(г, д - г +1; МеЬ(у, г - у +1; МеЬ^, я - t +1; Рош (Л))))] +
+ ¡пуег/е[2 - МеЬ(г, д - г +1; МеЬ(у, г - у +1; ШеЬ^, я -1 +1; Рк (Л))))]}2. (41)
Требуется найти д, г, я и г, у, t, максимизирующие (41) при заданных финальных вероятностях классификации Рош (Л), Рк (Л) и заданном числе исходных решений щ = д X г X я .
Числа п1 = д X г X я задают структуру многоуровневого (в данном случае четырехуровневого)
графа, а г, у, t определяют оптимальные правила обработки.
При оптимизации четырехуровневого графа (минимизации (41)) при определенных выше условиях ограничение перебора достигается с помощью модификации метода ветвей и границ [25, 27]. Полезными оказываются также методы стохастического программирования [14].
5.2. Исследование влияния неравнозначности вероятностных характеристик частей на качество принятия решения при распознавании простых образов
Полученные до сих пор количественные оценки закономерностей функционирования многоуровневых схем основывались на предположении о том, что вероятностные характеристики
признаков образа или частей изображения равны. Однако на практике, как правило, это условие не выполняется.
Даже если и какие-то вероятностные характеристики равны, они, как правило, подвергаются модулирующим воздействиям. Это искажения по краям телевизионных камер, не прямоугольность огибающей пачки импульсов [16] и т.д.
При обработке полностью известного сигнала двухуровневой схемой справедливо соотношение
Рк = q r) = 2 qr; PK1, Рк 2,..., Рщ ), (42)
где Pks при s = 1,2,...,q находятся из условия
Рк, = 2{1 + erfYS-inrerf(jS Pш )]i . (43)
Требуется найти такое r при заданном q и финальных вероятностях классификации,
которое максимизировало бы (42) с учетом (43) при дополнительном условии Рош(q,r)< Ро*ш.
Задача оптимизации (42) - (43) обычно решается при ограниченных энергетических затратах, т.е. полная энергия
q
^ s, < const. (44)
5
5=1
Задача (42) - (44) решена численными методами на ЭВМ при различных видах а,. При
расчетах были выбраны следующие функции /(,), определяющие наборы а,:
(,) = 1.5, - 0.5 ; (45)
/2(,) = 0.25, + 3.25 ; (46)
/3(,) = -0.25,2 +1.5, + 2.25 (47)
/4(,) = 0.625,2 -2.875, + 5.75 ; (48)
Г,
/5(,) = 5.358984б1п(—) ; (49)
6
3 25
/б( 5) = ~f
при 1<5<4
; (50)
при 5=5
/7(5) = 4 , (51)
где 5 = 1,2,3,4,5 . Общее число решений q = 5 . Из (45) - (51) следует, что
Ъ* = 20 (52)
для каждой из функций /1 - /7.
Максимум кривых (42) соответствует оптимальному значению г *, которое теперь зависит и от вида функции . В связи с этим становится правомерной следующая задача оптимизации: при
заданных q и общих энергетических затратах (44) найти такие г * и , которые максимизировали
бы (42) при дополнительном условии (43). В результате оптимизации найдено, что оптимальным Ss является случай, когда
Ss = const. (53)
Отсюда следует, что любые модулирующие искажения являются паразитными и требуют увеличения энергетических затрат в системе распознавания при той же вероятности классификации. Исследование зависимости оптимальных от вида функций ss показывает, что
существуют такие виды функций ss, при которых оптимальное значение r* мало зависит от финальных вероятностей классификации и от вида распределений отношения сигнал/шум. То есть в некоторых случаях можно оптимизировать ss по критерию минимальной зависимости r* от
внешних условий. При этом оказывается, что случай (53) наоборот является наиболее чувствительным к априорным данным.
К сожалению, пока не найдено общих методов оптимизации ss в последнем случае.
Применяемый метод прямого перебора не в состоянии охватить всевозможные виды наборов ss.
Проведенное выше рассмотрение влияния неравнозначности признаков (частей) образов (изображения) дает количественную оценку уменьшения финальной вероятности правильной классификации от вида неравнозначности по сравнению с равновероятным случаем.
5.3. Адаптивные иерархические многоуровневые схемы
Рассмотренный ранее подход к изучению финальных вероятностей распознавания простых образов требует знания характеристик распределения отношения сигнал/шум на входе классификатора системы. При этом требуется знание не только вида, но и параметров распределения (средних значений, дисперсию, спектральную плотность шума и т.д.). На практике эти данные, как правило, априорно не известны и требуется либо измерять их в процессе функционирования системы распознавания, либо рассматривать определенные виды статистик, инвариантных, к функции распределения отношения сигнал/шум [23].
Классическое правило Неймана-Пирсона, широко использовавшееся нами при предыдущих рассмотрениях, требует знания функции распределения и параметра его распределения -мощности (спектральной плотности) шума, по которому выбирается порог при классификации. Поэтому в шумах с неизвестной мощностью данное правило не пригодно.
В работе [17] предложен алгоритм оптимального обнаружения сигнала в шумах неизвестной интенсивности при условии постоянства вероятности ошибки. Предложенный алгоритм можно считать модифицированным критерием Неймана-Пирсона в случае неизвестной спектральной плотности шума.
Соответствующие расчеты показывают рост требуемого отношения сигнал/шум при сохранении тех же финальных вероятностей в многоуровневых схемах принятия решения. Особенно велики потери в системах с усреднением характеристик. Изменение (уменьшение)
оптимальных r * свидетельствует об эквивалентном изменении функций распределений
отношения сигнал/шум в рассматриваемых случаях. Поэтому при изучении функционирования многоуровневых схем в условиях априорной неопределенности полезен подход, развитый в пункте
3.2.
Особенность многоуровневых схем принятия решения заключается в их иерархичности и возможности гибкой перестройки внутренней структуры с целью адаптивной классификации образа в меняющихся условиях среды функционирования системы. При этом требуется наличие дополнительного оценивающего устройства, которое позволило бы вычислять значения чисел
q, г, 5, ... и оптимальных значений г *, у *, I*, ... многоуровневых схем, выставлять оптимальный порог классификатора. При применении метода усреднения это возможно на стадии обучения, после чего структура и пороги классификатора фиксируются, а полученная схема принятия единственного решения реализуется с помощью микроконтроллера со встроенным программным обеспечением либо реализуется на микросхемах дискретной логики.
6. Практическая реализация устройства в виде многоуровневой схемы принятия окончательного решения
В настоящее время наблюдается постоянный рост автомобильного транспорта во всех странах, особенно в США. Постоянно растет и число дорожно-транспортных происшествий, главным фактором которых являются ошибки водителя. Одной из распространённых ошибок является перестроение транспорта на другую полосу движения при наличии помехи такому манёвру вне зоны видимости водителя транспортного средства, которое начинает этот манёвр.
Актуальным является разработка устройства автоматического контроля «мёртвой зоны», предупреждающего водителя о наличии не видимого транспортного средства на соседней полосе движения.
Устройство состоит из оптического блока, формирующего инфракрасный оптический луч, который имеет дискретные зоны обзора по типу телевизионного с развёрткой по вертикали и горизонтали, и, таким образом, формируется кадр изображения. В вертикальной плоскости луч не захватывает уровень дороги соседней полосы (луч отражается от предметов, имеющих высоту не ниже 30 см), в горизонтальной плоскости сектор обзора вытянут вдоль соседней полосы движения и захватывает предметы на расстоянии от 1,5 до 15 метров, не выходя за пределы соседней полосы (производится селекция по допустимой длительности задержки отражённого оптического сигнала). Развёртка кадра изображения имеет 16 дискретов по горизонтали и 16 дискретов по вертикали, т.е. кадр имеет 16 строк и разрешение 16 точек на каждой строке.
Блок принятия решения представляет собой запоминающий 16 разрядный регистр, который запоминает 16 единичных решений об отраженном сигнале, и мажоритарную схему т > п; вырабатывает единичный сигнал при выполнении условия т > п и нулевой в противном случае; 16 решений по 16 строкам: накопления за один кадр заносятся в другой 16 разрядный регистр, и мажоритарная схема т > п вырабатывает одно решение следующего, кадрового уровня. Всего происходит накопление 16 решений по 16 кадрам, которые поступают в третий, запоминающий, 16 разрядный регистр, мажоритарная схема которого вырабатывает единственное (окончательное)
решение 4 уровня. Именно оно и есть решение о наличии или отсутствии препятствия в «мёртвой зоне». Всего имеем 4096 (163=(24)3=212=4096) начальных решений первого уровня. То есть блок реализован в виде четырёхуровневого графа принятия единственного решения с 4096 решениями первого уровня.
Весь блок принятия решения реализован на дискретных микросхемах логики фирмы Texas Instruments (www.ti.com) серии SN74AUC с задержкой 1,8 нсек на вентиль при напряжении питания 2,5 вольта. Быстродействие модуля не хуже 10 нсек.
Подход, основанный на реализации блока принятия решения в виде многоуровневой схемы принятия окончательного решения, позволил существенно упростить схемную реализацию блока: (три 16 разрядных запоминающих регистра и три мажоритарных схемы) и существенно повысить быстродействие блока.
Адаптация блока производилась на натурном эксперименте. Подбирались пороги мажоритарных схем, пороги выработки решения засвеченными фоторецепторами и мощность излучения инфракрасного импульсного лазерного диода. Финальные вероятности обнаружения
объекта в «мёртвой зоне» Рк = 9999 при Рош < 10-3.
7. Выводы
1. Число всевозможных многоуровневых схем принятия решения очень велико при числе начальных решений более нескольких сотен и, в общем случае, за разумное время методом прямого перебора не удаётся провести оптимизацию. Однако в интересных для практики случаях ограниченности числа решений, объединяемых в группы, количество корневых деревьев резко уменьшается. Методы перебора становятся применимыми. Число корневых деревьев с большей высотой превышает число с меньшей высотой. Поэтому для сокращения вариантов перебора необходимо уменьшать число уровней принятия решений.
2. Оптимальное значение числа единичных решений r * от общего числа решений первого уровня q для любых видов флуктуаций моделей сигналов выражается равенством r *= kq, где
0.1.< к < 0,5 и зависит от статистики сигнала и выбранных пар Рк и Рош .
3. При q > 20 и Рк ® 1, а Рош ® 0, энергетические потери системы на принятие единичного
решения постоянны и зависят только от статистики выбранной модели сигнала.
4. Неоптимальные (с точки зрения энергетических потерь системы на принятие решения) схемы принятия единственного решения обладают другим полезным свойством - нечувствительности к распределению сигнал/шум, что делает удобным их микропроцессорную реализацию.
5. Многоуровневые схемы принятия единственного решения являются наиболее быстродействующими схемами при ограниченной разрядной сетке микропроцессора.
СПИСОК ЛИТЕРАТУРЫ
1. Aris R. Discrete Dynamic Programming.- Blaisdell. - New York, 1964. - 171 p.
2. Арфкен Г. Математические методы в физике. - М.: Атомиздат, 1970. - 712 с.
3. Бакут П. А., Жулина Ю.В., Иванчук Н.А Обнаружение движущихся объектов. - М.: Советское радио, 1980. - 288 с.
4. Беликова Т.П., Ярославский Л.П. Адаптивное квантование как метод препарирования изображений // Техническая кибернетика. - 1975. - № 4. - С. 139 - 143.
5. Белоусов Е.Г. Введение в выпуклый анализ и целочисленное программирование. - М.: Издательство Московского университета, 1977. - 196 с.
6. Билетов В. М., Вассерштейн И. О., Рыльский В. В. Обнаружение радиолокационных сигналов при логарифмически-нормальных флуктуациях их интенсивности // Радиотехника. - 1975. - Т. ЗО, № 6. - С. 98 - 100.
7. Билетов В.М., Вассерптейн И.О., Выльский В.В. Обнаружение радиолокационных сигналов при флуктуациях их интенсивности по закону Накагами // Радиотехника. - 1976. -Т. 31, № 1. - С. 16 - 19.
8. Вандер Люгт А. Когерентная оптическая обработка информации // ТИИЭР. - 1974. - Т. 62, № 10. - С. 5 - 28.
9. Васильев В.И. Распознающие системы.-К.: Наукова думка, 1983.-424 с.
10. Величкин А.И. Оптимальные характеристики квантующих устройств // Радиотехника. - 1963. - Т. 18, № 2. -С. 66 - 75.
11. Гуткин Л.С. Теория оптимальных методов радиоприема при флуктуационных помехах. - М.: Советское радио, 1972. - 447 с.
12. Дуда Р., Харт П. Распознавание образов и анализ сцен: Пер. с англ. - М.: Мир, 1976. - 512 с.
13. Евграфов М. А. Асимптотические оценки и целые функции. - М.: Наука, 1979. - 320 с.
14. Ермольев Ю.М. Методы стохастического программирования. - М.: Наука, 1976. - 239 с.
15. Зуев С.А. О нахождении функции, обратной к интегральной функции биномиального распределения. - Деп. В ВИНИТИ, №2859-79.
16. Зуев С.А. Алгоритмы обнаружения непрямоугольной пачки импульсов // Известия вузов СССР. Радиоэлектроника. - 1981. - Т. ХХ1У, № 11. - С. 66 - 67.
17. Корадо В.А. Оптимальное обнаружение случайных сигналов на фоне случайных помех неизвестной интенсивности при условии постоянства вероятности ложной тревоги // Радиотехника и электроника. - 1968. -Т. 13, № 5. - С. 832 - 841.
18. Корбут А.А., Финкельштейн Ю.Ю. Дискретное программирование. - М.: Наука, 1969. - 368 с.
19. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. - 5-е изд. - М.: Наука, 1984. - 831 с.
20. Кузьмин С.З. Основы проектирования систем цифровой обработки радиолокационной информации. - М.: Радио и связь, 1986. - 432 с.
21. Кулешов В.Н. Определение числа уровней квантования при цифровом последетекторном накоплении сигналов и регулируемом пороге обнаружения // Радиотехника. Республиканский межведомственный научнотехнический сборник. - 1978. - № 45. - С. 3 - 9.
22. Левин Б.Р. Теоретические основы статистической радиотехники. - М.: Советское радио, 1975. - Кн. 2. -391 с.
23. Леман Э. Проверка статистических гипотез. - М.: Наука, 1964. - 498 с.
24. Лихарев В.А. Цифровые методы и устройства в радиолокации. - М.: Советское радио, 1973. - 456 с.
25. Лихтенштейн В.Е. Модели дискретного программирования. - М.: Наука, 1971. - 239 с.
26. Медведев Г.А., Тарасенко Ф.П. О некоторых критериях оптимального квантования непрерывных сигналов // Труды Сибирского физико-технического института. - 1965. - Вып. 47. - С. 155 - 162.
27. Нильсон Н. Дж. Искусственный интеллект. Методы поиска решений. - М.: Мир, 1973. - 270 с.
28. Седякин Н.М. Элементы теории случайных импульсных потоков. - М.: Советское радио, 1965. - 261 с.
29. Bajic B. On the computation of the inverse of the error function by means of the power expansion // Bulletin mathématique de la société des sciences mathématiques de la République Sosialiste de Roumanie. - 1973 (1974). -Vol.17(65), N 2. - P. 115 - 121.
30. Bajic B. On the power expansion of the inverse of the error function // Bulletin mathématique de la société des sciences mathématiques de la République Sosialiste de Roumanie. - 1972 (1974). - Vol. 16(64), N 4. - P. 371 - 379.
31. Carlitz L. The inverse of the error function // Pacific Journal of Mathematics. - 1963. - Vol. 13. - P. 459 - 470.
32. Cody W. J. Rational Chebyshev Approximation for the error function // Mathematics of Computation. - 1969. -Vol. 23. - P. 631 - 637.
33. Handbook of mathematical functions with formulas, graphs and mathematical tables. Editor by Milton Abramowitz, Irene A. Stegun. - New York: Dover publications, 1974. - 1269 p.
34. Hastings Cecil Jr. Approximations for Digital Computers. Princeton: Princeton University Press, N.J. - 1965. - 367 p.
35. Philip J. R. The function inverfc // Australian Journal of Physics. - 1960. - Vol. 13. - P. 13 - 20.
36. Rosenberg R. The Ateb (h) functions and their properties // Quarterly of Applied Mathematics. - 1963. - Vol. 21, N 1. - P. 37 -47.
37. Strecok A.J. On the calculation of the inverse of the error function // Mathematics of Computation. - 1968. - Vol. 22. - P. 144 -158.
