CC BY
57
УДК 658.512 приш
Хашковский В. В. Толкачёв А. Н. прин
Оптимизация отбора оптимальных признаков на основе применения Методов нейр1
моделирования эволюции для задачи распознавания текста прои
1. Введение
2. Распознавание образов
боль
ВЫХ1
За последние почти 40 лет, прошедшие после появления ХОТ
проблеме распознавания образов, были достигнуты значительн ПСрВЫх работ> посвященных вди
прогресс привел к появлению новых как узкоспециализирова№ У°Пехи' НаУчн°-техническиЙ пр»
предназначенных для решения широкого круга задач М ННЬ'Х методов> так и методов, 19.‘
применяются для идентификации различных визуальных и вТ0ДЫ Распознавания образов
выработки оптимальных решений в управлении различными те^УХ0ВЫХ образов’ а также для
Круг задач, которые могут решаться с помощью распоз °ЛОГИческими процессами.
Сюда относятся не только задачи распознавания зрительных и НаЮЩИх СИСтем, очень широк.
распознавания сложных процессов и явлений, возникают”^0*111* образов> но и задачи б<
целесообразных действий руководителем предприятия или выбо*’ НапримеР> ПРИ выборе т
технологическими, экономическими или Транспортными операциями0ПТИМаЛЬН0ГО угтравлениЯ К
1
в целом задача распознавания образов состоит из 2-х частей: обучения и распознавания. Обучение осуществляется путем показа отдельных объектов или явлений, в результате чего распознающая система должна прио рести спосо ность реагировать одинаковыми реакциями на изображения одинаковых образов и различными на изображения различных образов. Распознавание характеризует действия уже обученной системы. Автоматизация этих процедур „ составляет проблему обучения распознаванию образов. В тех случаях, когда человек придумывает и навязывает машине правило классификации, проблема распознавания решается лишь частично, так как основную и главную часть проблемы человек берёт на себя
Кроме того, характерное свойство образа состоит в том, что объекты, входящие в образ, могут претерпевать существенные изменения и вместе с тем оставаться объектами одного и ТОГо же образа. Однако, обладая этим свойством, образы в некотором смысле неопределённы, расплывчаты. Часто трудно определить к какому образу принадлежит объект Примером может служить превращение головастика в лягушку. Так как не все образы имеют четкие границы, то человек, а тем более машина, не всегда может гарантировать безошибочное распознавание. Тем не менее были определены основные подходы к решению задачи распознавания, и значительное число разработанных методов было создано в рамках этих подходов. Рассмотрим кратко эти подходы. Рамках
В своей работе Селфридж (1959) предложил осуществлять распознавание образов вычислением взвешенной суммы ряда «рекомендованных» классификаций, каждая из которых основана на разных характеристиках распознаваемого объекта (признаках) Хотя индивидуальные рекомендации мотут носить почти случайный характер система в целом может быть достаточно точной. Можно считать, что каждый объект имеет тостейшее описание, представляемое вектором, элементы К0ТОр0Г0 служат аргументами для ряда функций, и значения этих функций в свою очередь служат аргументами для некоторой решающей функини, которая определяет окончательную классификацию.
Другой подход к проблеме распознавания образов заключается в аналогии с биологическими процессами. [Скольку распознавание образов должно бытьфдай нейронов, можно искал шоч к биологическому распознаванию образов в сво^сТого нейрона- Мак-Каллок и Пштс (1943) доказали, л|о6ую ,ычис ^
реализовать с помощью должным образом организованна сети йемьГ,™» пороговых элементов, логические свойств. которых с достаточным основанием можно
приписать реальному нейрону. Проблема состоит в том, можно ли найти какой-то разумный принцип реорганизации сети, позволяющий случайно объединенной вначале группе идеальных нейронов самоорганизоваться в «вычислительное устройство», способное решать произвольную задачу распознавания образов. К настоящему времени разработано достаточно большое число архитектур искусственных нейронных сетей (ИНС), но рассмотрение их выходит за рамки данной статьи.
Нейрологическая теория обучения, выдвинутая канадским психологом Хеббом (1948), хотя и была вначале рассчитана на использование в области психологии, оказала большое влияние на искусственный интеллект. Ее модификация применялась при определении принципов системы распознавания образов, получившей название персептрон (Розенблатт 1958, 1962).
3. Постановка задачи
В настоящее время существует большое число методов, позволяющих с меньшей или большей точностью решать задачу распознавания текста. Создано много систем, реализующих те или иные методы, так называемые ОСЯ-системы. Кроме того, что эти системы разнятся по качеству распознавания, существуют серьезные ограничения на пределы применимости тех или иных методов. Так, например, совершенно очевидно, насколько различные требования будут предъявляться к настольной системе распознавания текста и к системе автоматического определения индекса на почтовом конверте.
Несколько слов следует сказать о различиях в текстах, подлежащих распознаванию. Они могут быть печатными и рукописными. Разница весьма существенна при распознавании рукописного текста требуется решить дополнительно задачу разделения изображений, сложность которой не меньше, чем сложность задачи непосредственно распознавания. Абстрагируясь от частных проблем, связанных с выделением изображения, нормализацией его по размерам и положению на растре, имеет смысл ввести в рассмотрение задачу распознавания нормализованных растровых изображений. Примером такой задачи может служить задача распознавания почтового индекса.
Однако, вследствие того, что вопросы нормализации могут быть успешно решены для печатного текста, составные элементы которого (далее - изолированные изображения) могут быть выделены без применения сложных специальных алгоритмов, задачу распознавания почтового индекса можно считать частным случаем задачи распознавания печатного текста.
В [1], [2], [3] предложен метод распознавания изолированных изображений, главными характеристиками которого являются:
• довольно длительное обучение.
• малое время распознавания.
Для данного метода полагается, что распознаванию подлежат изображения Х=Хщ...Х1, где компоненты хе{0,1}. В обучающую выборку входит по N0 изображений каждого образа. Функция принадлежности/(X) равна +1 или -1 в зависимости от принадлежности изображения к образу с номером¡=\ или к образу с номеромj=2. Обучение сводится к вычислению весов д разложения /(X) в ряд по системе признаков <р(Ь,Х). При этом на основе случайного поиска отбирается и фиксируется в памяти М признаков.
Критерий оптимальности р-го признака
2 N0
% X I Г(Хп)Ф(Ьр,Ху) І=1і=1 £2Мо
Формула 1
где 5 - малая величина, 2 N0 означает сложение по всем изображениям каждого из
£ £
>11-1
Двух образов. Результат обучения - М пар sign(qí) или Ьр, цр.
Распознавание сводится к восстановлению знака/(X) по формуле
Г(Х)=яВп(1я ф(ьр,Х))
М
Формула 2
где X означает сложение по всем М оптимальным признакам.
М
Проведенные эксперименты показали, что для достижения достаточно хороших результатов распознавания, необходимо использовать относительно жесткие условия (критерии) при обучении. При этом длительность обучения может быть неприемлемо велика (в
экспериментах - до 10 часов).
В данной работе предлагается способ ускорить обучение, что позволит в значительной мере усилить критерии обучения и, при этом, оставить время обучения в разумных пределах.
Описание предложенной модификации начнем с того, что рассмотрим кратко метод отбора оптимальных признаков, предложенный в [1], в части, требующей модификации.
4. Метод отбора оптимальных признаков
Многоальтернативная задача с 5 образами может быть сведена к 5 элементарным дихотомиям, каждая из которых позволяет отделить изображения какого-либо образа от остальных. В каждой дихотомии отыскивается определённое число оптимальных признаков, так что длительность обучения, по крайней мере, в 5 раз превышает длительность обучения в одной дихотомии. Фактически длительность обучения оказывается ещё большей, так как обучающая выборка содержит 5ЛГв изображений.
Так как обработка многокомпонентных изображений Х=х^..х1 требует определённых временных затрат, тем больших, чем больше я, то общее время обучения может оказаться неприемлемо большим.
Один из способов ускорения обучения связан с преобразованием исходных изображений в промежуточные изображения где т«п. Рассмотрим этот способ.
Введем т функций 1\(Х), разделяющих, каждая по-своему, все изображения на две приблизительно равночисленные группы, для одной из которых Т}Р(Х)=1, а для другой Т1р(Х)=-
1. Для т}р(Х) можно найти оптимальный признак <р(^Х), где критерий оптимальности р-го признака:
в N0
= X X Пп(Х)<р(Ьр>Хн)*8Мо-8 Формула 3
Однако, субъективность группирования обуславливает неприемлемо длительный перебор при поиске оптимальных признаков. Отказываясь от заданности Т](Х), можно установить деление на группы в процессе поиска <р(Ь,Х). Такая возможность существует, так как <р(Ь,Х) и Т]Р(Х) однозначно связаны между собой, поскольку равенство 1ф,1=£% выполняется лишь тогда, когда знаки <^Ьр,Х) и цр(Х) либо одинаковы и др=5Н0, либо противоположны и qp=(^SNo)■ Это позволяет при поиске <р(^Х) заменить критерий (Формула 3) эквивалентным
в N0
X X Ф(Ьр,Хц)<б1 ¿ = 11 = 1
Формула 4
Введем двоичную переменную ур такую, что ^=0, если 0=./, и ^=1, если <р(1р,Х)=1. Совокупность т таких переменных может рассматриваться как искомое промежуточное изображение.
Недостатком критерия является то, что он может пропускать в число оптимальных признаки, сумма которых внутри образа близка к 0, то есть признаки, которые на половине изображений образа равны +/, а на другой половине изображений равны -7. В связи с малой информативностью таких признаков критерий целесообразно дополнить, расщепив его
N0 *
I Ф(Ьр,Хн)^0-51 1=1
Формула 5 у=/Д..,5
где 5*1 - достаточно малая величина. Критерий определяет условие совпадения признака для большинства изображений каждого образа.
Тип признаков зависит от характера изображений конкретной задачи. В частности для рукописных и печатных цифро-буквенных символов оптимальным является тип полосовых признаков, обеспечивающий максимальную по сравнению с другими обобщающую способность.
Итак, первый этап обучения сводится к отысканию т оптимальных признаков <р(Ь,Х) первого уровня и фиксации т параметров Ь. Это позволяет на первом этапе распознавания преобразовать любое исходное изображение в некоторое промежуточное изображение с малым числом компонентов. Последующие процедуры выполняются с этими малокомпонентными изображениями.
Как следует из описания, в данном методе качество распознавания можно повышать путем ужесточения критериев на первом этапе, однако при этом значительно увеличивается время обучения. Важно понимать, что именно первый этап обучения существенно влияет на время обучения системы. Это происходит потому, что второй этап обучения (см. [1],[2],[3]) реализуется за счет перебора конечного числа точечных признаков, а именно 2т Число всех этих признаков зависит, конечно, от числа признаков первого этапа т, и все-таки оно является конечным и относительно небольшим.
В противоположность признакам второго этапа обучения, которые выявляются из небольшого конечного числа точечных признаков, признаки первого этапа обучения (полосовые признаки) генерируются случайным образом, и процесс этот, при достаточно жестких критериях, может стать «бесконечным». Здесь следует уточнить, что на самом деле общее число полосовых признаков ограничено, но это число зависит от размера растра и для сколько-нибудь практических задач настолько велико, что при существующих вычислительных мощностях практически недостижимо. Например, для растра 32*32, общее число полосовых признаков составит 17976,93134861Е+304.
Экспериментально установлено, что при увеличении обучающей выборки частота оптимальных признаков быстро уменьшается. Таким образом, определенная модификация процедуры, осуществляющей генерацию полосовых признаков, проведенная так, чтобы частота оптимальных признаков первого этапа обучения увеличилась, является, по крайней мере, желательной.
Учитывая особенности решений, сгенерированных при помощи методов моделирования эволюции, имеет смысл использовать генетические алгоритмы (ГА) для поиска полосовых признаков, используемых на первом этапе обучения.
5. Генетическая модификация МООП
В работе [4] описаны модели наследственности и эволюции из области популяционной генетики. Эволюция осуществляется в результате взаимодействия трех основных факторов: изменчивости, наследственности и естественного отбора.
Генетический алгоритм (ГА) - это поисковый алгоритм, основанный на моделировании Механизмов естественной эволюции. На каждом шаге генетического алгоритма создается новое множество решений, в котором используются части предыдущих решений и
добавляются новые части. Таким образом генетические алгоритмы используют историческую
информацию.
Основные отличия Г А состоят в следующем:
• ГА осуществляют поиск из множества (популяции) точек, а не из единственной точки;
• ГА используют целевую функцию для оценки информации, а не ее различные приращения.
Рассмотрим механизм простого Г А (ПГ А): сначала Г А случайно генерирует популяцию последовательностей (стрингов); далее он копирует последовательности и переставляет их части; затем ГА применяет некоторые операторы к начальной популяции и генерирует новые популяции.
В ПГА используется 3 оператора: репродукция, кроссовер, мутация. Поясним кратко действие некоторых используемых генетических операторов.
Оператор Репродукции (ОР): механизм репродукции включает копирование стргингов. Репродукция - процесс, в котором стринги воспроизводятся согласно их функции фитности. Стринги с большим значением функции фитности имеют большую вероятность попадания в следующую генерацию. Один из способов алгоритмической реализации ОР - моделирование колеса рулетки, в котором каждый стринг имеет сектор, величина которого пропорциональна значению функции фитности стринга.
Оператор Кроссовера (ОК): оператор кроссовера может выполниться в 2 шага. На первом шаге элементы множества стрингов случайно разбиваются на пары. Затем из каждой пары стрингов формируется новая пара по правилу: случайно выбирается целочисленная позиция вдоль стринга между 1 и длиной стринга Ь - точка скрещивания. Новая пара стрингов создается вследствие обмена частями исходных стрингов, относительно точки скрещивания. Например, X и У представляют собой два стринга (родители). Если теперь случайным или заранее заданным способом выбрать точку скрещивания, то смешивая части исходных векторов можно получить два новых потомка:Х и У
X: Х1Х2Х3Х4Х51 Х*Х7Х8
У: УвУ7УбУ5У4 I УЭУ2У1
X': Х1Х2Х3Х4Х5 IУ3У2Ув
У: УвУ7УбУ5У4 I *6*7*8
Возможно проводить операцию скрещивания не относительно одной точки (одноточечный кроссовер), а относительно нескольких точек (многоточечный кроссовер). В этом случае обеспечивается большее отличие потомков от предков.
Оператор Мутации (ОМ): соответствует случайному нарушению последовательности битов в стринге; например, применяя Соператор мутации к X1, можно получить X" 1:х 1Х1Х3Х4Х5У2У3У1 или Х"2:х1хзх2х4х5узу2у1 и т.д. Обычно выбирают одну мутацию на 1000 бит. Считается, что мутация - вторичный механизм в ГА.
Для оптимизации поиска оптимальных признаков использование ГА может быть описано следующим образом.
Сначала определяется соответствие между хромосомой и полосовым признаком. В данном случае полосовой признак (растровое изображение)"вытягивается" в вектор (стринг). Далее случайным образом генерируется некоторое множество возможных полосовых признаков начальная популяция Ро=Х°ь Х°2, Х°„. Затем для каждой хромосомы
вычисляется функция фитности, которая в данном случае представляет собой комплексную оценку, вычисляемую с учетом критериев отбора оптимальных признаков первого рода.
Далее к популяции применяется оператор репродукции (ОР), который формирует новую популяцию, оставляя в ней хромосомы с вероятностью, пропорциональной значению функции фитности. На следующем шаге, используя случайный выбор, генерируются пары для применения к ним оператора кроссовера. Здесь возможно также использование оператора кроссовера для каждой пары с вероятностью рс, пропорциональной сумме значений функций фитности обеих хромосом. Это позволит воспроизвести некоторые из хромосом в следующем поколении и с большей вероятностью сохранить наиболее перспективные из них. Более
эффективным является использование многоточечного скрещивания, так как это обеспечит большее разнообразие стрингов, что в данном случае весьма важно.
Так как при таком методе генерации решений существует возможность попадания в область локально-оптимальных решений, что для данной задачи будет характеризоваться тем, что для большого числа поколений не будет выполняться условие попарной совместной оптимальности стрингов (признаков), целесообразно использовать оператор мутации с некоторой вероятностью рт.
Литература
1. Ефимов Ю.Н. Распознавание изображений с использованием оптимальных признаков АВТ.-1992.-№2.-С. 69-75.
2. 1531115 СССР. Устройство для распознавания образов/ Ефимов Ю.Н. -заявлено 08.10.87// Открытия. Изобретения. Пром. образцы. Товар. знаки.-1989.-№47.- С. 162.
3. 1799359 СССР. Устройство для распознавания образов/ Ефимов Ю.Н. -заявлено 12.12.89//Открытия. Изобретения. Пром. образцы. Товар, знаки.-1992.-№4,- С.195.
4. Holland. I. Adaptation in Natural and Artifical Systems. University of Michigan Press, Ann Arbor, 1975.
5. Курейчик В. М. Применение генетических методов для компоновки схем СБИС. сб. Интеллектуальные САПР №4, 1994.
6. Хант Э. Искусственный интеллект, «Мир», М. 1978.
7. Rosenblatt F. The perceptron: A probalistic model for information storage and organization •n the brain, Psychol. Rev., 65, 386-408, 1958.
8. Rosenblatt F. Principles of neurodynamics, Baltimore, 1962, (Русский перевод: Розенблатг Ф., Принципы нейродинамики, «Мир», М., 1966).
9. Selfridge О. Pandemonium. A paradigm for learning, в сб. «Proceedings of the Symposium on the Mechanization of Tought Processes» под ред. Blake D., Utteley A., London, 1959.
10. McCulloch W., Pitts W. A logical calculus of the ideas imminent in nervous activiti, Bull. Math. Biophys., 5, 115-137. (Русский перевод в сб. «Автоматы» под ред. Маккарти Дж. и Шеннона К., ИЛ. М., 1956).
11. Hebb D. The organization of behavior, New York, 1948.
УДК 658.512
Рябец M.H.
Генетический алгоритм компоновки на основе обобщенного критерия
Введение
Компоновка один из наиболее важных этапов проектирования интегральных схем (ИС). Роль компоновки, как и сложность ее выполнения, возрастает в связи со значительным Увеличением числа используемых элементов ИС, минимизации их размеров, требованиями к повышению быстродействия ИС. Процесс компоновки представляет собой задачу оптимального разбиения графа G =(X,U) (Х-множество вершин, U-множество ребер), т.е. задачу комбинаторно логического типа, связанную с полным перебором различных Вариантов разбиения [1]. Таким образом, основной трудностью является тот факт, что Решение задачи компоновки обычными методами ведет к необходимости хранения больших Массивов информации и значительным затратам машинного времени. В данной работе предлагается вариант построения алгоритма компоновки, который позволяет частично преодолеть указанные трудности.
