CC BY
135
НАУЧНОЕ ИЗДАНИЕ МГТУ ИМ. Н. Э. БАУМАНА
НАУКА и ОБРАЗОВАНИЕ
Эл № ФС77 - 4 8211. Государственная регистрация №042 1200025. ISSN 1994-0408
электронный научно-технический журнал
Программный комплекс предварительной обработки изображений для обнаружения и распознавания изображений # 04, апрель 2014
DOI: 10.7463/0414.0707888 Буланов В. А., Волосатова Т. М.
УДК 621.0+681.5
Россия, МГТУ им. Баумана Vladimir bulanov'gmail.ni t amaravol ff gmail .com
Введение
Задача распознавания образов решается в самых разных областях: аэрокосмическая разведка; навигация летательных аппаратов; системы безопасности; управление с помощью систем технического зрения; медицина и биология.
Методы обнаружения, классификации и идентификации объектов находятся в непрерывной разработке. Единой теории решения этих задач пока не существует. Решение указанных задач почти невозможно, если изображение искажено, расфокусировано и смазано. Решение принципиально невозможно, если изображение зашумлено. На этом основании можно утверждать, что актуальной является разработка аппаратно-программных комплексов для предварительной обработки изображений.
Целью работы является разработка программного обеспечения автоматизированного рабочего места (АРМ), предназначенного для создания программ предобработки изображений с целью последующего обнаружения и распознавания объектов.
В публикации приведены результаты аналитического обзора алгоритмов цифровой обработки изображений [1, 2], а также задач деконволюции, сегментации и фильтрации изображений. Рассмотрены алгоритмы компенсации смаза и дефокусировки [5,6]. Регистрация изображений местности, зачастую, должна производиться оперативно, без возможности повторения. При этом условия фотосъемки не всегда позволяют получить качественные снимки. Изображения могут быть дефокусированы и смазаны, особенно если снимки сделаны с помощью аппаратуры, устанавливаемой на БПЛА без должной стабилизации АФА (см. ниже). В статье приведен интерфейс программных реализации большинства указанных выше алгоритмов, представлен пример использования разработанного АРМ.
В статье использованы следующие сокращения:
АРМ - автоматизированное рабочее место;
АФА - аэрофотоаппарат;
БПЛА - беспилотный летательный аппарат;
ГИС -геоинформационная система;
ДЗЗ - дистанционное зондирование Земли;
ЛА - летательный аппарат; ОС - операционная система; ПО - программное обеспечение;
САПР - система автоматизированного проектирования; СТЗ - система технического зрения. ОЭС - оптико-электронная система.
1.Структура программного обеспечения АРМ
Функциональная схема программного обеспечения (ПО) представлена на рис. 1.
по входного контроля п греобразоБания форматов файлов |
| ■
Рис.1. Функциональная схема ПО АРМ
Группа ПО, объединенная в блок 1, предназначена для сопряжения с другими программными комплексами (например, ГИС). К числу задач, решаемых данным ПО, относится преобразование форматов данных.
Группа ПО в блоке 2 предназначена для сопровождения процесса записи регистрируемых изображений, их описаний (в военных приложениях - разведдонесений) и навигационных данных.
ПО «База данных» обеспечивает обслуживание архива изображений. ПО предназначено для хранения изображений, записанных из АФА и СТЗ, а также для нахождения прототипов (эталонов) с помощью нечеткого запроса.
Группа ПО в блоке 3 обеспечивает подготовку (препарирование) изображений: сегментацию, оконтуривание, дилатацию.
Группа ПО обработки изображения включает в себя:
- ПО для восстановления дефокусировки и смаза (решение обратной задачи);
- ПО фильтрации;
- ПО «сшивки кадров» для синтеза кадра (получение панорамы) из фрагментов. Рассмотрим последнюю группу программного обеспечения.
2. Восстановление дефокусировки и смаза
Задача восстановления дефокусировки определятся интегральным уравнением Фредгольма первого рода [3,4]
/а к(р,х,Бх,у,Бу)д(Бх,Бу) йБхйБу = f (х, у), (1)
где sy - пространственные координаты входной плоскости изображения, х, у - пространственные координаты плоскости регистрируемого изображения, р - вектор конструктивных параметров ОЭС; а, Ь - пределы интегрирования; к(р,х^х,у^у) - ядро интегрального уравнения, описывающего ОЭС (функция рассеяния точки или импульсный отклик системы); д (бх, Бу) - входное распределение в координатном пространстве sx, зУ: - полученное изображение, которое является в некотором смысле искажением д (бх, Бу) . Задача восстановления смаза отличается видом ядра уравнения. Заметим, что если хотя одна из подынтегральных функций в уравнении (1) является финитной, указанный интеграл записывается в бесконечных пределах.
Для дефокусировки в качестве импульсного отклика можно принять модель вида
к(г, X - - Бу) = < -
[ 0,^(х-5х)2 + (у-5у)2 >Г.
Здесь вектор параметров модели определен лишь радиусом эквивалентного пятна рассеяния г.
Для линейной модели смаза функцию рассеяния точки можно принять в виде
к\а, х — зх;у — 5у) = < а
(О, ( х-бх)£ [ - й- 0 ] .
Здесь $ - значение смаза.
Уравнение (1) в частотной области имеет вид
К(ы,у) 0(Ы,У) = Ди,у), (2)
где пу - координаты в частотной области; К, О, ^ - Фурье-образы соответствующих функций; К(м,у) - оптическая передаточная функция.
Для решения задачи (2) используем регуляризацию по Тихонову [4,5], когда в качестве функции Ж- регуляризирующего множителя берется функция
^ ~ \К(и,р)\2 + аМ(и, V)'
*
где
К (и, V) -
функция коплексно сопряженная оптической передаточной функции; Ы(иу) - неотрицательнозначная функция, например М(м,у)=1; а - параметр регуляризации.
Спектральный метод основан на свойствах спектра смазанного изображения: в спектре присутствует характерная рябь, направленная по смазу и имеющая период, обратно пропорциональный модулю вектора (длине) смаза [6] (рис. 2).
а» Изображение о
Спектр
Рис. 2. Спектр смазанного изображения Для удобного нахождения направления и длины смаза используем кепстр - вещественную часть преобразования Фурье от логарифма магнитуды спектра [7] (рис. 3). На кепстре характерно проявляются два симметричных относительно центра негативных пика, отстоящие от центра на величину, равную длине смаза. Линия, соединяющая эти пики, дает представление о направлении смаза.
3
г 1
о
-1
-2
-3
-А О
Рис. 3. Кепстр смазанного изображения: а - кепстр изображения; б - линия направления смаза.
Градиентный метод определения направления смаза [6] основан на том, что в направлении смаза градиент распределения амплитуды изображения ослаблен, в то время как в направлении, перпендикулярном смазу, величина градиента остается прежней. Таким образом, для определения вектора смаза необходимо найти градиент для каждой точки изображения. В обработке изображений для этого широко используются граничные градиентные фильтры. Определив градиенты для каждой точки, можно найти преимущественное направление градиента, тогда направление, перпендикулярное преимуществен-
ному, можно считать направлением смаза. Если же использовать не градиенты, а границы объектов смазанного изображения, то они будут вытянуты вдоль линии смаза. Найдя преимущественное направление линий границ объектов можно определить направление сма-за.
Преимущественное направление линий можно определить с помощью преобразования Радона [6]
й(х, 0)[Я = [(хсоБв - уБтв.хБтв + усо5в)йу.
¿ — 00
Преобразование Радона имеет простой геометрический смысл - это интеграл от функции / вдоль прямой, перпендикулярной вектору (соб0; и проходящей на расстоянии х от начала координат. Угол 0 , для которого преобразование Радона максимально, определяет направление смаза.
3. Фильтрация изображений
Программное обеспечение поддерживает четыре режима фильтрации изображений:
- фильтрация медианным фильтром длиной 3, 5 или 7 единиц;
- нелинейная фильтрация;
- фильтрация за счет блендироания;
- фильтрация за счет применения тришолдинга.
На рис. 4 приведено время работы медианного фильтра в зависимости от размера изображения. Как видно, экономия при обработке изображений обратно пропорциональна длине фильтра.
Зависимы ость времени обработай (в секундах) от размера изображения
«о
0 ■ ХОхЭОй »ОтЯН 1в«ы1Ы» Ш (3200
— ОПИЪм 132 50.43- 6579
6,78 ».11 №.14 1ЯЦИ ме,43
ГинрилОрыснш
Рис. 4. График зависимости времени обработки медианным фильтром от размера изображения
Пользовательский интерфейс программы медианной фильтрации логически разделен на две зоны - зона просмотра изображения и зона управления программой (рис. 5). В верхней части окна расположены кнопки для загрузки изображения и выхода из программы. Зона управления состоит из четырех разделов, которые автоматически раскрываются при подводе к ним указателя мыши.
Рис.5. Зональное разделение пользовательского интерфейса Раздел Фильтрация содержит настройки, применяемые для предварительной фильтрации изображения (рис. 6).
Фильтрация * Отсутствует
Медианный кЗ Медианный х5 Медианный к 7
Рис. 6 Раздел Фильтрация
Раздел Обработка сегментов содержит настройки того, как алгоритм будет интерпретировать области при
показе результатов обработки (рис. 7).
Обработка сегментов
Квадраты * Окружности
Порог сегмента [%) 60
Не объединять сегменты Рис. 7. Раздел Обработка сегментов
Раздел Настройка сегментов. Здесь указывается масштаб изображения - сколько пикселей содержит в себе один метр обрабатываемого снимка, минимальный и макси-
мальный размер искомых сегментов, а также порог расстояния между центрами сегментов, при котором происходит их объединение (рис. 8).
Настройка сегментов
Масштаб (pix/м)
Минимальный размер искомым объектов (в метрах)
- ширина■ -длина - -
Максимальный размер искомых объектов (в метрах)
- ширина■ -длина - -
Объединять, если расстояние между центрами
не более (в метрах)
Рис. 8. Раздел Настройка сегментов
Раздел «Управление». В разделе собраны управляющие кнопки, позволяющие выполнить обработку изображения, обновить результаты в зависимости от измененных параметров, сохранить полученное изображение, а так же выгрузить полученные координаты сегментов (рис. 9).
Управление
Запустить обработку
Обновить
Сохранить изображение
Экспорт координат
Рис.9. Раздел Управление
Форма Экспорт координат. Позволяет выгружать полученные в ходе работы программы данные во внешние файлы - текстовый файл, либо в файл Excel CSV (рис. 10).
Рис. 10. Форма Экспорт координат
4. Сшивка изображений и координатная привязка
На рисунке 11 представлена структурная схема программного обеспечения сшивки полного изображения из его фрагментов и координатной привязки.
11 А ^ / Входные
Начало -, .
у / файлы
Последовательность сшивки иехее()
горизонтальная
Вид сшивки
вертикальная
Рис. 11. Структурная схема ПО для сшивки полного изображения и координатной привязки
На рисунке 12 приведена структурная схема программного обеспечения для чтения координатной информации.
Рис. 12. Структура ПО для чтения координатной информации
При необходимости несложно осуществить конвертацию файла. На рисунке 13 приведен вариант хранения координатной информации в теле графического файла в двоичной кодировке. Перед записью данные кодируются условленным ранее способом. При использовании для хранения заголовка файла в формате *.Ътр и коррекции смещения основных данных можно добиться сохранения первоначального вида изображения и корректного распознавания файла всеми редакторами и служебными программами. После чтения координатной информации из файла она декодируется и может быть использована для осуществления привязки файла записи координат.
вм Смещение данных от начала файла
Добавленная координатная информация
Данные изображения
I I - Заголовок *.BMP - файла
Рис. 13. Структура *.Ьтр-файла для записи координат
На рисунке 14 показано содержимое модифицированного графического файла с добавленной координатной информацией (в данном случае координаты станции метро «Коньково» в Москве). Координатная информация в файле располагается сразу после основного заголовка файла в системе счисления по основанию 16, при этом корректируется смещение графических данных. Выбран формат записи координат в градусах и долях градуса, поскольку в условиях вычислительной техники данный способ удобнее способа хранения градусов, минут и секунд.
Вы ICY Hexplo гег - [C:\Documents and SettingsVJimmyUAoH документыWisuaI Studio 200
File Disk Edit View Structures Crypto Macro Help
Ъ P Св Л
r 4 +
о +
42 4D BE 00 00 À6 00 00 88 00 00 00 Щ 17 06 15 04 00 26 IF 81 70 6B 69 5C 65 6B 4D 5C 43 A8 95 98 86 8B 94
62 6F 26
63 4B 5C 55 69 7F
6D 04 6D 00 07 11 73 66 72 4D A5 7E 29 6F 56
23 00 00 00 00 8A 23 00 C4
00 OOfÏÏÏÏ IE OD OD
01 00 22 6E 92 86
83 82 81 7E 88 8B 5D 35 3D 8D 90 9D
84 8A 5A 38 25 27 58 6D 7F 68 7F 60
00 00 PORT 02 00 00 01
0E_00 00 C4
1|37 00||15 F7
00 00
13 12
82 78 98 4D 6D 60 38 5D 72
03 00 11 09 IF OF
77 6D 69
78 78 65 A3 85 91 4A 50 60
71 7C 6C 66 46 4B 47 49 5A
72 84 42 89 60 70
00 18
0E 00
ÏÏÏÏ1 Щ
00 00
06 35
78 70
68 69
9F 75
47 4A
70 7B
54 44
4C 4D
56 6À
87 77
Ш 28 00 00 00 00 00 00 00 0Ü1|25 CB 1A 08 04 25 1С 35 6E 79 72 6E 74 79
81 90 41 5B 95 99 67 6C 75 48 53 5F 61 49 50 42 56 6C
82 9A 3B
BMsm# (
\ Ъ ГЫэ и TS Iii дъ дъ
7 "Бч % XJI TS TS IS IS TS TS IS TS TS TSTSTS TSTS TSTS TS TS TS TS TS 5 TS 5 fcUfsn't,wmixpnyr pkif г.. faHHehinty \ e k г ~ I < IJ... '■yufliA M\CM]5=BJP'GJ[--Ë • I ГЙ1] Kmq I 1 p { g 1 u t < "~„IbZ ' £ FKTDHS_ boSi ) SZ 1 SGIZLMalP cK\oïii I ] r„ BV j BV1 Ui |Vh| * tZ ' ptu.vb;
Overwrite
Pos: ah (10)
Byte: 65
Size: 2,321,873 bytes
Рис. 14. Модифицированное представление Ьшр-файла после записи координат
В этот же файл записываются координаты геометрического центра снимка, так как предполагается, что съемка производится вертикально вниз с БПЛА или АФА, расположенного на ЛА (рис. 15 ). При расположении аэрофотоаппарата под углом, или в каких либо других случаях необходимо вводить соответствующую поправку.
Рис. 15 Геометрический центр снимка
На рисунке 16 представлен интерфейс программы сшивки изображения, например из 9 фрагментов. Каждый из фрагментов располагается в отдельном подокне. Результирующее изображение выводится в отдельное подокно, предназначенное для вывода результата сшивки (рис. 16).
Рис. 16. Входной интерфейс программы Скоросшиватель
После запуска (см. рис. 16) пользователю предлагается выбрать сшиваемые изображения посредством кнопки «Загрузка». Результат выводится как на экран, так и записывается на жесткий диск под именем result.bmp (рис.17).
Рис.17. Окно программы после выполнения сшивки
Чтобы отобразить на результирующем изображении границы сшиваемых фрагметов, необходимо повторно нажать кнопку «Пуск» (рис.17). При этом в нижнем окне появятся красные линии сопряжения, показывающие границы составляющих фрагментов.
Рис. 18. Результат сшивки с линиями сопряжения
На рисунке 19 приведен интерфейс программы оцифровки результирующего изображения.
Рис.19. Интерфейс программы оцифровки результирующего изображения
Сшиваемые фрагменты изображений располагаются в соответствующих подокнах (рис. 19 и рис.20). После нажатии кнопки «Пуск» результат будет выведен на экран, а также записан на жесткий диск под именем map.bmp. Также будет сформирована координатная сетка и отображены шкалы широты и долготы (рис. 21).
Рис.20. Исходные фрагменты изображения
Рис.21. Результат работы программы
Для анализа производительности программы сшивки изображений были выбраны четыре набора изображений, имеющих различные разрешения в девяти фрагментах (фай-
секунды
??
Рис. 22. Время выполнения сшивки фрагментов изображеий различных размеров в зависимости от размера
файла
Измерения производились на персональном компьютере с процессором AMD Athlon с тактовой частотой 2 ГГц и объемом оперативной памяти 1,5 Гб (см. рис.22). При измерении времени не учитывались временные затраты на запись результирующего файла на диск.
Анализ показал, что алгоритм, реализованный в программе, обладает удовлетворительной производительностью для решения поставленных задач.
Заключение
На основе аналитического обзора методов и алгоритмов обработки и распознавания изображений показана необходимость разработки соответствующего АРМ.
Предложена структура программного обеспечения для автоматизированного проектирования и синтеза алгоритмов обработки и распознавания изображений.
Разработано алгоритмическое и программное обеспечение АРМ.
Показана эффективность разработанных алгоритмов и программного обеспечения.
Список литературы
1. Афиногенов Е.А., Волосатова Т.М., Сельвесюк Н.И., Чичварин Н.В. Анализ методов и средств контроля систем дистанционного зондирования Земли // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2012. № 2. Режим доступа: http://technomag.bmstu.ru/doc/322927.html (дата обращения 01.04.2014).
2. Волосатова Т.М., Марченков А.М., Чичварин Н.В. Исследования и разработка комбинированного метода обнаружения и распознавания движущихся объектов // Информационные технологии. Приложение. 2013. № 12. С. 24-32.
3. Верлань А.Ф., Сизиков В.С. Методы решения интегральных уравнений с программами для ЭВМ. Киев: Наукова думка, 1978. 292 с.
4. Петров Ю.П., Сизиков В.С. Корректные, некорректные и промежуточные задачи с приложениями. СПб.: Политехника, 2003. 261 с.
5. Градов В.М., Филиппов М.В. Решение обратных задач методом регуляризации / под ред. К.А. Майкова. М.: Изд-во МГТУ им. Н.Э. Баумана, 1998. 20 с.
6. Волосатова Т.М., Воронов А.В.,Чичварин Н.В. Математическое и программное обеспечение решения задачи синтеза для САПР оптико-электронных систем // Информационные технологии. Приложение. 2002. № 4. С. 3-34.
7. Childers D.G., Skinner D.P., Kemerait R.C. The cepstrum: A guide to processing // Proceedings of the IEEE. 1977. Vol. 65, iss. 10. P. 1428-1438. DOI: 10.1109/PRQC.1977.10747
8. Thilaka S., Donald I. Chapter 48. Medical Image Reconstruction with the FFT // In book: GPU Gems 2 / M. Pharr, ed. Addison-Wesley, 2005. P. 785-797.
9. Krueger N. An Algorithm for the Learning of Weights in Discrimination Functions Using a Priori Constraints // IEEE Transactions on Pattern Analysis and Machine Intelligence. 1997. Vol. 19, iss. 7. P. 764-768. DQI: 10.1109/34.598233
10. Chamgoulov R., Lane P., MacAulay C. Three-dimensional optical computed-tomography microscope // Proc. SPIE. 5701. Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing XII, 2005. DQI: 10.1117/12.591859
SCIENTIFIC PERIODICAL OF THH BAUMAN MSTU
SCIENCE and EDUCATION
EL № FS77 - 48211. N»0421200025. ISSN 1994-0408
electronic scientific and technical journal
Program complex of pretreatment imaging for detection and image
recognition
# 04, April 2014
DOI: 10.7463/0414.0707888
V.A. Bulanov, Volosatova T.M.
Bauman Moscow State Technical University, 105005, Moscow, Russian Federation
vladimir bulanovffimail.ru tamaravol'S gmail. com
The article below describes an automatized workstation designed for developing programs, which preprocess images for further image detection and recognition. A software structure for an automatized workstation has been developed, and its functional block diagram is given. Methods and algorithms to solve the inverse problem of processing images obtained from unmanned aerial vehicles with no gyro stabilization system of aerial photography. Among them there are problems of defocusing and blurring recovery in resulting images. The article analyzes in-detail the software for image processing, that includes the following: software for defocusing and blurring recovery (an inverse problem solution); filtering software; software "joining frames" for frame synthesis (merging into panorama) from fragments. The interface of software support for most of algorithms described above is given. Computer-based experiment research results were also presented.
Publications with keywords: filtering, pattern recognition, algorithms, recognition, segmentation, blur, defocusing, inverse problem of image processing, image composition Publications with words: filtering, pattern recognition, algorithms, recognition, segmentation, blur, defocusing, inverse problem of image processing, image composition
References
1. Afinogenov E.A., Volosatova T.M., Sel'vesyuk N.I., Chichvarin N.V. [Analysis of methods and means of controlling Earth remote sensing systems]. Nauka i obrazovanie MGTU im. N.E. Baumana - Science and Education of the Bauman MSTU, 2012, no. 2. Available at: http://technomag.bmstu.ru/en/doc/322927.html , accessed 01.04.2014. (in Russian).
2. Volosatova T.M., Marchenkov A.M., Chichvarin N.V. [Research and Development of the Combined Method of Detection and Recognition of Moving Objects]. Informatsionnye tekhnologii. Suppl., 2013, no. 12, pp. 24-32. (in Russian).
3. Verlan' A.F., Sizikov V.S. Metody resheniya integral'nykh uravneniy s programmami dlya EVM [Methods for solving integral equations with computer programs]. Kiev, Naukova dumka Publ.,1978. 292 p. (in Russian).
4. Petrov Yu.P., Sizikov V.S. Korrektnye, nekorrektnye i promezhutochnye zadachi s prilozheniyami [Correct, incorrect, and intermediate problems with applications]. St. Petersburg, Politekhnika Publ., 2003. 261 p. (in Russian).
5. Gradov V.M., Filippov M.V. Reshenie obratnykh zadach metodom regulyarizatsii [Solution of inverse problems by method of regularization]. Moscow, Bauman MSTU Publ., 1998. 20 p. (in Russian).
6. Volosatova T.M., Voronov A.V.,Chichvarin N.V. [Mathematical and software of solutions of synthesis problem for CAD for optoelectronic systems]. Informatsionnye tekhnologii. Suppl., 2002, no. 4, pp. 3-34.
7. Childers D.G., Skinner D.P., Kemerait R.C. The cepstrum: A guide to processing. Proceedings of the IEEE, 1977, vol. 65, iss. 10, pp. 1428-1438. DOI: 10.1109/PR0C.1977.10747
8. Sumanaweera T., Liu D. Ch. 48. Medical Image Reconstruction with the FFT. In book: Pharr M., ed. GPU Gems 2. Addison-Wesley, 2005, pp. 785-797.
9. Krueger N. An Algorithm for the Learning of Weights in Discrimination Functions Using a Priori Constraints. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997, vol. 19, iss. 7, pp. 764-768. DOI: 10.1109/34.598233
10. Chamgoulov R., Lane P., MacAulay C. Three-dimensional optical computed-tomography microscope. Proc. SPIE. 5701. Three-Dimensional and Multidimensional Microscopy: Image Acquisition and Processing XII, 2005. DOI: 10.1117/12.591859
