CC BY
136
11. Стабилизация итогового изображения с помощью медианного фильтра для устранения возможных искажений на изображении.
12. Вывод итогового изображения на экран.
13. Сохранение итогового изображения.
На основании данного алгоритма была разработана программа, которая может применяться как для производственного назначения, так и людьми, не имеющими специального образования, для личного пользования.
Программа обеспечивает выполнение следующих функций:
- обработка входных изображений самых распространенных форматов,
- нахождение точечных особенностей на изображениях,
- сопоставление найденных точечных особенностей,
- построение панорамного изображения по найденным ключевым особенностям,
- фильтрация изображения медианным фильтром,
- сохранение итогового изображения на компьютере пользователя.
Результаты работы программы приведены на рис. 2.
Выводы.
Практическая ценность предложенного алгоритма построения панорамного изображения состоит в возможности снижения объема взаимодействия с пользователем и существенном повышении эффективности решения задач стабилизации изображений, однако, оценка указанной эффективности является предметом дальнейших исследований.
Литература
1. Булаев, М. И. Аппаратный комплекс построения панорамного изображения на принципе сопоставления
Итоговое панорамное изображение
Рис. 2. Результаты работы программы для построения панорамных изображений
точечных особенностей / М. И. Булаев, К. С. Калугин, В. С. Панищев // Известия Юго-Западного государственного университета. Сер.: Управление, вычислительная техника, информатика. Медицинское приборостроение. - 2014. -№2. - С. 98-102.
2. Калугин, К. С. Алгоритм распознавания изображения при помощи сопоставления точечных особенностей / К. С. Калугин // Интеллектуальные информационные системы: тенденции, проблемы, перспективы: сборник докладов Региональной заочной научно-практической конференции. - Курск, 2013. - С. 118-120.
3. Конушин, А. Слежение за точечными особенностями сцены / А. Конушин // Компьютерная графика и мультимедиа. - 2003. - Вып. №1(5).
4. Harris, C. A combined corner and edge detector / C. Harris, M. Stephens // In Proceedings of the 14th International Conference on Computer Vision. - Vancouver Canada, 2008.
5. Mikolajczyk, K. Detection of local features invariant to affine transformations / K. Mikolajczyk // In Proceedings of the 19th British Machine Vision Conference. - Norwich UK, 2009.
Рисунок i1
УДК 005
И. В. Копылов
Череповецкий государственный университет, Л. Л. Малыгин, В. А. Царев
ООО «Малленом Системс»
БАЗА ИЗОБРАЖЕНИЙ НОМЕРОВ НАЗЕМНЫХ ТРАНСПОРТНЫХ СРЕДСТВ
В данной статье представляется новая выборка размеченных номеров наземных транспортных средств (ТС) нескольких стран. База номеров содержит цветные и черно-белые изображения ТС и отдельные изображения номеров. Также имеются файлы с разметкой для каждой страны (ВУ.ша^ К^.ша^ иЛ.ша^, в которых содержится информация о номерах. Всего размеченных номеров ТС 8995 (65198 символов). В целях удобства просмотра, получения основной информации по разметке, а также возможности её редактирования было разработано программное обеспечение в среде МайаЪ (Р2013а 8.1.0.604).
На размеченной выборке были проведены тесты обобщающих способностей двух методов машинного обучения - нейронной сети и метода многомерной интерполяции и аппроксимации на основе теории случайных функций.
Выборка данных, распознавание автомобильных номеров, компьютерное зрение, машинное обучение, нейронные сети, интерполяция и аппроксимация, случайные функции.
This paper presents a new cars license plates database containing marked plates of several countries. The base of plates contains colorful and grayscale images of vehicles and plates separately. There are also files with marking for each country (BY.mat, KZ.mat, UA.mat) which contain information about marked cars license plates. The count of marked cars license plates is 8995 (65198 marked symbols). An interactive Graphic User Interface (GUI) was developed in Matlab® (R2013a 8.1.0.604) for the vehicle database providing basic information about the images of the plates as well as the possibility editing of the marked plates.
Using the marked database the tests of generalizing abilities of two machine learning methods - neural network and method of multidimensional interpolation and approximation based on the theory of random functions were performed.
The database, license plate recognition, computer vision, machine learning, neural networks, interpolation and approximation, the random function.
Введение.
Исследование и развитие интеллектуальных транспортных систем является одной из важных тем на сегодняшний день. С быстрым развитием компьютерного зрения все чаще на автотрассах, дорогах, проходных, стоянках можно встретить камеры видеонаблюдения, информация с которых помогает решению ряда важных задач, а именно: анализ трафика на дорогах, контроль проезда автотранспорта, выявление нарушений, поиск злоумышленников и т. д. Номерные знаки автомобилей являются уникальными идентификационными знаками, помогающими в решении ряда выше перечисленных задач.
Существует множество исследований в области распознавания номеров ТС, начиная от локализации номера на изображения [6], [7], [11], [14], [17] и сегментации символов в номере [7], [10], [11], [14], заканчивая распознаванием символов [7], [11], [14]. Для подобных работ зачастую необходимо иметь большую выборку данных.
В открытом доступе имеются выборки с изображениями ТС. Например, студенческий проект (За-гребский университет, Хорватия) содержит базу в 500 снимков различных ТС (легковые автомобили, грузовики, автобусы), сделанных при различных условиях (солнечные и пасмурные дни, сумерки, ночное время). Изображения ТС не размечены [16]. Также имеется выборка из 126 фотографий ТС, предложенная Маркусом Вебером (California Institute of Technology), выборка из 1155, полученная на калифорнийской автостраде (Brad Philip and Paul Updike, California Institute of Technology). Выборки содержат повторы, фотографии второй имеют очень маленькое разрешение, 360*240. Выборки не размечены [8], [9].
Массачусетским технологическим институтом была выложена выборка 516 изображений автомобилей. Каждое изображение было обработано так, что машина в результате находилась в центре кадра. Все изображения были приведены к размеру 128*128 пикселей, в результате чего номера ТС пригодны только для алгоритмов локализации [12].
Louka Dlagnekov и Serge Belongie предоставили размеченную выборку из 878 изображений ТС, полученную из 10 часовой видеозаписи машин, въезжающих на территорию кампуса (Computer Vision Laboratory in the Computer Science and Engineering Department at U. C. ) [15].
Компанией "Recognitor", занимающейся распознаванием российских номеров, предоставлены базы
необрезанных фотографий автомобилей (9300 изображений), вырезанных номеров (5000 примеров), а также база нарезанных символов (примерно 18000 примеров) [13].
В данной статье представлены выборки изображений ТС целиком (а также отдельно номеров) трех стран. Машины засняты в различных ракурсах, в разное время суток, при различных погодных условиях. Номера ТС размечены - как сам номер, так и отдельные символы. Всего размеченных белорусских номеров 2152 (14914 символов), казахстанских номеров 3842 (26313 символов), украинских номеров 3001 (23966 символов). Во второй части статьи будет дано подробное описание выборок, разметки и приложения для просмотра и редактирования размеченных фотографий. Будет проведен сравнительный анализ обобщающих способностей двух методов машинного обучения [3].
Основная часть.
База с изображениями ТС. База с изображениями ТС разделена на 3 папки, соответствующие трем странам (Белоруссия, Казахстан, Украина). Типичные примеры изображений представлены на рис. 1.
Большинство фотографий сделаны в дневное время суток, также имеются вечерние и ночные фотографии (рис. 2). ТС сфотографированы в различных ракурсах (рис. 1, 2).
Рис. 1. Примеры изображений ТС из базы
Дополнительно имеется база изображений с обрезанными номерами ТС, которая также разделена на три папки. Номера представлены в разном качестве: чистые (символы отчетливо видно, они хорошо разделимы), затертые, грязные, засвеченные, частично
затененные, малоконтрастные номера. Имеются расфокусированные фотографии номеров, а также фотографии, на которых номера смазаны (рис. 3).
- -
И'ЦМДРУ
1 2009/03/01 17:40 ^ß аж L ф
Рис. 2. Примеры изображений ТС в темное время суток
Рис. 3. Примеры обрезанных автомобильных номеров
Для каждой страны имеются файлы разметки (BY.mat, KZ.mat, UA.mat), каждый из которых содержит в себе структуру Frame следующего типа (рис. 4):
Frame{i}.
■ VI - Координата левого верхнего угла номера по У (пример: 606)
■ УЬ - Координата правого низшего угла номера по У (пример 73о)
■ Хг - Координата правого нижнего угла номера по X {пример: 662)
■ XI - Координата левого верхнего угла номера по Х(прнмер: 302)
■ Н - Высота (пример: 129)
■ 'V - Ширина (пример: 360)
Place
• Пример: '7772АЕ7'
ColEleuiInPlate
* Пример: 7
Nameimage
■ Пример: 'image_l_227.jpg'
Symbols.
* Value (пример: '7772АЕ71)
* ВБох (матрица, содержащая значения левого верхнего угла, а также высоту и ширину ограничивающих прямоугольников символов)
* XI (пример: [Si 94 123 152 195 235 253])
* Хг (пример: [92 121 150 179 231 269 321])
* Yt (пример: [36 35 35 34 33 32 31])
* УЬ (пример: [87 87 Вб 16 85 S4 S3])
* (XlrXr:YtYb - содержат координаты левого верхнего и правого нижнего углов ограничивающих прямоугольников символов (координаты относительно обрезанных номеров)).
Рис. 4. Структура файла разметки
Для удобного просмотра базы с размеченными изображениями, а также возможности редактирования было написано программное обеспечение (ПО) с графическим интерфейсом в среде МаИаЪ (И2013а 8.1.0.604) (рис. 5).
Рис. 5. Графический интерфейс ПО для просмотра и возможностью редактирования базы с размеченными номерами
Нейронная сеть и метод машинного обучения на основе теории случайных функций. В данном разделе будет проведен сравнительный анализ обобщающих способностей двух алгоритмов машинного обучения.
Первый алгоритм основан на искусственных нейронных сетях (ИНС), которые имеют очень широкий спектр применения в различных областях. Архитектура ИНС позволяет эффективно распараллеливать процесс обучения и применения НС. Для анализа была рассмотрена полносвязная двухслойная нейронная сеть, метод обучения которой основан на обратном распространении ошибки. Архитектура нейронной сети: входной слой - 96 узлов, первый внутренний слой - 24 узла, второй внутренний слой - 40 узлов, количество узлов выходного слоя зависело от количества символов, используемых в номерах ТС разных стран [1], [4].
Второй алгоритм основан на развивающемся методе машинного обучения многомерной интерполяции и аппроксимации на основе теории случайных функций. Данный алгоритм весьма эффективен на сравнительно небольших выборках данных (до нескольких тысяч примеров), прост в обучении, способен быстро переучиваться при добавлении новых данных. С точки зрения математического аппарата теории случайных функций рассматриваемый метод гарантирует получение оптимального результата при обучении [2], [5].
В качестве обучающей и тестовой выборок были рассмотрены буквы и цифры из базы с размеченными номерами. Каждое полутоновое изображение символа приводилось к размеру 8*12 пикселей, после чего представлялось в виде вектора чисел, элементами которого являлись яркости пикселей изображения. Ре-
зультаты обученных алгоритмов на тестовых выборках символов приведены в табл. 1, 2, 3.
Таблица 1
Результаты тестирования нейронной сети и метода машинного обучения на основе теории случайных функций на символах белорусских номеров ТС
Белоруссия
Вероятность правильной классификации
буквы цифры
Нейронная сеть 99,6 % 99,6 %
Метод машинного обуче-
ния на основе теории
случайных функций 99,3 % 99,6 %
Количество обучающих
примеров 3304 8629
Количество тестовых
примеров 824 2137
Таблица 2
Результаты тестирования нейронной сети и метода машинного обучения на основе теории случайных функций на символах казахских номеров ТС
Казахстан
Вероятность правильной классификации
буквы цифры
Нейронная сеть 98,7 % 99,5 %
Метод машинного
обучения на основе
теории случайных функций 98,9 % 99,6 %
Количество обучаю-
щих примеров 11124 9916
Количество тестовых
примеров 2779 2480
Таблица 3
Результаты тестирования нейронной сети и метода машинного обучения на основе теории случайных функций на символах украинских номеров ТС
Украина
Вероятность правильной классификации
буквы цифры
Нейронная сеть 99,1 % 99,6 %
Метод машинного
обучения на основе
теории случайных функций 99,3 % 99,7 %
Количество обучаю-
щих примеров 9586 9586
Количество тестовых
примеров 2396 2397
Выводы.
В данной статье была представлена новая выборка размеченных автотранспортных номеров Белоруссии, Казахстана и Украины. Снимки сделаны при
различных ракурсах и условиях освещенности. Данная база изображений может помочь в исследованиях, связанных с обнаружением номера ТС, локализации и распознавания символов по отдельности, а также распознавания автомобильного номера целиком.
В целях удобства просмотра, получения основной информации по разметке, а также возможности её редактирования было разработано программное обеспечение в среде Matlab (R2013a 8.1.0.604). Также были проведены сравнительные тесты двух методов машинного обучения на подготовленной выборке символов. Результаты, полученные при тестировании, также указывают на качество разметки.
Литература
1. Алгоритм обратного распространения ошибки. -URL: http://www. aiportal. ru/articles/neural-networks/back-propagation. html
2. Бахвалов, Ю. Н. Метод машинного обучения на основе алгоритма многомерной интерполяции и аппроксимации случайных функций / Ю. Н. Бахвалов, Л. Л. Малыгин, П. С. Черкасс // Вестник Череповецкого государственного университета. - 2012. - № 39-2. - Т. 2. - С. 7-10.
3. Выборка, разметка, ПО. - URL: https://yadi. sk/d/7_Pi-wZhdrQik
4. Хайкин, С. Нейронные сети: полный курс / Саймон Хайкин. - 2006.
5. Ширабакина, Т. А. Метод распознавания образов на основе теории случайных функций / Т. А. Ширабакина, Ю. Н. Бахвалов, А. Н. Зуев // Известия высших учебных заведений. Приборостроение. - 2005. - Т. 48. - №2. - С. 5- 8.
6. Abolghasemi, V. Local Enhancement of Car Image for License Plate Detection / Vahid Abolghasemi, Alireza Ahma-dyfard // Shahrood University of Technology, Shahrood, Iran. 15th European Signal Processing Conference (EUSIPCO 2007), Poznan, Poland, September 3-7. - 2007.
7. Anagnostopoulos, C.-N. E. License plate recognition from still images and video sequences: a survey, IEEE Trans / [C.-N. E. Anagnostopoulos et otc.]. Intelligent Transportation Systems. - 2008. - Vol. 9. - P. 377-391.
8. Car dataset taken by Brad Philip and Paul Updike. -URL: http://www.robots.ox.ac.uk/~vgg/data3.html
9. Car dataset taken by Markus Weber. - URL: http://www.vision.caltech.edu/html-files/archive.html
10. Kim, J. Character segmentation method for license plate with topological transform / Jaedo Kim, Youngjoon Han, Hernsoo Hahn // World Academy of Science, Engineering and technology, 2009.
11. Li, B. A Vehicle License Plate Recognition System Based on Analysis of Maximally Stable Extremal Regions / [Bo Li et otc.]. - 2012. - Р. 399-404.
12. MIT. - URL: http://cbcl. mit. edu/projects/cbcl/ software- datasets/CarData1Readme. html
13. Recognitor. - URL: http://habrahabr. ru/company/ re-cognitor/blog/243919/
14. Solanki, R. The Automatic License Plate Recogni-tion(ALPR) / Rinku Solanki, Rajeevkumar Rai, Teena Raikwar // IJRET: International Journal of Research in Engineering and Technology.
15. URL: http://vision. ucsd. edu/belongie-grp/research/ carRec/ car_data. html
16. URL: http://www.zemris.fer.hr/projects/LicensePlates/ english/ results.shtml
17. Zheng, D. An efficient method of license plate location / D. Zheng, Y. Zhao and J. Wang // Pattern Recognition Letters. - 2005. - Vol. 26. - P. 2431-2438.
