CC BY
156
УДК 621.8:681.5
М.Э. КУССУЛЬ, О.Г. САДОВАЯ, А.С. СЫЧЕВ
ОБЗОР АЛГОРИТМОВ И РЕШЕНИЙ ЗАДАЧИ ОПТИЧЕСКОГО РАСПОЗНАВАНИЯ ПЕШЕХОДА
Abstract: The article is devoted to a review of pedestrian recognition optical systems. An urgency of their development is proved. An input data types and image processing algorithms used in the systems are considered. Problems arisen during creation of such systems are described. A problem of grade estimation and comparison test are considered separately.
Key words: optical recognition system, intelligent safety systems.
Анотація: У статті проводиться огляд систем оптичного розпізнавання пішохода. Обґрунтовується актуальність їх розробки. Розглядаються типи вхідних даних, алгоритми обробки зображень, алгоритми розпізнавання, що використовуються в даних системах. Окреслено коло задач, які виникають при створенні таких систем. Окремо розглянуті питання оцінки якості роботи і визначення критеріїв порівняння таких систем між собою.
Ключові слова: система оптичного розпізнавання, інтелектуальні системи безпеки.
Аннотация: В статье проводится обзор систем оптического распознавания пешехода. Обосновывается актуальность их разработки. Рассматриваются типы входных данных и алгоритмы обработки изображений, используемые в данных системах. Очерчен круг задач, которые возникают при создании таких систем. Отдельно рассмотрена проблема оценки качества работы и определения критериев сравнения систем между собой.
Ключевые слова: система оптического распознавания, интеллектуальные системы безопасности.
1. Введение
При разработках современных автомобилей большое значение уделяют системам безопасности. При этом все большая роль отводится так называемым интеллектуальным системам безопасности, которые позволяют гибко реагировать на нестандартные ситуации. Существует целый ряд интеллектуальным систем безопасности пассажира автомобиля [1-3], многие из которых уже нашли свое применение.
Наряду с системами безопасности пассажира большое внимание уделяется разработке систем обеспечения безопасности пешеходов. Это новая и быстро развивающаяся область применения интеллектуальных систем. На данный момент существует несколько подходов к решению задачи обеспечения безопасности пешеходов, например, установка специальных подушек безопасности на бампере автомобиля, принудительная остановка или уменьшение скорости автомобиля с целью предотвращения аварии или подача предупреждающего сигнала водителю. Однако ключевой проблемой перечисленных подходов является обнаружение препятствия и его идентификация. В данном случае - это обнаружение наличия и местоположения пешехода по ходу движения автомобиля. Среди задач распознавания проблема обнаружения пешехода является одной из наиболее сложных. Основные трудности, связанные с решением данной задачи, заключаются в следующем: во-первых, фон, на котором необходимо искать пешехода, постоянно меняется, во-вторых, положение пешехода и расстояние до него заранее неизвестны, в-третьих, качество распознавания не должно зависеть от размеров и одежды пешеходов.
Из систем распознавания пешехода особого внимания заслуживают системы оптического распознавания пешехода (СОРП). На данный момент существует более 10 разработок в этой области. Состав и методы систем очень разнообразны, при этом каждая из разработок имеет свои
преимущества и недостатки. Их анализ показывает, что задача обнаружения пешехода по оптическим данным находится на самом раннем этапе развития и представляет большой интерес как с точки зрения получения новых научных результатов, так и с точки зрения практического применения. Ведь в данных системах заинтересованы не только производители автомобилей, но и мы, обыкновенные пешеходы.
Целью данной статьи является обзор существующих систем оптического распознавания пешехода, а также обсуждение круга проблем, возникающих при решении данной задачи.
2. Общая характеристика
Одними из основных характеристик СОРП являются размеры рабочей зоны, которые зависят от технических характеристик оптического устройства. Как правило, глубина рабочей зоны не превышает 30 метров, а угол обзора 60°. На рис. 1 показана схема рабочей зоны для системы
РРОТБОТОР [4-9]. Насколько можно судить из опубликованных работ, большинство СОРП имеют схожие характеристики. Относительно небольшая глубина рабочей зоны легко объяснима: ведь линейные размеры объектов обратно пропорциональны расстоянию до этих объектов. То есть, даже для показанной рабочей зоны, пешеходы, которые находятся на ее дальней границе, будут в 5 раз меньше пешеходов, находящихся на ближней границе. Такой большой разброс размеров сильно усложняет обнаружение и распознавание объектов.
Второй важной характеристикой СОРП является быстродействие. Очевидно, что система распознавания должна работать в реальном времени. Следовательно, время обработки кадра должно быть как можно меньшим (заметим, что при скорости 100 км/час машина проезжает рабочую зону СОРП менее чем за одну секунду). Существуют два подхода к решению данной проблемы: первый заключается в использовании упрощенных, а следовательно, и более быстрых алгоритмов обработки изображений, что, конечно же, должно отразиться на качестве. Второй подход заключается в том, что использование сложных алгоритмов работы компенсируется применением специализированных аппаратных средств, позволяющих производить обработку входной информации за приемлемое время. Конечно, второй подход требует больших финансовых затрат, но является и наиболее продуктивным.
Еще одной характеристикой СОРП есть диапазон освещенности объектов, в котором она может работать. В идеальном случае система распознавания пешехода должна работать как в условиях сильной освещенности (яркое солнце), так и в условиях недостаточной освещенности. Для преодоления данной проблемы в различных исследованиях предлагается использовать либо инфракрасные камеры, либо различного рода радары [5].
Рис. 1. Рабочая зона СОРП PROTECTOR
3. Классификация СОПР по типу используемых изображений
Классификацию систем СОРП можно провести по типу используемых технических средств (видеокамер). При таком делении получаем три типа входных изображений:
• Монохромные видеоизображения
Разработчики данных систем намеренно ставят себя в очень жесткие рамки, поэтому не стоит от данных систем ждать самых лучших результатов. Однако такие системы имеют свои преимущества. Использование в качестве входной информации черно-белых изображений позволяет применять более простые и быстрые алгоритмы распознавания. К тому же для такого типа изображений существует целый ряд стандартных алгоритмов, которые могут быть легко адаптированы для данной задачи. Не последнюю роль играет также дешевизна соответствующих аппаратных средств, поэтому в СОРП данного типа не применяют больших разрешений и, как правило, используют изображения стандартного размера. К СОРП, работающим на основе чернобелых изображений, относятся системы, представленные в [10-14].
• Цветные изображения
По сравнению с черно-белыми изображениями цветные несут больше информации об объектах и должны существенно облегчать их выделение. В то же время из цветного изображения всегда можно легко получить черно-белое.
Поэтому для цветных изображений существенно увеличивается спектр возможных алгоритмов обработки от сложных (квантование палитры, сегментация изображения и др.) до простых алгоритмов обработки яркости изображения. Здесь необходимо отметить, что сложные алгоритмы значительно увеличивают время распознавания, но зато более точно выделяют объект.
Для того чтобы использовать информацию, которую несет в себе цвет изображения, необходимо уметь сравнивать цвета. Данная задача не имеет точного решения. Существует множество алгоритмов, но все они носят, по большей части, эмпирический характер, и далеко не всегда применимы в данной области. Успешное решение задачи сравнения цветов является ключевой при использовании цветных изображений.
Некоторые проблемы возникают при недостаточном освещении, так как видеокамеры в этих условиях не способны хорошо передавать цветовую гамму. Поэтому либо на систему необходимо накладывать дополнительные ограничения по яркости объекта исследования (например, использование данной системы только в светлое время суток), либо же в рамках системы разработать подсистему, которая будет работать с черно-белыми изображениями, что частично компенсирует этот недостаток.
К СОРП, работающим на основе цветных изображений, относятся системы, описанные в работах [5,13-15].
• Инфракрасные изображения
Достоинством систем, работающих в инфракрасном диапазоне, является возможность работы в ночное время суток при минимальном освещении. На рис. 2 показан пример ночного снимка в инфракрасном свете, полученный в работе [16]. Однако не совсем понятна устойчивость таких
систем при ярком солнечном свете и повышенной температуре. Исследования, проведенные в [16], показали, что при использовании изображений с малым разрешением, например, 20х20,
преимущество имеют изображения,
полученные в инфракрасном диапазоне, в то же время при большом разрешении
распознавание пешехода лучше проводить по черно-белым изображениям. К СОРП, работающим на основе инфракрасных
изображений, относятся [16,17].
4. Комплексные системы распознавания пешехода
Существуют системы, которые для распознавания объекта используют не только само изображение от видеокамеры, но и дополнительную информацию, получаемую с помощью дополнительных технических средств. Среди комплексных систем наиболее интересными представляются:
• СОРП, использующие стереопары
В таких системах используются две видеокамеры вместо одной. Стереопара используется в основном для измерения расстояния до объекта. Эта информация значительно облегчает выделение близко расположенных объектов и отделение их от фона.
Установка стереопары легко реализуется практически. В таких СОРП, как правило, не применяются линзы с сильной дисторсией, поэтому калибровка стереопары также не представляет особой проблемы. Но зато цена такой системы возрастает в несколько раз, так как обе видеокамеры, использующиеся в системе, должны иметь хорошую разрешающую способность, что необходимо для качественного определения расстояния. Требование к хорошей разрешающей способности не случайно, так как при малом разрешении сильно усложняется задача совмещения объектов на двух изображениях. Возникают также проблемы с синхронизацией работы видеокамер, но они имеют чисто технический характер и легко решаются.
• СОРП, использующие радары
Назначение радара то же, что и стереопары. Поэтому в системах можно использовать либо радар, либо стереопару, исходя из имеющихся технических возможностей.
Использование радара [5,13,14,18] упрощает алгоритмы определения дальности до интересующего нас объекта. Но его установка требует дополнительных затрат, и данные, снимаемые с его помощью, имеют несколько другой формат, поэтому для их обработки надо
Рис. 2. Пример инфракрасного изображения
применять дополнительные алгоритмы. Но в работах, описывающих использование радара, не раскрываются технические подробности его применения, такие как дальность, углы развертки и т.д. Исходя из рассмотренных работ, трудно сказать, какой из этих подходов является более перспективным для решения задачи распознавания пешехода. Судя по всему, они оба достаточно хорошо справляются с задачей определения расстояния до объекта. Преимуществом стереопары является дополнительная информация об объекте, появляющаяся за счет того, что камеры «видят» объект с разных точек. С другой стороны, на работу радаров гораздо меньшее влияние оказывают такие факторы, как освещенность, туман и т.п.
• СОРП, использующие набор последовательных снимков
Поскольку задача слежения за объектом легче, чем задача нахождения объекта, то многие системы используют результаты своей работы на предыдущем шаге для уточнения результатов на текущем. Достаточно очевидная стратегия, которая не требует никаких дополнительных аппаратных затрат и которая довольно просто реализуется. При использовании двух последовательных снимков также упрощается задача нахождения движущихся объектов. В некоторых случаях, при движении автомобиля, используя два последовательных снимка, можно отделить объекты, находящиеся вблизи автомобиля, от удаленных объектов.
5. Обзор алгоритмов
5.1. Алгоритмы предварительной обработки
Алгоритмы предварительной обработки - самая интересная и самая разнообразная часть всех СОПР. Главный упор во всех работах делается именно на предварительную обработку изображений. Набор используемых алгоритмов весьма широк. Единственный этап, который присутствует во всех проектах, это оконтуривание, хотя алгоритмы получения контуров в каждом проекте разные. Предварительная обработка и кодирование являются самой не формализованной частью всех разработок. Если сравнивать алгоритмы предварительной обработки и алгоритмы распознавания, то наиболее правильную точку зрения, по нашему мнению, высказывают разработчики Ра1т!ег СИгуэ^г, которые утверждают, что после получения вектора признаков можно пользоваться любым из стандартных классификаторов.
В каждой СОРП используется целый спектр алгоритмов обработки изображений, например, в СОРП одной из ведущих фирм МоЬИеЕуе [13,14] алгоритм предварительной обработки включает в себя свертку изображений, выделение границ, фильтрацию изображения, построение гистограмм.
Условно все алгоритмы можно разделить на следующие группы:
• Фильтрация и оконтуривание
Все СОРП используют те или иные виды фильтров и оконтуривание объектов. В таких системах широко используются стандартные алгоритмы, такие как фильтры Собеля, Калмана и Конни, скелетизация, двумерные вейвлет преобразования, алгоритм муравья и другие. В отдельных системах используются и оригинальные алгоритмы, каждый из которых подстроен под свою
конкретную задачу. В каждом проекте разработчики исходят из имеющейся аппаратной базы и эвристических соображений, обычно без убедительной аргументации своего выбора.
• Гистограммы яркостей и контуров
Одновременно с алгоритмами оконтуривания применяются также гистограммы. В работах описаны гистограммы двух видов: гистограммы яркостей изображения и гистограммы контуров. Как правило, применяют эти алгоритмы параллельно [13,14].
• Выделение текстурных параметров и сегментация
Текстуры являются одной из наиболее полезных интегральных характеристик изображений. Поэтому в некоторых СОПР используется выделение текстур [4-9]. Текстура обычно включает или упорядоченные узоры, состоящие из правильных элементов (окна домов), или большое количество мелких предметов (трава, листва деревьев, гравий и др.). Разбиение изображения на участки с одинаковой текстурой называется сегментацией текстуры. Наряду с такой сегментацией можно производить сегментацию цвета [22], автоматически разбивая изображение на области когерентного цвета. Во многих случаях такое разбиение помогает решить задачу выделения целостного объекта на рисунке. Однако сама по себе сегментация не позволяет выделить объект, например, если объект состоит из множества цветных пятен (яркая одежда на пешеходе).
Самый эффективный подход при решении задачи разбиения изображения на объекты - это комбинирование текстуры и цвета. Среди прикладных систем, использующих этот подход, можно выделить систему Blobworld [23]. Для получения нескольких сегментов на картинке система использует вероятностный ОМ-метод (метод ожидания-максимизации), который довольно успешно справляется с задачей выделения некоторого объекта на изображении и отделении этого объекта от фона, но занимает довольно длительное время.
S.2. Алгоритмы распознавания
Для распознавания объектов применяются любые из доступных классификаторов. Как мы уже говорили выше, качество распознавания больше зависит от подготовленного кода, чем от того или иного типа классификатора. Часто в качестве классификатора используют нейронные сети. В большинстве рассматриваемых систем это Support Vector Machine (SVM) [17-21], причем ни в одной работе нет разумной аргументации, почему следует применять именно этот тип нейронных сетей. Сравнительный анализ разных классификаторов также отсутствует. По-видимому, такой выбор связан с тем, что разработчики больше внимания уделяют предварительной обработке данных, чем алгоритмам распознавания, просто используя хорошо разрекламированный алгоритм и не вдаваясь в исследования в этой области.
б. Оценка качества работы
Каждая из рассмотренных нами систем говорит о хорошем качестве распознавания пешехода, хотя никто не уверяет, что добились 100% распознавания. В большинстве проектов присутствуют демонстрационные версии, размещенные на веб-сайтах, где можно наглядно убедиться, как работает их СОПР. Но ни в одном проекте не говорится о проценте ошибок. Это может показаться
рекламным шагом для неразглашения конкурентам секретной информации, но в данном случае причина отсутствия численных результатов распознавания более глубокая. Она заключается в том, что невозможно посчитать процент ложных распознаваний, когда система в качестве пешехода находит различные объекты, такие как столбы, деревья и т.п. Обнаружить человека на фоне дороги
- задача довольно простая. В то же время, если фоном будут кусты или деревья, а человек будет одет в маскировочный халат, то задача становится практически не решаемой. При отсутствии единой базы для сравнения результатов нет возможности сказать о качестве работы системы в виду того, что качество ее работы зависит от условий, в которых она работает. Если бы удалось разработать алгоритм оценки результатов работы СОРП, исходя из которого можно было бы дать количественную оценку качества работы СОРП или критерии их сравнения, учитывая, что все они работают на разных массивах данных, это позволило бы не только сравнивать СОРП между собой, но и говорить об их пригодности для применения в реальной жизни. Но на данный момент эта задача не решена. Единой базы изображений, например, такой как МНИСТ для систем распознавания рукописных цифр, пока не существует.
7. Выводы
Обзор работ, посвященных системам распознавания пешехода, показывает, что данная область исследований представляет не только большой практический и коммерческий интерес, но также содержит множество нерешенных проблем. Следует ожидать, что наиболее успешные СОРП будут созданы на основе использования комплексных технических решений, таких как совмещение оптических приемников с радарами, применение стереопар, оптических приемников для разных областей спектра и других комбинаций.
Общей проблемой для СОРП является отсутствие методики сравнения таких систем, что в наибольшей мере относится к ошибкам ложного обнаружения объекта.
Очевидно, что для успешного решения задачи распознавания пешехода в произвольной обстановке необходимо применение оптических систем. Однако именно такие системы являются наиболее чувствительными к внешним факторам, таким как время суток или погодные условия. Среди алгоритмических проблем, характерных для оптических систем, стоит отметить, что до сих пор не предложено эффективного решения для определения меры схожести цветов.
Тем не менее анализ существующих разработок показывает, что задача распознавания пешехода может быть успешно решена.
Дальнейшие наши исследования будут посвящены поискам такого решения с использованием цветных видеоизображений.
СПИСОК ЛИТЕРАТУРЫ
1. Куссуль М.Э., Сычев А.С. Нейросетевой классификатор для систем безопасности автомобиля // Математичні машини і системи. - 2004. - № 2. - С. 15 - 21.
2. Breed D.S., DuVall W.E., Johnson W.C., Morin J.L., Xu K., Kussul M.E. System for determining the occupancy state of a seat in a vehicle and controlling a component based thereon // United States Patent #6,445,988. - 2002. -September 3.
3. Breed D.S., DuVall W.E., Johnson W.C., Morin J.L., Xu K., Helleman H., Chen T.Q., Kussul M.E., Varga A.J. Method of developing a system for identifying the presence and orientation of an object in a vehicle // United States Patent #6,529,809. - 2003. - March 4.
4. Carrea P., Sala G. Short Range Area Monitoring for Pre-crash and Pedestrian Protection: the Chameleon and Protector Projects // Proc. of the 9th Aachen Colloquium on Automobile and Engine Technology. - Aachen, Germany.
- 2000. - P. 629 - 639.
5. www.DaimlerChrysler.com.
6. Gavrila D. The visual analysis of human movement: a survey // Comp. Vis. Image Underst. -Vol. 73(1). - P. 82 -98.
7. Gavrila D., Franke U., Grzig S. and Whler C. Real-time Vision for Intelligent Vehicles // IEEE Transactions on Instrumentation and Measurement. - 2001.
8. Gavrila D., Philomin V. Real-time object detection for “smart” vehicles // ICCV. - Kerkyra, Greece, 1999. - P. 8793.
9. Gavrila D. Pedestrian Detection from a Moving Vehicle // European Conf. on Computer Vision. - Dublin, Ireland. -2000.
10. http://millemiglia.ce.unipr.it/ARGO/english.
11. Broggi et al. Stereo-based preprocessing for human shape localization in unstructured environments // IEEE Intell. Veh. Symp. - Ohio, USA. - 2003. - P. 410 - 415.
12. Broggi, Bertozzi M., Conte G. and Fascioli A. ARGO Prototype Vehicle // Intelligent Vehicle Technologies.
13. http://www.mobileye.com.
14. http://www.cs.huji.ac.il.
15. Jabri S., Duric Z., Wechsel H., Rosenfeld A. Detection and localisation of people in video images using adaptive fusion of color and edge information // IEEE Int. Conf. Patt. Rec., Fairfax. - 2000. - P. 627 - 630.
16. Fengliang Xu, Kikuo Fujimura Pedestrian Detection and Tracking with Night Vision // Intelligent Transportation Systems, IEEE Transactions. - 2005. - Vol. 6, Issue 1. - P. 63 - 71.
17. http://www.soc.napier.ac.uk/publication/op/getpublication/publicationid/6083306.
18. Ewald and Willhoeft V. Laser Scanners for Obstacle Detection in Automotive Applications // IEEE Intelligent Vehicle Symposium. - 2000. - P. 682 - 687.
19. Papageorgiou, Evgeniou T. and Poggio T. A Trainable Pedestrian Detection System // IEEE Intelligent Vehicles Symposium'98. - Stuttgart, Germany. - 1998. - Oct. - P. 241-246.
20. Papageorgiou and Poggio T. A trainable system for object detection. // IJCV, 38(1):, 2000. P.15-33
21. Zhao L. and Thorpe C. Stereo- and neural network-based pedestrian detection // IEEE Trans. on ITS. - 2000. -Vol.1, Issus 3. - P. 148 - 154.
22. Smith M. and Chang S.-F. Visualseek: A fully automated content-based image query system // ACM Multimedia Conference. - 1996.
23. Belongie S., Carson C., Greenspan H. and Malik J. Color- and texture-based image segmentation using the expectation-maximization algorithm and its application to content-based image retrieval // Sixth International Conf. on Computer Vision. - 1998.
