CC BY
166
МЕТОДЫ РАСПОЗНАВАНИЯ ОБРАЗОВ ДЛЯ ОЦЕНКИ ХАРАКТЕРИСТИК ПЕШЕХОДНЫХ ПОТОКОВ
Яшина Марина Викторовна,
МТУСИ, Москва, Россия, yash-marina@yandex.ru
Толмачев Андрей Александрович,
МТУСИ, Москва, Россия, sonulen@gmail.com
Ключевые слова: информационно-коммуникационные технологии, программное обеспечение, компьютерное зрение, opencv, распознавание объектов, поток пешеходов.
Рассмотрены процессы создания и тестирования системы компьютерного зрения с целью распознавания и отслеживания траектории движения человека в полный рост в потоке пешеходов, описаны методы и алгоритмы извлечения особенностей и детектирования искомых объектов. Искомым объектом в данной работе является пешеход - человек в полный рост. Исследование динамики пешеходов - это молодая и оживленная область исследований. Наряду с интересными явлениями самоорганизации существует множество приложений, таких как оценка маршрутов эвакуации в контексте управления толпами или оптимизация пешеходных сооружений для городского развития. В современных городах в местах массового скопления людей возникают задачи обеспечения безопасности таких мероприятий. Поэтому актуальными являются задачи распознавания лиц, жестов, эмоционального настроя, траекторий движения и других характеристик человека. Визуальное распознавание людей востребовано, когда необходимо понять и смоделировать динамику движения пешехода, используя надежные эмпирические данные, например, для сбора информации о интенсивности потока. Распознавание объектов состоит в поиске особых точек и их классификации. Особые точки - характеристики объекта, которые дают возможность сравнивать объект с похожим классом объектов или объект сам с собой на исходном изображении. Детектирование объектов на изображениях - поиск положений всех объектов заданного класса на изображении. Положение объекта определяется как координаты окаймляющих прямоугольников. Рассматривается алгоритм вычисления дескрипторов особых точек - гистограмм направленных градиентов (Histogram of Oriented Gradients, HOG). Основная идея в алгоритме формирования HOG дескриптора в том, что объект на области изображения может быть описан направлением краев или распределением градиентов яркости. Заключительным шагом в распознавании объектов является классификация полученных дескрипторов при помощи уже обученного классификатора линейного SVM-классификато-ра, основанного на методе опорных векторов. Метод опорных векторов основывается на переводе полученных векторов в пространство размерности выше и поиск гиперплоскости, которая разделит классы, с максимально возможным зазором в этом пространстве. Классификатор представляется вектором коэффициентов уравнения разделяющей гиперплоскости в пространстве признаков. Система разработана с помощью библиотеки компьютерного зрения OpenCV, языка C++ и интегрированной среды разработки программного обеспечения Microsoft Visual Studio.
Информация об авторах:
Яшина Марина Викторовна, д.т.н., профессор, МТУСИ, Москва, Россия
Толмачев Андрей Александрович, студент 2 курса магистратуры, МТУСИ, Москва, Россия
Для цитирования:
Яшина М.В., Толмачев А.А. Методы распознавания образов для оценки характеристик пешеходных потоков // T-Comm: Телекоммуникации и транспорт. 2017. Том 11. №8. С. 45-51.
For citation:
Yashina M.V., Tolmachev A.A. (2017). Methods of recognizing images for evaluation of pedestrian features characteristics. T-Comm, vol. 11, no.8, рр. 45-51. (in Russian)
T-Comm Vol.11. #8-2017
Машинное (компьютерное, техническое) зрение - это один из перспективных способов автоматизации действий с использованием компьютерных технологий, робототехники. Системы машинного зрения включают в себя преобразование данных с устройств захвата изображения, с последующим выполнением операций, на основе полученных данных.
Сенсоры по возможностям наблюдения в различных спектрах и характеристиками разрешения превосходят человеческий глаз.
Различные вычислительные системы показывают колоссальные успехи в промышленности, робототехнике. Однако в области ИИ и «понимании изображений и сцен» имеет место огромное отставание, которое является сдерживающим фактором развития систем управления. К сложным системам управления можно причислить корабли, промышленные роботы, самолеты, автомобили и многое другое.
Трудности полноценного анализа изображений ограничивают исследователей и вынуждают разделять задачи машинного зрения на ряд менее сложных подзадач - нормализация изображений, их улучшение, стандартизация, поиск особых характеристик и подобные.
] 1ытаясь максимально повысить функциональность человеко-машинных систем, разработчики создают приложения с автоматизацией лишь частичных зрительных задач, примерами таких систем являются системы «усиленного» видения, системы поиска зон интереса для операторов и т.д.
Термин, отражающий развитие сложных систем управления - Интеллектуализация, все большее сходство функциональности с возможностями человека. Ключевым аспектом интеллектуализации является прогресс в технологиях компьютерного зрения.
Авторами книги «Обработка и анализ изображений в задачах машинного зрения» Визильтера Ю.В., Желтова С.Ю., Бопдаренко Л.В., Ососкова М.В., Моржипа Л.В. приводятся три причины сложности понимания изображений.
Первой является необычайное множество различных яр-костных, геометрических свойств изображений. Все это изобилие не описать причинной связью, не применить физические законы, которые позволили бы упростить описание моделей сцены.
Вторым соображением является изменчивость. Изображения практически бесконечно различны и трудно формализуемы - отклонения размеров и формы, случайные изменения освещения, разнообразные искажения и шумы, пересечения трехмерных объектов и их наложение - перечисленные причины создают тяжелое требование робастности — устойчивости алгоритмов в различных условиях работы.
Третье соображение - это организация базы знаний систем. Необходимо иметь огромную базу знаний о моделях и мире, чтобы реализовать процесс понимания сцен. Процесс формирования подобной базы в человеческом сознании занимает несколько лет.
Актуальность проблемы.
В современных городах в местах массового скопления людей возникают задачи обеспечения безопасности таких мероприятий. Поэтому актуальными являются задачи распознавания лиц, жестов, эмоционального настроя, траекторий движения и других характеристик человека. Наряду с интересными явлениями самоорганизации существует множест-
во приложении, таких как оценка маршрутов эвакуации в контексте управления толпами или оптимизация пешеходных сооружений для городского развития.
Исследование динамики пешеходов - это молодая и оживленная область исследований. Основными характеристиками пешеходных потоков являются плотность, скорость и интенсивность.
Плотностью пешеходных потоков является численность пешеходов, находящихся на I м". Значение варьируется в широком пределе и влияет на скорость движения потока и пропускную способность пути.
Скоростью пешеходного потока является скорость движения пешеходов в самом потоке. Человек движущийся спокойным шагом в среднем идет со скоростью 0,5...1,6 м/с, зависимо от цели передвижения, состояния окружающей среды, дорожных условий, возраста и здоровья самого пешехода.
Интенсивностью потока пешеходов является количество пешеходов, движущихся через сечение пути в единицу времени, значение варьируется в зависимости от дороги, сцены, функционального назначения улицы. Особо высокая интенсивность наблюдается на торговых, главных улицах городов, в зонах, связанных с транспортными узлами.
Визуальное распознавание людей может быть востребовано, когда необходимо понять и смоделировать динамику движения пешехода, используя надежные эмпирические данные, например, для сбора информации о интенсивности потока. Ручные процедуры для сбора этих данных очень трудоемки и обычно не обеспечивают достаточной точности в пространстве и времени.
По этой причине «Институт усовершенствованного моделирования» (Institute for Advanced Simulation (IAS)) ведет разработку инструмента с именем «РеТгаск» (Pedestrian Track in), с целью автоматически извлекать точные траектории пешеходов из видеозаписей. Совместные траектории всех пешеходов обеспечивают данные, такие как скорость, поток, плотность и индивидуальные расстояния в лЕобое время и в любом месте. С помощью такого инструмента можно проанализировать обширную экспериментальную серию с большим числом участников. Инструментарий ведет отслеживание и распознавание пешеходов посредствам различных видов маркеров и перпендикулярно движению потока как показано на рис. 1.
Рис. ]. Пример ракурса, используемого в инструменте «РеТшск»
Данная работа посвящена вопросам распознавания и отслеживании траектории движения человека в полный рост в потоке пешеходов носредствам классификации вычисленных дескрипторов.
Сложность состоит в том, что видео материалы имеют различную освещенность, алгоритмы распознавания неустойчиво работают при изменении ракурса съемки и плотном потоке пешеходов, увеличение качества изображения ведет к увеличению времени обработки изображения.
Области применения компьютерного зрения
и основные задачи.
Машинное зрение может быть востребовано в различных областях - контроль качества, промышленное инспектирования, робототехника, транспортировка и навигация, медицина, дистанционное зондирование, биомеханика, инженерия, новые возможности обработки различных документов, автоматизированное проектирование, биометрия и множество других. Основные задачи можно сформулировать следующим образом:
1. Сам оор иен та ни я, калибровка сенсоров, самопозиционирование;
2. Поиск изменений и объектов в наблюдаемой сцене;
3. Отслеживание объектов;
4. Реконструкция поверхностей, обнаружение и поиск трехмерных структур;
5. Высокоточные измерения различных элементов сцены;
6. Идентификация найденных объектов и создание описания сцены;
7. Создание связи при работе манипуляторов, различных управляемых устройств, мобильных роботов в изменчивой среде.
Распознавание образов.
Распознавание образов - научная область, цель которой заключается в классификации объектов по классам и различным категориям. Образами в дисциплине называются искомыеобъекты.
В большом количестве интеллектуальных систем основной задачей является распознавание образов. Примерами таких ИС могу являться:
1. Распознавание символов - поиск и определение цифр, букв, символов;
a. Обработка почты;
b. Хранение и ввод документов;
c. PenReader;
d. Pen Computer;
e. Optica] Character Recognition (OCR);
f. Обработка чеков в банках;
2. Распознавание речи;
3. Системы машинного зрения, назначение таких систем заключается в захвате изображения через видеокамеры и построение его описания:
4. Геология;
5. Распознавание в дактилоскопии (отпечатки патьцев);
6. Распознавание лица;
7. Идентификация подписей;
8. Детектирование жестов.
Измерения, которые используются для классификации образов - являются признаками. Признаки - какое-то количественное измерение искомого объекта произвольной природы. Совокупность признаков одного и того же образа -является вектором признаков. Вектор признаков принимает значение в пространстве признаков. В поставленных задачах распознавания предполагается, что каждому вектору признаков ставится в соответствие образ и наоборот.
Классификатор - решающее правило, относящее конкретный образ к одному из классов на основании его вектора признаков. Популярным программным обеспечением для создания систем распознавания образов - систем компьютерного зрения - является библиотека OpenCV.
Библиотека машинного зрения OpenCV
OpenCV (открытая библиотека машинного зрения. Open Source Computer Vision Library) - библиотека обработки изображений н численных алгоритмов общего назначения, алгоритмов компьютерного зрения, исходный код которой открыт. Реализована на языке C/C++, также проектируется для языков Python, Java, Ruby, Matlab, Lua и др. Может свободно использоваться в академических и коммерческих целях. Официальный сайт библиотеки: http://opencv.org.
Автором библиотеки является компания - Inte! (США, Санта-Клара).
Команда разработчиков библиотеки — Itseez (Россия, Нижний Новгород).
Постановка задачи
Имеется видеопоток е камеры, захватывающей изображение в виде фиксированного прямоугольника Р, в котором имеются объекты. Искомым объектом считается человек в полный рост. Необходимо провести отслеживание траектории движения искомых объектов и идентифицировать их, подсчитать количество людей, находящихся на кадре видеопоследовательности и прошедших в заданной подобласти прямоугольника (рис. 1). По заданному интервалу At необходимо определить дискретные моменты времени t^b,....^, где ti=t¡_¡+At, получить вектор п|,п2,...пк, где n¡- количество объектов, входящих в подобласть прямоугольника за промежуток времени lt¡_i,t¡J.
Детектирование объектов на изображениях заключается в поиске положения всех объектов заданного класса на изображении. Положение объекта можно определить либо, как множество пикселей (на рис. 2 множество А), соответствующих объекту, либо, как координаты прямоугольника (на рис. 2-М), окаймляющего объект. В данной работе рассматривается второй подход, т.е. на выходе алгоритма детектирования требуется получить множество окаймляющих прямоугольников. Для этого используются HOG-признаки.
Подобласть подсчет« Р
a -SI
Рис, 2. Пример ракурса
Т-Сотт Том 11. #8-2017
7ТЛ
Т-Сотт Том 11. #8-2017
METHODS OF RECOGNIZING IMAGES FOR EVALUATION OF PEDESTRIAN FEATURES CHARACTERISTICS
Marina V. Yashina, MTUCI, Moscow, Russia, yash-marina@yandex.ru Andrey A. Tolmachev, Moscow, Russia, sonulen@gmail.com
Abstract
The article deals with the processes of creating and testing a computer vision system for the purpose of recognizing and tracking the trajectory of a person's full movement in a pedestrian flow, describing methods and algorithms for extracting features and detecting the desired objects. Seeking objects in this work is a pedestrian - a man in full growth. The study of the dynamics of pedestrians is a young and lively area of research. Along with interesting phenomena of self-organization, there are many applications, such as the evaluation of evacuation routes in the context of crowd management or the optimization of pedestrian facilities for urban development. In modern cities in places of mass congestion of people there are tasks of ensuring the security of such events. Therefore, the tasks of recognizing faces, gestures, emotional mood, trajectories of movement and other characteristics of a person are actual. Visual recognition of people is in demand when it is necessary to understand and simulate the dynamics of pedestrian traffic, using reliable empirical data, for example, to collect information on the intensity of the flow. The recognition of objects is the search for singular points -the characteristics of the object, which make it possible to compare an object with a similar class of objects or an object with itself on the source image, and subsequent classification. Detecting objects in images consists in finding the position of all objects of a given class in the image. The position of the object is defined as the coordinates of the bordering rectangles. The article deals with the algorithm for calculating the descriptors of singular points - histogram of Oriented Gradients (HOG). The basic idea in the algorithm for forming the HOG descriptor is that the object on the image area can be described by the direction of the edges or by the distribution of the luminance gradients. The final step in object recognition is the classification of the received descriptors with the help of the already trained classifier of the linear SVM-classifier, based on the method of reference vectors. The support vector method is based on the translation of the obtained vectors into a space of dimension higher and the search for a hyperplane that divides the classes, with the maximum possible gap in this space. The classifier is represented by the vector of the coefficients of the equation of the separating hyperplane in the space of attributes. The system is developed using the OpenCV computer vision library, the C++ language, and the integrated development environment of the Microsoft Visual Studio software.
Keywords: information and communication technologies, software, computer vision, opencv, object recognition, pedestrian flow. References
1. Buslaev A.P., Yashina M.V. (2013). On recovery of state parameters of systems via video-images analysis. Proceed. Of the International Conferenceof CMMSE, June 24-27, 2006, vol. 1, pp. 352-358.
2. Buslaev A.P., Provorov A. V., Yashina M.V. (2013). Mathematical Recognation Problems of particle flow characteristics by video sequence Images. Proceed. Of IPCV, Las Vegas,USA.
3. Buslaev A.P., Yashina M.V., Yashin V.B. (2010). On recovery of 3D objects by projection, WorldComp - 2010. International Conference of Image, Computer Graphics, Vision, and Pattern Recognition (IPCV'10), Las Vegas, USA, pp. 873-881.
4. Buslaev A., Yashina M., Kotovich I. (2010). On problems of intelligent monitoring for traffic. Logic Journal of IGPL Advance Access published July 29, Oxford University Press. Doi: 10.1093 / jigpal / jzq032.
5. Buslaev A., Yashina M., Abyshov R., Kotovich I. (2010). Mathematical Problems of Pattern Recognition for Traffic.in Proc. Of the 2010 Seventh International Conference on Information Technology, Ed. Shahram Latifi, The IEEE Computer Society's Conference Publishing Services (CPS), pp. 1133-1135.
6. Buslaev A.P., Wang N.J., Guo J.M., Yashina M.V. (2009). On recovery of a plane. IPCV. The 2009 World Congress in Computer Science, Computer Engineering, and Applied Computing (WORLDCOMP-09). Las Vegas, Nevada, USA (July 13-16, 2009), in Proc. Of the 2009 Int.Conf. On Image processing, computer vision and pattern recognition, CSREA Press, pp. 222-226.
7. Buslaev A.P., Dorgan V.V., Kuzmin D.M., Prikhodko V.M., Travkin V.Yu., Yashina M.V. (2005). Recognition of images and monitoring of road conditions, traffic flows and traffic safety. Bulletin of MADI (STU), ISBN 5-79620061-5, no. 4, pp. 102-109.
8. Mestetsky L.M. (2002-2004). Mathematical methods of pattern recognition. Moscow: Moscow State University, VMiK, pp. 42-44.
9. Bovyrin A.V., Druzhkov P.N., Yerukhimov V.L., Zolotykh N.Yu., Kustikova V.D., Lysenkov I.D., Meerov I.B., Pisarevsky V.I., Polovinkin A.N., Sysoev A.V., course of the Intel Academy "Development of multimedia applications using OpenCV and IPP libraries". (3.02.2017) [http://www.intuit.ru/studies/courses/l0622/ll06/info].
10. Shapiro L., Stockman J. (2006). Computer vision. Moscow: Binom. Laboratory of Knowledge, 752 p. ISBN 5-94774-384-1.
11. Zheltov S.Yu. (2010). And others. Image processing and analysis in computer vision problems. Moscow: Fizmatkniga, 672 p. ISBN 978-5-89155-201-2.
12. The site of the Institute for Advanced Simulation (IAS) (04/16/2017) [http://www.fz-juelich.de].
Information about authors:
Marina V. Yashina, Doctor of Technical Sciences, Professor, MTUCI, Moscow, Russia Andrey A. Tolmachev, 2nd year student of Moscow University, Moscow, Russia
( i л
