CC BY
6
НАУЧНО-ТЕХНИЧЕСКИЙ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ ноябрь-декабрь 2022 Том 22 № 6 http://ntv.ifmo.ru/
I/ITMO SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
November-December 2022 Vol. 22 No 6 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
doi: 10.17586/2226-1494-2022-22-6-1055-1062 УДК 681.772.7
Методика оптимизации распределения плотности пикселов
по зоне наблюдения
Владимир Владимирович Волхонский1 Владислав Александрович Ковалевский2
Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация
1 volkhonski@mail.raи, https://orcid.org/0000-0001-9628-2046
2 Kovalvlad9@gmail.com, https://orcid.org/0000-0001-7042-7905
Аннотация
Предмет исследования. Рассмотрена задача оптимизации параметров матрицы видеокамеры для снижения избыточности информативности видеосигнала. Актуальность темы обусловлена существующей избыточностью формируемых матрицами видеосигналов в разных частях зоны наблюдения и, как следствие, избыточной загрузкой устройств передачи, хранения и обработки сигналов. Данная задача решена путем достижения равномерности распределения плотности пикселов по зоне наблюдения. Методика основана на решении задачи программным способом в отличие от существующих решений, использующих аппаратные методы. Метод. Предложен метод представления зоны обзора как совокупности подмножеств пространства задач наблюдения с последующей ее фрагментацией. Задачи наблюдения определяют требуемую минимальную плотность пикселов в разных фрагментах. Основные результаты. Осуществлена сегментация матрицы в соответствии с размерами фрагментов зоны наблюдения и заданным допустимым диапазоном изменения распределения плотности пикселов в зоне обзора телекамеры. Предложены обязательные и дополнительные критерии оптимизации распределения. Сформулирована методика оптимизации. В соответствии с коэффициентом избыточности распределения плотности пикселов в сегментах произведено объединение пикселов в группы, различные в разных сегментах. Приведены примеры решения задач оптимизации по разным критериям. Практическая значимость. Предложенный подход позволил минимизировать избыточность плотности пикселов и, как следствие, снизить загрузку каналов связи, объем памяти устройств хранения видеоинформации и требования к производительности устройств обработки видеосигналов. Решена задача формирования непрерывного изображения зоны наблюдения. Результаты работы могут найти применение при обработке видеосигналов и разработке новых телекамер систем наблюдения. Ключевые слова
распределение плотности пикселов, плотность пикселов, задача наблюдения, матрица камеры, зона обзора Ссылка для цитирования: Волхонский В.В., Ковалевский В.А. Методика оптимизации распределения плотности пикселов по зоне наблюдения // Научно-технический вестник информационных технологий, механики и оптики. 2022. Т. 22, № 6. С. 1055-1062. doi: 10.17586/2226-1494-2022-22-6-1055-1062
Distribution optimization method of pixel density by surveillance area Vladimir V. Volkhonskiy1®, Vladislav A. Kovalevskiy2
ITMO University, Saint Petersburg, 197101, Russian Federation
1 volkhonski@mail.ru®, https://orcid.org/0000-0001-9628-2046
2 Kovalvlad9@gmail.com, https://orcid.org/0000-0001-7042-7905
Abstract
The task of optimizing the parameters of the video camera matrix to reduce the redundancy of the generated video signal is considered. The relevance of the topic is due to the existing redundancy of video signals generated by matrices in different parts of the observation zone and, as a result, excessive loading of signal transmission, storage and processing devices. The problem is solved by achieving a uniform distribution of pixel density over the observation area. The
© Волхонский В.В., Ковалевский В.А., 2022
methodology is based on solving the problem programmatically, unlike existing solutions using hardware methods. It is based on the representation of the view area as a set of subsets of the observation task space with its subsequent fragmentation in accordance with the observation tasks being solved which determine the required minimum pixel density in different fragments. To solve the problem, the matrix is segmented in according to the size of the fragments of the observation area and the specified allowable range of changes in the distribution of pixel density in the viewing area of the camera. Mandatory and additional distribution optimization criteria are proposed. The optimization technique is formulated. In according to the redundancy coefficient of the pixel density distribution in different segments, pixels are combined into groups that are different in different segments. Examples of solving optimization problems according to different criteria are given. The proposed approach makes it possible to minimize the pixel density redundancy and thereby reduce the load on communication channels, the amount of memory in video information storage devices, and the performance requirements for video signal processing devices. In this case, the problem of forming a continuous image of the observation zone is also solved. Results could be used for video signal processing and design of new cameras for video surveillance systems. Keywords
pixel density distribution, pixel density, observation task, camera matrix, view area
For citation: Volkhonskiy V. V., Kovalevskiy V.A. Distribution optimization method of pixel density by surveillance area. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2022, vol. 22, no. 6, pp. 1055-1062 (in Russian). doi: 10.17586/2226-1494-2022-22-6-1055-1062
Введение
Для решения задач телевизионного наблюдения необходимо сформировать видеоизображение требуемого качества. Оценка качества видеоизображения производится с использованием различных характеристик, но система телевизионного наблюдения рассматривается с точки зрения получения максимально информативного изображения контролируемой зоны. Информативность видеоизображения зависит от многих характеристик и параметров оборудования системы наблюдения, а также способов и условий его использования. Отметим, что наиболее важный критерий оценки информативности — степень детализации изображения, характеризующая возможность различать мелкие детали. Степень детализации изображения, в свою очередь, определяется плотностью пикселов (ПП) в различных частях зоны наблюдения. Необходимое значение 1111 задается выбранной задачей наблюдения (мониторинг, обнаружение, обзор, распознавание или идентификация) в наиболее дальней точке зоны обзора [1]. Как результат, в силу особенностей формирования видеоизображения, ПП в ближних частях зоны обзора оказывается выше необходимой — вблизи телевизионной камеры она может многократно превышать минимально необходимый уровень. Это приводит к тому, что значительная часть изображения содержит избыточную информацию и, как следствие, неоправданно увеличиваются: загрузка канала связи, объем памяти устройств хранения видеосигнала и требования к ресурсам средств обработки видеосигнала. В результате возрастает итоговая стоимость оборудования системы и снижается быстродействие.
Таким образом, существует проблема достижения: необходимой минимальной ПП в дальней части зоны видеонаблюдения и обеспечения равномерности распределения ПП по зоне наблюдения. Известны ряд методов и способов их реализации, которые могут решить проблему получения видеоизображения требуемого качества [2-11]. Однако они приводят либо к заметному усложнению технических решений, а следовательно, и к увеличению стоимости, либо к формированию набора отдельных видеоизображений, различных участков
заданной зоны наблюдения с перекрытиями или пропусками в той или иной части зоны [1, 12]. Такие усложнения решений заметно затрудняют работу операторов, особенно во внештатных ситуациях и снижают эффективность системы телевизионного наблюдения. По этой причине задача формирования единого видеоизображения зоны наблюдения с требуемыми параметрами, в первую очередь с заданной ПП, в идеальном случае равномерно распределенной по всей зоне наблюдения, является актуальной.
Для разработки методики, обеспечивающей равномерное изменение значения ПП для решения заданной задачи наблюдения, требуется выполнить: анализ особенностей формирования изображения в различных частях зоны обзора, сравнение известных решений этой проблемы и формулировку критериев оценки равномерности 1111. В результате необходимо разработать методику решения поставленной задачи. Также важно иметь возможность программной автоматизации процесса адаптации параметров телевизионной камеры к конкретным условиям для получения единого изображения зоны наблюдения без пропусков и перекрытий зон обзора. При этом очевидно, что адаптивно менять параметры камеры с соответствующей компенсацией настроек возможно только с использованием электронных регулировок ее параметров. В настоящей работе предложено решение перечисленных вопросов.
Зона эффективного обзора
С точки зрения решения задач наблюдения, целесообразно учитывать характер распределения ПП по зоне обзора и влияние на это распределение различных особенностей формы зоны обзора камеры, положения в ней субъекта или объекта наблюдения (СОН) и параметров установки камеры (места и высоты установки, углов наклона, поворота и обзора).
В общем случае основные требования к формируемому видеоизображению всей зоны наблюдения должны быть следующими:
— достижение минимальной ПП, требуемой для решения заданной задачи наблюдения, во всей зоне
обзора;
— обеспечение равномерного распределения ПП по всей зоне наблюдения при заданных критериях и ограничениях;
— формирование единого видеоизображения, полностью перекрывающего всю зону наблюдения без не просматриваемых участков и перекрытия.
Для оценки характера распределения ПП необходимо проанализировать особенности формирования зоны обзора камеры. В общем случае зона обзора телевизионной камеры представляет собой косоугольную пирамиду (рис. 1, пунктирные линии).
Предположим, что зона наблюдения — область возможного нахождения СОН. В свою очередь, зона наблюдения должна полностью перекрываться зоной обзора телевизионной камеры, поэтому пространство наблюдения — вся область зоны обзора. Пространство наблюдения, учитывая реальное распределение ПП в этом пространстве, можно представить совокупностью подпространств разных задач наблюдения. Размеры, как пространства наблюдения, так и подпространств задач наблюдения, будут зависеть от решаемой задачи наблюдения, параметров как самой телевизионной камеры, так и ее установки, и параметров СОН.
Форма зоны обзора, показанная на рис. 1, является теоретической, так как может формироваться видеоизображение любого СОН, попадающего в зону. Однако для решения задач наблюдения необходимы определенные значения ПП. Из-за этого по дальности зона обзора будет ограничиваться возможностью достижения этих значений. Также, кроме попадания СОН в зону обзора, в ближней зоне будут ограничения, связанные с глубиной резкости и искажениями [1], которые в настоящей работе не учитываются.
С учетом упомянутых свойств зоны обзора можно говорить о пространстве Z возможного нахождения СОН, в котором формируется его изображение с
Рис. 1. Зона обзора камеры. Lmax — максимально возможное расстояние; LB и LH — расстояния до верхней и нижней частей тела человека; H — высота установки камеры. Пунктирные линии — зона обзора телевизионной камеры
Fig. 1. Camera field of view. Lmax is the maximum possible distance; L15 and LK are distances to the upper and lower parts of the human body; H is camera installation height. Dashed lines — TV camera field of view
той или иной информативностью. Последняя будет определяться ПП в месте нахождения СОН. В силу дискретности видеосигнала, формируемого матрицей камеры, изображение будет состоять из элементарных элементов, размер которых сравним с размером СОН и зависит от расстояния до камеры, угла обзора и разрешения матрицы. В результате можно говорить о совокупности элементов множества Z пространства наблюдения. Положение каждого элемента множества 2у = ДА Ф;, ¥/), где I = 1, ..., I;у = 1, ..., I и J — число строк и столбцов матрицы камеры в пространстве наблюдения будут функцией дальности I, а также углов Фг, и у/ направления на у-й элемент СОН относительно оси камеры.
Введем понятие зоны эффективного обзора (ЗЭО), как части зоны обзора, в которой выполняются требования по заданной ПП. Физически по дальности ЗЭО будет ограничиваться поверхностью равной ПП (рис. 1), находящейся на максимально возможном расстоянии Lmax нахождения СОН. В каждом у-ом элементе этой сферической поверхности ПП одинакова. Заметим, что выбор расстояния Lmax зависит от формы и положения самого СОН относительно камеры. Так, для человека это могут быть расстояния до верхней Ьв (голова стоящего) или нижней Ьн (ноги или голова лежащего) частей тела, например для идентификации стоящего или лежачего человека.
С учетом необходимости достижения требуемой ПП Бр° во всей зоны обзора множество Z пространства наблюдения можно представить в виде совокупности Z с [20, 2Ь 22, ..., Ък, 2к+1] подмножеств Zk разных задач наблюдения. При этом множество Z включает в себя подмножества Z с Ък, где к = 0, 1, ..., К + 1. Подмножества определяются пространственными областями зоны обзора, в которых решаются различные задачи наблюдения. Им можно поставить в соответствие значения индекса к, например для типовых задач наблюдения субъекта [1], следующим образом: 1 — идентификация, 2 — распознавание, 3 — обзор, 4 — обнаружение, 5 — мониторинг, а также 0 — как часть зоны обзора неуверенных попадания и идентификации СОН в эту зону и 6 — неуверенного попадания и мониторинга. В частных случаях других объектов наблюдения и, следовательно, иных формулировок задач наблюдения или требований к ПП эти индексы могут быть другими [1].
Во многих практических случаях, в частности, когда высота установки камеры значительно меньше протяженности зоны обзора, допустимо рассматривать двумерное изображение зоны обзора как проекции на горизонтальную плоскость (рис. 2). При этом границы подмножеств в случае малых углов обзора допустимо считать прямыми1. Можно говорить о двух основных моделях СОН. Это распределенный СОН — соизмеримый по размерам с размерами ЗЭО, и квазиточечный, размеры которого намного меньше размеров ЗЭО. Тогда двумерное представление будет применимо для случая
1 Panomera cameras [Электронный ресурс]. Режим доступа: https://www.dallmeier.com/technology/panomera-cameras/ (дата обращения: 29.09.2022).
Рис. 2. Двумерное изображение протяженной зоны обзора.
Индексы обозначают: 0 — часть зоны обзора неуверенных попадания и идентификации субъекта или объекта наблюдения; 6 — часть зоны обзора неуверенных попадания и мониторинга; 1-5 — подмножества зоны эффективного обзора
Fig. 2. 2D image of an extended field of view. Indices indicate: 0 is part of the viewing area of uncertain hits and identification of the subject or object of observation; 6 is part of the area of view of uncertain hits and monitoring; 1-5 are subsets of the effective view area
квазиточечного объекта наблюдения, либо критически важного для решения задачи наблюдения элемента СОН, например глаза. Но в более общем случае необходимо учитывать размер и положение СОН, включая его возможные наклон и поворот относительно камеры при разных размерах формы и размера в разных плоскостях или ракурсах.
Способы достижения равномерной плотности пикселов
Известны несколько технических решений, позволяющих в определенной степени решить задачу достижения равномерной ПП. Наиболее эффективные решения:
1) перекрытие зоны наблюдения зонами обзора отдельных камер, установленных в одном или нескольких местах в зависимости от требуемого ракурса;
2) установка мультимодульной камеры с независимой ориентацией модулей, обеспечивающих полное перекрытие зоны обзора (рис. 3).
Рис. 3. Формирование зоны обзора мультимодульными камерами.
Различные части общей зоны обзора соответствуют зонам обзора, формируемым каждым модулем «камера-объектив»
Fig. 3. Formation of the view area by multimodule cameras. Different parts of the total view area corresponding to the area of view formed by each module "camera-lens"
Таким образом, необходимо использование нескольких камер или устройства, состоящего из нескольких модулей — «камера-объектив», каждый из которых контролирует часть общей зоны обзора с последующей стыковкой отдельных изображений в единое целое для использования в процессе наблюдения [12]. Это позволяет достичь заметного улучшения равномерности распределения ПП. Однако достигается значительным усложнением аппаратной части конструкции и программного обеспечения, и, как следствие, больших вычислительных ресурсов. В результате имеет место заметное удорожание устройства.
Решения 1 и 2 требуют выполнение ряда действий, связанных с регулировками углов наклона, поворота и обзора, и высоты установки отдельных камер или модулей (рис. 3). Кроме того, возникает необходимость повышенной точности регулировок для стыковки изображений отдельных камер в одно общее изображение. Автоматизация процесса настройки практически не реализована.
Идея, позволяющая устранить перечисленные недостатки, лежит в основе мультимодульной телевизионной камеры1, обеспечивающей необходимую ПП и ее равномерность вдоль зоны обзора [13-15]. Кроме того, в таких камерах возможно формирование зон эффективного обзора с точно «сшитым» изображением. Это решение аналогично решению 2 и может быть реализовано на этапе изготовления устройства. При этом в одном корпусе устанавливается несколько модулей камер с заранее подобранными заводскими установками, позволяющими состыковать точно формируемые ими изображения и уменьшить разброс ПП по зоне видеоконтроля. Решение 2 достаточно сложное хотя и эффективное. Главное преимущество — точно «сшитое» изображение при отсутствии необходимости сложных регулировок положения отдельных камер и подбора их параметров, а также положения (высоты установки, углов поворота и наклона). Отметим, что в рассмотренных случаях отсутствует возможность автоматизированного выбора параметров камеры для адаптации к конкретным условиям наблюдения.
В результате можно говорить о целесообразности разработки подхода, позволяющего оптимизировать распределение ПП для заданных условий установки.
Критерии оптимизации распределения
Для решения задачи оптимизации распределения ПП необходимо сформулировать критерии оптимизации. Главными и обязательными критериями являются: 1) обеспечение минимально требуемой БР0 ПП по всей
зоне наблюдения Dpmin > Dp0,
где Dp и Dp° — факти-
2)
ческое и минимально требуемое значения ПП; наличие заданного допустимого диапазона изменения значений ПП ДБ = Бртах - Брт{п (либо заданное
максимально допустимое Dpm гично критерию 1.
; значение ПП анало-
1 Panomera cameras [Электронный ресурс]. Режим доступа: https://www. dallmeier.com/technology/panomera-cameras/ (дата обращения: 29.09.2022).
Также могут применяться дополнительные критерии, в том числе разные для различных фрагментов зоны обзора, выбор которых зависит от конкретной задачи, например:
1) минимум максимального значения тт{шах Бртах};
2) минимальный диапазон изменения значений ПП шт{Бртах - БртЬ};
3) равнозначные максимумы значений ПП Брптах =
= Б ттах-
р
4) равнозначные минимумы значений ПП Врптт =
= Б ттт
^р
Индексы «п» и «т» соответствуют разным фрагментам зоны обзора.
Отметим, что критерии могут формулироваться для всей или отдельной части ЗЭО; любое значение ПП в любой точке ЗЭО должно быть больше или равно заданному значению ПП Бр > Бр0, необходимому для решения поставленной задачи наблюдения; использование дополнительных критериев не исключает применения других критериев, т. е. возможны комбинации критериев, например дополнительные критерии 1 и 3 или 3 и 4.
Методика оптимизации распределения плотности пикселов
Введем основные определения, необходимые для понимания процесса методики оптимизации.
Коэффициент избыточности Кт — отношение реальной ПП Бр к требуемой Бр° в матрице в целом или т-ом сегменте. Значение коэффициента избыточности больше единицы соответствует излишне большой ПП, а меньше единицы — недостаточной для решения поставленной задачи наблюдения.
Условное разрешение т-го сегмента матрицы камеры Rmу = Rm/Rm0 — количество пикселов Rmу сегмента матрицы, используемое для формирования части общего видеоизображения соответствующему этому сегменту. Условное разрешение определяется отношением: Rmу = Rm0/Km, где Rm0 — разрешение сегмента; Кт — коэффициент избыточности.
Нормированные (относительные) параметры для повышения общности результатов, так как ПП зависит от расстояния Ь от телевизионной камеры до СОН и разрешения R0 матрицы телекамеры [1]. К таким параметрам можно отнести: нормированную ПП, служащую для решения задачи наблюдения Брн = Бр/Бр°; нормированную относительную дальность Ьн = ¿/¿тах, где Ь — расстояние от камеры до точки зоны обзора; Ьтах — расстояние до дальней границы зоны обзора. Тогда переход к реальным значениям осуществляется умножением нормированных параметров на значения реальных.
Возможность решения поставленной задачи с рассмотренными требованиями и ограничениями по сформулированным критериям основана на следующей методике.
1. Осуществлена фрагментация зоны обзора камеры в соответствии с подмножествами задач наблюдения, т. е. сформирована ЗЭО. Разрешение матрицы выбрано на основе требований по решению задачи наблюдения в дальней точке ЗЭО.
2. Для подмножеств задач наблюдения выбираются соответствующие т-е сегменты матрицы, формирующие изображение участков ЗЭО (рис. 2) протяженностью Ьт. Для упрощения восприятия двумерное изображение может быть представлено не всей матрицей, а только одной ее вертикальной частью.
3. В соответствии с заданным критерием определены коэффициент избыточности и условное разрешение сегментов матрицы для формирования видеоизображения соответствующих фрагментов ЗЭО. Коэффициент избыточности определен по дальней границе соответствующего фрагмента ЗЭО.
4. В соответствии со значением коэффициента избыточности в каждом сегменте выделены группы пикселов размером Кт х Кт, из которых может быть использован один сегмент или группа сегментов с последующей их обработкой по определенному алгоритму для преобразования в один. Примеры оптимизации
Приведем примеры решения поставленной задачи для некоторых критериев. Для простоты рассмотрим случай трех задач наблюдения и, соответственно, использования трех сегментов матрицы.
Возьмем в качестве критерия комбинированный — два обязательных БртЬ > Бр° и ДБ = Бртах - Брт'п, а также равные значения как максимумов Брп тах = = Брттах, так и минимумов Брпт{п = Бртт{п ПП.
Для выполнения заданных критериев осуществим следующие действия.
1. Фрагментацию всей зоны обзора на участки, в пределах которых ПП изменяется в заданных пределах.
2. Сегментацию матрицы камеры на участки, относительные размеры которых определяются соответствующими относительными размерам фрагментов зоны обзора.
3. Изменение условного разрешения сегмента матрицы телекамеры путем объединения нескольких пикселов в группы. При этом количество пикселов в группе определяется требуемым разрешением в соответствующем фрагменте зоны обзора и учитывается коэффициентом избыточности Кт, равным количеству объединяемых соседних пикселов по горизонтали и вертикали. Переход от одного фрагмента к другому определяется достижением ПП Бр установленного порога Бртах в соответствующем т-ом сегменте матрицы.
Выполним преобразования в соответствии с вышеизложенным порядком. Для примера рассмотрим типичный случай видеоконтроля протяженной зоны обзора с 9-кратным изменением максимальной и минимальной дальностей, приводящим к такому же изменению ПП по зоне обзора и разрешением R0 матрицы телекамеры.
Рис. 4 иллюстрирует использование предложенной методики. На рис. 4, а показаны: характер исходного распределения ПП Бр по зоне, определяемый разрешением R0 матрицы телекамеры и дальностью Ьтах (кривая 1, пунктирная линия); полученное распределение реальной ПП (кривая 2, сплошная линия) в результате сегментации пикселов матрицы и устранения избыточности; реальная ПП Брг для второго фрагмента
Д
- -
I \ \
\ \ \
\ \ \
( \ I1 \
\ \3 \ \ \
с \ < \ ч N I,
X] 1 2 2
0,2 0,4 l2 0,6 0,8 ¿1
ъи
К,
ЪЬ2 К2
bL3 К,
L -J U L - L- L-
L U u L L L U L
L L u L L L L L
L L L L L L U L
L L L Ц Ц ц L L
L L L L
L L 1— L
Рис. 4. Распределение плотности пикселов (а) и сегментации матрицы (b) по критерию равнозначных максимумов
и минимумов
Fig. 4. Distribution of pixel density (a) and matrix segmentation (b) according to the criterion of equivalent maximums and
minimums
(кривая 3, линия штрих-пунктир). На рис. 4, Ь показана сегментация матрицы, соответствующая фрагментации зоны обзора на участки с длинами L1, L2, L3, определяемыми выходом значений ПП за заданные пределы и соответствующие им коэффициенты избыточности К = 1, К2 = 2, К3 = 4.
На рис. 4, Ь приведено распределение сегментов матрицы с учетом группирования пикселов на основе соответствующих коэффициентов Кп. Размеры сегмен-
тов связаны с размерами фрагментов зоны коэффициентами Ьп, равными отношению размеров фрагментов и длины АЬ = Lmax - Lmin зоны обзора Ь/ = Lns/ALs, Ь/ = В первом фрагменте Брг = Бр°. Во вто-
ром — с длиной Ь2 и К2 = 2 объединяются по 4 пиксела в группу (2 х 2). В третьем — по 16 пикселов (К3 = 4). Относительный размер фрагментов зоны обзора соответствует относительным размерам сегментов матрицы Ь/ = Ь/ = Ьп. Видно, что по сравнению с исходным
А,
0,8
0,6
0,4
0,2
\ \
\ \ \ \
I \ \ \ \ \ \ \
CI \ \ \ \ \ 4 4 N !
J N < 2
J
0,2 Г"А ¿3 0,4 ¿2 0,6 0,8 ¿1
ъи
К,
bL 2 Ко
bLi К,
L- L- _ L L - - -
I L L L L L U L
L L L L L U L L
L L U L L u U L
L L L L L L L L
- L L- L L
- L L L L L
U U U L
Рис. 5. Распределение плотности пикселов (a) и сегментации матрицы (b) по критерию равных значений максимумов Fig. 5. Distribution of pixel density (a) and matrix segmentation (b) according to the criterion of equal values of maximums
распределением, ПП в разных фрагментах находится в заданных пределах, что соответствует условиям задачи и используемому критерию.
Изменим дополнительный критерий — выберем с равными значениями только максимумов ПП Брптах = = Брттах. Процедура оптимизации в этом случае не будет отличаться от использованной ранее. Но в отличии от предыдущего примера минимумы не только находятся в заданном интервале от Брт1П до Бртах, но и имеют большие значения в ближних фрагментах и большую равномерность распределения рис. 5, а. Видно, что число сегментов матрицы возрастает (рис. 5, Ь).
Заключение
Выполнен анализ известных подходов к рассматриваемой задаче оптимизации распределения плотности пикселов и способов их реализации. Предложено представление зоны эффективного обзора как совокупности подмножеств пространств разных задач наблюдения
для различных фрагментов зоны. Предложена методика оптимизации распределения плотности пикселов по зоне эффективного обзора и сформулированы основные и дополнительные критерии оптимизации. Методика проиллюстрирована примерами ее использования с разными критериями.
Результаты работы позволяют автоматизировать процесс адаптации параметров телевизионной камеры к условиям наблюдения на основе данных о положении фрагментов зоны эффективного обзора. Тем самым минимизировать избыточность плотности пикселов и, как следствие, снизить загрузку каналов связи, объем памяти устройств хранения видеоинформации и требования к производительности устройств обработки видеосигналов. При этом автоматически решается и задача формирования непрерывного изображения контролируемой зоны.
Результаты работы могут найти применение при обработке видеосигналов в новых телекамерах систем наблюдения.
Литература
1. Волхонский В.В. Системы телевизионного наблюдения: основы проектирования и применения. М.: Горячая линия-Телеком, 2020. 392 с.
2. Волхонский В.В., Ковалевский В.А. Подход к выбору разрешения матрицы телекамеры для оптимизации параметров видеосигнала // Микро- и нанотехнологии в электронике: Материалы XII Международной научно-технической конференции. Нальчик: Каб.-Балк. ун-т, 2021. С. 412-416.
3. Волхонский В., Ковалевский В. Влияние параметров установки телекамер на информативность видеоизображения // Системы безопасности. 2022. № 2(164). С. 78-80.
4. Alpert S., Galun M., Brandt A., Basri R. Image segmentation by probabilistic bottom-up aggregation and cue integration // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2012. V. 34. N 2. P. 315-327. https://doi.org/10.1109/TPAMI.2011.130
5. Chen C.H., Patel V.M., Chellappa R. Matrix completion for resolving label ambiguity // Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR). 2015. P. 4110-4118. https://doi. org/10.1109/CVPR.2015.7299038
6. Wronski B., Garcia-Dorado I., Ernst M., Kelly D., Krainin M. Handheld multi-frame super-resolution // ACM Transactions on Graphics (TOG). 2019. V. 38. N 4. P. 1-18. https://doi. org/10.1145/3306346.3323024
7. Panda R., Roy-Chowdhury A.K. Multi-view surveillance video summarization via joint embedding and sparse optimization // IEEE Transactions on Multimedia. 2017. V. 19. N 9. P. 2010-2021. https:// doi.org/10.1109/TMM.2017.2708981
8. Luo Z., Huang Y., Li S., Wang L., Tan T. Unfolding the alternating optimization for blind super resolution // Advances in Neural Information Processing Systems. 2020. V. 33. P. 5632-5643.
9. Su H., Yu L., Jung C. Joint contrast enhancement and noise reduction of low light images via JND transform // IEEE Transactions on Multimedia. 2020. V. 24. P. 17-32. https://doi.org/10.1109/ TMM.2020.3043106
10. Ma L., Liu R., Wang Y., Fan X., Luo Z. Low-light image enhancement via self-reinforced retinex projection model // IEEE Transactions on Multimedia. 2022. in press. https://doi.org/10.1109/ TMM.2022.3162493
11. Liang C.H., Chen Y.-A., Liu Y.-C., Hsu W.H. Raw image deblurring // IEEE Transactions on Multimedia. 2020. V. 24. P. 61-72. https:// doi.org/10.1109/TMM.2020.3045303
12. Волхонский В.В., Муратов А.С. Специфика использования муль-тимодульных телевизионных камер // Технологии защиты. 2021. № 2. С. 52-54.
13. Dallmeier D. Monitoring Device. Patent WO 2012/164089 A1.
References
1. Volkhonsky V.V. Video Surveillance Systems: Design and Application Fundamentals. Moscow, Gorjachaja linija-Telekom Publ., 2020, 392 p. (in Russian)
2. Volkhonskii V.V., Kovalevskii V.A. Approach to the choice of TV-camera matrix resolution for optimizing video signal parameters. Micro- and nanotechnologies in electronics: Proceedings of the XII International scientific and technical conference, Nalchik, KBSU, 2021, pp. 412-416. (in Russian)
3. Volkhonsky V., Kovalevsky V. Influence of camera installation parameters on the information content of the video image. Security and Safety, 2022, no. 2(164), pp. 78-80. (in Russian)
4. Alpert S., Galun M., Brandt A., Basri R. Image segmentation by probabilistic bottom-up aggregation and cue integration. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, vol. 34, no. 2, pp. 315-327. https://doi.org/10.1109/TPAMI.2011.130
5. Chen C.H., Patel V.M., Chellappa R. Matrix completion for resolving label ambiguity. Proc. of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015, pp. 4110-4118. https://doi. org/10.1109/CVPR.2015.7299038
6. Wronski B., Garcia-Dorado I., Ernst M., Kelly D., Krainin M. Handheld multi-frame super-resolution. ACM Transactions on Graphics (TOG), 2019, vol. 38, no. 4, pp. 1-18. https://doi. org/10.1145/3306346.3323024
7. Panda R., Roy-Chowdhury A.K. Multi-view surveillance video summarization via joint embedding and sparse optimization. IEEE Transactions on Multimedia, 2017, vol. 19, no. 9, pp. 2010-2021. https://doi.org/10.1109/TMM.2017.2708981
8. Luo Z., Huang Y., Li S., Wang L., Tan T. Unfolding the alternating optimization for blind super resolution. Advances in Neural Information Processing Systems, 2020, vol. 33, pp. 5632-5643.
9. Su H., Yu L., Jung C. Joint contrast enhancement and noise reduction of low light images via JND transform. IEEE Transactions on Multimedia, 2020, vol. 24, pp. 17-32. https://doi.org/10.1109/ TMM.2020.3043106
10. Ma L., Liu R., Wang Y., Fan X., Luo Z. Low-light image enhancement via self-reinforced retinex projection model. IEEE Transactions on Multimedia, 2022, in press. https://doi.org/10.1109/ TMM.2022.3162493
11. Liang C.H., Chen Y.-A., Liu Y.-C., Hsu W.H. Raw image deblurring. IEEE Transactions on Multimedia, 2020, vol. 24, pp. 61-72. https:// doi.org/10.1109/TMM.2020.3045303
12. Volkhonskii V.V., Muratov A.S. Specific features of multimodule TV-cameras application. Tehnologii zashhity, 2021, no. 2, pp. 52-54. (in Russian)
13. Dallmeier D. Monitoring Device. Patent WO 2012/164089A1.
14. Далльмайер Д. Устройство наблюдения. Патент ЕАПО 026475. 2017.
15. Stening J., Persson H., Rusz A., Bengtsson A. System for panoramic imaging. Patent US 2020/0195845 A1.
14. Dallmeier D. Monitoring Device. Patent EAPO 026475, 2017. (in Russian)
15. Stening J., Persson H., Rusz A., Bengtsson A. System for panoramic imaging. Patent US 2020/0195845 A1.
Авторы
Волхонский Владимир Владимирович — доктор технических наук, доцент, доцент, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, ^ 6507100798, https://orcid.org/0000-0001-9628-2046, volkhonski@mail.ru
Ковалевский Владислав Александрович — аспирант, Университет ИТМО, Санкт-Петербург, 197101, Российская Федерация, https://orcid. org/0000-0001-7042-7905, Kovalvlad9@gmail.com
Authors
Vladimir V. Volkhonskiy — D. Sc., Associate Professor, Associate Professor, ITMO University, Saint Petersburg, 197101, Russian Federation, 6507100798, https://orcid.org/0000-0001-9628-2046, volkhonski@mail.ru
Vladislav A. Kovalevskiy — PhD Student, ITMO University, Saint Petersburg, 197101, Russian Federation, https://orcid.org/0000-0001-7042-7905, Kovalvlad9@gmail.com
Статья поступила в редакцию 25.06.2022 Одобрена после рецензирования 29.09.2022 Принята к печати 16.11.2022
Received 25.06.2022
Approved after reviewing 29.09.2022
Accepted 16.11.2022
