CC BY
22
АНАЛИЗ ИЗОБРАЖЕНИЙ ДЛЯ ОПРЕДЕЛЕНИЯ ВИДИМОСТИ ВУЛКАНОВ
А.Н. Камаев1, И.П. Урманов1, А.А. Сорокин1, ДА. Карманов1, С.П. Королёв1 1 Вычислительный центр ДВО РАН, Хабаровск, Россия
Аннотация
В статье представлен метод определения видимости вулкана на кадрах видеопоследовательности, получаемой со стационарной камеры видеонаблюдения. Он включает в себя алгоритмы анализа параметрических контуров объектов наблюдений и частотных характеристик изображений. Рассматривается процедура построения параметрических контуров вулкана и процедура их сопоставления. Предложен алгоритм для выявления наиболее устойчивых контуров для группы из нескольких эталонных изображений. Посредством сопоставления этих контуров с контурами анализируемого изображения определяется видимость вулкана. Для устранения влияния случайных небольших сдвигов и поворотов камеры решается задача максимизации оценки относительно плоского сдвига и поворота камеры. В случае, когда оценка видимости вулкана находится недалеко от границы принятия решения о непригодности снимка для дальнейших исследований, она корректируется с помощью алгоритма анализа частотной характеристики изображения, которая представлена вектором вклада октав частот в формирование яркостной компоненты изображения. Сопоставление эталонной частотной характеристики и характеристики анализируемого изображения позволяет оценить вклад различных частот в формирование изображений вулканов.
В работе рассматриваются результаты апробации созданных алгоритмов на примере архива системы видеонаблюдения за вулканами Камчатки. Полученные оценки говорят об эффективности предложенных методов и позволяют использовать их в дальнейшем для автоматизированной фильтрации неинформативных изображений при мониторинге вулканической активности.
Ключевые слова: анализ изображений, алгоритмы, выделение контуров, параметрические контуры, вулкан, сопоставление контуров, видеонаблюдение, анализ видимости.
Цитирование: Камаев, А.Н. Анализ изображений для определения видимости вулканов / А.Н. Камаев, И.П. Урманов, А. А. Сорокин, Д. А. Карманов, С.П. Королёв // Компьютерная оптика. - 2018. - Т. 42, № 1. - С. 128-140. - DOI: 10.18287/2412-6179-2018-42-1-128-140.
Введение
Видеонаблюдение является одним из видов инструментальных наблюдений, которые используются для мониторинга и визуальной оценки состояния различных объектов, в том числе вулканов. Применение видеокамер позволяет удаленно и непрерывно наблюдать за объектом, проводить по набору изображений анализ изменения его состояния и/или эруптивного события (извержения).
Система видеонаблюдений за вулканами Камчатки [1] обеспечивает формирование архива изображений, которые используются учеными для исследования и оперативного мониторинга состояния этих природных объектов. Каждая из закреплённых камер нацелена на определённый вулкан и производит его видеосъемку. Кадры из видеопоследовательности, полученные через определённый промежуток времени с набором мета-информации (вулкан, время снимка и т. п.), сохраняются в базе данных. На качество и информативность получаемых изображений влияют многие факторы, например, облачность, прозрачность атмосферы, осадки, а также технические характеристики аппаратуры и средств связи, используемых для наблюдения. В связи с этим часть действующего архива наполняется снимками, на которых вулканы и небо над ними не видны. Такие снимки зачастую не представляют ценности, при этом для их анализа и исключения из дальнейшей работы тратится дополнительное время экспертов, что
влияет на скорость принятия управленческих решений, в том числе связанных с вопросами безопасности населения в рассматриваемом регионе.
Авторами разрабатываются алгоритмы для анализа изображений вулканов Камчатки. На первом этапе работы [2] была исследована задача определения видимости точек контура вулкана с использованием дискретной карты расстояний. Для решения проблем, связанных с многократным сопоставлением контурных точек и ложными сопоставлениями в области пересечения контуров, предлагается модифицированный алгоритм, использующий параметрическое представление контуров. Также рассматривается алгоритм анализа вклада различных частот в формирование изображения. Это даёт возможность ранжировать снимки по степени видимости вулкана, автоматически отфильтровывая неинформативные изображения.
В статье представлено описание разработанных алгоритмов анализа изображений и результаты их апробирования на примере архива системы видеонаблюдения за вулканами Камчатки.
1. Современные методы решения задачи
Известно большое количество методов обработки и анализа изображений, предназначенных для решения различных задач в области видеонаблюдения. Одной из задач, связанной с темой настоящего исследования, является оценка атмосферной видимости. В рамках этой задачи исследуется максимальное рас-
стояние, на котором изучаемые объекты различимы для наблюдателя.
Для несветящихся объектов, наблюдаемых в светлое время суток, в качестве основного фактора, ограничивающего видимость, рассматривается туман. Для определения расстояния видимости, как правило, используется закон Кошмидера. Так, в работе [3] исследуется задача определения видимости по стационарным панорамным камерам путём подгонки кривой видимого контраста, задаваемой законом Кошмидера к графику распределения видимых контрастов точек снимка по расстояниям от камеры. При этом видимый контраст точек вычисляется на основе уравнений (1) - (3) из работы [4], а расстояние до камеры - на основе известного положения камеры и цифровой модели высот ЕИ-БЕМ. В [5] рассматривается задача определения атмосферной видимости на основе стереокамеры. Коэффициент затухания в законе Кошмидера подбирается таким образом, чтобы обеспечить минимум энтропии для выделенных регионов на восстановленном на основе этого коэффициента изображении. Для восстановления изображения также вычисляется расстояние до камеры на основе решения задачи стереореконструкции и определяется яркость неба как наибольшая яркость точек, находящихся в окрестности пикселей, интенсивность которых больше некоторого порога после применения оператора Собеля.
Большое число методов определения атмосферной видимости предложено для бортовых камер автомобилей [6, 7, 8]. В работе [6] видимость определяется на основании разницы высоты линии горизонта и границы неба и дороги. Линия горизонта располагается в месте пересечения наиболее различимых прямых линий (как правило, линий дорожной разметки), а граница неба и дороги - в результате решения задачи сегментации изображения на небо и дорогу. Похожий подход использован в [7]. В [8] рассмотрена задача детектирования тумана на основе анализа особенностей в частотной области.
Несмотря на то, что туман может препятствовать видимости вулкана, а ее оценка в некоторых случаях позволила бы значительно улучшить получаемые изображения, методы анализа атмосферной видимости не могут быть применены к решаемой задаче по ряду причин. Во-первых, камеры наблюдения нацелены преимущественно на сам вулкан и часто не включают предметы ближнего плана, на основе которых можно было бы оценить видимость. То есть видимость носит практически дискретный характер: если есть туман, то на снимке не видно ничего и определить изменение яркости или контраста для точек с разным удалением невозможно. Во-вторых, вулкан находится на значительном удалении от камеры, и туман часто не может рассматриваться однородным на таком расстоянии. В-третьих, даже в случае прозрачной атмосферы вулкан может быть полностью затянут облаками.
С другой стороны, определение видимости вулкана может быть рассмотрено в рамках решения задачи детектирования изменений на изображениях. В этом слу-
чае каждый пиксель, принадлежащий изображению вулкана, должен быть отмечен как пиксель фона, а пиксели, принадлежащие закрывающим вулкан облакам, -как изменившиеся или как пиксели переднего плана. Для детектирования изменений на изображениях разработаны различные методы. Среди них те, в которых рассматривается функция плотности вероятности того, что очередной пиксель принадлежит или не принадлежит фону. Например, в [9] предлагается использовать нормальное распределение вероятности принадлежности точки фону, а параметры распределения вычислять заранее или на основе изображений с неменяющимся фоном. В [10] использовано сразу несколько нормальных распределений, чтобы описать принадлежность точки фону, что делает задачу детектирования изменений более устойчивой к меняющемуся фону (вулкан, покрытый и не покрытый снегом, колеблющиеся от ветра деревья и др.). Вместо нормального распределения в [11], используется сглаживающее ядро для оценки плотности вероятности на основе нескольких последовательных кадров. В [12] для каждого пикселя фона на обучающих выборках вычисляются минимальное и максимальное значения интенсивности, которые затем используются для классификации точек на фон и передний план. В работе [13] для точек фона на тренировочных выборках вычисляется от одного до нескольких ключевых цветов, которые они могут принимать. На основе близости значения пикселя к одному из таких цветов принимается решение о наличии или отсутствии изменения пикселя. Также рассматриваются подходы, работающие на более высоком уровне, чем отдельные пиксели, например, [14]. В работах [15, 16] представлены подробные обзоры существующих методов оценки изменений на изображениях.
Большинство методов детектирования изменений или вычитания фона хорошо работают на видеопоследовательностях, когда для точек фона характерно большее постоянство, чем для точек переднего плана, а камера хорошо зафиксирована. Для изображений вулканов этого достичь невозможно. Количество снимков, на которых вулкан виден и на которых он не виден, имеет одинаковый порядок. При этом переход между хорошей и плохой видимостью может быть как медленным, так и быстрым. Это не позволяет строить адаптивную модель фона, а использование постоянного изображения фона не позволяет распознавать фоновые точки, так как пиксели на изображениях вулкана, полученных при разных условиях освещённости, в разную погоду и время года могут отличаться друг от друга сильнее, чем от пикселей, принадлежащих перекрывающим вулкан облакам. Также анализ последовательностей изображений, получаемых с камер, направленных на вулканы, выявил сдвиги между снимками в десятки пикселей, что может объясняться воздействием внешних факторов. Это также усложняет возможность применения методов детектирования изменений для рассматриваемой задачи.
Определение видимости вулкана также может быть рассмотрено в контексте решения задачи распознава-
ния. В этом случае необходимо выделить особенности, свойственные наблюдаемому вулкану. Использование особых точек [17, 18, 19] в качестве особенностей не принесло положительного результата, так как окрестности особых точек, на основе которых выстраиваются дескрипторы особенностей, могут сильно отличаться в зависимости от погодных условий, освещения и наличия снега. Значительно более удачной особенностью оказались контуры вулканов на изображениях. Контуры склонов вулкана остаются постоянными независимо от влияния внешних факторов на протяжении многих лет. В работе [2] описан алгоритм определения видимости вулкана на основе анализа его контуров, заданных дискретной картой. Для сравнения контуров использованы карты расстояний, что приводит к ложным сопоставлениям в зонах пересечения контуров и не накладывает ограничения на многократное сопоставление контура на одном изображении с несколькими контурами на другом. В настоящей работе для устранения этих недостатков используется параметрическое представление контуров и предлагается алгоритм для их сравнения.
2. Анализ контуров 2.1. Построение параметрических контуров Будем представлять контуры на изображении вулкана в виде ломаных линий с возможностью ветвления в вершинах. Для получения такого представления необходимо построить дискретную карту контуров (рис. 1а), воспользовавшись одним из известных методов [20, 21, 22].
N < /
< I5 \
Рис. 1. Дискретное представление контуров (а), приоритет направлений обхода контуров в глубину (б), выделение конечных точек и точек ветвления (в)
На дискретной карте границ необходимо выделить последовательности пикселей между точками ветвлений и концами контуров. Для этого построим граф, вершинами в котором являются пиксели границ, а рёбрами соединяются пиксели, имеющие общую сторону или угол. Найдём точки ветвления и конечные точки согласно следующему алгоритму:
1. Обходим вершины графа, используя поиск в глубину и порядок выбора дочерних узлов, показанный на рис. 1б. Для вершин, имеющих более одной дочерней ветви: ветви, имеющие только одну вершину, удаляем из графа и, если осталось больше одной дочерней ветви, помечаем вершину как точку ветвления.
2. Для компонент графа, не имеющих точек ветвления, помечаем точкой ветвления произвольную вершину.
3. Обходим все вершины графа, используя поиск в ширину. При этом поиск начинается одновременно из размеченных точек ветвления, а указатели на роди-
тельские вершины (те, из которых был произведён переход в текущую вершину) сохраняются, чтобы можно было восстановить путь.
4. Вершины, на которых был закончен поиск в ширину, помечаются как конечные.
5. С помощью сохранённых указателей на родительские вершины восстанавливаются цепочки пикселей между конечными точками и точками ветвления.
6. Цепочки пикселей, имеющих связанные конечные вершины, объединяются.
Результат применения алгоритма представлен на рис. 1 в. Крестами помечены точки ветвления, а кругами - конечные точки.
Цепочки пикселей, полученные в результате выполнения описанного алгоритма, заменяются ломаными линиями. Замена заключается в рекурсивном разбиении прямой линии, соединяющей начальный и конечный пиксель цепочки на отрезки. Точка разбиения выбирается в пикселе, расстояние от которого до линии максимально, если это расстояние превышает порог ¿тах. Пример построения ломаной линии по цепочке пикселей представлен на рис. 2а, а результат построения параметрических границ - на рис. 2б.
Шаг!
Рис. 2. а) Рекурсивное построение ломаных линий, б) параметрические границы на изображении вулкана
2.2. Сопоставление ломаных линий При сопоставлении параметрических границ, построенных для двух изображений вулканов, базовой операцией является поиск сегментов границ (отрезков прямых линий, составляющих границы) на одном изображении, которые ближе, чем некоторое расстояние Л, к выбранному сегменту на другом изображении. Такой поиск осуществляется с использовани-
ем хеширования по пространственному признаку для сегментов линий одного из изображений.
Обозначим через S и У множества всех сегментов на первом и втором изображении. Тогда для сегментов яе У и ^ 'е У определяется операция сравнения - рис. 3.
Сегменты я и я' подлежат сравнению, только если угол между ними а(я, я') < а^. В качестве атах выбирается угол в диапазоне 0,4 - 0,7 радиан. Близость сегментов (степень схожести) определяется параметром средней ширины:
, /ч 2 (я, я') w (я, я ) = ———, w (я, я )< Я, I (я, я') у ;
где 1(я, я') - длина общей части сегментов я и я', Е(я, я') - площадь фигуры, образованной общими частями этих сегментов - рис. 3, а Я - максимально допустимое расстояние между сопоставляемыми сегментами. В случае, если ^(я, я') > Я или общая зона отсутствует (1(я, я') < 0), сегменты также не подлежат сравнению.
Рис. 3. Различные конфигурации сопоставляемых сегментов я и я', 1(я, я') - длина общей части, епЛ(я, я') -разность окончаний сегментов, Дя, я') - площадь фигуры, образованной сегментами
Начиная с пары сегментов я и я , которые подлежат сравнению, можно выполнить трассировку ломаных линий, сопоставляя последующие сегменты, согласно следующим правилам:
1) трассировка выполняется в направлении сегментов (стрелки на рис. 3), далее все направления инвертируются и трассировка повторяется;
2) если еп<1(я, я') > йтх и я кончается раньше, то следующей парой для сравнения выбирается пара я^пехг и я';
3) если еп<1(я, я') > йтх и я ' кончается раньше, то следующей парой для сравнения выбирается пара я и
я'^пехГ;
4) если в пунктах 2 и 3 несколько вариантов для продолжения линии, выбирается такое продолжение, которое имеет меньший угол с непродолжающим-ся сегментом;
5) если еп<1(я, я') > йтх либо 2 и 3 не привели к продолжению при еп<1(я, я') < Я, то следующей парой для сравнения выбирается пара я^пех1, я'^пех1. Если вариантов продолжение несколько (справедливо для точек разветвления), то продолжение осуществляется по всем наилучшим (с наименьшей средней шириной) не противоречащим друг другу направлениям;
6) каждая пара, которая сравнивалась при трассировке, запоминается;
7) трассировка заканчивается, когда вариантов для продолжения не остаётся либо для продолжения выбирается пара сегментов, которые уже запоминались;
8) для сегментов, вошедших в трассировку лишь частично, запоминается невошедшая часть. Результатом ,-й операции сопоставления ломаных
линий является вектор сопоставленных пар сегментов Р, = (я,, я,), I = 1, 2,..., п, где п - количество сопоставленных пар, а я^еУ и я, е У' - сопоставленные сегменты. Вектор сопоставленных сегментов имеет оценку О, которая показывает, насколько хорошо согласуются ломаные линии, заданные этим вектором:
О, = I,
| 1 , Wj <
- 2г), ^ > Лт
= 21 (,,), Ь =
Я - Wj Я - Л
(1)
- 1
Wj
=^ 2 Е( , ^ )•
2.3. Сопоставление контуров Сопоставить все контуры на двух изображениях вулкана можно, воспользовавшись следующим алгоритмом:
1) 2)
присваиваем:, = 1, V = 0, G = 0; для всех пар (я, я'), яеУ и я'еБ'пН(я), где Н(я) -операция обращения к пространственному хешу, в результате которой находятся все сегменты из У, которые ближе к У чем Я, выполняем трассировку, если пара (я, я ) не была запомнена в результате предыдущих трассировок. Для выполненной трассировки запоминается Р, и вычисляется (1), а счётчик, увеличивается на единицу;
3) все Р, просматриваются в порядке уменьшения О,.
Если
я^
4¿V, I=1, 2,.
то
V ^ V и я]1 и я' , О^Ои,;
4) рассчитать оценку видимости контуров второго изображения на первом:
о =
2 ;еО 21=11 (^, 4 )
2 я
(2)
где я '| - длина сегмента я'.
Некоторые сегменты могут быть сопоставлены с другими сегментами лишь частично. Для таких сегментов удобно ввести список занятых частей. В этом случае помещать в множество V на шаге 3 алгоритма нужно не весь сегмент, а лишь его занятую часть. Соответственно, проверка частично занятого в ,-й сопоставленной линии сегмента на принадлежность множеству V должна возвращать истину лишь тогда, когда в множестве уже записан участок проверяемого сегмента, имеющий пересечения с участком, занятым в ,-й линии. Пример сопоставленных контуров представлен на рис. 4.
=1
п
и
я
Рис. 4. Сопоставление границ. Границы разных изображений показаны разными оттенками, толстыми линиями обозначены сопоставленные сегменты, связи сегментов - тонкими черными линями, соединяющими центры сегментов
2.4. Поиск наилучшего решения
Небольшие колебания положения и ориентации камеры, вызванные влиянием различных внешних факторов, приводят к тому, что контуры на двух изображениях могут не совпадать. Это приводит к уменьшению оценки с (2) даже в случае хорошо видимых контуров.
Чтобы устранить влияние колебаний камеры на оценку, решим задачу максимизации с относительно параметров p = (sx, sy, r), где sx и sy - смещение изображения по горизонтальной и вертикальной оси, а r - плоский поворот вокруг центра изображения. Оценка с слабо зависит от того, насколько хорошо совпадают границы на двух изображениях в диапазоне R, и может меняться скачкообразно при изменении p в момент, когда какой-либо из сопоставленных контуров отдаляется от своей пары на расстояние, большее, чем R. Поэтому для задачи максимизации лучше подойдет оценка Q, учитывающая расстояние между сопоставленными контурами:
Q = Е Qj,
jeG
где Qj определено в (1), а множество G получается в результате работы алгоритма из подпараграфа 2.3. Оценка Q зависит от того, как два изображения позиционированы и ориентированы относительно друг друга перед сопоставлением: Q(p).
Решение задачи максимизации будем проводить на трёхмерной сетке с шагом As по параметрам sx и sy, и с шагом Ar по r. Шаги As и Ar определяются порогом точности параметрических линий:
A s = dmax ,
( о J А
A = atan
2d
max (w, h)
где w и h - ширина и высота изображений. Для поиска оценки Q(p) вершины контуров одного из двух сопоставляемых изображений преобразуются согласно следующему правилу:
0,5w| f 0,5w| ^
v = Av - AI ' I +1 ' I +
0,5ft ) V 0,5h )
Í о A
x
V Sy У
A=
cos r - sin r
sin r cos r
где V - исходное положение некоторой вершины контура, заданное в системе координат изображения, а V' - смещенное и повернутое согласно вектору параметров положение вершины, также заданное в системе координат изображения.
Вектор параметров инициализируется нулевыми значениями: р0 = (0, 0, 0). На к-м шаге, к > 0, численно вычисляется градиент оценки 2(рк):
(
g (Р* ) =
Q ( S*x + Д s > S*y , r* )-Q ( S*x -Д s > S*y , r* )
Л
2Д„
Q ( SX , S*y +Д s , r* )- Q ( S*x , S*y -Д s , r* )
2Д.
Q ( S*x , S*y , r* +Д r )-Q ( S*x , S*y , r* -Д r )
. (3)
2Д.
Определим векторы, направленные из точки рк в один из соседних узлов сетки:
f Д I
bi* =
V 1Д У
, (i, j,l = -1,0,1) л (i ф 0 v j ф 0 v l ф 0).
Используя векторы направления Ьщ, рассчитаем приращение вектора параметров на к-м шаге:
p *+1 = p*+Ч, j* ,i*,
i*, j* >l* = argma^^^^r g (p*)
(4)
,i ь„
Согласно формуле (4) точка решения смещается по узлам сетки в направлении, наиболее близком к направлению наискорейшего роста функции. Движение по узлам сетки позволяет упростить вычисление (3), так как для всех шагов, начиная со второго, оценки Q для некоторых сочетаний параметров оказываются рассчитанными на предыдущих шагах.
Шаг п считается последним, если Q(pn+1) < Q(pn), а оценка о(рп) считается оценкой видимости контуров одного изображения на другом. Результаты решения задачи максимизации для двух пар изображений вулканов показаны на рис. 5. Одно из изображений на рис. 5а смещено относительно другого на 12 пикселей влево по горизонтальной и 30 пикселей вверх по вертикальной оси, поворот между изображениями отсутствует. В результате решения задачи максимизации за 17 шагов была найдена лучшая оценка, соответствующая вектору рп = (-12, 30, 0,3°) (рис. 5в). На рис. 5б одно изображение смещено относительно другого влево и вниз на 10 пикселей, а также повёрнуто на 5°. В результате решения задачи максимизации за 16 шагов найден вектор рп = (-10, -12, 4,8°) (рис. 5г). В обеих задачах найденный вектор параметров лежит в пределах размера ячейки сетки от истинного значения, что позволяет получить максимальную оценку перекрытия.
2.5. Эталонные контуры
Чтобы определить видимость вулкана на каком-либо снимке, необходимо сравнить контуры, выделенные на этом снимке, с эталонными контурами (контуры, которые сохраняются независимо от времени года). Как правило, это очертания собственно вулкана и его основных хребтов. Для построения эталонных контуров используется некоторое небольшое количество т предварительно отобранных изображений вулкана, полученных в ясную погоду в разное время года - эталонных изображений.
Контуры на всех эталонных изображениях сопоставляются между собой. При этом для каждого сегмента рассчитывается количество раз, которое он помещался в множество V (подпараграф 2.3). Сегменты, которые помечались не менее чем ут раз, считаются эталонными. Коэффициент у выбирается в диапазоне от 0,5 до 1,0. Из эталонных сегментов составляются эталонные границы. При этом если к эталонным границам был добавлен некоторый сегмент, все сегменты, которые образовывали с ним пары, уже не добавляются. На рис. 6 приведены примеры эталонных контуров, полученных при т = 6: рис. 6а - у=0,5 и рис. 6б - у = 1,0.
7 000
ООО
<2(Рк)
Рп = (-10, -12, 4,8°)
к
1-1-1-1-1-1-1-1-1-1-1-1-1-1-г
0 2 4 6 8 10 12 14 16 г) 0 2 4 6 8 10 12 14 16
Рис. 5. Сопоставленные границы на изображениях: смещённых относительно друг друга (а), смещённых и развёрнутых относительно друг друга (б); графики роста оценки й(рк) в процессе решение задачи максимизации:
для изображений «а» (в), для изображений «б» (г)
Рис. 6. Эталонные контуры: параметр у = 0,5 (а); параметр у = 1,0 (б)
При использовании у = 1,0 сравнение контуров эталонных изображений с эталонными контурами может приводить к оценке а = 1,0 (2). Необходимо растянуть диапазон оценок таким образом, чтобы изображениям, отобранным в качестве эталонных, всегда соответствовала оценка а = 1,0. Для этого выполним нормализацию:
(
а ^ тт
1,0; а-
тт а;
I=1,2,...,т J
(5)
где а - оценка, полученная в результате сравнения контуров некоторого изображения с эталонными кон-
1
турами, а о,- - результат сравнения контуров ,-го эталонного изображения с эталонными контурами.
3. Анализ частотных характеристик 3.1. Вектор вкладов частот
В зависимости от частот, участвующих в формировании изображения, можно сделать вывод о том, виден ли вулкан или снимок затянут облаками. Для изображений вулкана характерен значительный вклад низких и средних частот, тогда как для облаков определяющими оказываются низкие частоты. Для зашумлённых снимков, полученных при плохом освещении, характерен значительный вклад высоких частот.
Обозначим яркостную компоненту изображения через I = (1ху), х = 1, 2,...,у = 1, 2,...,к, где м> и к -ширина и высота изображения. Необходимо определить, какие частоты участвуют в формирование I и какой вклад они вносят. Для этого разделим частотный спектр на октавы. Удобнее всего это делать, если ширина и высота изображения являются степенями двойки: " = 2"", к = 2"к, пт пкеМ Если анализируемое изображение не удовлетворяет этим требованиям, то его необходимо масштабировать по ширине и высоте до ближайших степеней двойки. Вектор вкладов каждой октавы в формирование изображения I обозначим через f = ), , = 0, 1,.. ,,п-1, где п = шт(пи, пк), тогда
1 w h
f = "Г Е1
Whi x=1 y=1
1i _ 1i+1
1xy 1 L(x+l)/2j,L(y+l)/2_
где
1 k > 0
2 k 1 , hk =
w, k = 0
1hk_i' k > 0 h, k = 0
1k =
xy
jk _1 . jk _1 . Tk_1 . jk _1
12 x_1,2 y_1 + 12x,2 y _1 + 12 x_1,2 y + 12x,2 y
,k>0
xy
k = 0
Вектор Г далее будем называть вектором вклада частот или частотной характеристикой изображения.
Контраст изображения I в существенной степени влияет на значения получаемых оценок. Вместе с тем изменения контраста в определённом диапазоне не приводят к существенной потере качества снимка. Чтобы учесть эту особенность, перед расчётом частотной характеристики следует нормализовать контраст изображения. Для этого 96 % значений из центра ярко-стного диапазона растягиваются на определённый, общий для всех изображений отрезок (например, [0, 1]). Если для подобного растяжения требуется умножать значения яркостей на величину, превышающую некоторый порог, то растяжение ограничивается этим порогом. Порог гарантирует, что диапазон яркостей не будет растянут так, чтобы появившиеся шумы в существенной мере повлияли на вектор частотных характеристик. В настоящей работе растяжение производится не более, чем в 2,5 раза.
3.2. Сравнение с эталонной характеристикой
Для получения эталонной частотной характеристики Г используется небольшое количество т предварительно отобранных изображений вулканов, полученных в ясную погоду в разное время года - эталонных изображений:
— 1 т
Г=1Е Г (I),
т ,=1
где I,- - г-е эталонное изображение, ОД) - вектор вклада частот ,-го эталонного изображения.
Для сравнения частотных характеристик Г некоторого изображения и эталонных частотных характеристик Г используется следующая оценка:
(
р = max
шш
ъ _ Е f i _ f Е Wj ® j (i ),i
i=0 j=1
Л Л ,0
J J
(6)
где Ь и 7=1, 2, 3 - константные параметры, а «>,■ (г) -базисные функции, определяющие влияние параметров на отдельные группы частот (рис. 7).
0 1 2 3 4 5 6 7 8 9
Рис. 7. Базисные функции, определяющие влияние параметров на высокие, низкие и средние частоты
Для всех камер, исследованных в данной работе, значение п = 10, поэтому графики на рис. 7 представлены для номеров октав, лежащих в отрезке [0; 9].
Для подбора оптимальных значений константных параметров Ь и используется Ь снимков вулканов (в настоящей работе было использовано Ь = 50 снимков) различного качества, для которых экспертами был определен желаемый диапазон оценок: [Ршп (Г;), Ршах (Г;)], где Г; - частотная характеристика 1-го изображения, I = 1, 2,., Ь. Значения константных параметров определяются в результате решения следующей задачи минимизации:
Ь, = агешшь ^ е(Ь,"7),
ь i \
е(Ь, ) = Е < (р(Г;, Ь, ) , Ршп (Г; ) , Ртах (Г;)) ,
;=1
где функция расстояния
d (a, b, c) =
0, b < a < c b _ a, a < b a _ c, a > c
Для каждой используемой камеры значения Ь и остаются постоянными. В табл. 1 приведены значения этих параметров, полученные для исследуемых
wk =
4
камер (БИУ - Шивелуч, КЬУИ - Ключевской, КЕ Кизимен).
Табл. 1. Значения константных параметров Ь и для камер, направленных на вулканы
Вулкан w1 W2 w3 b е (b, Wj ) e(b, Wj)
SHV 2,33 6,11 0,77 0,83 0,10 1,06
KLYU 16,29 8,50 1,47 1,40 0,04 0,28
KIZ 11,86 0,69 2,36 0,73 0,11 1,18
Здесь Щ Ь, ",) - среднее смещение оценки за диапазон, определённый экспертами:
1 L I \
Wj )= L Ё d (p(f , b, Wj ) , P _ (f, ) , P max ( f, )) .
Примеры вычисленных частотных характеристик Г для снимков вулкана Ключевской, сделанных при разных погодных условиях, и результаты сравнения этих характеристик с эталонном, полученные с помощью формулы (6), представлены на рис. 8.
4. Определение оценки видимости
Итоговая оценка видимости вулкана на изображении а складывается из нескольких факторов. Она учитывает видимость границ, частотные характеристики. Основной вклад в а вносит оценка видимости контуров с (2), (5) (параграф 2). Если же оценка с находится в А окрестности порога принятия решения об использовании или отбрасывании снимка т, то оценка соответствия частотных характеристик р (6) (параграф 3) используется для корректировки оценки с. Запишем выражение для определения оценки а:
а = о/ (о) + р(1 -/(о)), (7)
где
f (0) = min[l,(0-т)2 j .
Функция /(о) представляет собой квадратную параболу с вершиной в т, /(т) = 0, а /(т±А) = 1. Таким образом, в случае, когда оценка а оказывается равной порогу
принятия решения, в оценку а вносит вклад только оценка соответствия частотных характеристик р.
5. Результаты Для оценки эффективности разработанных алгоритмов были использованы данные архива видеонаблюдения за вулканами Камчатки, реализованного в составе программной платформы «Сигнал» [23]. Архив является постоянно действующим и пополняется изображениями с видеокамер, принадлежащих Институту вулканологии и сейсмологии ДВО РАН и Камчатскому филиалу Федерального исследовательского центра «Единая геофизическая служба РАН».
В качестве исходных данных для исследований были взяты по 3000 изображений вулкана Шивелуч за период с 12 августа по 27 ноября 2014 года общим объемом 216 Мбайт, вулкана Ключевской за период со 2 декабря 2014 года по 4 февраля 2015 года общим объемом 229 Мбайт, вулкана Кизимен за период с 27 ноября 2014 года по 1 мая 2015 года общим объемом 71 Мбайт. В качестве эталонных изображений были использованы по четыре снимка каждого вулкана, полученных в разное время суток при идеальных погодных условиях. Их примеры представлены на рис. 9.
Обработка изображений проводилась в Центре коллективного пользования «Центр данных ДВО РАН» [24] на вычислительном сервере с процессором Intel Xeon 5150, тактовой частотой 2,66 ГГц и объемом оперативной памяти 8 Гбайт.
Значения основных параметров алгоритма, используемые при тестировании, представлены в табл. 2.
Табл. 2. Параметры алгоритма видимости вулкана
Параметр Шивелуч Ключевской Кизимен
R (подпараграф 2.2) 30 30 10
dmax (подпараграф 2.1) 2 2 1,5
Y (подпараграф 2.5) 0,75 0,75 0,75
A (параграф 4) 0,1 0,1 0,1
T (параграф 4) 0,5 0,2 0,25
а) 0 123456789 6)0 123456789 в) о 123456789
Рис. 8. Примеры сравнения частотных характеристик для снимков с различной видимостью вулкана Ключевской: вулкан закрыт облаками (а), вулкан частично закрыт облаками (б), вулкан ясно виден (в)
Рис. 9. Примеры эталонных изображений вулканов: а) Шивелуч, б) Ключевской, в) Кизимен
Результаты оценки видимости тестового набора снимков вулканов показаны в табл. 3.
Табл. 3. Распределение результатов по категориям видимости вулканов
Шивелуч Ключевской Кизимен
а < т 72,6 % 72,9 % 54,4 %
т 27,4 % 27,1 % 45,6 %
Распределение изображений вулканов по значениям оценки а показаны на рис. 10.
Время обработки массива изображений вулкана Кизимен с использованием компьютерной программы, созданной на основе предложенного алгоритма, составило 20 минут, вулкана Ключевской - 30 минут, вулкана Шивелуч - 41 минута. Можно заметить, что время обработки снимков вулкана Кизимен существенно меньше, чем для других вулканов. Это связано с тем, что снимки, получаемые с видеокамер, направленных на вулкан Кизимен, имеют разрешение 800x600, а на вулканы Ключевской и Шивелуч - разрешение 1024x768.
Результаты работы алгоритма были оценены вручную с учётом данных о количестве изображений, с точки зрения экспертов классифицированных неверно (табл. 4).
Кол-во снимков -V Кол-во снимков
300
Табл. 4. Распределение результатов неверно классифицированных снимков по категориям видимости ■ абсолютное количество (процент от общего числа) классифицируемых изображений вулканов
Шивелуч Ключевской Кизимен
а < т 33 (1,1 %) 1 (0,03 %) 11 (0,36 %)
т 138 (4,6 %) 134 (4,5 %) 164 (5,5 %)
0,4 0,6 0,8 1,0 Итоговая оценка а
Отметим, что алгоритм даёт некоторый небольшой процент ошибки. Анализ неверно классифицированных снимков показал, что в основе этих ошибок лежат следующие явления: повреждение снимков, неудачное освещение и малая область снимка, занятая непосредственно наблюдаемым вулканом.
Пример повреждённого снимка представлен на рис. 11а. В случае такого повреждения становится непонятно, как классифицировать снимок. С одной стороны, на нём хорошо видна часть вулкана, а с другой стороны, информация с половины снимка полностью отсутствует. Проблему поврежденных снимков представляется целесообразным решать совершенствованием технических средств получения и передачи снимков или разработкой специального алгоритма для детектирования подобных проблемных ситуаций.
Кол-во снимков 300
. 0,4 0,6 0,8 1,0
б) Итоговая оценка а в)
Рис. 10. Распределение изображений по оценкам для вулканов: Шивелуч (а), Ключевской (б), Кизимен (в)
0,4 0,6 0,8 1,0 Итоговая оценка а
Рис. 11. Примеры снимков с некорректной оценкой: повреждённый снимок (а), неудачное освещение (б), неудачное освещение при малой площади, занимаемой вулканом (в)
К неудачному освещению можно отнести ситуации, когда солнце находится непосредственно перед камерой (рис. 116, в). В этом случае становится виден лишь внешний контур вулкана, тогда как внутренние хребты окрашиваются в монотонный серый цвет, идентичный цвету облаков. Несмотря на то, что внешний контур вулкана сопоставляется хорошо, полное отсутствие внутренних контуров приводит к сильному занижению оценки. Эту проблему можно решить, если рассчитывать оценку сопоставления контуров как максимум из отдельных оценок для внешнего и внутренних контуров.
Проблема недостаточной области на изображении, занимаемой наблюдаемым объектом, в наибольшей степени проявила себя на изображениях вулкана Ки-зимен (рис. 11 в). Кроме того, что разрешение камеры, направленной на вулкан, самое низкое - 800x600, сам вулкан занимает менее 15 % площади изображения. В этом случае количество контуров, определяемых для вулкана, слишком мало для получения оценки с хорошей точностью. Решение проблемы заключается в лучшей настройке камеры на наблюдаемый объект и повышении разрешения камеры.
Заключение
В статье представлено описание разработанного алгоритма анализа изображений вулканов, основанного на оценке видимости контуров объектов, вклада различных частот. Для изучения работы алгоритма с использованием компьютерной программы была проведена обработка снимков, полученных с трёх видеокамер, направленных на вулканы Шивелуч, Ключевской и Кизимен. Результаты работы алгоритма были оценены экспертом вручную. Выяснилось, что алгоритм успешно работает на большинстве снимков. Благодаря использованию параметрических контуров удалось устранить такие проблемы предыдущей работы [2], как ложное сопоставление контуров в области их пересечения, многократное сопоставление контура на одном изображении с несколькими контурами на другом, это позволило повысить точность и надёжность алгоритма.
Тестирование дало возможность выявить недостатки алгоритма, связанные со следующими проблемами на изображениях: повреждение снимков, неудачное освещение и малая область снимка, занятая наблюдаемым вулканом. В статье предложены решения таких проблем, их реализация будет следующим этапом развития настоящей работы.
Благодарности Исследования проведены при поддержке РФФИ (гранты №16-07-00156, 16-37-00026 мол_а) и ДВО РАН (гранты №15-1-4-071, №15-1-4-072).
Литература
1. Sorokin, A.A. The Kamchatka volcano video monitoring system / A.A. Sorokin, S.P. Korolev, I.M. Romanova, O.A. Gi-rina, I.P. Urmanov // Proceedings of 2016 6th International
Workshop on Computer Science and Engineering (WCSE 2016). - 2016. - Vol. II. - P. 734-737.
2. Урманов, И.П. Оценка видимости и состояния вулканов по последовательности изображений стационарных камер наблюдения / И.П. Урманов, А.Н. Камаев, А.А. Сорокин, С.П. Королёв // Вычислительные технологии. -2016. - Т. 21, № 3. - С. 80-90.
3. Sigg, C. Camera based visibility estimation / C. Sigg, T. Sutter, F. Nater // Proceedings of CIMO TECO 2016 (Technical Conference on Meteorological and Environmental Instruments and Methods of Observation). - 2016. -P2(64).
4. Frazor, R. Local luminance and contrast in natural images / R. Frazor, W. Geisler // Vision Research. - 2006. - Vol. 46, Issue 10. - P. 1585-1598. - DOI: 10.1016/j.visres.2005.06.038.
5. Caraffa, L. Daytime fog detection and density estimation with entropy minimization / L. Caraffa, J.-Ph. Tarel // ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences. - 2014. - Vol. II-3. - P. 2531. - DOI: 10.5194/isprsannals-II-3-25-2014.
6. Bronte, S. Fog detection system based on computer vision techniques / S. Bronte, L.M. Bergasa, D.F. Alcantarilla // 12th International IEEE Conference on Intelligent Transportation Systems (ITSC '09). - 2009. - Vol. 12. - P. 3-7. -DOI: 10.1109/ITSC.2009.5 309842.
7. Hautiere, N. Automatic fog detection and estimation of visibility distance through use of an onboard camera / N. Hautiere, J.P. Tarel, J. Lavenant, D. Aubert // Machine Vision and Applications. - 2006. - Vol. 17, Issue 1. - P. 820. - DOI: 10.1007/s00138-005-0011-1.
8. Pavlic, M. Image based fog detection in vehicles / M. Pavlic, H. Belzner, G. Rigoll, S. Ilic // 2012 IEEE Intelligent Vehicles Symposium (IV). - 2012. - P. 1132-1137. -DOI: 10.1109/IVS.2012.6232256.
9. Aach, T. Statistical model-based change detection in moving video / T. Aach, A. Kaup // Signal Processing. - 1993. -Vol. 31, Issue 2. - P. 165-180. - DOI: 10.1016/0165-1684(93)90063-G.
10. Stauffer, C. Adaptive background mixture models for realtime tracking / C. Stauffer, W.E.L. Grimson // IEEE Computer Society Conference on Computer Vision and Pattern Recognition. - 1999. - Vol. 2. - DOI: 10.1109/CVPR.1999.784637.
11. Elgammal, A. Background and foreground modeling using non-parametric kernel density estimation for visual surveillance / A. Elgammal, R. Duraiswami, D. Harwood, L.S. Davis // Proceedings of the IEEE. - 2002. - Vol. 90, Issue 7. -P. 1151-1163.
12. Haritaoglu, I. W4: real-time surveillance of people and their activities / I. Haritaoglu, D. Harwood, L.S. Davis // Pattern Analysis and Machine Intelligence. - 2000. -Vol. 22, Issue 8. - P. 809-830. - DOI: 10.1109/34.868683.
13. Kim, K. Real-time foreground-background segmentation using codebook model / K. Kim, T.H. Chalidabhongse, D. Harwood, L. Davis // Real-Time Imaging. - 2005. -Vol. 11, Issue 3. - P. 172-185. - DOI: 10.1016/j.rti.2004.12.004.
14. Oliver, N.M. A bayesian computer vision system for modeling human interactions / N.M. Oliver, B. Rosario, A.P. Pent-land // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2000. - Vol. 22, Issue 8. - P. 831-843. -DOI: 10.1109/34.868684.
15. Radke, R.J. Image change detection algorithms: a systematic survey / R.J. Radke, S. Andra, O. Al-Kofahi, B. Roysam // IEEE Transactions on Image Processing. - 2005. - Vol. 14, Issue 3. - P. 294-307. - DOI: 10.1109/TIP.2004.838698.
16. Benezeth, Y. Comparative study of background subtraction algorithms / Y. Benezeth, P.-M. Jodoin, B. Emile, H. Laurent, Ch. Rosenberger // Journal of Electronic Imaging, Society of Photo-optical Instrumentation Engineers. - 2010. -Vol. 19, Issue 3. - DOI: 10.1117/1.3456695.
17. Mikolajczyk, K. A performance evaluation of local descriptors / K. Mikolajczyk, C. Schmid // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'2003). - 2003. - P. 257263. - DOI: 10.1109/CVPR.2003.1211478.
18. Lowe, D.G. Distinctive image features from scale-invariant keypoints / D.G. Lowe // International Journal of Computer Vision. - 2004. - Vol. 60, Issue 2. - P. 91-110. - DOI: 10.1023/B :VISI.0000029664.99615.94.
19. Bay, H. Speeded-up robust features (SURF) / H. Bay, A. Ess, T. Tuytelaars, L. Van Gool // Computer Vision and Image Understanding. - 2008. - Vol. 110, Issue 3. - P. 346359. - DOI: 10.1016/j.cviu.2007.09.014.
20. Canny, J. A computational approach to edge detection / J. Canny // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1986. - Vol. 8, Issue 6. - P. 679-698. -DOI: 10.1109/TPAMI.1986.4767851.
21. Elder, J.H. Local scale control for edge detection and blur estimation / J.H. Elder, S.W. Zucker // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 1998. -Vol. 20, Issue 7. - P. 699-716. - DOI: 10.1109/34.689301.
22. Martin, D.R. Learning to detect natural image boundaries using local brightness, color, and texture cues / D.R. Martin, C.C. Fowlkes, J. Malik // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2004. - Vol. 26, Issue 5. -P. 530-549. - DOI: DOI: 10.1109/TPAMI.2004.1273918.
23. Sorokin, A.A. Software platform for observation networks instrumental data Far Eastern Branch of the Russian Academy of Sciences / A.A Sorokin, S.P. Korolev, I.P. Urmanov, A.L. Verkhoturov, S.V. Makogonov, N.V. Shestakov // Proceedings of International Conference. on Computer Science and Environmental Engineering (CSEE 2015). - 2015. -P. 589-594.
24. Sorokin, A.A. Development of information technologies for storage of data of instrumental observation networks of the Far Eastern Branch of the Russian Academy of Sciences / A.A. Sorokin, S.P. Korolev, A.N. Polyakov // Procedia Computer Science. - 2015. - Vol. 66. - P. 584-591. - DOI: 10.1016/j.procs.2015.11.066.
Сведения об авторах
Камаев Александр Николаевич, кандидат технических наук, научный сотрудник Вычислительного центра ДВО РАН, лаборатория численных методов в математической физике, Хабаровск, Россия. E-mail: kamaev [email protected] .
Урманов Игорь Павлович, инженер Вычислительного центра ДВО РАН, лаборатория информационно-телекоммуникационных систем, Хабаровск, Россия. E-mail: [email protected] .
Сорокин Алексей Анатольевич, кандидат технических наук, заведующий лабораторией информационно-телекоммуникационных систем Вычислительного центра ДВО РАН, Хабаровск, Россия. E-mail: [email protected] .
Карманов Дмитрий Александрович, инженер Вычислительного центра ДВО РАН, лаборатория информационно-телекоммуникационных систем, Хабаровск, Россия. E-mail: [email protected] .
Королёв Сергей Павлович, научный сотрудник Вычислительного центра ДВО РАН, лаборатория информационно-телекоммуникационных систем, Хабаровск, Россия. E-mail: [email protected] .
ГРНТИ: 28.23.15.
Поступила в редакцию 26 мая 2017 г. Окончательный вариант - 9 июля 2017 г.
IMAGES ANALYSIS FOR AUTOMATIC VOLCANO VISIBILITY ESTIMATION
A.N. Kamaev1, I.P. Urmanov1, A.A. Sorokin1, D.A. Karmanov1, S.P. Korolev1
1 Computing Center FEB RAS, Khabarovsk, Russia Abstract
In this paper, a method for estimating the volcano visibility in the images is presented.
This method includes algorithms for analyzing parametric edges of objects under observation and frequency characteristics of the images. Procedures for constructing parametric edges of a volcano and their comparison are considered. An algorithm is proposed for identifying the most persistent edges for a group of several reference images. The visibility of a volcano is estimated by comparing these edges to those of the image under analysis. The visibility estimation is maximized with respect to a planar shift and rotation of the camera to eliminate their influence on the estimation. If the image quality is low, making it hardly suitable for further visibility analysis, the estimation is corrected using an algorithm for analyzing the image frequency response represented as a vector of the octave frequency contribution to the image luminance. A comparison of the reference frequency characteristics and the characteristics of the analyzed image allows us to estimate the contribution of different frequencies to the formation of volcano images.
We discuss results of the verification of the proposed algorithms performed using the archive of a video observation system of Kamchatka volcanoes. The estimates obtained corroborate the ef-
fectiveness of the proposed methods, enabling the non-informative imagery to be automatically filtered off while monitoring the volcanic activity.
Keywords: image analysis, algorithms, edge detection, parametric edges, volcano, edge matching, video surveillance, visibility analysis.
Citation: Kamaev AN, Urmanov IP, Sorokin AA, Karmanov DA, Korolev SP. Images analysis for automatic volcano visibility estimation. Computer Optics 2018; 42(1): 128-140. DOI: 10.18287/2412-6179-2018-42-1-128-140.
Acknowledgements: The work was partially funded by the Russian Foundation for Basic Research (RFBR) under research projects # 16-07-00156 and 16-37-00026 mol_a, and a Complex Fundamental Research Program of the Far Eastern Branch of the Russian Academy of Sciences "Far East" (projects ##15-I-4-071, 15-I-4-072).
References
[1] Sorokin AA, Korolev SP, Romanova IM, Girina OA, Ur-manov IP. The Kamchatka volcano video monitoring system. Proceedings of 2016 6th International Workshop on Computer Science and Engineering (WCSE 2016) 2016; II: 734-737.
[2] Urmanov IP, Kamaev AN, Sorokin AA, Korolev SP. The assessment of the visibility and the status of volcanoes using sequences of video observation images [In Russian] // Computational Technologies 2016; 21(3): 80-90.
[3] Sigg C, Sutter T, Nater F. Camera based visibility estimation. Proc CIMO TECO 2016: P2(64).
[4] Frazor RA, Geisler WS. Local luminance and contrast in natural images. Vision research 2006; 46(10): 1585-1598. DOI: 10.1016/j.visres.2005.06.038.
[5] Caraffa L, Tarel J-Ph. Daytime fog detection and density estimation with entropy minimization. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences 2014; II-3: 25-31. DOI: 10.5194/isprsannals-II-3-25-2014.
[6] Bronte S, Bergasa LM, Alcantarilla DF. Fog detection system based on computer vision techniques. 12th International IEEE Conference on Intelligent Transportation Systems (ITSC '09) 2009; 12: 3-7. DOI: 10.1109/ITSC.2009.5309842.
[7] Hautiere N, Tarel JP, Lavenant J, Aubert D. Automatic fog detection and estimation of visibility distance through use of an onboard camera. Machine Vision and Applications 2006; 17: 8-20. DOI: 10.1007/s00138-005-0011-1.
[8] Pavlic M, Belzner H, Rigoll G, Ilic S. Image based fog detection in vehicles // 2012 IEEE Intelligent Vehicles Symposium (IV) 2012; 1132-1137. DOI: 10.1109/IVS.2012.6232256.
[9] Aach T, Kaup A. Statistical model-based change detection in moving video. Signal Processing 1993; 31(2): 165-180. DOI: 10.1016/0165-1684(93)90063-G.
[10] Stauffer C, Grimson WEL. Adaptive background mixture models for real-time tracking. IEEE Computer Society Conference on Computer Vision and Pattern Recognition 1999; 2. DOI: 10.1109/CVPR.1999.784637.
[11] Elgammal A, Duraiswami R, Harwood D, Davis LS. Background and foreground modeling using non-parametric kernel density estimation for visual surveillance // Proc IEEE 2002; 90(7): 1151-1163.
[12] Haritaoglu I, Harwood D, Davis LS. W4: real-time surveillance of people and their activities. Pattern Analysis and Machine Intelligence 2000; 22(8): 809-830. DOI: 10.1109/34.868683.
[13] Kim K, Chalidabhongse TH, Harwood D, Davis L. Realtime foreground-background segmentation using codebook
model. Real-Time Imaging 2005; 11(3): 172-185. DOI: 10.1016/j.rti.2004.12.004.
[14] Oliver NM, Rosario B, Pentland AP. A bayesian computer vision system for modeling human interactions // IEEE Transactions on Pattern Analysis and Machine Intelligence 2000; 22(8): 831-843.
[15] Radke RJ, Andra S, Al-Kofahi O, Roysam B. Image change detection algorithms: a systematic survey // IEEE Transactions on Image Processing; 2005; 14(3): 294-307. DOI: 10.1109/TIP.2004.838698.
[16] Benezeth Y, Jodoin P-M, Emile B, Laurent H, Rosenberger Ch. Comparative study of background subtraction algorithms. Journal of Electronic Imaging, Society of Photo-optical Instrumentation Engineers 2010; 19(3). DOI: 10.1117/1.3456695.
[17] Mikolajczyk K, Schmid C. A performance evaluation of local descriptors // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR'2003) 2003; 257-263. DOI: 10.1109/CVPR.2003.1211478.
[18] Lowe DG. Distinctive image features from scale-invariant keypoints. International Journal of Computer Vision 2004; 60(2): 91-110. DOI: 10.1023/B:VISI.0000029664.99615.94.
[19] Bay H, Ess A, Tuytelaars T, Van Gool L. SURF: Speeded-up robust features (SURF). Computer Vision and Image Understanding 2008; 110(3): 346-359. DOI: 10.1016/j.cviu.2007.09.014.
[20] Canny J. A computational approach to edge detection. IEEE Transactions on Pattern Analysis and Machine Intelligence 1986; 8(6): 679-698. DOI: 10.1109/TPAMI. 1986.4767851.
[21] Elder JH, Zucker SW. Local scale control for edge detection and blur estimation. IEEE Transactions on Pattern Analysis and Machine Intelligence 1998; 20(7): 699-716. DOI: 10.1109/34.689301.
[22] Martin DR, Fowlkes CC, Malik J. Learning to detect natural image boundaries using local brightness, color, and texture cues. IEEE Transactions on Pattern Analysis and Machine Intelligence 2004; 26(5): 530-549. DOI: 10.1109/TPAMI.2004.1273918.
[23] Sorokin AA, Korolev SP, Urmanov IP, Verkhoturov AL, Makogonov SV, Shestakov NV. Software platform for observation networks instrumental data Far Eastern Branch of the Russian Academy of Sciences // Proc CSEE 2015; 589-594.
[24] Sorokin AA, Korolev SP, Polyakov AN. Development of information technologies for storage of data of instrumental observation networks of the Far Eastern Branch of the Russian Academy of Sciences. Procedia Computer Science 2015; 66; 584-591. DOI: 10.1016/j.procs.2015.11.066.
Author's information
Alexandr Nikolaevich Kamaev, Candidate of Technical Sciences, researcher of the Computing Center FEB RAS, Laboratory of Numerical Methods in Mathematical Physics, Khabarovsk, Russia. E-mail: kamaev [email protected] .
Igor Pavlovich Urmanov, engineer of the Computing Center FEB RAS, Laboratory of Information and Telecommunication Systems, Khabarovsk, Russia. E-mail: [email protected] .
Aleksei Anatolyevich Sorokin, Candidate of Technical Sciences, Head of the Laboratory of Information and Telecommunication Systems of the Computing Center FEB RAS, Khabarovsk, Russia. E-mail: [email protected] .
Dmitry Alexandrovich Karmanov, engineer of the Computing Center FEB RAS, Laboratory of Information and Telecommunication Systems, Khabarovsk, Russia. E-mail: [email protected] .
Sergey Pavlovich Korolev, researcher of the Computing Center FEB RAS, Laboratory of Information and Telecommunication Systems, Khabarovsk, Russia. E-mail: [email protected] .
Received May 26, 2017. The final version - July 9, 2017.
