CC BY
0
УДК 004.93
DOI: 10.24412/2071-6168-2023-11-15-16
ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ К РЕШЕНИЮ ЗАДАЧИ ПОИСКА ОТРАЖАТЕЛЬНОЙ СИММЕТРИИ ДЛЯ БИНАРНЫХ РАСТРОВЫХ ИЗОБРАЖЕНИЙ
О.С. Середин, Д.В. Ляхов, Н.А. Ломов
В работе предложено использовать машинное обучение по прецедентам на основе свёрточной нейронной сети для решения задачи оценивания меры отражательной симметрии на основе подобия Жаккра. Обучающая выборка представляет собой несколько тысяч бинаризованных изображений, мера симметрии на которых подсчитана на основе процедуры полного перебора возможных осей, пересекающих фигуру. Расширение базы выполнено случайными смещениями и фиксированными отражениями исходных изображений. Подобрана архитектура и параметры нейронной сети, обеспечивающие среднюю абсолютную ошибку на кросс-проверке равную около 0.042.
Ключевые слова: бинарное растровое изображение, отражательная симметрия, мера Жаккара, свёр-точная нейронная сеть.
Введение. Симметрия — важное свойство визуальных объектов, часто используемое в компьютерном зрении и распознавании образов. Когда объект называют симметричным, считают, что существует не равное тождественному преобразование T, не изменяющее объект. Однако, так как в реальной жизни абсолютно симметричные объекты встречаются редко, уместнее говорить о мере симметрии объекта, принимающей значения из диапазона [0,1]. В таком случае объекты, мера которых в точности равна 1, будут абсолютно симметричными, а объекты с мерой, близкой к 1 — квазисимметричными.
В задаче автоматической оценки меры симметрии можно выделить две подзадачи: 1) математическая формализация меры симметрии, которая бы хорошо согласовывалась с интуитивным представлением человека о симметрии; 2) разработка эффективных алгоритмов для вычисления меры симметрии на основе заданной формализации и получение параметров преобразования исходной фигуры (например, отражения или вращения).
Мы будем рассматривать задачу оценки меры симметрии плоской фигуры A . В этом случае одной из общеупотребимых оценок меры симметрии является оценка на основе меры Жаккара:
A n T(A) , A и T(A)
где T (A) — преобразование из множества допустимых преобразований T, заданное набором параметров у из
соответствующего множества Г . Требуется найти преобразование, обеспечивающее максимальное значение меры, которое и будет считаться итоговой мерой симметрии фигуры:
J(A) = J(Ay),у = argmax J(Ay).
уеГ
Таким образом, ключевым пунктом постановки задачи является задание множества допустимых преобразований T и способа их параметризации.
2. Обзор существующих методов. Стоит отметить, что вопрос симметричности и проблема определения симметрии возникает в различных науках, ее осмыслению посвящено много научных статей. Интересным примером может быть работа [1] о симметричности и асимметрии человеческого тела, мозга и связанных с этим психических проявлениях.
В компьютерном зрении в качестве модели представления плоской фигуры может служить как граница фигуры (контур), так и внутренность фигуры, взятая вместе с границей. В работе [2] определение зеркальной симметрии фигур производится на основе параметрического представления контура. Предлагаются несколько вариантов периодического параметрического представления полигонального контура фигуры, сохраняющих информацию о форме. В качестве параметра используется так называемая нормированная длина дуги, т.е. нормированный на величину периметр контура. Далее параметрическое представление раскладывается в ряд Фурье, коэффициенты рядов Фурье разных контуров сравниваются между собой посредством вычисления расстояния между ними. На основе такого метода может вычисляться степень асимметрии фигуры (коэффициенты Фурье двух частей контура одной фигуры).
В статье [3] предложен способ определения зеркальной симметрии фигур на основе вычисления функции поворота контура. В основу положен метод сравнения полигональных фигур, изложенный в Arkin et al. [4], где контур фигуры, длина которого нормируется к единице, описывается при помощи функции поворота. Функция поворота является периодическим параметрическим описанием контура фигуры. Недостатком такого описания является его чувствительность к шумам на границе фигуры, поэтому перед сравнением фигур рекомендуется провести сглаживание их контуров. Приводится метрика различия для двух функций поворота, инвариантная к переносу, повороту и масштабированию фигур. На основе данной метрики определяется мера сходства фигур, при помощи которой можно определить меру симметричности фигуры как максимум меры сходства между ее контуром и тем же контуром, отраженным относительно некоторой прямой — оси симметрии.
В основу метода вычисления зеркальной симметрии, изложенного в [5], положен принцип определения самосходства частей контура фигуры на основе вычисления геодезических расстояний до главных точек. Контур фигуры представляется в виде набора нескольких главных точек (critical points), найденных при помощи метода вычисления дискретной кривой (Discrete Curve Evolution, DCE), описанного в [6]. Полученный контур делят на два примерно равных подконтура, один из которых рассматривают в порядке по часовой стрелке, второй — против. Для каждой главной точки вычисляют вектор геодезических (внутренних по фигуре) расстояний (идея взята в [7]) от нее до каждой из точек контура. Далее вычисляют матрицу расстояний между векторами, принадлежащими двум под-
J (Ay)
контурам, и по матрице находят оптимальное выравнивание подконтуров и меру их различия. Для уточнения результата поиска наиболее похожих подконтуров всю процедуру проделывают несколько раз с разным количеством главных точек.
Внутреннее расстояние для нахождения оси симметрии также используется в работе [8], где на его основе рассчитывается распределение электрических зарядов на форме (Electrical Charge Distribution on the Shape — ECDS). Так как ECDS инвариантен к изометрическому преобразованию, то данный метод способен определять внешнюю и внутреннюю симметрию. Затем проблема обнаружения зеркальной симметрии в пространстве фигуры преобразуется в проблему обнаружения горизонтальных линий (т. е. строк со всеми нулями) в локальной матрице сходства, которая формируется из разницы между соответствующими электрическими зарядами фигуры относительно всех потенциальных осей симметрии. Горизонтальные линии различной длины в матрице сходства показывают глобальную и локальную симметрию частей исследуемой фигуры.
В работе [9] для определения симметрии вводятся инварианты отражения и определяются направленные моменты (Directional Moments — DM). Обнаружение симметрии отражения может быть сделано путем решения тригонометрической системы, полученной из DM, а также путем применения инвариантов отражения в 2D и 3D. Если ни один из инвариантов отражения не равен нулю, то симметрии нет. Проведенные в данной работе эксперименты в 2D и 3D показывают, что все линии или плоскости отражения могут быть детерминированно найдены с использованием DM до шестого порядка. Однако приведенные в работе инварианты отражения не применимы к реальным изображениям.
Известны разработанные методы определения параметров симметрии на основе преобразования Хафа — как для отражательной [10], в том числе при наличии скоса, так и для вращательной [11] симметрии. Среди недостатков данных методов можно выделить отсутствие явного количественного выражения меры симметрии, которое теоретически можно получить путём анализа аккумулятора Хафа. Также методы требуют ощутимых вычислительных затрат, к примеру, при поиске оси отражательной симметрии подход требует рассмотрения всех четверок точек границы, складывающихся в трапеции. В работе [12] был разработан метод определения параметров симметрии со скосом на основе invariant signatures — описания границы через кривизну и длину дуги, инвариантного к неевклидовым преобразованиям. Л.М. Местецкий и А.В. Журавская предложили метод [13] определения оси симметрии, основанный на преобразовании Фурье точек контура фигуры. Несомненным достоинством метода является его высокая вычислительная эффективность, однако практика показывает, что сам предложенный критерий не всегда служит адекватной оценкой меры симметрии, особенно при наличии шумовых участков границы большой длины.
В работе [14] предложен подход к определению отражательной симметрии на основе метода проекций, сводящийся к анализу преобразования Радона фигуры, при котором вычисляются соответствующие проекции. В основе метода лежит идея, что при отражении фигуры относительно прямой отражается её проекция на перпендикулярную прямую. Для оценки меры симметрии используется критерий %-квадрат соответствия отражённой проекции исходной. Хотя такой метод способен очень быстро обрабатывать входные изображения с фигурами, близкими к идеально симметричным, находя для них «правильную» ось симметрии, результаты для недостаточно симметричных фигур (например, симметричных фигур с исключенной или добавленной частью) часто оказываются далеки от ожидаемых. Это можно объяснить тем, что работа исключительно с проекциями приводит к игнорированию значительной части информации о форме фигуры.
Отдельное направление исследования симметрии плоских фигур связано с анализом их скелетов [15], состоящих из точек, равноудалённых от двух и более участков границы фигуры. Таким образом, рёбра скелета, представленного в виде геометрического графа, можно рассматривать как локальные криволинейные оси симметрии. В работе [16] разработали алгоритм поиска наилучшей оси симметрии, основанный на наложении скелета фигуры и его отражения, представленных как цепочки скелетных примитивов. Цепочка, совпадающая сама с собой при оптимальном наложении, определяет начальную ось симметрии, которая затем уточняется путём её варьирования в границах, определённых геометрическими критериями - отклонением длин двух частей, на которые граница разбивается осью, от полупериметра фигуры и отклонением самой оси от центра масс фигуры [17]. Несмотря на то, что в большинстве случаев алгоритм приводит к обнаружению оптимальной оси симметрии, он по большому счёту является эвристическим и не подкреплён строгим теоретическим обоснованием, а также требует настройки ряда параметров. Сравнение методов отражательной симметрии на основе контурных [13] и скелетных методов [16,17] выполнено в работе [18].
Схема метода, предложенного в [19], такова: во-первых, вычисляется скелет входной 2D-формы и отбирается ряд эквидистантных точек от границы формы. Затем для описания двумерной формы строится Ш-функция. Эта функция называется функцией пограничного скелета (Boundary-Skeleton Function — BSF); он определяется как минимальные внутренние расстояния между граничными точками выборки и скелетом. Поскольку внутренние расстояния являются внутренними свойствами формы, BSF является изометрическим инвариантом и устойчива к граничному шуму. Затем вычисляются локальные экстремумы BSF, они разбивают функцию на ряд изогнутых сегментов. Каждый сегмент характеризуется вектором признаков, который фиксирует локальные особенности BSF. Наконец, зеркальная симметрия определяется при согласовании кривых сегментов функции. Однако экспериментальное исследование в работе бьшо сделано на небольшом количестве простых искусственных фигур; неясно, как метод работает на естественных квазисимметричных объектах с перекрытиями, выступами и т. д.
Поскольку поиск меры симметрии (1) представляет собой решение задачи оптимизации некоторой эмпирической функции заданной значениями меры Жаккара для соответствующих аргументов, и эта функция не обладает «хорошими» свойствами (выпуклость, унимодальность, гладкость с точки зрения ограничений на значения в соседних отсчетах дискретной сетки) в работе [20] предлагается и исследуется использование генетических алгоритмов для поиска максимума функции симметрии. Оптимизация проводится не на всей области поиска, а путем уточнения начального решения. Исследована эффективность различных операторов отбора и кроссовера: в частности, наиболее эффективным показал себя пропорциональный отбор и равномерный и двухточечный кроссовер.
В итоге можно выделить основные распространённые недостатки методов, разработанных до 2020-го года: отсутствие гарантии того, что в результате их работы будет найден глобальный оптимум, неспособность адекватно оценить параметры симметрии квазисимметричных объектов и вычислительную трудоёмкость, особенно в том случае, когда допустимы скосы. Впрочем, наиболее современные работы практически нивелируют эти недостатки,
так в [21,22] предлагается подход к поиску глобального оптимума на сетке с помощью вычисления верхних оценок на меру Жаккара через преобразование Радона. Рассмотрены различные приёмы снижения временных затрат при вычислении меры Жаккара для заданной прямой. Анализируются различные стратегии перебора возможных осей симметрии, а также выбора начального приближения. Эксперименты показывают, что мера Жаккара, соответствующая оптимальной оси, найденной предложенным методом, не уступает результату полного перебора по осям, проходящим через точки контура объекта, с учётом скидки на погрешность вычислений, вызванную растеризацией. По скорости предложенный метод существенно превосходит разработанные ранее способы ограничения полного перебора.
3. Применение нейронных сетей к решению задачи поиска отражательной симметрии для бинарных растровых изображений. Практически на всех конференциях, на котором нами докладываются научные результаты и описываются разработанные нами методы поиска симметрии бинарных растровых изображений задаются вопросы и делаются предложения об использовании многослойных искусственных нейронных сетей (ИНС, глубокое обучение) для решения поставленной задачи. Однако, насколько нам известно, при всей популярности подходов на основе глубокого обучения, попыток использовать нейронные сети для оценки меры симметрии на бинарных растровых изображениях до сих пор не предпринималось.
В рамках настоящей статьи мы начали устранять этот пробел и планируем цикл работ, в частности, в начале мы исследуем возможность оценивания непосредственно степени симметричности фигуры, выражающейся в виде максимальной меры Жаккара между фигурой и её отражением относительно прямой. В новой постановке мы фактически переводим задачу из класса алгоритмических в область машинного обучения по прецедентам.
Мы будем следовать сложившемуся и ставшему уже вполне стандартным подходу к современному анализу изображений с использованием ИНС:
1. Выбор корпуса изображений;
2. Экспертная разметка изображений;
3. Аугментация данных;
4. Выбор функции потерь, архитектуры свёрточной нейронной сети;
5. Проведение экспериментов с целью подбора параметров ИНС;
6. Статистическая оценка качества результатов.
4. Выбор корпуса изображений. В качестве корпуса данных для обучения ИНС и проведения экспериментов мы использовали две базы данных. Первая - это широко известная база листьев растений [23]. База содержит 1907 изображений размером 800 на 600 пикселей, см. примеры изображений разных классов на рисунке 1 вверху. Бинаризованные изображения доступны для скачивания по адресу http://lda.tsu.tula.ru/papers/flavia.zip. Вторая база данных - база MPEG-7 CE Shape-1 Part B [24] содержит 1401 изображение, см. примеры на рисунке 1 внизу.
5. Экспертная разметка изображений. В качестве оценки степени симметричности каждого изображения мы используем процедуру полного перебора прямых, проходящих через все пары точек контура фигура, с построением отраженной копии фигуры и вычисления меры Жаккара (1). Процедура отражения фигуры относительно линии детально описана в работах [18,20,22]. Следует отметить, что поиск меры симметрии полным перебором всех возможных прямых, проходящих через пары точек на контуре фигуры является весьма вычислительно затратной процедурой, однако в отличие от быстрых приближенных методов [21,22] она обеспечивает эталонный результат. Набор полученных эталонных мер симметричности оформлен и зарегистрирован нами как база данных [25] и могут быть свободно использованы исследователями.
3
s — • * т
10 и ^^^
16 ^^^^ ^^^^^
1? ^^^ 4444,4 чх
;,х>— м ^^^^ ^^^^
26 ^^^^ ^^^^^
*tr
Рис. 1. Примеры изображений 32 классов листьев из базы FLA VIA (вверху) и из базы MPEG-7 СЕ Shape-1
Part B (внизу) 17
Впрочем, забегая несколько вперед, оказалось, что обеспечить обработку изображений такого размера с помощью ИНС оказалось невозможным и нам пришлось создать базу уменьшенных изображений. С учетом имеющихся вычислительных мощностей был выбран уменьшающий коэффициент равный четырем, т.е. мы в дальнейшей статье приводим результаты для изображений размером 200 на 150 пикселей. Для изображений такого размера также были получены эталонные меры симметричности.
Аугментация проводилась путем добавления в базу отраженных и сдвинутых копий изображений. Для каждого исходного изображения производилась операция сдвига по осям на случайное значение из небольшого диапазона, так чтобы фигура не выходила за пределы изображения - на практике сдвиги лежали в диапазоне в десятки пикселей. Такая процедура повторялась четыре раза и далее для каждого сдвинутого изображения выполнялась операция отражения относительно горизонтальной и вертикальной и обеих осей. Таким образом одно исходное изображение продуцировало 19 «новых» изображений. Операции сдвига и отражения относительно осей не изменяет пиксельную форму и площадь фигуры и, соответственно, новые изображения обладают мерой симметрии, совпадающей с мерой исходного изображения, нет необходимости в дополнительных расчетах. Таким образом база с аугментиро-ванными изображениями включала в себя 66 160 изображений. Максимальная мера симметрии равна 1.0, минимальная 0.22555, примеры изображений приведены на рис.2.
Рис. 2. Изображения из размеченной выборки с высоким (более 0.98, вверху) и низким (менее 0.35, внизу) значениями меры симметричности. Синим показано исходное изображение, красным его отражение относительно оптимальной оси, черным пересечение исходного и отраженного изображений
6. Выбор функции потерь, архитектуры свёрточной нейронной сети. Как было сказано ранее, каждое изображение в корпусе наделяется меткой - действительнозначным числом из интервала [ 0..1], что очевидно приводит к классу задач по восстановлению регрессионных зависимостей.
В качестве функции потерь мы выбрали среднекадратичную ошибку MSE, однако контроль значений производили на основе средней абсолютной величин отклонений MAE. Такая метрика более привычна с точки зрения ее восприятия человеком.
Мы использовали следующую архитектуру сверточной нейронной сети.
1. Свёрточный слой для двумерных данных (32 фильтра с функцией активации Relu, без добавления рамки на границах изображения (пэддинг, padding), размер ядра свертки 3 на 3);
2. Слой субдискретизации (пулинга) MaxPooling для двумерных данных (окно просмотра размера 2 на 2, с шагом перемещения равным окну просмотра, без пэддинга);
3. Свёрточный слой для двумерных данных (64 фильтра с функцией активации Relu, без пэддинга);
4. Слой пулинга MaxPooling для двумерных данных (окно просмотра размера 2 на 2, с шагом перемещения равным окну просмотра, без пэддинга);
5. Свёрточный слой для двумерных данных (128 фильтров с функцией активации Relu, без пэддинга);
6. Слой пулинга MaxPooling для двумерных данных (окно просмотра размера 2 на 2, с шагом перемещения равным окну просмотра без пэддинга);
7. Слой преобразования многомерных данных в одномерные (Flatten);
8. Полносвязный слой (16 нейронов с функцией активацией Relu);
9. Полносвязный слой (1 нейрон с функцией активации SoftSign).
Для 1, 3, 5, 8 и 9 слоев используется инициализация весов Ксавье для исключения стохастического результата обучения сети при нескольких запусках.
В ходе многочисленных экспериментов мы установили, что наилучший результат обучения достигается при использовании функции активации Softsign на последнем полносвязном слое:
У = 'л Л 1 + x
7. Проведение экспериментов с целью подбора параметров ИНС. Обучение ИНС проводилось на видеокарте Nvidia Tesla A100 40G, Мы определили размер одного субнабора данных для стохастического градиента (мини-батча) равным 150. В качестве оптимизатора мы выбрали Adam [26], так как он является одним и наиболее эффективных алгоритмов при обучении нейронных сетей. Так же при обучении мы сохраняем веса с той эпохи, в которой была достигнута наименьшая среднеквадратичная ошибка (MSE) на тренировочных данных, и затем используем сохраненные веса для проверки на тестовых данных.
x
В наших экспериментах число эпох было достаточно большим - 1200, из графиков на рисунке 3 видно, что среднее абсолютное отклонение MAE на валидационной выборке стабилизировалась к 200 эпохе. Для обучающей выборки среднее абсолютное отклонение MAE составило 0.00198, максимальное отклонение MaxErr = 0.04966. Для валидационной выборки эти показатели были равны соответственно MAE=0.04675, MaxErr=0.50031.
Кривые подгонки значений симметричности, предсказанных ИНС для обучающей и валидационной выборок изображений, показаны на рис 4 и 5, сортировка произведена по эталонной мере симметричности, показаны значения только для исходных изображений (аугментированные данные исключены при построении графиков).
0.07 - МАЕ on Training
— МАЕ on Validation
0.06'
0.05
0.04' i»-"—
0.03
0.02 ■
0.01 .....
0.00-
О 200 400 600 300 1000 1200
Рис. 3. Кривая значений среднего абсолютного отклонения МАЕ по эпохам для обучающей
и валидационной выборок
1
Рис. 4. Кривая подгонки значений симметричности (синий) предсказанных ИНС для обучающей выборки изображений, на нижнем рисунке показаны первые 160 значений. Сортировка выполнена по эталонной мере
симметричности (оранжевый цвет)
Рис. 5. Кривая подгонки значений симметричности (синий) предсказанных ИНС для валидационной выборки изображений, отсортированных по эталонной мере симметричности (оранжевый цвет)
Статистическая оценка качества результатов проводилась с использованием процедуры кросс-проверки. Выполнялось случайное разделение набора данных на 25 равных подвыборок с последовательным переобучением на корпусе, состоящем из 24/25 массива данных и тестированием 1/25, т.е., применялась стандартная процедура 25-fold cross validation. Осуществлялся контроль, чтобы в процессе эксперимента аугментированные копии изображения не переносились между подвыборками (обучение/тест). Результат кросс-проверки как среднее абсолютное отклонение составил 0.04215, максимальное отклонение, которое было получено 0.55229. На рис. 6 приведен график, отсортированных по эталонному значению симметричности результатов предсказанных значений во время кросс-проверки.
Следует отметить, что использование аугментации привело к незначительному снижению качества при проведении процедуры кросс-проверки, так для данных без аугментации среднее абсолютное отклонение для тестовой выборки составило MAE= 0.044836.
-»•••9111г1>13>1111*||||(11111(111>1113>>1|111||Н||<11|>!1и!!11111111!!1Н1!1111Н1И11111И11Н1111П!11|Н111Н11и1Н11111Ии11111Н Рис. 6. Кривая подгонки значений симметричности (синий) предсказанных ИНС при процедуре кросс проверки, сортировка выполнена по эталонной мере симметричности (оранжевый)
Время поиска меры симметрии для одного изображения размером 200 на 150 составило в среднем 0.3 мс.
Заключение. В работе предложено использовать машинное обучение по прецедентам на основе сверточ-ной нейронной сети для решения задачи оценивания меры отражательной симметрии. В качестве меры использовалось максимальное подобие Жаккара между исходной фигурой и отраженной относительно некоторой оси. Обучающая выборка представляет собой несколько тысяч бинаризованных изображений, мера симметрии на которых подсчитана на основе процедуры полного перебора возможных осей, пересекающих фигуру. Расширение базы выполнено случайными смещениями и фиксированными отражениями исходных изображений. Подобрана архитектура и параметры нейронной сети, обеспечивающие среднее абсолютную ошибку на кросс-проверке равную около 0.042.
Дальнейшее исследование связаны с повышением точности и решением задачи о нахождении непосредственно оси симметрии. Остаётся открытым вопрос об использовании ассиметричной функции потерь, существенно сильнее штрафующей превышение предсказанного значения над эталонным.
Работа выполнена при поддержке Российского научного фонда, грант №22-21-00575 https://rscf.ru/project/22-21-00575/.
Список литературы
1. M. C. Corballis, "Bilaterally Symmetrical: To Be or Not to Be?", Symmetry, vol. 12, no. 3, paper 326, 2020.
2. P. J. Van Otterloo, A contour-oriented approach to shape analysis. Prentice Hall International (UK) Ltd.,
GBR, 1991.
3. S. Sheynin, A. Tuzikov, and D. Volgin, "Computation of Symmetry Measures for Polygonal Shapes," in Computer Analysis of Images and Patterns, Proceedings of 8th International Conference, F. Solina and A. Leonardis, Eds. Springer, 1999, pp. 183-190.
4. E. M. Arkin, L. P. Chew, D. P. Huttenlocher, K. Kedem, and J. S. B. Mitchell, "An Efficiently Computable Metric for Comparing Polygonal Shapes," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 13, no. 3, pp. 209-216, 1991.
5. X. Yang, N. Adluru, L. J. Latecki, X. Bai, and Z. Pizlo, "Symmetry of Shapes Via Self-similarity," in Advances in Visual Computing (ISVC), Proceedings of 4th International Symposium, Part II, G. Bebis, R. D. Boyle, B. Parvin, D. Koracin, P. Remagnino F. M. Porikli, J. Peters, J. T. Klosowski, L. L. Arns, Y. K. Chun, T.-M. Rhyne, L. Monroe, Eds. Springer, 2008, pp. 561-570.
6. L. J. Latecki and R. Lakamper, "Convexity Rule for Shape Decomposition Based on Discrete Contour Evolution," Computer Vision and Image Understanding, vol. 73, no. 3, pp. 441-454, 1999.
7. H. Ling and D. W. Jacobs, "Shape classification using the inner-distance," IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 29, no. 2, pp. 286-299, 2007.
8. Z. Li, "Robust Symmetry Detection for 2D Shapes Based on Electrical Charge Distribution," Journal of Information and Computational Science, vol. 11, pp. 2887-2894, 2014.
9. E. Li and H. Li, "Reflection Invariant and Symmetry Detection", arXiv preprint, arXiv:1705.10768, 2017.
10. R. K. K. Yip, "A Hough transform technique for the detection of reflectional symmetry and skew-symmetry," Pattern Recognition Letters, vol. 21, no. 2, pp. 117-130, 2000.
11. R. K. K. Yip, "A Hough transform technique for the detection of parallel projected rotational symmetry," Pattern Recognition Letters, vol. 20, no. 10, pp. 991-1004, 1991.
12. A. Bruckstein and D. Snaked, "Skew symmetry detection via invariant signatures," Pattern Recognition, vol. 31, no. 2, pp. 181-192, 2008.
13. L. Mestetskiy and A. Zhuravskaya, "Method for Assessing the Symmetry of Objects on Digital Binary Images Based on Fourier Descriptor," ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-2/W12, pp. 143-148, 2019.
14. T. P. Nguyen, "Projection based approach for reflection symmetry detection," ICIP 2019: Proceeding of IEEE International Conference on Image Processing, pp. 4235-4239, 2019.
15. L. Mestetskiy and A. Semenov, "Binary image skeleton - continuous approach," in VISAPP 2008: Proceedings of the Third International Conference on Computer Vision Theory and Applications, A. Ranchordas and H. Araujo, Eds., INSTICC, pp. 251-258, 2008.
16. O. Kushnir, S. Fedotova, O. Seredin, and A. Karkishchenko, "Reflection symmetry of shapes based on skeleton primitive chains," Analysis of Images, Social Networks and Texts (AIST 2016), Proceedings; Communications in Computer and Information Science, vol. 661, Springer, Cham, pp. 293-304, 2016.
17. O. Kushnir, O. Seredin, and S. Fedotova, "Algorithms for Adjustment of Symmetry Axis Found for 2D Shapes by the Skeleton Comparison Method," ISPRS — International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, XLII-2/W12, pp. 129-139, 2019.
18. Seredin, O. S. Comparative analysis of reflection symmetry detection methods in binary raster images with skeletal and contour representations / O. S. Seredin, O. A. Kushnir, S. A. Fedotova // Computer Optics. - 2022. - Vol. 46, No. 6. - P. 921-928. - DOI 10.18287/2412-6179-CO-1115.
19. D. Niu, C. Zhang, W. Li, Y. Zhou, "A Novel Approach for Detecting Symmetries in Two-dimensional Shapes," Journal of Information & Computational Science, vol. 12, no 10, pp. 3915-3925, 2015.
20. Применение генетического алгоритма для поиска зеркальной симметрии бинарных растровых изображений / О. С. Середин, Д. А. Орлов, Н. А. Ломов [и др.] // Известия Тульского государственного университета. Технические науки. - 2022. - № 10. - С. 292-305. - DOI 10.24412/2071-6168-2022-10-292-305. - EDN MBZZIE.
21. Определение оптимальной оси отражательной симметрии с точки зрения меры Жаккара методом проекций / Н. А. Ломов, О. С. Середин, О. А. Кушнир, Д. В. Ляхов // Труды Международной конференции по компьютерной графике и зрению «Графикон». - 2022. - № 32. - С. 715-727. - DOI 10.20948/graphicon-2022-715-727. - EDN HAUULG.
22. Lomov, N., Seredin, O., & Kushnir, O. (2022, September). Detection of the Optimal Reflection Symmetry Axis with the Jaccard Index and the Radon Transform. In 2022 International Russian Automation Conference (RusAutoCon) (pp. 489-498). IEEE.
23. S. G. Wu, F. S. Bao, E. Y. Xu, Y. X. Wang, Y. F. Chang, and Q. L. Xiang, "A leaf recognition algorithm for plant classification using probabilistic neural network,", 2007 IEEE International Symposium on Signal Processing and Information Technology, pp. 11-16, 2007.
24. L. J. Latecki, R. Lakamper Shape similarity measure based on correspondence of visual parts //IEEE Transactions on Pattern Analysis and Machine Intelligence. - Т. 22. - №. 10. - p. 1185-1190, (2000).
25. Свидетельство о государственной регистрации базы данных. База данных эталонных параметров отражательной и центральной симметрии для набора бинарных растровых изображений: заявл. октябрь 2023 : опубл. ноябрь 2023 / О.С. Середин, Н.А. Ломов, Д.В. Ляхов, О.А. Кушнир.
26. Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.
Середин Олег Сергеевич, канд. физ.-мат. наук, доцент, в.н.с., [email protected], Россия, Тула, Тульский государственный университет,
Ляхов Даниил Викторович, студент, [email protected], Россия, Тула, Тульский государственный университет,
Ломов Никита Александрович, канд. физ.-мат. наук, старший научный сотрудник, [email protected], Россия, Тула, Тульский государственный университет
APPLICATION OF NEURAL NETWORKS TO SOLVING THE PROBLEM OF FINDING REFLECTIVE SYMMETRY FOR
BINARY RASTER IMAGES
O.S. Seredin, D.V. Liakhov, N.A. Lomov
The paper proposes to use machine learning based on use cases based on a convolutional neural network to solve the problem of estimating a measure of reflective symmetry based on the Jaccard similarity. The training sample consists of several thousand binarized images, the measure of symmetry on which is calculated based on the procedure of a complete search ofpossible axes intersecting the figure. The base augmentation is performed by random offsets and fixed reflections of the original images. The architecture and parameters of the neural network have been selected, providing a mean absolute error on cross-validation equal to about 0.042.
Key words: binary raster images, reflection symmetry, Jaccard measure, convolutional neural network
Seredin Oleg Sergeevich, candidate of physics and mathematical science, docent, leading researcher, [email protected], Russia, Tula, Tula State University.
Liakhov Daniil Viktorovich, student, [email protected], Russia, Tula, Tula State University.
Lomov Nikita Alexandrovich, candidate of physics and mathematical science, senior researcher, [email protected], Russia, Tula, Tula State University
УДК 343.148.63
DOI: 10.24412/2071-6168-2023-11-22-23
ОБЗОР МЕТОДОВ РЕКОНСТРУКЦИИ ДТП И ИХ ОГРАНИЧЕНИЙ С ТОЧКИ ЗРЕНИЯ НАЦИОНАЛЬНОЙ ПРАВОВОЙ БАЗЫ
В.А. Жулай, Е.А. Тарасов, Е.В. Тарасова, А.В.Ульянов
Дорожно-транспортные происшествия являются основной проблемой с точки зрения общественной безопасности в России и во многих других странах мира. Специалисты по реконструкции стремятся облегчить свою работу и предложить максимально точные результаты, используя различные методы реконструкции, от численного моделирования до программного моделирования столкновений, в которых участвуют транспортные средства. В зависимости от условий дорожно-транспортного происшествия может быть использовано несколько методик при надлежащей валидации. Однако национальные правовые рамки могут рассматриваться как препятствия для использования большого разнообразия методов реконструкции. Следовательно, эта область исследований должна быть дополнительно развита, чтобы расширить выбор экспертов, особенно в контексте стремительного развития автомобильной промышленности.
Ключевые слова: ДТП, расследование дорожно-транспортных происшествий, механизм ДТП, реконструкция ДТП.
Цель настоящей статьи - предложить обзор методов реконструкции дорожно-транспортных происшествий, основанных на методологиях, которые считаются действительными на данный момент в соответствии со специальной литературой. Кроме того, эти методы реконструкции затем анализируются с юридической точки зрения, с точки зрения общего использования в Российской Федерации, по сравнению с другими странами. В этой связи также важно иметь представление об общих цифрах, когда речь заходит о смертельных исходах в дорожно-транспортных происшествиях, что подчеркивает необходимость альтернативных методов реконструкции аварий.
Дорожно-транспортные происшествия по-прежнему являются причиной большого числа смертельных исходов в Российской Федерации. Самые последние данные показывают, что, например, 2020 год - это первый год со снижением уровня смертности на миллион жителей на 11% по сравнению с 2014 годом.
Однако это также может быть прямым результатом карантина на национальном уровне из-за вспышки пандемии СОУГО-19, когда поездки бьши ограничены неотложными потребностями, а не в результате улучшения инфраструктуры или кампаний по повышению осведомленности в рамках государственной политики, продвигаемой на национальном уровне. Та же тенденция относительно 2020 года наблюдается и на европейском уровне: в среднем снижение составило 17%, в то время как, напротив, предварительные данные в Соединенных Штатах показывают, что число смертей в результате дорожно-транспортных происшествий увеличилось во время пандемии.
Динамика смертности в результате дорожно-транспортных происшествий в Российской Федерации показывает, что даже при наличии нисходящей тенденции целевые показатели РФ на 2020 год не были достигнуты. Также из-за ситуации с пандемией многие города сделали выбор в пользу расширения возможностей зеленой мобильности и избегания переполненных транспортных средств, таким образом, число пользователей велосипедов на ежедневной основе увеличилось. Однако также известно, что около 70% дорожно-транспортных происшествий со смертельным исходом происходят с участием пешеходов, мотоциклистов и велосипедистов как уязвимых участников дорожного движения. В этой связи существует явный призыв к продвижению политики в области безопасности дорожного
22
