CC BY
1
УДК 556
Doi: 10.31772/2712-8970-2023-24-4-639-651
Для цитирования: Гончаров А. Е., Гончарова Е. А. Интерпретация и обработка данных гидролокатора бокового обзора с целью автоматизации данного процесса // Сибирский аэрокосмический журнал. 2023. Т. 24, № 4. С. 639-651. Doi: 10.31772/2712-8970-2023-24-4-639-651.
For citation: Goncharov A. E., Goncharova E. А. [Interpreting and processing side-scan sonar data with the objective of further automation]. Siberian Aerospace Journal. 2023, Vol. 24, No. 4, P. 639-651. Doi: 10.31772/2712-89702023-24-4-639-651.
Интерпретация и обработка данных гидролокатора бокового обзора
с целью автоматизации данного процесса
*
А. Е. Гончаров , Е. А. Гончарова
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский Рабочий», 31
*E-mail: goncharovae@sibsau.ru
Одним из наиболее эффективных средств дистанционного зондирования и визуализации подводных объектов являются гидроакустические приборы, в частности гидролокатор бокового обзора (ГБО). В последнее время, во многом, благодаря появлению доступных бюджетных образцов, география и сфера применения данного прибора существенно расширилась. Однако, несмотря на достигнутые успехи в части совершенствования и минимизации аппаратной части ГБО, используемые программные средства остаются, в целом, на базовом уровне, обеспечивая, главным образом, простую визуализацию донной среды и ее запись с целью дальнейшей постобработки. Опыт эксплуатации ГБО показывает, что основная проблема интерпретации акустических изображений заключается в самих физических особенностях их получения. Следует признать бесперспективными попытки осуществления автоматизированной интерпретации образов методами, применяемыми для оптических сред. В настоящей работе рассматриваются теоретические и прикладные аспекты процесса интерпритации и обработки данных ГБО с целью дальнейшей автоматизации данного процесса. С учетом условий эксплуатации данного прибора, в частности обширные площади акваторий - поисковых зон, настоящая проблема является одной из ключевых для операторов ГБО. Проблема автоматизации обработки данных напрямую связана с проблемой интерпретации данных дистанционного зондирования, в том числе космоснимков, геометрического искажения образов, вызванного физическими особенностями прибора и среды его эксплуатации, а также привязки полученных данных к системе спутниковых координат.
Ключевые слова: гидролокатор бокового обзора, автоматизация, распознавание образов, спутниковые системы позиционирования, геометрическое искажение.
Interpreting and processing side-scan sonar data
with the objective of further automation
*
A. E. Goncharov , E. А. Goncharova
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii Rabochii prospekt, Krasnoyarsk, 660037, Russian Federation *E-mail: goncharovae@sibsau.ru
One of the most effective tools of remote sensing and visualization of underwater surfaces and objects are acoustic devices, in particular side-scan sonars (SSS). Recently, largely due to the emergence of affordable devices, the geography and scope of application of this device has been significantly expanded. Meanwhile, despite certain progress achieved in terms of improving and minimizing the SSS hardware, the software used remains, in general, at a basic level, providing the operator mainly with a simple tool for visualizing benthic environments and data recording for further post-processing. Existing experience in SSS exploitation reveals that the key issue of interpreting acoustic images lies in the physical essence of their acquisition. Arguably, attempts to implement methods of automated interpretation of optical images have no perspective. Hence, the objective of this paper is to provide a theoretical and practical background of SSS data interpretation and processing. A layout for the potential automation of this process is provided with the objective of eliminating human operation in the process of conducting survey and search operations. The authors consider the conditions of SSS exploitation including special attention to such issues as the vastness of search areas, which, as argued is the key problem of data and data pattern recognition. SSS image recognition is an issue relevant for a wide range of academic topics such as geometric distortion, image recognition, and navigation satellite system target localization.
Keywords: side-scan sonar, automation, image recognition, patterns, satellite target localization, geometric distortion.
Введение
Гидролокатор бокового обзора (ГБО) является эффективным средством подводного дистанционного зондирования, обеспечивающего высокую степень визуализации донной поверхности различного типа водоемов, существенно превосходя оптические средства. Данный прибор используется для проведения широкого спектра гидрологических исследований, от геоморфологических до археологических, а также для выполнения прикладных задач в области гидрографии, гидротехнического проектирования и строительства, поиска и фиксации подводных объектов. Развитие ГБО технологий и производство компактных и в то же время бюджетных образцов существенно расширило его эксплуатационные характеристики в части увеличения количества пользователей и расширения условий его применения. Миниатюризация ГБО позволила включать его в качестве одного из компонентов любительских эхолотов, доступных на рынке рекреационных приборов: они могут успешно использоваться даже одним оператором с борта маломерного судна (вопросу применения данного подвида ГБО посвящены специальные работы [1-4]).
В научной литературе проблеме разработки программного обеспечения (ПО) ГБО систем уделено существенно меньше внимания, чем их аппаратной части. Так, например, фундаментальный труд британского ученого Филлипа Блонделя [5] почти полностью посвящен физическим особенностям работы и применения ГБО. Это объясняется тем, что именно физические параметры аппарата (чем выше частота, тем детальнее визуализация) отвечают за качество данных. Кроме того, для правильной интерпретации изображений необходимо учитывать особенности распространения звуковых волн в воде, отражающие способности донных объектов и другие явления гидроакустики. Так, тренированный оператор знает, например, что темные участки изображения представляют собой более мягкие, дисперсные поверхности, а светлые - наоборот твердые и плотные, дающие более сильный отражающий сигнал. Таким образом, пользователи аппаратуры зачастую сосредоточены на совершенствовании аппаратной части ГБО, а не его ПО. Следует отметить, что установленное по умолчанию ПО вполне отвечает требованиям основной массы пользователей данного прибора: поиск объектов и изучение местности ведутся главным образом in situ, что вполне допустимо при небольших акваториях. Проприетарные программы (Scanline Starfish, Reefmaster, Humminbird и др.) вполне удовлетворяют пользователя возможностями просмотра изображений в реальном времени, записи, а также встроенными функциями постобработки.
При этом следует указать на отсутствие на рынке эффективного и доступного ПО, позволяющего осуществлять автоматизированное определение обнаруженных подводных объектов,
осуществлять их классификацию и каталогизацию, а также в автоматизированном режиме проводить расчет телеметрических данных, поступающих с прибора. Решению этих вопросов уделено внимание настоящей работы.
Проблема визуализации ГБО сонограмм рассмотрена в [2-6], однако в этих работах главное внимание уделено не столько вопросам создания нового ПО, сколько использования существующего. Так, визуализация полевого материала осуществлена по методу, предложенному в [3-5] для сонограмм, полученных рекреационным ГБО.
В силу своих физических особенностей, данные, полученные ГБО, не могут быть разобраны в рамках существующих алгоритмов распознавания образов для оптических изображений. Принцип работы ГБО, как и иных приборов акустической визуализации, заключается в обработке отраженных звуковых лучей от поверхности объектов (рис. 1). Находясь в надире, трансдьюсер изучает тонкий направленный акустический луч в сторону дна водоема, затем принимает отраженное эхо. Блок обработки данных обрабатывает принятый сигнал и выводит его в качестве изображения на монитор оператора. При этом физическая идентичность данного принципа работ с ультразвуковыми медицинскими аппаратами, а также аппаратами неразру-шающего контроля не должны создавать обманчивое впечатление о возможности использования их методов обработки данных в гидроакустике. Это связано, в первую очередь, с совершенно разными условиями эксплуатации данной технологии. Вышеперечисленные приборы используются в непосредственном контакте с изучаемым объектом, в то время как ГБО могут эксплуатироваться в диапазонах от одного метра до несколько тысяч метров. Особенности и характер изучаемых объектов в рамках проведения диагностики относительно известен, в то время как на дне водоемов могут находиться самые разные, порой непредсказуемые, объекты как природного, так и антропогенного происхождения. Наконец, объем данных, генерируемых ГБО, представляет значительные объемы.
Рис. 1. Принцип формирование ГБО изображения и положение трансдьюсера (xf, yy, zf): ф - угол атаки; 9 - угол рыскания. Сост. по [7]
Fig. 1. Principles of SSS image formation. The position of transducer is denoted by (xy, yy, zf): its pitch angle by ф, its yaw angle by 9. Based on [7]
Проблема визуализации данных ГБО
Системы ГБО позволяют получать изображение водной среды путем преобразования значений амплитуды собственного акустического сигнала, отраженного от объектов, в последовательные ряды пикселей, составляющие изображение дна водоема. Таким образом, данная система, измеряя амплитуду сигнала, переводит значения в тон пикселей будущего изображения. Жесткие и плотные объекты отражают больше сигнала гидролокатора, чем мягкие и рыхлые. Следовательно, по тону или цвету пикселя можно строить предположения о залегающем объекте. Существуют и другие факторы, влияющие на тональность пикселей на конечном изо-
X
бражении: характеристики самого водного объекта (состав воды, ее плотность, температура), параметры проведения сканирования - диапазон сканирования (ширина полосы сканирования) и частота испускаемого звукового сигнала, маршрут съемки, скорость движения трансдьюсера и другие источники, возникновение и влияние которых не всегда возможно предвидеть и предотвратить, например, различные скорости водных потоков на поверхности и под водой, тер-моклины, метеорологические условия (осадки, атмосферное давление) и другие факторы. Учитывая, что устойчивость гидросферы зависит от совокупности фиксированных факторов как естественного, так и антропогенного происхождения [8], накопление сведений о состоянии дна водных объектов является важнейшей задачей не только для выработки стратегии хозяйственной эксплуатации водных ресурсов, но и для создания географических информационных систем с использованием ГБО данных. Таким образом, интерпретация человеческим оператором ГБО изображений строится на совокупности знания факторов и их причин, влияющих на работу прибора, персонального опыта, а также параметров и настроек аппаратуры.
Рассмотрим в качестве примера фрагмент обследования нескольких участков реки Енисей в верхнем и нижнем течении (глубины 3-15 м). В ходе работ использовался ГБО Starfish 990F (производитель фирма Tritech), работающий на постоянной частоте 1 МГц и предназначенный для проведения работ на глубинах до 30 м. На рис. 2 отображены подводные объекты, а также характеристики водного пространства.
Sidescan Plotter
■зеркала компонент
Рис. 2. Фрагмент отснятого прохода ГБО (ширина прохода 50 м) района поиска с элементами снимка
Fig. 2. A fragment of the SSS scanline (overall breadth of 50 m) showing the main elements of the image
На изображении отсутствует береговая линия, поскольку проход совершен на расстоянии более 25 м от берега. В левой половине изображения прослеживается четкая геометрическая форма железобетонного гидротехнического сооружения, причем акустический луч проходит через сооружение, толщина которого составляет около 5 м. Изображение четкое и светлое. Это обеспечено равномерностью прохода (галса), а также наличием каменисто-галечного дна, обеспечивающего наиболее сильный возвратный сигнал. На дне хорошо визуализируются крупные валуны, фрагменты строительных материалов. В середине изображения отчетливо видны следы отраженной звуковой волны от зеркала водоема. Данный эффект возникает при двойном отражении сигнала, сперва от дна водоема, затем от зеркала, что обусловлено выбором острых углов атаки сигнала при малых глубинах водоема. По мере увеличения значений глубины на изображении данные теряют четкость. Хотя ГБО не определяет глубину, ее можно рассчитать по
ширине теневой области в центре изображения, отображающую водяной столб под трансдью-сером. Здесь может находиться рыба, плавающий мусор, различные взвеси. Таким образом, можно произвести грубую оценку уровня загрязнения воды крупными частицами. Изменения глубин на всем маршруте съемки значительны - наблюдаются как мелкие участки, глубина которых до 2 м, так и крупные углубления с глубиной более 8 м. По большей части, материал дна однородный, предположительно мелкодисперсный камень. У самого уреза воды каменные образования увеличиваются в размерах.
Исходя из вышесказанного, видно, что при небольшой площади акватории при небольших глубинах (до 10 м), а также при возможности строить правильную равномерную траекторию движения, изображения получаются высококачественные, поддающиеся простой интерпретации, а также не нуждающиеся в автоматизации. Однако, в силу своих физических особенностей, сонограммы ГБО подвержены искажениям в любом случае, будь то искажения интенсивности сигнала ГБО (вызвано отклонениями идеального линейного соотношения между интенсивностью изображения и обратным рассеиванием сигнала) или геометрические искажения (вызваны несоответствиями между относительным расположением свойств на изображении и истинным положением объекта на дне) [7].
Геометрические искажения донных объектов
Одной из ключевых проблем является геометрическое искажение подводных объектов. Изображение с ГБО представляет собой монохромное цифровое изображение с нанесенными на него возвратными акустическими сигналами, отраженными от донных объектов. Для математического описания данного преобразования необходимо ввести трехмерную систему прямоугольных координат (х, у, ¿) донной поверхности и двухмерную прямоугольную координатную систему (т, п) на сонограмме. Основной проблемой формирования изображений является неустойчивость положения трансдьюсера, которой может менять направление движения в различных плоскостях. Изменения скорости движения трасдьюсера, резкое заглубление или всплытие, колебания углов атаки или рыскания приводят к существенным искажениям снимка. Так, на рис. 3 наблюдаются искривления всех объектов в правую сторону изображения, что вызвано резким изменением движения галса трансдьюсера. Антропогенная конструкция по левому борту искажена и прибрела характерную «скрученную» форму.
Рис. 3. Пример геометрических искажений донных объектов Fig. 3. Example of SSS geometric distortion caused by irregularity of vessel movement
Одним из наиболее эффективных способов решения проблемы геометрического искажения является комплекс методов на основе сочетания метода наименьших квадратов (расширенный и рекурсивный идентификатор) и использования эффективного рекурсивного фильтра, например, фильтра Кальмана, представлен в работах [7; 9]. Основной заслугой разработчиков данного подхода является возможность производить автокоррекцию изображений без дополнитель-
ных навигационных или полевых данных. Предложенный метод подходит для изображений с высоким разрешением (частоты 100 КГц и выше), что полностью соответствует нашим примерам. Данный подход не требует навигационной информации и не полагается на коррекцию изображения путем определения наклонной дальности.
Рассмотрим одну из математических моделей геометрических искажений, предложенную в [7]. Представим абсолютное положение точек донной поверхности (х[т, п], у6[т, п]) в качестве функции значений параметров положения трансдьюсера относительно фиксированных координат (х, у, z) (см. рис. 1). В случае если значения измеряемых параметров можно было бы получать непосредственно с датчиков, установленных на трансдьюсере, достаточно было бы их подставить под известный набор уравнений для получения координат донных точек, а затем произвести поправку геометрических искажений для получения правильного изображения. К сожалению, по выше обозначенным причинам, осуществить непосредственную привязку подводных объектов к системе GNSS не представляется возможным. Для оценки изменений в параметрах позиционирования буксируемого трансдьюсера необходимо извлечь из соно-граммы некоторые значения геометрических искажений.
Оценка геометрических искажений изображений требует выдвижения ряда предположений о нем. Базовое предположение, позволяющее получить размер геометрического искажения, заключается в том, что двухмерная функция обратного рассеивания является произвольным процессом с изотропной автокорреляционной функцией. Предположение о постоянстве функции обратного рассеивания может оказаться ошибочным в случае присутствия значительного разнообразия рельефа донной поверхности, его геоморфологии. Однако данная методика вполне может быть применена для коррекции гидроакустических изображений, если предварительно разбить исследуемую поверхность на однородные районы согласно их морфологии. В этом случаем можно предположить определенную степень постоянства. В то же время, предположение об изотропии правомерно в случае отсутствия системного направления донных объектов (направление течение, геология, преобладающее направление волн и др.).
Таким образом, если предположить, что функция обратного рассеивания является постоянной, а функция ее автокорреляции - изотропной, степень геометрического искажения гидроакустического изображения может быть рассчитана путем измерения изменений формы образца автокорреляционной последовательности небольших участков изображения. Оценка локальных геометрических преобразователей может быть выполнена для двух изображений по методу, представленному в [10]. В связи с тем, что исследуемая среда не является изотропической, параметры будут определены на локальном уровне. После выполнения анализа ГБО изображений, происходит автоматическая компенсация скорости сбора данных. Так, фактор скорости (основной фактор искажения) более не нужен для выполнения ходового сканирования. В случае использования данного метода, геометрическое преобразование определенного объекта в шкалярном факторе равно нулю при нулевом значении угла вращения для каждого выявленного объекта.
Корректировки изображения могут быть получены в ходе проведения изысканий. Так, реальное расстояние до донного объекта от трансдьюсера может быть посчитано, используя простую формулу
x = у1 у 2 - И2,
где х - реальное расстояние до объекта; у - расстояние, указанное на изображении с ГБО; И - высота трасдьюсера в надире. Хотя данная проблема более актуальна для буксируемых трансдьюсеров, ее следует учитывать и при эксплуатации фиксированных устройств, поскольку каждая точка сонограммы имеет условную привязку к географической системе координат, рассчитываемых в зависимости от удаленности точки от бортового GNSS приемника.
При обработке сонограмм, область акустической тени может быть удалена посредством программ графической редакции, соединив таким образом видимые зоны по оба борта судна
в одно изображение. При этом ширина тени по одному борту представляет условное расстояние от нижней точки трансдьюсера до дна водоема.
Немаловажным является выбор траектории движения гидрографического судна. Существует несколько типовых способов покрытия заданной акватории, однако для ГБО подходит тип меандр, выполняемый последовательностью взаимообратных параллельных галсов [11].
Результаты коррекции изображений на основе методов, представленных выше, можно увидеть на рис. 4.
Рис. 4. Результаты коррекции изображения с ГБО Fig. 4. Results of corrected SSS image
Построение ГБО мозаики и распознавание акустических изображений
Сонограмма и ее описание не является конечным продуктом гидроакустического исследования. Сонограмма может быть использована как основной источник при составлении карт водных объектов или в качестве дополнительного источника информации в случае исследования конкретного объекта, находящегося в толще воды или залегающего на дне водоема. Пример построения мозаики ГБО для снимков представлен в работах [2-4; 6], однако они выполнены с использованием рекреационных эхолотов, для которых существует коммерческое картографическое ПО. Starfish Scanline не обладает функцией построение трека маршрута, равно как и его дальнейшего нанесение на карту. В [12] нами осуществлялась привязка сонограммы ГБО к космоснимку Landsat-8 (рис. 5). Работа была выполнена в программном пакете Quantum GIS.
Рис. 5. Постоение ГБО мозаики, наложенной на космический снимок Landsat-8 Fig. 5. SSS mosaic transferred to a Landsat-8 satellite image
Сонограмма гидролокатора представляет собой файл с расширением LogDoc - стандартный формат файлов для StarFish, который визуализируется программным обеспечением производителя прибора Starfish Scanline. ПО предлагает несколько способов извлечения данных - непо-
средственно готовая сонограмма и так называемые «сырые данные», представляющие собой таблицу с занесенными в нее параметрами. Мы воспользовались функцией извлечения готовой сонограммы. Таким образом, файл сонограммы был поделен на 43 равномерных фрагмента, представляющих собой детали большой мозаики. Для каждого элемента в таблицу были зафиксированы координаты 15 точек. Это необходимо для проведения процедуры географической привязки каждого элемента, кроме того, этого количества точек достаточно для проведения трансформации отображения сонограмм полиномом второго порядка, что увеличит точность работы. Таким образом, географическая привязка задала данным естественное расположение в пространстве для каждой сонограммы не в виде «прямой линии», а по траектории движения плавсредства со съемочным оборудованием со всеми поворотами на маршруте во время исследовательских работ. По мере географической привязки, элементы один за другим присоединяются друг к другу, составляя единую мозаику.
Проблему при проведении географической привязке составляли так называемые «угловые фрагменты» (фрагменты, находящиеся на участках судна), им уделялось особое внимание. Поскольку не всегда представляется возможным осуществлять съемку прямыми галсами, на снимках видны резкие изгибы, которые могут привести к сильному искажению сонограммы, что, в свою очередь, отрицательно сказывается на четкости изображения и точности привязки. В нашей работе присутствует фрагмент крутого поворота (рис. 6), можно увидеть насколько сильно изменилась форма фрагмента после пространственной привязки и трансформации изображения, также необходимо обратить внимание, что на внешнем углу сонограммы образовался «надрыв» - это отсутствие данных в этом месте вследствие крутого поворота [13].
По окончании составления мозаики, добавляем слой космического снимка с Landsat-8. Объединение снимка и данных гидролокатора позволяет точно определить положение объектов в толще воды и на дне водоема относительно береговой линии и в целом для правильного визуального восприятия (рис. 7).
Рис. 6. Изменение угловой сонограммы после географической привязки и трансформирования полиномом второго порядка
Fig. 6. Correction of angular sonogram after geopositioning and transformation (second degree polynomial)
SCALE 1:2000
Рис. 7. Построенная ГБО мозаика с точечным слоем обнаруженных объектов и явлений Fig. 7. SSS mosaic with point layer showing detected objects and artifacts
Обнаруженные явления и объекты можно поделить на несколько групп. Непосредственно сами объекты, выделяющиеся на фоне относительно ровной поверхности речного дна, относительно которых можно предположить, что они являются обломками древесного характера, так как имеют характерную вытянутую прямоугольную форму, а их объемность определяется за счет падающей тени. Также было замечено, что данные объекты обладают средними значениями отраженного звукового сигнала (20-30 дБ). Вторую группу составляют участки с искажения (в том числе геометрическими) и угасанием отраженного звукового сигнала, что приводит в конечном счете к потере данных. Подобные области необходимо определять за счет знаний координат и местоположений таких «темных пятен» на карте для повторного исследования данной области. Отметим, что данную проблему пока удалось решить только частично из-за существенной погрешности привязки спутниковых координат к сонограмме. На участках, где траектория отклоняется от заданного меандра, происходит геометрическое искажение (растяжение) растрового изображения, что впоследствии влияет на работу по распознаванию объектов. Учитывая расположение этих участков, так же можно будет избежать искажений или минимизировать радиус поворота.
Все выявленные объекты, были представлены на карте (рис. 7) путем создания и наложения нового слоя, хранящего информацию о местонахождении, порядке сонограммы (фрагмент мозаики), а также краткую описательную характеристику. Эти данные находятся в атрибутивной таблице слоя.
Такой способ представления информации позволил обнаружить некоторые характеристики объектов, которые были не так очевидны в первоначальном виде данных ГБО. Так, например, на стыке двух сонограмм был обнаружен объект вертикального залегания, обладающий высокой степенью отражения звука и характерной вытянутой звуковой тенью. Это может свидетельствовать о крупном объекте. Также в окрестностях объекта обнаружены и другие источники высокого отражения, имеющие характерную прямоугольную форму и собственную тень (рис. 8-9).
Рис. 8. Фрагмент построенной ГБО мозаики с обна- Рис. 9. Фрагмент построенной ГБО мозаики с обнаруженным вытянутым вертикально залегающим руженным вытянутым горизонтально залегающим
Проблема автоматизации процесса обработки и интерпретации данных ГБО
Следует отметить, что, несмотря на то что вопрос о создании системы, позволяющей исключить человеческого оператора из процесса обработки данных ГБО, рассматривался целым рядом исследователей, в том числе [5; 14-15], ими были достигнуты весьма скромные результаты. Так, в работе [15] путем построения комплексной нейросети удалось, по мнению авторов, создать систему, позволяющую автоматически идентифицировать валуны (рис. 10).
объектом на стыке мозаики
объектом
Fig. 8. SSS mosaic fragment showing distorted (elongated) object at mosaic join
Fig. 9. SSS mosaic fragment showing horizontal objects distorted by stretching
Рис. 10. Результаты работы системы по автоматизированному распознаванию валунов
(выделенные объекты) [15]
Fig. 10. The results of a system for automatic identification of boulders (seen as highlighted shapes) [15]
Как видно из изображения, результаты весьма скромные и едва ли могут претендовать на дальнейшее развитие. Необходимо отметить, что объекты типа крупных камней и иных горных пород могут достаточно легко распознаваться по силе возвратного сигнала (более 30 дБ), а не по их графическому виду, что в условиях геометрического искажения может быть весьма обманчивым. Таким образом, применение различных методов обработки информации, ее автоматизации, включая такие методы, как алгоритмы машинного обучения [10], могут быть признаны эффективными (невозможность полной реализации высокоточного определения конечных объектов, а также ограничений моделей временного определения) лишь при условии, что будут учтены проблемы искажения объектов, а также с учетом акустических параметров. Попытки применение данных методов к снимкам ГБО в парадигме распознавания оптических данных не могут иметь практического значения.
В этом смысле выгодно отличается работа [16], в которой авторы описывают процесс классификации снимков ГБО, а также обозначают такие проблемы, как неприменимость большинства программ-экстракторов, поскольку они созданы для оптических изображений.
Процесс распознавания и классификации для снимков ГБО традиционно содержит в себя три основных шага:
- предобработку данных (коррекция серых тонов);
- выделение признаков (сегментация изображения);
- классификацию (выполняется человеческим оператором на основе сегментации).
Авторами работы [16] предложено решить проблему автоматизированного распознавания
подводных объектов при помощи алгоритма, построенного на основе нейросети с пространственной пирамидальной сверткой и привязкой к сетевым базам данных гидроакустических изображений. В предложенном методе в процессе предобработки данных были задействованы пять различных нейросетей для распознавания объектов. Затем, в данную систему вводилась пространственная пирамидальная свертка и сетевые базы данных ГБО. Затем проводился сравнительный анализ результатов, полученных сетями до и после включения в них дополнительных компонент. Данный подход во многом идентичен принципу я-версионного программирования, согласно которому осуществляется выбор оптимального ПО или отдельной компоненты на основе алгоритма голосования. Отметим, что процесс предобработки данных в рамках предложенного метода ограничивался улучшением качества изображения.
Заключение
С учетом вышеизложенного можно заключить, что, несмотря на достаточно большое количество исследований в области распознавания, коррекции и автоматизированной интерпретации подводных объектов, визуализированных при помощи ГБО, на сегодняшний день не существуют эффективного способа реализации данного процесса. В этой связи нами впервые было предложено сочетать методы коррекции геометрических искажений подводных объектов с современными методами обработки информации, предложенными в последних научных исследованиях. На наш взгляд, корректировка образов с использование эффективных рекурсивных фильтров, а также комплекса математических методов, представленных в [7; 9], является перспективной. Использование более точных данных космоснимков, а также корректировка траектории движения (меандр) посредством спутниковых координат позволяет корректировать искажения в плоскостях движения трансдьюсера. В качестве методов постобработки эффективными оказались как коррекция изображений предложенными методами, так и фрагментация изображения, что обеспечило возможность детальной проработки каждого фрагмента и осуществление географической привязки по 15 точкам с последующей трансформацией полиномом второго порядка.
Можно утверждать, что математические методы могут вполне эффективно решать задачи геометрического искажения изображений, полученных с ГБО. Данное направление исследования имеет перспективу в части создания новых методов коррекции изображений, а также перенос их на решение схожих задач в области дистанционного зондирования земли (ДЗЗ).
На основании всего вышесказанного, можно сделать вывод, что создание перечня обнаруженных объектов при помощи ГБО является важным этапом в обработке полученных данных. Однако такой анализ данных на сегодняшний день не может проходить без участия человеческого оператора, несмотря на наличие опытных методов автоматизации. Это дает возможности для рационального проведения повторных наблюдений (если потребуется), дальнейшего использования данных для более легкого определения объектов и явлений, выявления закономерностей или общих характеристик исследуемой области.
Автоматизированные системы распознавание образов ГБО должны включать в себя все вышеуказанные элементы искажения изображений, а также опираться на физические особенности самих изображений, полученных путем обработки акустических, а не оптических сигналов. Данному вопросу необходимо уделить внимание при дальнейшей разработке данной темы.
Библиографические ссылки
1.Фирсов Ю. Г. Основы гидроакустики и использование гидрографических сонаров. СПб. : Нестор-История, 2010. 348 с.
2. Hamill D., Wheaton J. M., Buscombe D., Grams P.E., Melis T.S. Bed texture mapping in large rivers using recreational-grade sidescan sonar // River Flow 2016: Eighth International Conference on Fluvial Hydraulics (11-14 July 2016, Iowa City, IL) / Constantinescu, G. & H. (Eds). London: Taylor & Francis Group, 2017. P. 306-312. DOI: 10.1201/9781315644479-51.
3. Halmai Á.; Gradwohl-Valkay A.; Czigány S.; Ficsor J.; Liptay Z.Á.; Kiss K.; Lóczy D.; Pirkhof-fer E. Applicability of a Recreational-Grade Interferometric Sonar for the Bathymetric Survey and Monitoring of the Drava River // ISPRS Int. J. Geo-Inf., 2020, No. 9(3), P. 149. DOI: 10.3390/ijgi9030149.
4. Hamill D., Buscombe D., Wheaton J.M. Alluvial substrate mapping by automated texture segmentation of recreational-grade side scan sonar imagery // PLoS ONE. 2018. No. 13(3). P. e0194373. DOI: 10.1371/journal.pone.0194373.
5. Blondel P. The handbook of sidescan sonar. Springer - PraxisPublishing, 2009. 316 p.
6. Kaeser A., Litts T. An Illustrated Guide to Low-Cost Sonar Habitat Mapping v1.0. 2014 [Электронный ресурс]. URL: https://www.fws.gov/panamacity/resources/An%20Illustrated%20Guide%20 to%20Low-Cost%20Sonar%20Habitat%20Mapping%20v 1. 1 .pdf (дата обращения: 22.08.2023).
7. Cobra D. T. Q. Estimation and correction of geometric distortions in side-scan sonar images // RLE Technical Report. 1990. No. 5561990. 142 p.
8. Аузина Л. И. Опыт использования метода конечных разностей при моделировании изменения уровня грунтовых вод в пластах на наклонном водоупоре // Вестник ИрГТУ. 2011. № 8(55). С. 28-33.
9. Cobra D. T., Oppenheim A. V., Jaffe J. S. Geometric distortions in side-scan sonar images: a procedure for their estimation and correction // IEEE Journal of Oceanic Engineering. 1992. Vol. 17, No. 3. P. 252-268. DOI: 10.1109/48.153442.
10. Daniel S., Le Leannec F., Roux C., Solaiman B., Maillard E. P. Side-Scan Sonar Image Matching // IEEE Journal of Oceanic Engineering, 1998, Vol. 23(3), P. 245-259.
11. Багницкий А. В., Инзарцев А. В. Автоматизация подготовки миссии для автономного необитаемого подводного аппарата в задачах обследования акваторий // Подводные исследования и робототехника. 2010. № 2(10). С. 17-24.
12. Бабий И. А., Галимзянов О. А., Гончаров А. Е. Обработка изображений с гидролокатора бокового обзора на примере одного участка нижнего течения реки Енисей // Российская Арктика. 2020. № 11. С. 16-23.
13. Kaeser A. J., Litts T. L., Tracy T. W. Using low-cost side-scan sonar for benthic mapping throughout the Lower Flint River, Georgia, USA // River Res. Applic., 2013. No. 29. P 634-644. DOI: 10.1002/rra.2556/.
14. Einsidler D., Dhanak M. R. Beaujean P-P. J. A Deep Learning Approach to Target Recognition in Side-Scan Sonar Imagery // OCEANS 2018: MTS/IEEE Charleston (22-25 October 2018, Charleston SC). IEEE, 2018. P. 1-4. DOI: 10.1109/OCEANS.2018.8604879.
15. Christensen J. H., Mogensen L. V., Ravn O. Side-scan sonar imaging: Automatic boulder identification // OCEANS 2021: San Diego-Porto (20-23 September 2021, San Diego, CA). IEEE, 2021. P. 1-6. DOI: 10.23919/OCEANS44145.2021.9705713.
16. Improved neural network with spatial pyramid pooling and online datasets preprocessing for underwater target detection based on side scan sonar imagery / J. Li, L. Chen, J. Shen et al. // Remote Sensing. 2023. No. 15. P. 440. DOI: https://doi.org/10.3390/rs15020440.
References
1. Firsov Iu. G. Osnovy gidroakustiki i ispol'zovanie gigrograficheskikh sonarov [The Fundamentals of Water Acoustics and Hydrographic Sonar Application]. St. Petersburg, Nestor-Istoriia Publ., 2010, 348 p.
2. Hamill D., Wheaton J. M., Buscombe D., Grams P.E., Melis T.S. Bed texture mapping in large rivers using recreational-grade sidescan sonar. River Flow 2016: Eighth International Conference on Fluvial Hydraulics (11-14 July 2016, Iowa City, IL), Constantinescu G. & H. (Eds). London: Taylor & Francis Group, 2017. P. 306-312. DOI: 10.1201/9781315644479-51.
3. Halmai A.; Gradwohl-Valkay A.; Czigany S.; Ficsor J.; Liptay Z.A.; Kiss K.; Loczy D.; Pirkhof-fer E. Applicability of a Recreational-Grade Interferometric Sonar for the Bathymetric Survey and Monitoring of the Drava River. ISPRS Int. J. Geo-Inf, 2020, No. 9(3), P. 149. DOI: 10.3390/ijgi9030149.
4. Hamill D., Buscombe D., Wheaton J. M. Alluvial substrate mapping by automated texture segmentation of recreational-grade side scan sonar imagery. PLoS ONE. 2018, No. 13(3), P. e0194373. DOI: 10.1371/journal.pone.0194373.
5. Blondel P. The handbook of sidescan sonar. Springer - PraxisPublishing, 2009. 316 p.
6. Kaeser A., Litts T. An Illustrated Guide to Low-Cost Sonar Habitat Mapping v1.0. 2014. Available at URL: https://www.fws.gov/panamacity/resources/An%20Illustrated%20Guide%20to% 20Low-Cost%20Sonar%20Habitat%20Mapping%20v 1. 1 .pdf (accessed: 22.08.2023).
7. Auzina L. I. [Experience in using the finite difference method in modeling changes in groundwater levels in layers on an inclined aquitard]. VestnikIrGTU. 2011, No. 8(55), P. 28-33 (In Russ.).
8. Cobra D. T. Q. Estimation and correction of geometric distortions in side-scan sonar images. RLE Technical Report. 1990, No. 5561990, 142 p.
9. Cobra D. T., Oppenheim A. V., Jaffe J. S. Geometric distortions in side-scan sonar images: a procedure for their estimation and correction. IEEE Journal of Oceanic Engineering. 1992, Vol. 17, No. 3, P. 252-268. DOI: 10.1109/48.153442.
10. Daniel S., Le Leannec F., Roux C., Solaiman B., Maillard E. P. Side-Scan Sonar Image Matching. IEEE Journal of Oceanic Engineering. 1998, Vol. 23 (3), P. 245-259.
11. Bagnitskii A. V., Inzartsev A. V. [Automatizing mission preparation for an ROV for an aquatic study area]. Podvodnye issledovaniia i rabototekhnika. 2010, No. 2(10), P. 17-24 (In Russ.).
12. Babiy I. A., Galimzyanov O. A., Goncharov A. E. [Visualizing And Processing Side-Scan Sonar Images: a Case of the Lower Reaches of the Enisei River]. Russian Arctic. 2020, No. 11, P. 16-23 (In Russ.).
13. Kaeser A. J., Litts T. L., Tracy T. W. Using low-cost side-scan sonar for benthic mapping throughout the Lower Flint River, Georgia, USA. River Res. Applic, 2013, No. 29, P 634-644. DOI: 10.1002/rra.2556/.
14. Einsidler D., Dhanak M. R. Beaujean P-P. J. A Deep Learning Approach to Target Recognition in Side-Scan Sonar Imagery. OCEANS 2018: MTS/IEEE Charleston (22-25 October 2018, Charleston SC). IEEE, 2018, P. 1-4. DOI: 10.1109/OCEANS.2018.8604879.
15. Christensen J. H., Mogensen L. V., Ravn O. Side-scan sonar imaging: Automatic boulder identification. OCEANS 2021: San Diego-Porto (20-23 September 2021, San Diego, CA). IEEE, 2021, P. 1-6. DOI: 10.23919/OCEANS44145.2021.9705713.
16. Li J., Chen L., Shen J. et al. Improved neural network with spatial pyramid pooling and online datasets preprocessing for underwater target detection based on side scan sonar imagery. Remote Sensing, 2023, No. 15, P. 440. DOI: 10.3390/rs15020440.
© Гончаров А. Е., Гончарова Е. А., 2023
Гончаров Александр Евгеньевич - доцент; Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева. E-mail: goncharovae@sibsau.ru.
Гончарова Екатерина Александровна - магистрант; Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева. E-mail: kate-jane-bande@mail.ru.
Goncharov Alexander Evgen'evich - associate professor; Reshetnev Siberian State University of Science and Technology. E-mail: goncharovae@sibsau.ru.
Goncharova Ekaterina Aleksandrovna - graduate student; Reshetnev Siberian State University of Science and Technology. E-mail: kate-jane-bande@mail.ru.
