CC BY
57Применение семантических нейросетей в обработке изображений
сч сч о сч
о ш m
X
<
m О X X
Андрианова Анна Ивановна
бакалавр, Московский педагогический государственный университет, A.andrianova2001@yandex.ru
Переверзева Владислава Игоревна
преподаватель, Департамент информационной безопасности, Финансовый университет при Правительстве РФ, Vipereverzeva@mail.ru
Шананин Василий Андреевич
старший преподаватель, ИСТАС, Московский государственный строительный университет (МГСУ), shananinva.infonom@gmail.com
Статья посвящена перспективным векторам применения нейронных и семантических сетей в области обработки изображений. Выявлена сущность и механизмы функционирования семантических и нейронных сетей, обозначены преимущества разработки сети-гибрида, сочетающей преимущества сетей обоих типов. Рассмотрена специфика семантической сегментации как метода высокоуровневой обработки изображений; позволяющего не просто классифицировать изображения и детектировать объекты, изображенные на них, но и определять границы их локализации на изображении. Автор статьи указывает, что семантическая сегментация находит применение в самых разных областях реальной жизни. Отмечается популярность беспилотных транспортных средств и роботизированных устройств-курьер. Выявлены методы семантической сегментации в беспилотном автомобиле и барьеры данного инструмента. Автор статьи описывает специфику применения искусственного интеллекта в сферах медицины, судебной экспертизы, ветеринарии и биологии, в целях scene understanding/recognition, в индустрии моды и спутниковых коммуникациях. Автор статьи приходит к выводу о перспективности таких направлений развития искусственного интеллекта, как четырехмерные (4D) нейронные сети и идентификация фальсификации изображений.
Ключевые слова: искусственный интеллект, семантическая сеть, нейронная сеть, гибридная семантико-нейронная сеть, обработка фотографий, сегментация, семантическая сегментация
Проблематика искусственного интеллекта на сегодняшний момент является крайне актуальной в технических, естественно-научных, гуманитарных, информационных отраслях теоретического и прикладного знания. Спектр вопросов, включаемых в вопросы развития искусственного интеллекта, крайне широк - к ним относят, например, методы дискретной математики, логику построения систем, лингвистические аспекты вербализации результатов работы систем искусственного интеллекта, морально-этические аспекты внедрения искусственного интеллекта в повседневную реальность и многое другое.
Дискуссии о методах и целях создания искусственного сознания рано или поздно приходят к вопросу о том, какой из двух доминирующих на сегодня подходов следует считать наиболее перспективным: использование нейронных или семантических сетей? На данный момент однозначного и аргументированного ответа на этот вопрос ни в зарубежной, ни в отечественной науке не выработано.
Как известно, нейронная сеть являет собой структуру, состоящую из узлов - искусственных нейронов, связанных послойно таким образом, чтобы подаваемый на входной слой сигнал (вектор или массив, размерность которого тождественна количеству входных нейронов) преобразовался в выходной слой, который будет выступать, собственно, решением задачи, поставленной перед нейросетью. При этом существующие на данный момент архитектуры нейронных сетей и способы преобразования сигналов весьма разнообразны, следовательно, на данный момент функционирует множество различных нейросетей, преследующих крайне разнообразные цели.
Семантическая сеть, в свою очередь, представляет собой граф с поименованными узлами и связями, упорядочение которых происходит на базисе смысловых отношений между именами. Посредством семантической сети, к примеру, можно представить описание локации на основании указания на названия объектов и их пространственной соотнесенности («рядом», «впереди», «выше», «ниже» и т. п.).
Существует мнение о том, что два данных типах сетей являются диаметрально противоположными: нейронная сеть, к примеру, практически неспособна детерминировать природу и смысловую сущность анализируемых ей объектов, тогда как семантическая сеть, напротив, дает полноценное смысловое представление о предмете исследования. Функционирование нейронной сети происходит крайне быстрыми темпами, тогда как семантическая сеть обрабатывает входящие данные гораздо медленнее в силу специфики своей организации [2, с. 72]. Нейронная сеть выполняет преимущественно алгебраические калькуляции, семантическая -с большей эффективностью производит вывод силло-
гизмов. Семантическая сеть как метод реализации искусственного сознания характеризуется, помимо прочего, крайне слабой самообучаемостью. Семантическая сеть нуждается в детальном описании каждого нового объекта, т. е. ей необходима полная тотальная формализация знания.
Следует отметить, что два совершенно различных инструмента можно и необходимо использовать комплексно (в связи с чем сегодня ведутся активные разработки гибридных систем) - именно в таком режиме они способны дополнять и компенсировать недостатки друг друга [4]. По мнению ряда исследователей, нейронные сети представляют собой наиболее эффективный механизм решения задач кластеризации и распознавания, тогда как семантические сети используются в качестве инструмента описания сущности и устройства объектов и явлений, следовательно, весьма актуальным представляется поиск гибридной архитектуры, обладающей преимуществами обоих типов сетей.
Сегодня интеллектуальные сети имеют колоссальный охват; многие специалисты полагают, что исследования, проводимые в области изучения поведенческих особенностей и состояний сетей, - наиболее перспективные в области высокотехнологичных разработок. Перечень областей, в которых сетям нашлось применение, весьма обширен: к примеру, они используются в целях распознавания и классификации объектов, при решении аппроксимационных задач, в вопросах сжатия данных, дата-анализа данных и многих других областях.
Сети достаточно часто применяются в работе с изображениями. В фокусе данной статьи - возможности сетей двух типов или гибридной сети в обработке изображений. Следует отметить, что за 2021 г. финансирование, выделенное на стартапы, действующие в области систем обработки изображений, превысило совокупный объем инвестиций за предыдущие 5 лет [3, с. 286], что, в свою очередь, доказывает востребованность данного типа разработок.
Как правило, в вопросах работы с изображениями посредством нейронных и семантических сетей речь будет идти, прежде всего, о процессах сегментации.
Семантическая сегментация - присвоение каждой части изображения определенной метки. Сегментация способна обнаружить множество объектов одного класса и воспринять их как единое целое. Усложненная разновидность семантической сегментации - инстанс-сегментация, посредством которой производится обработка нескольких объектов одного класса с распознаванием отличий между ними. Процессы семантической сегментации, как правило, относят к классу методов слабого искусственного интеллекта.
Задача семантической сегментации - высокоуровневая обработка изображений; семантическая сегментация позволяет не просто классифицировать изображения и детектировать объекты, изображенные на них, но и определять границы их локализации на изображении. Семантическая сегментация являет собой высшую фазу эволюции средств сегментации изображений. В рамках стандартной процедуры компьютерной сегментации система была способна объединить области или объекты на фото или рисунке исключительно на основании близости цветовой палитры или текстурного сходства. При семантической сегментации искусственный интеллект способен идентифицировать объекты одного класса даже в случае существенных различий между ними по
фотометрическим характеристикам; семантическая сегментация возможна даже в ситуациях, когда наблюдается значительный разброс показателей объектов, относящихся к одному классу [1, с. 636].
Подвидом семантической сегментации является так называемая «мягкая» сегментация, представленная разработчиками из Швейцарии на базе университета ETH Zürich. «Мягкая» сегментация позволяет оперировать технологиями анализа спектра, усиливая их возможностями глубокого обучения. На основании высокоуровневых семантических признаков, извлекаемых нейросетью, строится граф и матрица Кирхгофа (Laplacian matrix). Спектральное разложение матрицы позволяет генерировать мягкие контуры объектов.
Задача семантической сегментации обладает большим количеством методов решения; на сегодняшний день значительное превосходство демонстрируют алгоритмы, основанные на так называемых свёрточных нейронных сетях в комбинации с различными семантическими подходами к предобработке и постобработке изображений.
Эффективные алгоритмы были разработаны относительно недавно; к примеру, публикация о первой успешной нейросетевой архитектуре для сегментации FCN-8s была опубликована только в 2014 г. Большинство алгоритмов семантической сегментации имеют схожую архитектуру: для изъятия семантической информации изображение преобразуется в вектор признаков посредством шифрующей сети (encoder), впоследствии вектор разворачивается в матрицу изображения дешифрующей сетью (decoder). Шифрование может осуществляться заранее обученными свёрточными сетями типа VGG или ResNet [7].
Семантическая сегментация находит применение в самых разных областях реальной жизни. К примеру, сегодня в развитых странах мира набирают популярность беспилотные транспортные средства и роботизированные устройства-курьеры. Автономное вождение - технологическая сфера, в основе которой находится именно семантическая сегментация. Алгоритмы семантической сегментации в устройствах беспилотной транспортировки применяются в целях идентификации дорожных разметок, знаков, других транспортных средств, людей, представляющих значение для дорожного движения объектов. Результаты семантической сегментации, по сущности, представляют собой фундамент для принятия решений по управлению транспортным средством, корректному и адекватному динамике внешней среды. При этом особенно эффективным представляется в данной области сочетание нейронных и семантических сетей: нейронная сеть производит семантическую сегментацию, а семантическая сеть, в свою очередь, работает с результатами работы нейронной, обрабатывая вербализованные данные, поступающие в систему искусственного интеллекта. На дороге используется множество знаков, содержащих надписи и даже целые тексты, причем система таких знаков не является унифицированной, и знаки с надписями могут быть крайне вариативны. Семантическая сеть способна обработать данные на естественном языке и скорректировать, уточнить решение, принятое нейронной сетью по результатам семантической сегментации.
Семантическая сегментация в беспилотном автомобиле имеет ряд барьеров, в той или иной мере преодолимых посредством современных разработок. К примеру, важным недостатком технологии сегментации в
X X
о го А с.
X
го m
о
м о м м
CS CS
о
CS
о ш m
X
<
m О X X
автономном вождении выступает необходимость производить сегментацию в реальном времени. Считается, что повышение темпа и эффективности работы системы в данном случае может быть обеспечено за счет внедрения «легких» нейронных сетей, обладающих меньшим количеством параметров. Вполне перспективным представляется использование сети ENet, реализующей вышеописанную стандартную архитектуру «кодер -декодер» посредством сверточной нейронной сети ResNet. Достоинством сети является возможность работы в реальном времени, так как она была изначально разработана именно для распознавания локализации объектов на городских улицах. Ограничением сети ENet является необходимость встраивания в транспортное средство мощного процессора, что, в свою очередь, может сказаться на его итоговой стоимости. Схожей по функционалу и системным требованиям является каскадная нейронная сеть ICNet, которая была успешно апробирована в целях сегментации дорожных ситуаций [6, с. 28].
Искусственный интеллект получает широкое распространение в сферах медицины, судебной экспертизы, ветеринарии и биологии. В частности, технологии семантической сегментации используются сегодня в целях обнаружения скрытых элементов на медицинских снимках, что особенно актуально для идентификации аномалий - опухолей, кист, разрывов, трещин и проч. Автоматизации подвергаются и рутинные медицинские процедура, основанные на визуализационной диагностике (к примеру, трехмерная семантическая сегментация снимков позволяет произвести оценку объема органов человека или животного).
Гибрид семантической и нейронной сети может быть успешно имплементирован в целях так называемого scene understanding/recognition («понимание эпизода») [8]. Семантическая сегментация используется в качестве базиса для реализации сложных задач, связанных с составлением описания ситуации, изображенной на фотографии/кадре. В результате нейросеть порождает размеченный кадр, подпись к кадру или к объектам, зафиксированным на изображении. Ресурсы семантической сети в данном случае применяются для компиляции описания ситуации за счет названия объектов и указания на их пространственную соотнесенность.
В индустрии моды ресурсы семантической сегментации применяются в целях извлечения из изображений элементов одежды, чтобы впоследствии, например, предложить аналогичные товары [8]. Имеют место и так называемые «онлайн-примерочные», которые посредством нейронных алгоритмов сегментации «переодевают» вещи непосредственно на изображении. Семантическая сеть в данном случае может составлять словесное описание полученного образа и представлять перечисление моделей, фасонов и типов предметов одежды.
Развитие спутниковых коммуникаций сегодня входит в перечень стратегических целей инновационных программ развития практически любого развитого и развивающегося государства. В современном мире крайне востребованы цифровые карты местности и геоинформационные системы, которые отражают пространственное расположение объектов, высоты секторов рельефа, информацию об инфраструктурной и ландшафтной характеристике местности. Эти данные требуются в оборонной отрасли, в планировании и администрировании территорий, в геологической разведке, в экологическом
и кадастровом мониторинге, в авиации и многих других сферах деятельности. Мануальный процесс создания подобных изображений является весьма трудоёмкой задачей, тогда как технологии семантической сегментации позволяют автоматизировать часть данной процедуры. Информация, полученная алгоритмами сегментации, в любом случае направляется на ручную обработку оператором-картографом, но при этом его нагрузка существенно снижается [1, с. 636].
Семантическая сегментация позволяет, к примеру, детерминировать тип земной и водной поверхности на основании снимков, полученных спутником [8]. В качестве наиболее наглядного примера можно отметить определение контуров водоемов и горных массивов. Более совершенные алгоритмы используются, к примеру, в сельском хозяйстве при определении статуса и типы сельскохозяйственных культур, локализации и подсчета поголовья стада; урбанисты используют данные алгоритмы при планировании парковочных мест, идентификации пассажиропотоков, пеших маршрутов горожан и проч.
Сегментация изображений - далеко не единственный метод обработки изображений, доступный благодаря инструментарию искусственного интеллекта. К примеру, сегодня набирает обороты технология, позволяющая переносить стиль одного изображения на другое. Ранее эту проблему неоднократно пытались разрешить многие разработчики. С возникновением искусственного интеллекта техники переноса стилей с помощью нейросетей стали гораздо более совершенными и фотореалистичными. К примеру, в недавнем времени была представлена нейросеть Deep Photo Style Transfer, в основе которой техника переноса стилей Neural Style. Фотореалистичность искусственных изображений обеспечивается за счет специфичного алгоритма нейросети на основе матрицы Кирхгофа [9]. Можно предположить, что в будущем сети смогут менять исходные изображения на основе словесных описаний, для чего в работу алгоритма будет интегрирована семантическая сеть.
Весьма важным и перспективным вектором применения искусственного интеллекта является идентификация сфальсифицированных или отредактированных фотографий. Нейросеть в данном случае конструируется на основании трёх модулей. RGß-поток реализует семантическое определение отредактированных областей (нейросеть ResNet 101). Шумовой поток призван дифференцировать шумовые и семантические особенности изображения посредством методологии стегоана-лиза (steganalysis rich modeling). Слой билинейного объединения объединяет результаты работы системы на двух предыдущих этапах, в результате чего система «предсказывает» степень фальсификации фотоснимка. Более продвинутые алгоритмы могут не просто обнаруживать отредактированные области изображения, но и указывать метод обработки данных областей [10].
В фокусе внимания исследователей и разработчиков - так называемые четырехмерные (4D) нейронные сети, обрабатывающие информацию с описаниями объектов четырьмя или более параметрами (к примеру, множественные съемки лазерным сканером объекта с разных локаций). При этом, пространственно-временное восприятие (4D) в качестве основы использует трехмерные сцены, так как единовременный срез 4D-данных есть не что иное как результат трехмерного сканирования [5, с. 240]. Развитие четырехмерных сетей находится на фазе
зарождения, но, безусловно, разработки в данной области в близлежащей перспективе составят существенную долю в области эволюции нейросетей.
Таким образом, технологии глубокого обучения, нейронных сетей, семантических сетей, сегментации и описания изображений способны существенно улучшить и упростить рабочие задачи во многих профессиональных сферах и в обиходе. Перечень сфер применения семантических и нейтронных сетей в обработке изображений, представленный в статье, безусловно, не являются исчерпывающими; кроме того, разработчики находятся в постоянном поиске технологий, способных улучшить точность и производительность существующих алгоритмов в реальном мире и также предпринимают попытки сконструировать гибридные сети, обладающие преимуществами как семантических, так и нейронных сетей.
Литература
1. Горбачёв, В. А. Семантическая сегментация спутниковых снимков аэропортов с помощью свёрточных нейронных сетей / В. А. Горбачёв, И. А. Криворотов, А. О. Маркелов, Е. В. Котлярова // Компьютерная оптика. -2020. - Т. 44, № 4. - С. 636-645.
2. Дударь, З. В. Семантическая нейронная сеть, как формальный язык описания и обработки смысла текстов на естественном языке / З. В. Дударь, Д. Е. Шуклин // Радиоэлектроника и информатика. - 2000. - №3 (12).
- С. 72-76.
3. Жигалов, К. Ю. Подготовка техники к использованию в системах автоматизированного управления строительства автодорог / К. Ю. Жигалов // Естественные и технические науки. - М., 2014. - № 1 (69). - С. 285-287.
4. Егоров, А. (Сети: нейронные или семантические?) / А. Егоров. - 2022 [Электронный ресурс]. - Режим доступа: http://alephegg.narod.ru/Refs.htm. - Дата доступа: 17.11.2022.
5. Колесников, А. А. Использование четырехмерных сверточных нейронных сетей для автоматизации построения моделей местности / А. А. Колесников, П. М. Кикин // Труды Международной конференции «АПВПМ».
- 2019. - №2019. - С. 240-245.
6. Шабалина, Д. Е. Семантическая сегментация изображений в проекте «Duckietown» / Д. Е. Шабалина, К. С. Ланчуковская, Т. В. Лях, К. В. Чайка // Вестник НГУ. Серия: Информационные технологии. - 2021. - №3. - С. 26-39.
7. A comprehensive review of Classical and Deep Learning methods for Semantic Segmentation. - 2022 [Electronic source]. - Mode of access: https://medium.com/beyondminds/a-simple-guide-to-semantic-segmentation-effcf83e7e54. - Date of access: 17.11.2022.
8. Bharath, R. A Simple Guide to Semantic Segmentation / B. Bharath // Medium. - 2019. [Electronic source]. - Mode of access: https://medium.com/beyondminds/a-simple-guide-to-semantic-segmentation-effcf83e7e54. - Date of access: 17.11.2022.
9. Fujun, L. Deep Photo Style Transfer / L. Fujun , P. Sylvain, E. Shechtman, K. Bala. - 2017 [Electronic source].
- Mode of access: https://arxiv.org/abs/1703.07511. - Date of access: 17.11.2022.
10. Koidan, K. Adobe Creates Neural Network to Reveal Image Manipulations / K. Koidan / Medium Educational Platform. - 2022 [Electronic source]. - Mode of access: https://medium.com/p/136d9bfdf9f7. - Date of access: 17.11.2022.
Implementation of semantic neural networks in image processing Andrianova A.I., Pereverzeva V.I., Shananin Vasily Andreevich
Moscow State Pedagogical University, Financial University under the Government of the Russian Federation, Moscow State University of Civil Engineering (MGSU) JEL classification: C10, C50, C60, C61, C80, C87, C90_
The article analyzes promising vectors of application of neural and semantic networks in the field of image processing. The essence and mechanisms of functioning of semantic and neural networks are revealed, the advantages of developing a hybrid network that combines the advantages of networks of both types are indicated. The specificity of semantic segmentation as a method of high-level image processing is considered; which allows not only to classify images and detect objects depicted on them, but also to determine the boundaries of their localization in the image. The author of the article points out that semantic segmentation is used in various areas of real life. The popularity of unmanned vehicles and robotic courier devices is noted. The methods of semantic segmentation in an unmanned vehicle and the barriers of this tool are revealed. The author of the article describes the specifics of the use of artificial intelligence in the fields of medicine, forensics, veterinary medicine and biology, for the purposes of scene understanding/recognition, in the fashion industry and satellite communications. The author of the article comes to the conclusion that еру areas of artificial intelligence development as four-dimensional (4D) neural networks and image falsification identification are of great interest. Keywords: artificial intelligence, semantic network, neural network, hybrid semantic-neural network, photo processing, segmentation, semantic segmentation References
1. Gorbachev, V. A. Semantic segmentation of satellite images of airports
using convolutional neural networks / V. A. Gorbachev, I. A. Krivorotov, A. O. Markelov, E. V. Kotlyarova // Computer Optics. - 2020. - T. 44, No.
4. - S. 636-645.
2. Dudar, Z. V. Semantic neural network as a formal language for describing
and processing the meaning of texts in natural language / Z. V. Dudar, D. E. Shuklin // Radioelectronics and informatics. - 2000. - No. 3 (12). -
5. 72-76.
3. Zhigalov, K. Yu. Preparation of equipment for use in automated control
systems for road construction / K. Yu. Zhigalov // Natural and technical sciences. - M., 2014. - No. 1 (69). - S. 285-287.
4. Egorov, A. (Networks: neural or semantic?) / A. Egorov. - 2022 [Electronic
resource]. - Access mode: http://alephegg.narod.ru/Refs.htm. - Access date: 11/17/2022.
5. Kolesnikov, A. A. The use of four-dimensional convolutional neural
networks to automate the construction of terrain models / A. A. Kolesnikov, P. M. Kikin // Proceedings of the International Conference "APVPM". - 2019. - No. 2019. - S. 240-245.
6. Shabalina, D. E. Semantic segmentation of images in the Duckietown
project / D. E. Shabalina, K. S. Lanchukovskaya, T. V. Lyakh, K. V. Chaika // Vestnik NSU. Series: Information technologies. - 2021. - No. 3. - S. 26-39.
7. A comprehensive review of Classical and Deep Learning methods for
Semantic Segmentation. - 2022 [Electronic source]. - Mode of access: https://medium.com/beyondminds/a-simple-guide-to-semantic-segmentation-effcf83e7e54. - Date of access: 11/17/2022.
8. Bharath, R. A Simple Guide to Semantic Segmentation / B. Bharath //
Medium. - 2019. [Electronic source]. - Mode of access: https://medium.com/beyondminds/a-simple-guide-to-semantic-segmentation-effcf83e7e54. - Date of access: 11/17/2022.
9. Fujun, L. Deep Photo Style Transfer / L. Fujun , P. Sylvain, E. Shechtman,
K. Bala. - 2017 [Electronic source]. - Mode of access: https://arxiv.org/abs/1703.07511. - Date of access: 11/17/2022.
10. Koidan, K. Adobe Creates Neural Network to Reveal Image Manipulations / K. Koidan / Medium Educational Platform. - 2022 [Electronic source]. -Mode of access: https://medium.com/p/136d9bfdf9f7. - Date of access: 11/17/2022.
X X
о
го А с.
X
го m
о
to о to to
