CC BY
23
УДК 004.8
Разработка модуля визуализации тактильных исследований человека с применением технологии компьютерного зрения
М. В. Фролова1 *, А. А. Шарапов1, Д. С. Мамаев1 1 Сибирский государственный университет геосистем и технологий, г. Новосибирск,
Российская Федерация
* e-mail: [email protected]
Аннотация. Люди с ограниченными возможностями здоровья по зрению нуждаются не только в поддержке и специализированных материалах для познания и изучения мира, но и в инновационных методах обучения. По этой причине разработка программных решений для средств их обучения, а именно тактильных карт, является крайне актуальным направлением. Поскольку основная проблема в данной области - отсутствие метода визуализации тактильных исследований человека, применение технологии компьютерного зрения может стать оптимальным решением. В статье рассмотрен процесс разработки модуля визуализации тактильных исследований человека с применением технологии компьютерного зрения. Определены инструментальные средства проекта, включая среды разработки, язык программирования и сопутствующие дополнительные библиотеки. В результаты работы над проектом был разработан и запущен в тестовом режиме модуль визуализации тактильных исследований.
Ключевые слова: компьютерное зрение, тактильная карта, модуль визуализации
Development of a module for visualization of human tactile research using computer vision technologies
M. V. Frolova1 *, A. A. Sharapov1, D. S. Mamaev1
1 Siberian State University of Geosystems and Technologies, Novosibirsk,
Russian Federation
* e-mail: [email protected]
Abstract. People with visual disabilities need not only support and specialized materials for learning and exploring the world, but also innovative teaching methods. For this reason, the development of software solutions for their learning tools, namely tactile maps, is an extremely relevant direction. Since the main problem in this area is the lack of a method for visualizing human tactile observations, the use of computer vision technology can be the optimal solution. The article describes the process of developing a human tactile research visualization module using computer vision technology. The project's tools, including development environments, a programming language and accompanying additional libraries, have been identified. As a result of the work on the project, a tactile research visualization module was developed and launched in test mode.
Keywords: computer vision, tactile map, visualization module
Введение
Цель проекта: разработка программно-аппаратного модуля тактильных карт для визуализации тактильных исследований человека с применением технологии компьютерного зрения. Так как большую часть информации об окружающем мире незрячие и слабовидящие люди получают посредством тактильных исследований через подушечки пальцев [1], то при помощи визуализации этих исследований, пре-
подаватель или наставник, работающий с ними, сможет корректировать процессы обучения и адаптации людей с ОВЗ.
Для достижения поставленной цели были определены следующие задачи:
- подбор технологий искусственного интеллекта;
- реализация распознавания тактильных исследований;
- подбор метода визуализации данных;
- сведение программы.
Методы и материалы
Для реализации проекта были использованы следующие программные средства: язык программирования Python, среды разработки Visual Studio Code и PyCharm, дополнительные библиотеки PyQt5, Seaborn, Pandas и OpenCV/CVZone.
Искусственный интеллект включает в себя множество технологий. Это и машинное обучение, и глубокое обучение, и технологии обработки и генерации естественного языка. Но в связи со спецификой познания мира людьми с ОВЗ по зрению посредством подушечек пальцев, применение технологии компьютерного зрения для трекинга рук становится оптимальным решением в этой сфере.
В связи с особенностью получения информации при адаптации и обучении незрячих и слабовидящих [2 - 4], для обработки их тактильных исследований необходимо отслеживать передвижения пальцев. Для решения этой проблемы используется библиотека OpenCV с надстройкой CVZone. При распознавании рук CVZone определяет 21 опорную точку на всей площади кисти. Для максимально приближенного отражения информации, получаемых путём тактильных исследований, необходимо выделить всего 5 точек на руке - верхние подушечки пальцев.
Основных распространённых методов визуализации данных три: графики, диаграммы и матрицы. Каждый из этих методов делится на множество видов и подвидов [5]. Для максимально наглядного представления информации о передвижении рук был выбран метод тепловой карты, относящийся к виду матриц. Это графическое представление данных, где индивидуальные значения из DataFrame (матрицы) отображаются при помощи цвета. В нашем случае, при помощи цвета будут отображены все области на тактильной карте, где человек проводил подушечками пальцев, градиентным тепловым способом: красным цветом отображаются участки карты, которые человек исследовал очень подробно, а синим - которые не затронул (рис. 1).
Рис. 1. Пример построения тепловой карты
Информация о перемещениях подушечек пальцев человека собирается в DataFrame благодаря библиотеке Pandas. DataFrame - это двухмерные структуры помеченных данных, столбцы которых могут содержать разные типы данных [5].
Результаты
Разработанный модуль работает с непрерывным видеопотоком. На каждом кадре алгоритм ИИ распознаёт ладонь, если такая имеется, увеличивает регион поиска и определяет 21 опорную точку кисти (рис. 2).
Рис. 2. Распознавание опорных точек кисти
Далее определяются и подаются в программу пиксельные координаты 5-ти подушечек пальцев с каждой распознанной руки. Эта информация формируется в Data-Frame (рис. 3) и визуализируется в виде тепловой карты (рис. 4) благодаря библиотеке Seeborn.
1 _Type_ __Thumb___ ___Index___ ___Middle___ ___Pinkv___
Right ; [248, 249] [322, 234] [318, 264] [358, 297] [353, 332]
Right ; [202, 230] [296, 206] [326, 232] [340, 261] [340, 302]
Right ; [186, 220] [278, 181] [318, 203] [332, 234] [330, 281]
Right ; [185, 217] [276, 184] [314, 205] [330, 237] [330, 284]
Right ; [166, 208] [260, 166] [303, 185] [313, 220] [317, 263]
Right ; [150, 201] [250, 153] [291, 177] [304, 211] [309, 253]
Right ; [138, 194] [238, 144] [284, 165] [295, 202] [302, 248]
Right ; [136, 193] [236, 144] [280, 166] [291, 203] [302, 248]
Right ; [137, 194] [236, 145] [281, 165] [291, 203] [301, 247]
Рис. 3. Сбор пиксельных координат подушечек пальцев в DataFrame
vi V
м« •
Рис. 4. Тепловая карта тактильных исследований
Обсуждение
На сегодняшний день аналогов данной разработке в области визуализации тактильных исследований незрячих и слабовидящих нет.
Заключение
Разработка программных решений для обучения и адаптации людей с ОВЗ может вывести эти процессы на новый уровень. При предоставлении визуализированных тактильных исследований педагогу, корректировка как группового обучения, так и индивидуального, будет может стать точной и полной.
Благодарности
Выражается благодарность лаборатории искусственного интеллекта СГУГиТ, на базе которого ведётся разработка данного проекта.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Шарапов А.А., Фролова М.В. Разработка тактильной карты для людей с ОВЗ // Интерэкспо ГЕО-Сибирь-2019. XV Междунар. науч. конгр.: Междунар. науч. конф. студен-тов и молодых ученых " ИНТЕРЭКСПО ГЕО-СИБИРЬ": сб. материалов (Новосибирск, 24-26 апреля 2019 г.). - Новосибирск: СГУГиТ, 2019. - С. 32-37.
2. Пошивайло Я. Г., Дмитриев Д. В., Лесневский Ю. Ю. Современное состояние и перспективы развития тактильной картографии // ИнтерКарто - Интер-ГИС-2014 «Устойчивое развитие территорий: картографо-информационное обеспечение»: Сб. материалов Международной конференции (Белгород, 23-24 июля 2014 г.). - № 20. - Белгород: изд. БГНИУ, - 2014. -С. 467-470. DOI: 10.24057/2414-9179-2014-1-20-467-470
3. Соколов В. В. Эволюция тифлоинформационных средств // Дефектология / Ред. Н. Н. Малофеев, И. А. Коробейников. - 2009. - № 5. - C. 57-63.
4. . Hagood L. A standard Tactile Symbol System: Graphic Language for Individauls who are Blind and Unable to Learn Braille. Life Skill Department, Texas School for the Blind and Visually Im-paired [Электронный ресурс] // Life Skill Department, Texas School for the Blind and Visually Impaired. - Режим доступа: from https://www.tsbvi.edu/selected-resource-topics - Загл. с экрана.
5. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi. -devpractice.ru., 2020. - 412 с.
© М. В. Фролова, А. А. Шарапов, Д. С. Мамаев, 2022
