CC BY
9
УДК 004
Разработка программно-аппаратного модуля визуализации тактильных исследований человека для людей с ОВЗ по зрению
М. В. Фролова1 *, А. А. Шарапов1 1 Сибирский государственный университет геосистем и технологий, г. Новосибирск,
Российская Федерация
* e-mail: [email protected]
Аннотация. Обучение географии и картографии для людей с ОВЗ является большой проблемой как для нашей страны, так и для всего мира. Процент людей данной категории, к сожалению, немаленький. В процессе адаптации и познания мира незрячие и слабовидящие получают информацию, используя тактильные рецепторы, расположенные на подушечках пальцев. Люди данной категории нуждаются не только в поддержке и специализированных материалах для познания и изучения мира, но и в инновационных методах обучения. По этой причине разработка программных решений для средств обучения людей с ОВЗ по зрению, а именно для тактильных карт, является крайне актуальным направлением. В статье рассмотрен процесс разработки модуля визуализации тактильных исследований человека с применением технологии компьютерного зрения. Определены инструментальные средства проекта, включая среды разработки, язык программирования и сопутствующие дополнительные библиотеки. В результаты работы над проектом был разработан и запущен в тестовом режиме модуль визуализации тактильных исследований.
Ключевые слова: Python, тепловая карта, метод визуализации, незрячие, слабовидящие, тактильные исследования
Development of a hardware and software module for visualization of human tactile studies for people with visual disabilities
M. V. Frolova1 *, A. A. Sharapov2
1 Siberian State University of Geosystems and Technologies, Novosibirsk, Russian Federation 2 Siberian State University of Water Transport, Novosibirsk, Russian Federation
* e-mail: [email protected]
Abstract. Teaching geography and cartography to people with disabilities is a big problem both for our country and for the whole world. The percentage of people in this category, unfortunately, is not small. In the process of adaptation and cognition of the world, the blind and visually impaired receive information using tactile receptors located on the fingertips. People of this category need not only support and specialized materials for cognition and study of the world, but also innovative teaching methods. For this reason, the development of software solutions for the means of teaching people with visual disabilities, namely for tactile maps, is an extremely urgent direction. The article describes the process of developing a visualization module for tactile human studies using computer vision technology. The project's tools, including development environments, programming language and accompanying additional libraries, are defined. As a result of work on the project, a module for visualization of tactile studies was developed and launched in a test mode.
Keywords: Python, heat map, visualization method, blind, visually impaired, tactile studies
Введение
Цель проекта: разработка программно-аппаратного комплекса тактильных карт для визуализации тактильных исследований человека с применением технологии компьютерного зрения. Так как большую часть информации об окружающем мире незрячие и слабовидящие люди получают посредством тактильных исследований через подушечки пальцев [1], то при помощи визуализации этих исследований, преподаватель или наставник, работающий с ними, сможет корректировать процессы обучения и адаптации людей с ОВЗ.
Для достижения поставленной цели были определены следующие задачи:
- подбор инструментальных средств;
- формирование и структуризация данных о тактильные исследования человека;
- подбор метода визуализации данных;
- разработка требований к ПО.
Методы и материалы
Для реализации проекта были использованы следующие программные средства: язык программирования Python, среды разработки Visual Studio Code и PyCharm, дополнительные библиотеки PyQt5, Matplotlib и OpenCV/CVZone.
В связи с особенностью получения информации при адаптации и обучении незрячих и слабовидящих [2], для отслеживания их тактильных исследований необходимо отслеживать передвижения пальцев. Для решения этой проблемы используется библиотека OpenCV с надстройкой CVZone. При распознавании рук CVZone определяет 21 опорную точку на всей площади кисти. Для максимально приближенного отражения информации, получаемых путём тактильных исследований, необходимо выделить всего 5 точек на руке - верхние подушечки пальцев.
Для максимально наглядного представления информации о передвижении рук был выбран метод тепловой карты, относящийся к виду матриц. Это графическое представление данных, где индивидуальные значения из DataFrame (матрицы) отображаются при помощи цвета. В нашем случае, при помощи цвета будут отображены все области на тактильной карте, где человек проводил подушечками пальцев, градиентным тепловым способом: красным цветом отображаются участки карты, которые человек исследовал очень подробно, а синим - которые не затронул.
Для функционального удобства работы с комплексом, выявлены следующие требования.
1. Сбор, фильтрация и структурирование информации о тактильных исследованиях в DataFrame.
2. Запуск и остановка видеопотока для трекинга рук.
3. Визуализ ация данных.
4. Сохранение файла визуализации.
5. Поддержка автономной работы на Rassberry pi 4
Результаты
Разработанный модуль устанавливается на одноплатный компьютер Rassberry Pi с подключенной веб-камерой, направленной на руки незрячего человека и материал для обучения. Далее пользователь запускает работу модуля. С этого момента в программу поступает непрерывный видеопоток, который можно остановить нажатием на кнопку интерфейса ПО. Программа работает с несколькими потоками (рис. 1): в первом основном потоке открывается интерфейс, во втором - собирается DataFrame и происходит визуализация.
def capstart(self}:
thread = Thread(target=self.cap_go) thread.daemon = True thread.start()
def cap^go(self):
Рис. 1. Создание первого потока
На каждом поступающем с веб-камеры кадре алгоритм ИИ распознаёт ладонь и определяет на каждой 21 опорную точку кисти (рис. 2).
Рис. 2. Распознавание опорных точек кисти
Далее определяются и подаются в программу пиксельные координаты 5-ти подушечек пальцев. Они нужны для отрисовки тепловой карты. Эта информация формируется в DataFrame (рис. 3) и визуализируется в виде тепловой карты благодаря библиотеке Matplotlib (рис. 4).
I _Type_ I___Thumb___|___Index____|___Middle___|____Ring____I___Pinky___|
Right [248, 249] [322, 234] [348, 264] [358, 297] [353, 332]
Right [232, 230] [296, 206] [326, 232] [340, 261] [340, 302]
Right [186, 220] [278, 181] [318, 203] [332, 234] [330, 281]
Right [185, 217] [276, 184] [314, 205] [330, 237] [330, 284]
Right [166, 208] [260, 166] [303, 185] [313, 220] [317, 263]
Right [15Q, 201] [250, 153] [291, 177] [304, 211] [309, 253]
Right [138, 194] [238, 144] [284, 165] [295, 202] [302, 248]
Right [136, 193] [236, 144] [280, 166] [291, 203] [302, 248]
Right [137, 194] [236, 145] [281, 165] [291, 203] [301, 247]
Rinht Г VIA 1*й1 Г9ЛА 1ARl Г9Я1 1ARl Г901 9П91 ■зтЛ
Рис. 3. Пиксельные координаты подушечек пальцев
Обсуждение
На сегодняшний день аналогов данной разработке в области визуализации тактильных исследований незрячих и слабовидящих нет.
Заключение
Разработка программных решений для обучения и адаптации людей с ОВЗ может вывести эти процессы на новый уровень. При предоставлении визуализированных тактильных исследований педагогу, корректировка как группового обучения, так и индивидуального, будет может стать точной и полной.
Благодарности
Выражается благодарность лаборатории Искусственного интеллекта, на базе которого ведётся разработка данного проекта.
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Шарапов А.А., Фролова М.В. Разработка тактильной карты для людей с ОВЗ // Интерэкспо ГЕО-Сибирь-2019. XV Междунар. науч. конгр.: Междунар. науч. конф. студентов и молодых ученых " ИНТЕРЭКСПО ГЕО-СИБИРЬ": сб. материалов (Новосибирск, 24-26 апреля 2019 г.). - Новосибирск: СГУГиТ, 2019. - С. 32-37.
2. Пошивайло Я. Г., Дмитриев Д. В., Лесневский Ю. Ю. Современное состояние и перспективы развития тактильной картографии // ИнтерКарто - Интер-ГИС-2014 «Устойчивое развитие территорий: картографо-информационное обеспечение»: Сб. материалов Международной конференции (Белгород, 23-24 июля 2014 г.). - № 20. - Белгород: изд. БГНИУ, 2014. - С. 467-470. -DOI: 10.24057/2414-9179-2014-1 -20-467-470
3. Соколов В. В. Эволюция тифлоинформационных средств // Дефектология / Ред. Н. Н. Малофеев, И. А. Коробейников. - 2009. - № 5. - C. 57-63.
4. . Hagood L. A standard Tactile Symbol System: Graphic Language for Individauls who are Blind and Unable to Learn Braille. Life Skill Department, Texas School for the Blind and Visually Impaired // Life Skill Department, Texas School for the Blind and Visually Impaired. - URL: from https://www.tsbvi. edu/ selected-resource-topics.
5. Devpractice Team. Python. Визуализация данных. Matplotlib. Seaborn. Mayavi. - URL: devpractice.ru.
© М. В. Фролова, А. А. Шарапов, 2022
