CC BY
40
Интеллектуальные системы и технологии
DOI: 10.18721/JCSTCS.10408 УДК 004.523
СИСТЕМА СОНИфИКАЦИИ В ЗАДАЧЕ НАХОжДЕНИЯ ПУТИ И ОБХОДА ПРЕПЯТСТВИй
А.А. Мархотин1, А.В. Кривошейкин1, И.Н. Осипенко2, Г.Г. Рогозинский3
1 Санкт-Петербургский государственный университет кино и телевидения,
Санкт-Петербург, Российская Федерация;
2 Saber Interactive, Санкт-Петербург, Российская Федерация;
3 Санкт-Петербургский государственный университет телекоммуникаций имени профессора М.А. Бонч-Бруевича, Санкт-Петербург, Российская Федерация
Приведена модель системы сонификации данных для нахождения пути и обхода препятствий. При отсутствии препятствий по ходу движения звуковой сигнал, генерируемый системой, указывает направление на цель. В случае возникновения препятствий звуковой сигнал указывает направление безопасного движения в зависимости от текущего положения пользователя. Отображение данных о близости препятствий происходит при помощи математического аппарата нечёткой логики. Система разработана в среде графического программирования Pure Data. Приведены описание и результаты эксперимента прохождения виртуального пространства с препятствиями испытуемыми, ориентировавшимися при помощи звука.
Ключевые слова: сонификация; нечёткая логика; навигация; поиск пути; вспомогательные технологии.
Ссылка при цитировании: Мархотин А.А., Кривошейкин А.В., Осипенко И.Н., Рогозинский Г.Г. Система сонификации в задаче нахождения пути и обхода препятствий // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. 2017. Т. 10. № 4. С. 89-96. DOI: 10.18721/JCSTCS.10408
SONIFICATION SYSTEM IN FINDING ROUTE AND DETOUR
OF OBSTACLES
A.A. Markhotin1, A.V. Krivosheykin1, I.N. Osipenko2, G.G. Rogozinsky3
1 St. Petersburg State University of Film and Television, St. Petersburg, Russian Federation;
2 Saber Interactive, St. Petersburg, Russian Federation; 3 Bonch-Bruevich St. Petersburg State University of Telecommunications,
St. Petersburg, Russian Federation
The paper presents a sonification system for finding route and detour of obstacles. In the absence of obstacles in the direction of motion, the sound signal generated by the system indicates the direction to the target. If there are obstacles, the sound signal
indicates the direction of safe movement depending on the current position of the user. The data representation concerning closeness of the obstacles uses the mathematical apparatus of fuzzy logic. The system was designed in the graphical programming environment Pure Data. The description and the results of the experiment on passing through the virtual space with obstacles by several testees using sound are presented.
Keywords: sonification; fuzzy logic; navigation; pathfinding; assistive technology.
Citation: Markhotin A.A., Krivosheykin A.V., Osipenko I.N., Rogozinsky G.G. Sonification system in finding route and detour of obstacles. St. Petersburg State Polytechnical University Journal. Computer Science. Telecommunications and Control Systems, 2017, Vol. 10, No. 4, Pp. 89-96. DOI: 10.18721/JCSTCS.10408
Введение
Процесс ориентации в пространстве, поиск пути и обход возникающих препятствий связан с непрерывным сбором, анализом и интерпретацией информации об этом пространстве. Обычно основной информацией такого типа, особенно для человека, является информация визуальная. Однако в том случае, когда визуальное восприятие затруднено, в качестве приемника информации об окружающем пространстве можно использовать другие биосенсорные системы человека, и в первую очередь речь идет о слуховой системе. Характерный пример — ультразвуковой датчик парковки [1], более известный как парктроник (parking sensor), который в настоящее время повсеместно используется водителями автотранспорта.
Однако применение сонификации, т. е. представления информации в виде неречевых звуковых сигналов [2], в случае управления транспортным средством может быть значительно более сложным в плане отображения данных об окружающем пространстве. Примером тому служит посадка летательного аппарата на поверхность с неизвестным рельефом в условиях плохой видимости. Ещё менее формализованной является задача ориентации в пространстве человека с ограниченными возможностями по зрению. В данном направлении проводились различные исследования, в рамках которых разрабатывались специальные технологии и устройства: от навигации при помощи времяпролётной камеры (time-of-flight) [3] до распознавания объектов при помощи озвучивания изображений [4].
Подробный обзор наиболее значимых
разработок, анализ и сравнение данных устройств в соответствии с их принципом действия и спецификой представлен в [5—7] и находится за рамками данной статьи. Выводы, приведенные в указанных выше исследованиях, заключаются в следующем. На данный момент не существует универсального устройства, которое обеспечивало бы комфортное ориентирование в пространстве людей с ограниченными возможностями по зрению. Самым популярным таким «устройством» по-прежнему остаётся белая трость. Этим определяется актуальность дальнейших исследований в данном направлении и, в частности, исследования, приведенного в рамках настоящей статьи.
Таким образом, цель нашего исследования — разработка модели системы сони-фикации с нечётким отображением данных для решения задачи нахождения пути и обхода препятствий.
Система сонификации
Система сонификации для нахождения пути и обхода препятствий включает в себя два основных функциональных элемента: блок формирования звукового сигнала, указывающего направление на конечную цель, и блок нечеткого отображения данных об окружающих препятствиях (рис. 1).
Реализация концепции отображения данных об окружающем пространстве при помощи изменения параметров звукового сигнала в рамках данной системы сонифи-кации заключается в следующем. Пользователь через наушники (головные телефоны) слышит генерируемый системой сигнал, баланс уровней между правым и левым каналом которого указывает направление на
А.А. Мархотин, А.В. Кривошейкин, И.Н. Осипенко, Г.Г. Рогозинский,
DOI: 10.18721/JCSTCS.10408
Рис. 1. Структурная схема системы сонификации Fig. 1. Block diagram of the sonification system
цель. При возникновении препятствий на пути блок нечёткого отображения данных изменяет параметры синтезируемого звука так, что баланс сигнала смещается в ту или иную сторону в зависимости от того, с какой стороны эффективнее будет обойти препятствие. Нечёткость отображения данных о препятствиях заключается в отношении между расстоянием до препятствия и силой отклонения сигнала. Преобразование данных при помощи нечёткого вывода происходит по следующим правилам (рис. 2):
1) если препятствие близко, то отклонить сигнал сильно;
2) если препятствие недалеко, то отклонить сигнал несильно.
В данном случае «близко», «недалеко», «отклонить сильно» и «отклонить несильно» есть ни что иное как нечёткие множества входных и выходных данных соответственно.
Использование методов нечёткой логики в рамках разработанной системы со-нификации обусловлено преимуществами этих методов с точки зрения простоты формализации зависимости отклонения сигнала по панораме от близости препятствия и отсутствием необходимости создания сложного математического описания данного процесса. По этой же причине нечёткая логика широко применяется в разработках систем навигации для мобильных роботов
Рис. 2. Правила нечёткого вывода системы сонификации Fig. 2. Fuzzy inference of the sonification system
[8—11]. Здесь также стоит отметить, что помимо традиционных промышленных задач [12] нечёткая логика находит своё применение в трудноформализуемых областях человеческой деятельности и, в частности, в работе со звуком, а именно в вопросах синтеза звука и алгоритмической композиции [13].
Кроме того, авторы исследовали применение нечёткого отображения при разработке систем сонификации данных сенсорной активности [14, 15], что является актуальным направлением развития этой системы в области создания реальных устройств. В настоящий момент система сонификации представляет собой виртуальную модель, описание которой приведено далее.
Эксперимент
В ходе эксперимента, целью которого была проверка работоспособности разработанной модели системы сонификации, испытуемым было предложено достичь цели в виртуальном пространстве, преодолевая препятствия и ориентируясь исклю-
0ОО
чительно при помощи звука. Виртуальное пространство было создано в среде графического программирования Pure Data. На рис. 3 представлен интерфейс программы — виртуальное пространство, в котором точка ближе к низу экрана обозначает пользователя, круг и квадрат — препятствия, линия наверху — финишная черта, её пересечение обозначает достижение цели.
Здесь стоит отметить, что на этапе виртуального моделирования процесса ориентации не ставится задача обнаружения и распознавания препятствий. Системе сонификации известны местоположение, форма, и расстояние до препятствий, однако они неизвестны пользователю. Эксперимент состоит в проверке адекватности нечёткого отображения данных о препятствиях реакциям пользователя, при которых путь в обход препятствий будет найден. Блок-схема алгоритма программы представлена на рис. 4.
При первом запуске программы на стадии обучения пользователю предлагалось, основываясь на зрительном восприятии,
Рис. 3. Окно виртуального пространства в Pure Data Fig. 3. The virtual space
4-
А.А. Мархотин, А.В. Кривошейкин, И.Н. Осипенко, Г.Г. Рогозинский,
DOI: 10.18721/JCSTCS.10408 -►
Рис. 4. Блок-схема алгоритма программы симуляции нахождения пути и обхода препятствий
Fig. 4. Flowchart of the program
Результаты прохождения сцен The results of passing scenes
Испытуемый
1 2 3 4
Сцена 1 Пройдена Пройдена Пройдена Пройдена
Сцена 2 Не пройдена Пройдена Пройдена Пройдена
Сцена 3 Пройдена Пройдена Пройдена Пройдена
Сцена 4 Пройдена Не пройдена Пройдена Пройдена
сопоставить информацию о препятствиях и звуковом сигнале, в зависимости от своего положения. Затем, при запуске последующих сцен с другим расположением препятствий, от пользователя требовалось не глядя на экран достичь финишной черты.
Результаты эксперимента
В эксперименте принимали участие четыре человека. Данные о прохождении испытуемыми различных сцен с отметкой о прохождении сведены в таблицу.
Выбранное небольшое число испытуемых и возможных сцен обусловлено тем, что на данном этапе исследования в первую очередь требуется проверка обоснованности выбора самого метода отображения данных, т. е. ответ на вопрос о его пригодности в дальнейших разработках. Таким образом, проводить точные измерения численных показателей эффективности выбранного метода пока преждевременно.
Тем не менее, как видно из таблицы, из 16 попыток прохождения сцены испытуемыми успешно завершились 14. Следовательно, практически в 90 % случаев испытуемый смог пройти незнакомую сцену, ориентируясь только по звуку. Допущенные ошибки возникли в случаях, когда непосредственно впереди движения препятствий не было, и звуковой сигнал указывал прямо. Однако при этом препятствия располагались близко справа или слева от направления движения, и любое малейшее отклонение от курса приводило к столкновению.
Заключение
Исходя из результатов исследования можно сделать практический вывод, что кроме направления непосредственно на цель следует ввести параллельно информацию о близости препятствий, даже если они не находятся прямо по курсу движения. Этого не было сделано изначально, т. к. авторы сочли целесообразным не перегружать звуковой ландшафт дополнительной информацией, чтобы впоследствии, при переходе от модели к реальному миру, сохранить максимальное количество доступного внимания человека для звуков окружающей среды.
Естественно, поскольку данная модель является первым шагом на пути к полноценной системе сонификации для нахождения пути и обхода препятствий и представляет собой виртуальную двухмерную модель, говорить о полной её адекватности реальному миру преждевременно. При разработке прикладных решений на базе предложенного подхода для таких задач, как управление транспортным средством в условиях затрудненной видимости или помощь человеку с ограниченными возможностями по зрению, неизбежно возникает вопрос обнаружения и распознавания препятствий, что является темой для отдельного исследования. Однако принципиальные моменты, такие как нечеткое отображение данных о близости препятствия в параметры отклонения звукового сигнала и сама концепция ведения таким образом пользователя при помощи звука между препятствиями, могут быть сохранены и проработаны более детально в дальнейших исследованиях.
А.А. Мархотин, А.В. Кривошейкин, И.Н. Осипенко, Г.Г. Рогозинский,
DOI: 10.18721/JCSTCS.10408 -►
СПИСОК ЛИТЕРАТУРЫ
1. Mercedes Benz Parktronic system (PTS) // URL: http://www.micro-tronik.com/Support/Info/ Benz-PTS.htm (Дата обращения: 24.04.2017).
2. Sonification report: Status of the field and research agenda // URL: http://www.icad.org/ websiteV2.0/References/nsf.html (Дата обращения: 24.04.2017).
3. Brock M., Kristensson P.O. Supporting blind navigation using depth sensing and sonification // Proc. of the 2013 ACM Conf. on Pervasive and Ubiquitous Computing Adjunct Publication. Zurich, 2013. Pp. 255-258. DOI: 10.1145/2494091.2494173
4. Yoshida T., Kitani K.M., Koike H., Belongie S., Schlei K. EdgeSonic: Image Feature Sonification for the Visually Impaired // Proc. of the 2nd Augmented Human Internat. Conf. Tokyo, 2011. Article No. 11. DOI: 10.1145/1959826.1959837
5. Brabyn J.A. New developments in mobility and orientation aids for the blind // IEEE Trans. Biomedical Engineering. 1982. Vol. 29(4). Pp. 285-289.
6. Shoval S., Ulrich I., Borenstein J. Computerized obstacle avoidance systems for the blind and visually impaired // Intelligent Systems and Technologies in Rehabilitation Engineering. CRC Press: Boca Raton, 2001. Pp. 413-447.
7. Hermann T., Hunt A. The Sonification Handbook. Berlin: Logos Verlag, 2011. 564 p.
8. Faisal M., Hedjar R., Sulaiman M., Al-Mutib K. Fuzzy logic navigation and obstacle avoidance by a mobile robot in an unknown dynamic environment // Internat. Journal of Advanced Robotic Systems. 2013. Vol. 10 // URL: http://
Статья поступила в редакцию 28.04.2017.
journals.sagepub.com/doi/10.5772/54427 (Дата обращения: 24.04.2017).
9. Kumar Pradhan S., Ramakrushna Parhi D., Kumar Panda A. Fuzzy logic techniques for navigation of several mobile robots // Applied Soft Computing. 2009. Vol. 9. No. 1. Pp. 290-30.
10. Raudonis V., Maskeliunas R. Trajectory based fuzzy controller for indoor navigation. Computational Intelligence and Informatics. 2011. Pp. 69-72.
11. Das T., Kan N. Design and implementation of an adaptive fuzzy logic based controller for wheeled mobile robots // IEEE on Control Systems Technology. 2006. Vol. 14. No. 3. Pp. 501-510.
12. тэрано т., Асаи К., Сугэно М. Прикладные нечеткие системы. М.: Мир, 1993. 366 с.
13. Рогозинский г.г., Мархотин А.А. Методы нечеткой логики в компьютерной музыке и алгоритмической композиции // Актуальные проблемы инфотелекоммуникаций в науке и образовании. IV науч.-техн. и науч.-метод. конф. СПб., 2015. С. 362-366.
14. Мархотин А.А., Кривошейкин А.В., Рогозинский г.г., уолш Р. Нечеткое отображение в системе сонификации данных беспроводной сенсорной сети // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 6. С. 1073-1077. DOI: 10.17586/2226-1494-2016-16-6-1073-1077
15. Ефимов В.В., Рогозинский г.г., Мархотин А.А., Чесноков М.А. Нечёткое отображение в процессе сонификации данных сенсорных сетей // Труды ЦНИИС. СПб филиал. 2016. Т. 1. № 1 (2). С. 77-84.
REFERENCES
1. Mercedes Benz Parktronic system (PTS). Available: http://www.micro-tronik.com/Support/ Info/Benz-PTS.htm (Accessed: 24.04.2017).
2. Sonification report: Status of the field and research agenda. Available: http://www.icad. org/websiteV2.0/References/nsf.html (Accessed: 24.04.2017).
3. Brock M., Kristensson P.O. Supporting blind navigation using depth sensing and sonification. Proceedings of the 2013 ACM conference on Pervasive and ubiquitous computing adjunct publication, Zurich, 2013, Pp. 255—258. DOI: 10.1145/2494091.2494173
4. Yoshida T., Kitani K.M., Koike H., Belongie S., Schlei K. EdgeSonic: Image Feature Sonification for the Visually Impaired. Proceedings of the 2nd Augmented Human International
Conference, Tokyo, 2011, Article No. 11. DOI: 10.1145/1959826.1959837
5. Brabyn J.A. New developments in mobility and orientation aids for the blind. IEEE Trans. Biomedical Engineering, 1982, Vol. 29(4), Pp. 285-289.
6. Shoval S., Ulrich I., Borenstein J. Computerized obstacle avoidance systems for the blind and visually impaired. Intelligent Systems and Technologies in Rehabilitation Engineering, CRC Press: Boca Raton, 2001, Pp. 413-447.
7. Hermann T., Hunt A. The Sonification Handbook. Berlin, Germany: Logos Verlag, 2011, 564 p.
8. Faisal M., Hedjar R., Sulaiman M.,
Al-Mutib K. Fuzzy logic navigation and obstacle avoidance by a mobile robot in an unknown
dynamic environment. International Journal of Advanced Robotic Systems, 2013, Vol. 10. Available: http: //journals .sagepub .com/doi/10.5772/54427 (Accessed: 24.04.2017).
9. Kumar Pradhan S., Ramakrushna Parhi D., Kumar Panda A. Fuzzy logic techniques for navigation of several mobile robots. Applied Soft Computing, 2009, Vol. 9, No. 1, Pp. 290-30.
10. Raudonis V., Maskeliunas R. Trajectory based fuzzy controller for indoor navigation. Computational Intelligence and Informatics. 2011, Pp. 69-72.
11. Das T., Kan N. Design and implementation of an adaptive fuzzy logic based controller for wheeled mobile robots. IEEE on Control Systems Technology, 2006, Vol. 14, No. 3, Pp. 501-510.
12. Terano T., Asai K., Sugeno M. Prikladnyye nechetkiye sistemy [Applied Fuzzy Systems]. Moscow: Mir Publ., 1993, 366 p. (rus)
13. Rogozinskiy G.G., Markhotin A.A. Metody
Received 28.04.2017.
nechetkoy logiki v kompyuternoy muzyke i algoritmicheskoy kompozitsii [Methods of fUzzy logic in computer music and algorithmic composition]. Actual Problems of Information Telecommunications in Science and Education. IV Scientific-Technical and Scientific-Methodical Conference, St. Petersburg, 2015, Pp. 362-366. (rus)
14. Markhotin A.A., Krivosheykin A.V., Rogozinskiy G.G., Uolsh R. Fuzzy mapping in data sonification system of wireless sensor network. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, Vol. 16, No 6, Pp. 1073-1077. DOI: 10.17586/2226-14942016-16-6-1073-1077
15. Yefimov V.V., Rogozinskiy G.G., Markhotin A.A., Chesnokov M.A. Nechetkoye otobrazheniye v protsesse sonifikatsii dannykh sensornykh setey [Fuzzy mapping in sensor networks sonification]. Proceedings of the CNIIS. St. Petersburg Branch, 2016, Vol. 1, No. 1 (2), Pp. 77-84. (rus)
СВЕДЕНИЯ ОБ АВТОРАХ / THE AUTHORS
МАРХОТИН Арсений Андреевич MARKHOTIN Arseny A.
E-mail: markhotin@gmail.com
КРИВОШЕйКИН Анатолий Валентинович KRIVOSHEYKIN Anatoly V.
E-mail: krivav@yandex.ru
ОСИПЕНКО Иван Николаевич OSIPENKO Ivan N.
E-mail: ivanosipenko@gmail.com
РОГОЗИНСКИй Глеб Гендрихович ROGOZINSKY Gleb G.
E-mail: gleb.rogozinsky@gmail.com
© Санкт-Петербургский политехнический университет Петра Великого, 2017
