CC BY
41
НАУЧНО-ТЕХНИЧЕСКИИ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ нотябрь-декабрь 2016 Том 16 № 6 ISSN 2226-1494 http://ntv.i1mo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS November-December 2016 Vol. 16 No 6 ISSN 2226-1494 http://ntv.ifmo.ru/en
УДК 004.523
НЕЧЕТКОЕ ОТОБРАЖЕНИЕ В СИСТЕМЕ СОНИФИКАЦИИ ДАННЫХ БЕСПРОВОДНОЙ СЕН СОРНОЙ СЕТИ А.А. Мархотин", А.В. Кривошейкин', Г.Г. Рогозинскийь, Р. Уолшc
a Санкт-Петербургский государственный университет кино и телевидения, Санкт-Петербург, 191119, Российская Федерация
b Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, 193232, Российская Федерация
c Технологический институт Дандолк, Дандолк, A91 K548, Ирландия Адрес для переписки: gleb.rogozinsky@gmail.com Информация о статье
Поступила в редакцию 25.07.16, принята к печати 16.09.16 doi: 10.17586/2226-1494-2016-16-6-1073-1077 Язык статьи - русский
Ссылка для цитирования: Мархотин А.А., Кривошейкин А.В., Рогозинский Г.Г., Уолш Р. Нечеткое отображение в системе сонификации данных беспроводной сенсорной сети // Научно-технический вестник информационных технологий, механики и оптики. 2016. Т. 16. № 6. С. 1073-1077. doi: 10.17586/2226-1494-2016-16-6-1073-1077
Аннотация
Постановка проблемы. Приведена модель системы сонификации с учетом возможных типов данных беспроводной сенсорной сети. Для отображения данных в звук использован математический аппарат нечеткой логики. Методы. Разработанная система сонификации включает в себя модель входных данных и ядро синтеза звука. Система реализована в среде Pure Data. Для нечеткого вывода данных в процессе отображения использован Fuzzy Logic Toolbox MATLAB. Модель системы имеет возможность отправки данных по протоколу UDP для осуществления сонификации в стороннем приложении. Результаты. Предложен метод организации звукового пространства выходных сигналов системы сонификации при помощи введения нечетких тембральных классов и последующего вывода управляющих характеристик ядра синтеза звука в зависимости от типа входных данных. Практическая значимость. Предложенный подход к использованию нечеткой логики в системах сонификации может быть применен при разработке новых приложений, для которых затруднена формализация задания соответствия входных данных выходным звуковым сигналам, а также требуется сложная организация тембрального пространства. Ключевые слова
сонификация, нечеткая логика, беспроводные сенсорные сети, Интернет вещей, распределенные системы
FUZZY MAPPING IN DATA SONIFICATION SYSTEM OF WIRELESS SENSOR
NETWORK
A.A. Markhotin", A.V. Krivosheykin", G.G. Rogozinskyb, R. Walshc
a Saint Petersburg State University of Film and Television, Saint Petersburg, 191119, Russian Federation
b The Bonch-Bruevich St. Petersburg State University of Telecommunications, Saint Petersburg, 193232, Russian Federation
c Dundalk Institute of Technology, Dundalk, A91 K548, Ireland
Corresponding author: gleb.rogozinsky@gmail.com
Article info
Received 25.07.16, accepted 16.09.16
doi: 10.17586/2226-1494-2016-16-6-1073-1077
Article in Russian
For citation: Markhotin A.A., Krivosheykin A.V., Rogozinsky G.G., Walsh R. Fuzzy mapping in data sonification system of wireless sensor network. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2016, vol. 16, no. 6, pp. 1073-1077. doi: 10.17586/2226-1494-2016-16-6-1073-1077
Abstract
Problem Statement. This paper describes the modeling of sonification system with possible types of wireless sensor network data. Fuzzy logic is used for the data-to-sound mapping. Methods. Devised sonification system includes input data model and sound synthesis core. It was created in Pure Data. For fuzzy output of mapped data the Fuzzy Logic Toolbox of MATLAB was used. Moreover, the system model has an ability to send data to the side application via UDP protocol. Results. We offer the method of timbre space organization for sonification system output and the following output of control sound characteristics depending on the type of input data. Practical Relevance. The offered approach of using fuzzy logic in
sonification systems can be applied in development of new applications when the formalization of data-to-sound mapping is
difficult and also complicated timbal space organization is required.
Keywords
sonification, fuzzy logic, wireless sensor networks, Internet of things, distributed systems
Введение
Представление данных в виде неречевых звуковых сигналов, или сонификация [1], в настоящее время приобретает новое направление развития в связи с повсеместным распространением устройств, способных взаимодействовать между собой или с внешней средой и подключаться к сети. Количество таких устройств в современном мире непрерывно увеличивается, иллюстрируя тем самым переход в практическую плоскость концепции Интернета вещей [2]. Такими устройствами могут быть как персональные носимые «умные» устройства, оснащенные всевозможными сенсорами, так и специализированные автономные. Объединение этих устройств в распределенную самоорганизующуюся систему сбора, обработки и передачи информации - беспроводную сенсорную сеть [3] - позволяет расширить возможности представления информации об окружающей среде или производственных процессах, а также улучшить человеко-машинное взаимодействие [4]. Кроме применения сонификации в вышеизложенных направлениях, преобразование данных в звук может использоваться и в более трудноформализуемых и творческих областях человеческой деятельности, таких как построение систем дополненной акустической реальности [5] и распределенная генерация аудиоконтента [6, 7].
При создании систем сонификации возникают известные вопросы акустики и психоакустики, ко -торые принято учитывать [8]. Однако на данный момент не существует аналогичных универсальных принципов, касающихся технической стороны разработки систем сонификации и в первую очередь вопросов отображения входных данных. Если речь идет не о прямой сонификации или непосредственном озвучивании событий [9], а о более сложных типах, таких как, например, параметрическая сонификация [10], законы, по которым та или иная величина преобразуется в параметры выходного сигнала, каждый раз формулируются с нуля. Кроме того, при разработке системы сонификации важно учитывать возможные типы входных данных, так как от этого напрямую зависит способ их отображения системой.
Источником данных различного типа может выступать беспроводная сенсорная сеть. Однако в настоящий момент в доступных литературных источниках [8, 11] сонификация данных беспроводных сенсорных сетей присутствует скорее как инструмент настройки и обслуживания сети, но не применяется как технология для обеспечения мониторинга объектов, данные о которых собираются сетью. Таким образом, целью представленного в настоящей работе исследования является разработка общего подхода к созданию отображения входных данных различного типа на примере данных беспроводной сенсорной сети при помощи нечеткого вывода. Стоит отметить, что, поскольку целью работы не является разработка системы сонификации данных конкретной беспроводной сенсорной сети, последняя представлена каче -ственно, как пример объекта, генерирующего различные типы данных, для которых требуется эффективных мониторинг.
Типы данных
Данные сенсорной сети, поступающие в систему сонификации, в общем виде могут быть разделены на три типа [12] (рис. 1):
1. непрерывные данные;
2. данные по запросу;
3. оповещения о событиях.
Непрерывные данные
Данные по запросу
1 Оповещения о событиях
Нечеткий логический вывод
i \ г
Сонификация
Рис. 1. Типы данных в системе сонификации
Непрерывные данные регистрируют изменения величин, для которых требуется постоянный мониторинг их состояния. Такой величиной может быть, например, температура, скорость ветра или другая величина, для которой важно знать значения в каждый момент времени и динамику их изменения.
Данные по запросу представляют собой тип трафика, который возникает только при наличии запроса пользователя к системе относительно значений той или иной величины в данный момент времени.
А.А. Мархотин, А.В. Кривошейкин, ГГГГ Рогозинский, F! Уолш
Оповещения о событиях являются представлением в виде звуковых сигналов интересующих типов событий, регистрируемых датчиками беспроводной сети. Такими событиями могут быть, например, регистрация объекта датчиком движения, превышение температуры или допустимого уровня воды, возникновение пожара или любые другие ситуации, требующие немедленного реагирования пользователя.
Система сонификации
Реализация системы сонификации с описанными ранее типами данных была выполнена в среде графического программирования Pure Data (рис. 2).
Первый тип - непрерывные данные поступали в систему с определенной периодичностью, значение которой было выбрано равным 0,5 с, что вполне достаточно для наблюдения характера изменений входных данных во времени, однако при необходимости может быть скорректировано в любую сторону. Затем данные поступали в блок нечеткого вывода, после чего полученные параметры использовались для управления выходным звуковым сигналом. В модели предусмотрена генерация звуковых сигналов как непосредственно в среде Pure Data, так и возможность отправки данных посредством протокола UDP [13] в стороннее приложение.
Генерация данных второго типа, т.е. данных по запросу, также проходила непрерывно, однако звуковой сигнал, представляющий эти данные, мог быть получен только при взаимодействии пользователя с определенным элементом интерфейса управления.
Оповещения, или данные третьего типа, поступали в систему и отображались при помощи звука независимо от пользователя. Также эти данные следовали на выход системы сразу, т.е. минуя блок нечеткого вывода, который предусмотрен для обработки данных первых двух типов, и речь о котором пойдет ниже.
Непрерывные данные
г--------1
0
Нечеткий вывод
I----------i
г f
М> р
on/off sonification
Отправка данных в стороннее приложение
Рис. 2. Система сонификации, реализованная в среде Pure Data Нечеткий логический вывод
Поскольку нечеткая логика находит свое применение, помимо трудноформализуемых промышленных задач [14], в вопросах управления процессом синтеза звука, работой с тембральным пространством и в алгоритмической композиции [15], было решено использовать данный математический аппарат при моделировании отображения данных в системе сонификации.
В рамках модели была реализована система логического вывода Мамдани [16] с одним входом, значения которого Х1 лежат в диапазоне от 0 до 10, что не является принципиальным. В данном случае
существенной будет возможность принадлежности значений X1 из допустимого диапазона двум нечетким множествам А1 и А2. Выходные значения нечеткого вывода Y также разбиты на два нечетких множества B1 и B2. Вывод был реализован по методу центра тяжести [17] при помощи Fuzzy Logic Toolbox MATLAB и осуществлялся по правилам (рис. 3):
- Если X1 - это А1, то Y - это B1;
- Если Х1 - это А2, то Y- это B2.
Правило l
Правило 2
х=4,49
y=G,37
/
у
lG
G
l
Рис. 3. Окно вывода правил Fuzzy Logic Toolbox MATLAB
Конкретное значение выходного параметра Y в общем случае может содержать информацию, определяющую тембр выходного звукового сигнала. В зависимости от принятых в системе выходных нечетких множеств, которые можно обозначить как нечеткие тембральные классы, значение Y будет определять различную совокупность параметров, определяющих тембр выходного звукового сигнала, таких как частота, амплитуда, время атаки и т.п.
В рассматриваемой модели системы сонификации, реализованной в среде Pure Data, выходные нечеткие множества B1 и B2 есть не что иное, как нечеткие тембральные классы, которые представлены при помощи синусоидальных и пилообразных колебаний, а само значение параметра Y отвечает за баланс между ними. Кроме того, следует напомнить, что выходное значение Y может быть отправлено посредством протокола UDP в стороннее приложение и при необходимости привязано к более сложным тембраль-ным вариациям.
Заключение
Реализованный в работе подход к разделению типов входных данных в системе сонификации в зависимости от их следования описывает общие закономерности возможных сценариев их поступления и обработки. Интерес дальнейших исследований в этом направлении связан с разработкой детального учета характера самих поступающих данных и их отображения системой, что требует создания соответствующей системы нечеткого вывода. Предложенный в настоящей работе алгоритм нечеткого вывода, хоть и является примитивным, иллюстрирует возможность и обоснованность применения нечеткой логики в задачах отображения данных при разработке систем сонификации. Расширенный до необходимого количества входных данных и содержащий в себе требуемые нечеткие тембральные классы для организации пространства выходных сигналов, предложенный в работе алгоритм нечеткого вывода может быть использован в дальнейших разработках отображения данных в системах сонификации.
G
Литература
1. Kramer G., Walker B., Bonebright T., Cook P., Flowers J., Miner N., Neuhoff J. Sonification report: status of the field and research agenda // NFS Sonification White Paper. Santa-Fe, l998. 3G p.
2. Бондарик В.Н., Кучерявый А.Е. Прогнозирование развития Интернета Вещей на горизонте планирования до 2G3G года // Труды МФТИ. 2Gl3. Т 5, №3. С. 92-96.
3. Беспроводной промышленный мониторинг. Интеллектуальные системы на базе сенсорных сетей [Электронный ресурс]. Режим доступа: www.ipmce.ru/img/release/is_sensor.pdf, свободный. Яз. рус (дата обращения 22.G7.l6).
4. Кучерявый А.Е., Прокопьев А.П., Кучерявый Е.А. Самоорганизующиеся сети. СПб.: Любавич, 2Gll. 3l2 c.
5. Рогозинский Г.Г., Чесноков М.А., Щекочихин А.В., Черный Е.В., Смирнов И.Н. Особенности представления и обработки данных в сети дополненной акустической реальности // Системы управления и информационные технологии. 2Gl5. Т. 6l. № 3. С. 89-93.
6. Hermann T., Nehls A., Eitel F, Barri T, Gammel M. Tweetscapes - real-time sonification of twitter data streams for
References
1. Kramer G., Walker B., Bonebright T., Cook P., Flowers J., Miner N., Neuhoff J. Sonification report: status of the field and research agenda. NFS Sonification White Paper. Santa-Fe, 1998, 30 p.
2. Bondarik V.N., Koucheryavy A.E. Internet of Things growth forecast up to the year 2030. Proceedings of MIPT, 2013, vol. 5, no. 3, pp. 92-96. (In Russian)
3. Wireless Industrial Monitoring. Intelligent Systems Based on Sensor Networks. Available at: www.ipmce.ru/img/release/is_sensor.pdf (accessed 22.07.16).
4. Koucheryavyi A.E., Prokopiev А.P., Koucheryavyi A.E. Samoorganizuyushchiesya Seti [Self-Organizing Networks]. St. Petersburg, Lyubavich Publ., 2011, 312 p.
5. Rogozinsky G.G., Chesnokov M.A., Shchekochikhin A.V., Chernyi E.V., Smirnov I.N. Feature of data structure and analysis in augmented acoustic reality network. Sistemy Upravleniya i Informatsionnye Tekhnologii, 2015, vol. 61, no. 3, pp. 89-93.
6. Hermann T., Nehls A.V., Eitel F., Barri T., Gammel M. Tweetscapes - real-time sonification of twitter data streams for radio broadcasting. Proc. 18th Int. Conf. on Auditory Display.
А.А. Мархотин, А.В. Кривошейкин, ГГ Рогозинский, Fl Уолш
radio broadcasting // Proc. 18th Int. Conf. on Auditory Display. Atlanta, USA, 2012. P. 113-120.
7. Рогозинский Г.Г., Черный Е.В., Уолш Р., Щекочихин А.В. Распределенная генерация компьютерной музыки в интернете вещей // Научно-технический вестник информационных технологий, механики и оптики. 2015. Т. 15. № 4(98). С. 654-660. doi: 10.17586/2226-1494-2015-15-4654-660
8. Hermann T., Hunt A., Neuhoff J.G. The Sonification Handbook. Berlin: Logos Verlag, 2011. 586 p.
9. Dombois F. Auditory seismology: on free oscillations, focal mechanisms, explosions and synthetic seismograms // Proc. 8th Int. Conf. on Auditory Display. Kyoto, Japan, 2002.
10. McGee R. Auditory Displays and Sonification: Introduction and Overview [Электронный ресурс]. 2009. Режим доступа: http://www.lifeorange.com/writing/Sonification_Auditory_Displ ay.pdf, свободный. Яз. англ. (дата обращения 22.07.16).
11. Costanza E., Panchard J., Zufferey G., Nembrini J., Freudiger J., Huang J., Hubaux J-P. SensorTune: a mobile auditory interface for DIY wireless sensor networks // Proc. 28th Annual Conference on Human Factors in Computing Systems. Atlanta, USA, 2010. V. 4. P. 2317-2327.
12. Выборнова А.И. Исследование характеристик трафика в беспроводных сенсорных сетях: дис. ... канд. техн. наук. СПбГУТ, 2014. 183 c.
13. Kurose J., Ross K. Computer Networking: a Top-Down Approach. 6th ed. Pearson Education, 2013. 862 p.
14. Тэрано Т., Асаи К., Сугэно М. Прикладные нечеткие системы. М.: Мир, 1993. 368 с.
15. Мархотин А.А., Рогозинский Г.Г., Методы нечеткой логики в компьютерной музыке и алгоритмической композиции // IV Международная конференция "Актуальные проблемы инфотелекоммуникаций в науке и образовании". СПб., 2015. С. 362-366.
16. Леоненков А.В. Нечеткое моделирование в среде MATLAB и fuzzyTECH. СПб.: БХВ-Петербург, 2003. 736 с.
17. Штовба С.Д. Проектирование нечетких систем средствами MATLAB. М.: Горячая линия-Телеком, 2007. 288 с.
Авторы
Мархотин Арсений Андреевич - аспирант, Санкт-Петербургский государственный университет кино и телевидения, Санкт-Петербург, 191119, Российская Федерация, markhotin@gmail.com
Кривошейкин Анатолий Валентинович - доктор технических наук, профессор, профессор, Санкт-Петербургский государственный университет кино и телевидения, Санкт-Петербург, 191119, Российская Федерация, krivav@yandex.ru Рогозинский Глеб Гендрихович - кандидат технических наук, руководитель направления аудиотехнологий НОЦ «Медиацентр», Санкт-Петербургский государственный университет телекоммуникаций им. проф. М.А. Бонч-Бруевича, Санкт-Петербург, 193232, Российская Федерация, gleb.rogozinsky@gmail.com
Уолш Рори - магистр, лектор, лектор, Технологический институт Дандолк, Дандолк, А91 К548, Ирландия, rorywalsh@ear. ie
Atlanta, USA, 2012, pp. 113-120.
7. Rogozinsky G.G., Cherny E.V., Walsh R., Shchekochikhin A.V. Distributed generation of computer music in the internet of things. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2015, vol. 15, no. 4, pp. 654-660. doi: 10.17586/2226-1494-2015-15-4-654-660
8. Hermann T., Hunt A., Neuhoff J.G. The Sonification Handbook. Berlin, Logos Verlag, 2011, 586 p.
9. Dombois F. Auditory seismology: on free oscillations, focal mechanisms, explosions and synthetic seismograms. Proc. 8th Int. Conf. on Auditory Display. Kyoto, Japan, 2002.
10. McGee R. Auditory Displays and Sonification: Introduction and Overview. 2009. Available at: http://www.lifeorange.com/writing/Sonification_Auditory_Disp lay.pdf (accessed 22.07.16).
11. Costanza E., Panchard J., Zufferey G., Nembrini J., Freudiger J., Huang J., Hubaux J-P. SensorTune: a mobile auditory interface for DIY wireless sensor networks. Proc. 28th Annual Conference on Human Factors in Computing Systems. Atlanta, USA, 2010, vol. 4, pp. 2317-2327.
12. Vybornova A.I. Research of Traffic Characteristics in the Wireless Sensor Networks. Dis. Eng. Sci. St. Petersburg, SPbSUT, 2014. 183 p.
13. Kurose J., Ross K. Computer Networking: a Top-Down Approach. 6th ed. Pearson Education, 2013, 862 p.
14. Terano T., Asai K., Sugeno M. Applied Fuzzy Systems. Moscow, Mir Publ., 1993, 368 p. (In Russian)
15. Markhotin A.A., Rogozinskii G.G. Methods of fuzzy logic in computer music and algorithmic composition. Proc. 4th Int. Conf. on Infotelecommunications in Science and Education. St. Petersburg, 2015, pp. 362-366. (In Russian)
16. Leonenkov A.V. Fuzzy Modeling in MATLAB and fuzzyTECH. St. Petersburg, BHV-Peterburg, 2003, 736 p.
17. Shtovba S.D. Design of Fuzzy Systems in MATLAB. Moscow, Goryachaya Liniya-Telekom, 2007, 288 p.
Authors
Arseny A. Markhotin - postgraduate, Saint Petersburg State University of Film and Television, Saint Petersburg, 191119, Russian Federation, markhotin@gmail.com
Anatoly V. Krivosheykin - D.Sc., Full Professor, Saint Petersburg State University of Film and Television, Saint Petersburg, 191119, Russian Federation, krivav@yandex.ru
Gleb G. Rogozinsky - PhD, Deputy Head of Medialabs, The Bonch-Bruevich St. Petersburg State University of Telecommunications, Saint Petersburg, 193232, Russian Federation, gleb.rogozinsky@gmail.com
Rory Walsh - Master, Lecturer, Dundalk Institute of Technology, Dundalk, A91 K548, Ireland, rorywalsh@ear.ie
