CC BY
277
■ ЭКСПЕРИМЕНТАЛЬНОЕ ОПРЕДЕЛЕНИЕ УРОВНЯ РЕЧЕВОГО СИГНАЛА В ПОКАЗАНИЯХ АКСЕЛЕРОМЕТРА МОБИЛЬНЫХ УСТРОЙСТВ1
Козлов Ю.Е.2, Евсеев В.Л.3
В статье рассмотрены потенциальные возможности работы акселерометра мобильных устройств, как средства съема акустического сигнала в различных условиях. Проведен ряд экспериментов на мобильных устройствах, имеющих различные формфактор и массу. В экспериментах был определен возможный уровень речевого сигнала, измеренный акселерометром. Проведено сравнение работы акселерометра на нескольких мобильных устройствах принимающих акустический сигнал, и определен его максимальный уровень. Определен уровень иных составляющих сигнала, присутствующих в показаниях акселерометра при работе в различных условиях. На основе экспериментальных данных рассчитаны: средний уровень шумов акселерометра мобильных устройств в состоянии покоя и средний уровень показаний акселерометра мобильных устройств, лежащих на одной поверхности с аудиосистемой, транслирующей речевой сигнал. Проведен эксперимент по определению среднего уровня регистрируемых акселерометром ускорений для мобильного устройства, удерживаемого неподвижно в руке. На основе проведенных исследований была подтверждена возможность съема речевой информации с использованием акселерометра при определенных условиях. Данная возможность продемонстрирована, в том числе, на недорогих мобильных устройствах. По результатам экспериментов был сделан вывод об увеличении сложности выделения речевой информации из показаний акселерометра в случае нахождении мобильного устройства в руке, а также при зашумлении речевого сигнала иными составляющими, присутствующими в показаниях акселерометра, при работе в естественных условиях.
Ключевые слова: утечка информации, утечка данных, речевой сигнал, мобильные устройства, датчики мобильного устройства, акселерометр мобильного устройства, датчик ускорений, информационная безопасность.
001:10.21581/2311-3456-2016-5-36-42
Введение
К мобильным устройствам, для которых будут актуальны исследования, приведенные в данной статье, следует отнести следующие из классов устройств, обладающих операционной системой:
- портативные игровые устройства;
- персональные медиаплееры;
- электронные ридеры;
- мобильные телефоны и планшеты;
- электронные часы;
- фитнес браслеты.
В настоящее время подобные устройства оборудуются большим количеством датчиков, выполняющие самые разнообразные функции [1]. К таким датчикам можно отнести:
- акселерометр;
- гироскоп;
- магнитометр;
- датчик GPS/ ГЛОНАСС;
- датчик освещенности;
- датчика приближения;
- датчик звука (микрофон);
- фото и видеокамера.
Объем продаж этих датчиков неуклонно растет, одновременно они становятся более точными и миниатюрными [2]. Из этого можно сделать вывод как о росте спроса на мобильные устройства в целом, так и о появлении новых видов устройств, оборудованных подобными датчиками.
Общеизвестно, что большинство из встроенных датчиков могут регистрировать информацию, которую пользователь, не хотел бы раскрывать. Так, например данные, полученные с GPS/ ГЛОНАСС датчика, могут раскрыть координаты перемещения владельца мобильного устройства. А такие датчики как гироскоп и акселерометр могут служить средством перехвата нажатий на
1 Статья подготовлена по результатам исследований, выполненных за счет бюджетных средств по Государственному заданию Финуниверситета 2016 г.
2 Козлов Юрий Евгеньевич, аспирант Финансового Университета при Правительстве Российской Федерации (Финуниверситет), г. Москва, kozlovye@yandex.ru
3 Евсеев Владимир Леонович, кандидат технических наук, доцент. Доцент Финансового университета при Правительстве Российской Федерации (Финуниверситет), г. Москва, VLevseev@fa.ru
Таблица 1
Характеристики мобильных устройств, участвующих в эксперименте
№ Модель Операционная система Масса (г)
1 Fly iq440 Android 4.1 173
2 Philips i928 Android 4.4.2 168
3 Explay sQuad 10.01 Android 4.1 647
4 Huawei Honor 4c Android 5 162
экранную клавиатуру [3]. По определению, такая информация может относиться к личной жизни человека, а значит представлять конфиденциальный характер. Вследствие этого доступ к таким датчикам как видеокамера, микрофон и датчик СРБ/ГЛОНАСС со стороны операционной системы имеет некоторые ограничения.
В данной статье приведены результаты экспериментов, описывающие потенциальные возможности датчика ускорений (акселерометра), работающего не по прямому назначению, а в качестве приемника акустического сигнала. Речевой сигнал, регистрируемый микрофоном, широко используется аутентификации пользователей в мобильных приложениях [4], однако доступ к этому датчику имеет некоторые ограничения со стороны программного в отличии от акселерометра, поэтому оценка возможности съема речевой информации с акселерометра имеет большую важность при оценке информационной безопасности мобильных устройств.
Средний уровень шумов акселерометра мобильных устройств в состоянии покоя
Несмотря на то, что человек способен слышать звук в пределах от 16 Гц до 20 кГц при передаче колебаний по воздуху, а звуковые волны в диапазоне 300 — 4000 Гц соответствуют человеческому голосу [5], речевой сигнал содержится и в более низком частотном диапазоне и может быть использоваться для распознавания, например, если использовать для восстановления речевого сигнала информацию сразу с нескольких устройств, работающих в диапазоне до 200 Гц [6].
Для проведения экспериментов была написана программа для операционной системы мобильного устройства, позволяющая вести одновременную запись показаний акселерометра и звука, регистрируемого микрофоном. Это позволило с большой точностью оценить уровень сигнала в каждом конкретном измерении.
Для усреднения показаний в экспериментах и получения более объективной оценки в качестве объектов исследования были выбраны четыре
мобильных устройства различного форм-фактора. Некоторые характеристики устройств представлены в таблице 1.
Для нашего исследования масса устройства важна, так как акселерометр установлен на печатной плате. Это означает, что он жестко связан с конструкцией устройства и его показания зависят от ее инерционных характеристик. Можно с уверенностью констатировать, что конструкция устройства будет выполнять роль фильтра в показаниях акселерометра. Характеристики этого фильтра связаны с собственными резонансными частотами мобильного устройства.
Первая часть эксперимента - это измерение среднего уровня шума в показаниях акселерометра при нахождении его в состоянии покоя. Шум акселерометра в состоянии покоя будет, прежде всего, определятся собственными шумами датчика. Общий уровень шумов акселерометра складывается из шумов микромеханического сенсора и шумов электронной части устройства. Из-за небольшой массы сенсора существенный вклад в общий уровень шумов вносит составляющая, обусловленная его тепловыми колебаниями [7].
Кроме собственных шумов акселерометра в качестве шума так же могут выступать электромагнитные наводки на электронную часть устройства, регистрируемые акселерометром как вибрация. Общий уровень шума будем считать минимальным уровнем чувствительности при определении соотношений сигнал/шум для остальных экспериментов.
График показаний акселерометра по всем трем осям для состояния покоя показана на рисунке 1. Этот график характерен для всех устройств. Постоянные уровни в показаниях акселерометра связаны с гравитационным полем земли. При расчете среднего уровня шумов эта постоянная учитываться не будет.
Собственные шумы будут видны при анализе показаний акселерометра по любой из осей. На рисунке 2 приведены показания акселерометра по одной из осей.
е =
х<
е--
(1)
где е - показания по какой либо из осей, ен -нормированные показания, I - общее количество показаний для каждой оси, I - текущее показание.
Выполнив соответствующие преобразование по всем осями, и отобразив их на одном графике, получим визуальное представление о среднем уровне шума в показаниях акселерометра при нахождении устройства в состоянии покоя. Нормированные показания устройства № 4 показаны на рисунке 3.
Рис. 1 - Показания акселерометра для мобильного устройства в состоянии покоя
На рисунке 2 по оси ординат показаны значения сигнала (м/с2), а по оси абсцисс - порядковый номер зарегистрированного ускорения, начиная с 1.
Рис. 3 - Нормированные показания акселерометра устройства № 4.
График с нормированными показаниями устройства № 3 показан на рисунке 4.
Рис. 2 - Показания акселерометра по одной из осей
Показания могут быть нормированы для удаления гравитационной составляющей, а также получения более наглядной картины, позволяющей визуально оценить разброс показаний акселерометра. Проведем соответствующие преобразование, используя выражение (1), для каждого из показаний акселерометра.
Рис. 4 - Нормированные показания акселерометра устройства № 3.
Длительность звукового фрагмента для обоих устройств была одинакова и составляла около минуты. Как видно из графиков акселерометр устройства № 4, произведенного в 2015 году, имеет как минимум в два с половиной раза большую скорость съема данных, чем у устройства № 3, произведенного в 2013 году, и имеет в два раза меньший собственный шум, что может характеризовать тенденции в развитии датчиков ускорения.
Расчет среднего уровня шумов устройства в состоянии покоя (Е) акселерометра по каждой оси проведем по формуле (2), при этом буде считать, что шумы по всем осям одинаковы.
Е = У ¿Л^ + вУг + в2г )
1
3 • I
(2)
гдце I - количество показаний (для всех осей одинаково);
ех, еу, ет - нормированною показания по осям х, у л соответственно.
Умножение на два в прияеденгой формуле необходимо, чтобы скомпенсировать поте|яю половины диапазона при нормировании показаяий проведенной по формуле (1). Средний уровень шумов акселерометра мобильных устройств в состоянии покая приведен ч таблице 2, там же приведена среднеквадратичная разность громкостей, регистрируемых микрофонвм мобильного устройатва.
т качестве опорчой мощности уровня сигнала микрюфона в даняом исследовании, в том числе в Таблице 2, использовалось максимально возможное; знзчение уровня, определяемое форматом звукового файла. Следовательно, максимальному уровню сигнала соответствует 0 дБ (^ 1), а минимальному - минус бесконечность. Для анализа двукового файла использовалась программа Аис1алду. На рисунке 5 представлено диалоговое окно анализа контраста файла, записанного миорофоном мобяльного уятройства № 3 прл измерении показаний аксе-
лерометра в состоянии покоя.
Значительная разница между значениями среднеквадратичной разности громкостей для разных устройств вызвана, прежде всего, сильно различающимися собственными шумами микрофона устройств.
Окедний уровень показаний акселерометра при воздействии акустического сигнала, содержащего речевую информацию
Следующая часть эксперимента направлена на определение мощности принимаемого акселе-ромеаром акустического сигнала для мобильного устройства, расположенного на одной поверхности с аудиосистемой. В эксперименте часть воспринимаемого сигнала будет приниматься акселерометром за счет вибрации поверхности, на которой расположено мобильное устройство. В качестве источника звукового сигнала использовалась акустическая система, уставленная на расстоянии около 20 см от мобильного устройства. Акустическим сигналом служил фрагмент длительностью чуть более одной минуты содержащий мужские и женские голоса, произнесенные с различной эмоциональной окраской. На рисунке 6 показаны нормированные показания акселерометра устройства № 4.
Таблица 2
Средний уровень шумов акселерометра мобильных устройств в состоянии покоя
№ Модель Средний уровень показаний акселерометра в состоянии покоя (м/с2) Среднеквадратичная разность громкостей (дБ)
1 Ну iq440 0.0604 -71,9
2 Philips i928 0.0333 -52,7
3 Explay sQuad 10.01 0.0403 -69,7
4 Huawei Honor 4c 0.0148 -76,9
Анализ контраста (на совместимость с УУСАб 2) X
Анализатор контраста, для измерения среднеквадратичной разности громкостей между двумя областями звука Параметры
Начало Конец Громкость
Передний план: оо,оо«оо.оо< 00ч00м57.47( Измерить выделенное -69,7 Дб
Задний план: ооуоо-оооо< оо-оом57.а7С Измерить выделенное -69.7Д6 Результат
Результат: |тестШСАС2 не пройде Сбросить Разница: Среднее отклонение 0 Экспорт
Справка по УУСА62 Закрыть
Рис. 5 - Анализ среднеквадратичной разности громкостей звукового файла, записанный микрофоном мобильного устройства № 3
Таблица 3
Средний уровень показаний акселерометра мобильных устройств лежащих на одной поверхности с аудиосистемой
№ Модель Средний уровень показаний акселерометра по оси z (м/с2) Среднеквадратичная разность громкостей (дБ)
1 Fly iq440 0,125 -20,0
2 Philips i928 0.0472 -23,1
3 Explay sQuad 10.01 0.0603 -9,3
4 Huawei Honor 4c 0.0283 -26,0
0.25
0.15
О 1000 2000 3000 4000 5000 6000
Рис. 6 - Нормированные показания акселерометра устройства № 4 находящегося возле аудио системы
Эксперимент показал, что уровень сигнала по оси и (перпендикулярной поверхности на которой лежит устройство) наиболее высок. Поэтому имеет смысл рассматривать уровень сигнала, получаемый только по этой оси. Таблица 3 содержит средний уровень показаний акселерометра мобильных устройств лежащих на одной поверхности с аудиосистемой.
Как видно из таблицы 3, показания акселерометра не более чем в 2 раза превышают уровень шумов, указанных в таблице 2, при том, что уровень звукового сигнала достаточно высок. Тем не менее, распознавание речевого сигнала при таком соотношении вполне возможно [6, 8].
Уровень показаний акселерометра, удерживаемого в руке
Заключительная часть исследования показала воздействие релаксационных свойств, присущих человеческому телу. Для этого было произведено измерение среднего уровня показаний акселерометра при удержании устройства в руке в одном положении.
На рисунке 7 показаны нормированные показания акселерометра устройства № 4 находящегося в руке. При этом трансляция акустического сигнала не ведется.
0 1000 2000 3000 4000 5000 6000
Рис. 7 - Нормированные показания акселерометра устройства № 4 удерживаемого в руке в одном положении
Средний уровень показаний акселерометра приведен в таблице 4. При этом видно, что он пре-
Таблица 4
Средний уровень показаний акселерометра
№ Модель Средний уровень показаний ак- Среднеквадратичная разность
селерометра (м/с2) громкостей (дБ)
1 Fly iq440 0.1363 - 72,3
2 Philips i928 0,156 -53,2
3 Explay sQuad 10.01 0.098 - 69,0
4 Huawei Honor 4c 0,11 - 75,5
восходит уровень сигнала, показанный в таблице 3. Так например для устройства № 4 сигнал различается в 3,8 раза. При том, что уровень звукового сигнала, регистрируемого микрофоном достаточно низок. Это объясняется естественными колебаниями и вибрациями, возникающими в теле человека.
Во время телефонного разговора, происходящего в движении, средний уровень показаний акселерометра возрастает более чем в 10 раз. Так например, средний уровень показаний акселерометра для устройства №2, полученный во время быстрой ходьбы, оказался равен 7.21 м/с2, при том, что максимальным уровнем показаний для датчика является 32 м/с2.
Выводы
Несмотря на то, что развитие датчиков ускорения позволяют использовать их в том числе и для регистрирования акустического сигнала, можно с уверенностью сказать, что эта возможность будет иметь достаточно много ограничений. Ускорения, регистрируемые мобильным устройством в движении, будут создавать большие проблемы для выделения акустического сигнала. Тем не менее, возможность утечки речевой информации через датчик ускорений мобильных устройств будет потенциально расти по мере совершенствования этих датчиков и улучшения алгоритмов обработки его показаний.
Рецензент: Сергей Владимирович Дворянкин, доктор технических наук, профессор. Профессор Финансового университета при Правительстве Российской Федерации (Финуниверситет), svdvorynkin@ fa.ru.
Литература
1. Гордеева Н.О. Возможности современных мобильных устройств для обучения. Проблемы современной науки. 2013. № 8-2. с. 54-60.
2. Майская В. Мэмс рынок стойкий продолжительный рост Электроника: Наука, технология, бизнес. 2012. № 5 (119). с. 042-055.
3. Ahmed Al-Haiqi, Mahamod Ismail, Rosdiadee Nordin. On the best sensor for keystrokes inference attack on android. Procedia Technology 11. 2013, p. 989-995.
4. Евсеев В.Л., Козлов Ю.Е. Современные методы речевой аутентификации в приложениях мобильных устройств. Безопасность информационных технологий. 2016. №1. с. 32-36.
5. Терютин Ф.М., Барашков Н.А., Федотова Э.Е., Соловьев А.В., Пшенникова В.Г., Кларов Л.А., Васильева Л.М., Рафаилов А.М., Аргунова А.Н., Хорунов А.Н., Савельев В.В., Кожевников А.А., Федорова С.А. Аудиологический анализ состояния слуха в случайной выборке лиц молодого возраста. Российская оториноларингология. 2012. № 4. c. 101-110.
6. Yan Michalevsky Danm, Boneh Gabi Nakibly. Gyrophone: Recognizing Speech From Gyroscope Signals. https://crypto.stanford. edu/gyrophone/files/gyromic.pdf [В Интернете] (дата обращения 20.12.2015).
7. Казакевич А. Акселерометры Analog Devices. Устройство, применение и непрерывное обновление. Компоненты и технологии. 2007. № 70. c. 46-50.
8. Дворянкин С.В., Алюшин В.М. Метод реконструкции гармонической структуры спектральных описаний искаженной шумами и помехами речи. Известия Института инженерной физики. 2013. Т. 2. № 28. c. 57-62.
EXPERIMENTAL DETERMINATION OF THE LEVEL OF THE SPEECH SIGNAL IN THE READINGS OF THE ACCELEROMETER OF THE MOBILE DEVICE
Kozlov Y.E.4, Evseev V.L.5
The article discusses the potential of accelerometer mobile devices which works as a means of registration of an acoustic signal in different conditions. Carried out number of experiments on mobile devices which have different form factor and weight. In the experiments, it was shown possible level of the speech signal contained in the indications of accelerometer. Conducted a comparison of recording acoustic signal
4 Yury Kozlov, «Financial University under the Government of the Russian Federation» (Finuncial University), postgraduate student, ko-zlovye@yandex.ru.
5 Vladimir Evseev, candidate of technical Sciences, associate Professor. Associate Professor, Financial University under the Government of the Russian Federation (Finuncial University), VLevseev@fa.ru
by means accelerometers several devices, and determine maximum level this signal. Also determined the level of other components present in the readings of accelerometer when operating in various conditions. On the basis of experimental data calculated average noise level of the accelerometer mobile devices at rest. Calculated average accelerometer readings of the mobile devices lying on the same surface with the audio system when she transmits a voice signal. An experiment was conducted, showing the average level of the accelerations registered by the accelerometer of the mobile device which is held motionless in the hand. On the basis of this research has confirmed the possibility of registering of the speech information using accelerometer under certain conditions. This possibility is shown, also, for inexpensive mobile devices. During the experiments the conclusion was made about the increasing difficult of the extraction of the voice information from the accelerometer testimony in the case of locating a mobile device in hand, or when there are other interference alongside speech signal at work in vivo.
Keywords: information leakage, data leakage, a voice signal, the mobile device, the sensors of the mobile device, the accelerometer of the mobile device, acceleration sensor, information security.
References
1. Gordeeva N.O. Vozmozhnosti sovremennyh mobil'nyh ustrojstv dlja obuchenija. Problemy sovremennoj nauki. 2013. № 8-2. p. 54-60.
2. Majskaja V. Mjems rynok stojkij prodolzhitel'nyj rost Jelektronika: Nauka, tehnologija, biznes. 2012. № 5 (119). p. 042-055.
3. Ahmed Al-Haiqi, Mahamod Ismail, Rosdiadee Nordin. On the best sensor for keystrokes inference attack on android. Procedia Technology 11. 2013, p. 989-995.
4. Evseev V.L., Kozlov Ju.E. Sovremennye metody rechevoj autentifikacii v prilozhenijah mobil'nyh ustrojstv. Bezopasnost' informacionnyh tehnologij. 2016. №1. p. 32-36.
5. Terjutin F.M., Barashkov N.A., Fedotova Je.E., Solov'ev A.V., Pshennikova V.G., Klarov L.A., Vasil'eva L.M., Rafailov A.M., Argunova A.N., Horunov A.N., Savel'ev V.V., Kozhevnikov A.A., Fedorova S.A. Audiologicheskij analiz sostojanija sluha v sluchajnoj vyborke lic molodogo vozrasta. Rossijskaja otorinolaringologija. 2012. № 4. p. 101-110.
6. Yan Michalevsky Danm, Boneh Gabi Nakibly. Gyrophone: Recognizing Speech From Gyroscope Signals. https://crypto.stanford. edu/gyrophone/files/gyromic.pdf [Online] (accessed: 20.12.2015).
7. Kazakevich A. Akselerometry Analog Devices. Ustrojstvo, primenenie i nepreryvnoe obnovlenie. Komponenty i tehnologii. 2007. № 70. p. 46-50.
8. Dvorjankin S.V., Aljushin V.M. Metod rekonstrukcii garmonicheskoj struktury spektral'nyh opisanij iskazhennoj shumami i pomehami rechi. Izvestija Instituta inzhenernoj fiziki. 2013. T. 2. № 28. p. 57-62.
