CC BY
29DOI: 10.26442/2075-1753_20.3.73-76
Настройка речевых процессоров с применением алгоритмов нейросетевой системы
С.В.Левин12, А.Н.НаркевичИ3, Ю.К.Янов1, С.Г.Вахрушев3, В.Е.Кузовков1'3, Е.А.Левина1, В.А.Воронов2, А.В.Шапорова1
1ФГБУ «Санкт-Петербургский научно-исследовательский институт уха, горла, носа и речи» Минздрава России. 190013, Россия, Санкт-Петербург, ул. Бронницкая, д. 9;
2ФГБОУ ВО «Северо-Западный государственный медицинский университет им. И.И.Мечникова» Минздрава России. 191015, Россия, Санкт-Петербург, ул. Кирочная, д. 41;
3ФГБОУ ВО «Красноярский государственный медицинский университет им. проф. В.Ф.Войно-Ясенецкого» Минздрава России. 660022, Россия, Красноярск, ул. Партизана Железняка, д. 1 enarkevichart@gmail.com
Результаты операции кохлеарной имплантации (КИ) напрямую зависят от качества проведенной операции, реабилитационной программы и настройки системы КИ. У каждого пациента важна максимальная точность проведения этих мероприятий. В случае допущения погрешностей на любом из этапов КИ не будет эффективна вся система реабилитации в целом. У детей раннего возраста и сложных групп пациентов субъективные данные и диагностические занятия с педагогами не могут дать достаточно сведений для настройки речевого процессора. В таких случаях используются объективные методы исследования слуха. Наиболее быстрый и автоматизированный метод объективного исследования, применяющийся в КИ, - телеметрия нервного ответа.
Целью нашего исследования являлось изучение возможности использования нейронных сетей для обработки электрически вызванного потенциала действия у пациентов с КИ.
Материалы и методы. Обследованные пациенты (n=120) были разделены на 2 группы: группа обучения нейронной сети и группа сравнения. Результаты. Были проанализированы данные обученных нейронных сетей и выбрана сеть с наименьшей ошибкой. Структура сети составила 3 входных нейрона, 3 скрытых нейрона и 1 выходной нейрон. Доля верного прогноза при работе данной сети составила 99,2%. Заключение. Применение нейросетевой экспертной системы позволяет увеличить информативность телеметрии нервного ответа при настройке системы КИ; оптимизировать параметры настройки речевого процессора для каждого пациента; повысить эффективность реабилитации пациентов после КИ.
Ключевые слова: кохлеарная имплантация, обучение нейронной сети, исследование слуха, нейросетевая экспертная система. Для цитирования: Левин С.В., Наркевич А.Н., Янов Ю.К. и др. Настройка речевых процессоров с применением алгоритмов нейросетевой системы. Consilium Medicum. 2018; 20 (3): 73-76. DOI: 10.26442/2075-1753_20.3.73-76
Original article
Fitting of speech processors using algorithms of the neural network system
S.V.Levin12, A.N.Narkevich^3, YK.Yanov1, S.G.Vachrushev3, V.E.Kuzovkov13, E.A.Levina1, V.A.Voronov2, A.V.Shaporova1
1Saint Petersburg Research Institute of Ear, Nose, Throat and Speech of the Ministry of Health of the Russian Federation. 190013, Russian Federation, Saint Petersburg, ul. Bronnitskaya, d. 9;
2I.I.Mechnikov North-West State Medical University of the Ministry of Health of the Russian Federation. 191015, Russian Federation, Saint Petersburg, ul. Kirochnaya, d. 41;
3Prof. V.F.Voino-Yasenetski Krasnoyarsk State Medical University of the Ministry of Health of the Russian Federation. 660022, Russian Federation, Krasnoyarsk, ul. Partizana Zhelezniaka, d. 1 enarkevichart@gmail.com
Abstract
The results of the operation of cochlear implantation directly depend on the quality of the operation performed, the rehabilitation program and the setting of the cochlear implant system. For each patient, the maximum accuracy of these measures is important. But in case of making errors at any stage of cochlear implantation, the entire rehabilitation system as a whole will not be effective. Precise adjustment of the speech processor is very important for young children and complex groups of patients, and subjective data and diagnostic exercises with teachers can not give enough information to adjust the speech processor. In such cases, objective methods of hearing research are used. The fastest and automated method of objective research used in CI is the of a nervous response telemetry. The purpose of our study was to study the possibility of using neural networks for processing electrically induced action potential in patients with CI. Materials and methods. 120 patients were examined. The patients were divided into 2 groups: neural network training group and comparison group. Results. The data of the trained neural networks were analyzed and the network with the lowest error was chosen. The network structure consisted of three input neurons, three hidden neurons and one output neuron. The proportion of the correct forecast for this network was 99.2%.
Conclusion. The application of the neural network expert system allows increasing the informative value of the telemetry of the neural response when tuning the CI; optimize speech processor settings for each patient; improve the efficiency of rehabilitation of patients after CI. Key words: cochlear implantation, neural network training, hearing research, neural network expert system.
For citation: Levin S.V., Narkevich A.N, Yanov Y.K. et al. Fitting of speech processors using algorithms of the neural network system. Consilium Medicum. 2018; 20 (3): 73-76. DOI: 10.26442/2075-1753_20.3.73-76
Кохлеарная имплантация (КИ) в настоящее время является одним из наиболее эффективных методов лечения сенсоневральной тугоухости 4-й степени глухоты. Операция КИ выполняется в крупных медицинских центрах и проводится с очень высоким качеством. Для того чтобы пациент услышал, недостаточно просто провести
операцию. Через 1 мес после операции начинается второй этап КИ - послеоперационная реабилитация. Это самый сложный и длинный процесс для пациента (проводятся исследование слуха и настройка системы КИ, занятия с сурдопедагогами, логопедами, консультации невролога, сурдолога, психолога).
В самом начале реабилитации выполняется включение речевого процессора. Пациент впервые начинает слышать звуки при помощи КИ. На этом этапе важно максимально точно настроить систему КИ. Могут использоваться разные методики настройки процессоров. Все методы настройки можно разделить на субъективные и объективные [1]. Субъективные методы в основном используются у взрослых пациентов [2]. У детей раннего возраста, подростков и сложных пациентов используются объективные методы исследования. Наиболее часто используемый метод - регистрация электрически вызванного стапедиального рефлекса. Реже используется телеметрия нервного ответа (ТНО). И еще реже регистрация слуховых вызванных потенциалов на электрические стимулы.
Регистрация стапедиальных рефлексов в настоящее время является «золотым» стандартом в настройке КИ. Этот метод зарекомендовал себя очень хорошо и активно используется в педиатрической сурдологии. В норме стапе-диальный рефлекс является защитной реакцией организма на очень громкие звуки, предохраняющей кортиев орган от повреждения звуком [3]. В случае стимуляции громкими звуками, начиная от 70 децибел над порогом слышимости, у здорового человека включается защитная реакция, которая представлена сокращением стапедиальной мышцы в среднем ухе. При ее сокращении резко возрастает акустическое сопротивление звукопроводящей системы и за счет напряжения цепи слуховых косточек - меньше энергии попадает во внутреннее ухо. Такой рефлекс препятствует повреждению рецепторного органа в ответ на громкие звуки [4]. При восприятии громких звуков только с одной стороны - моноурально, за счет перекреста слуховых волокон в центральных отделах слуховой системы сокращение мышц происходит одновременно в правом и в левом ухе - бинаурально. Это свойство используется при настройке речевых процессов КИ. При обследовании при помощи диагностического интерфейса и программы для настройки системы КИ в специальном режиме происходит стимуляция слухового нерва КИ. С противоположного уха при помощи импедансометра - прибора для регистрации акустического сопротивления среднего уха - регистрируется сокращение стапедиальной мышцы. Электрически вызванные стапедиальные рефлексы определяются на каждом электроде КИ [5]. По данным литературы, электрически вызванные стапедиальные рефлексы хорошо коррелируют с максимальными комфортными уровнями настройки КИ. Но у данного метода исследования есть некоторые недостатки. В случае кондуктивной тугоухости на контралатеральном ухе часто стапедиальные рефлексы зарегистрировать невозможно.
В случаях, когда электрически вызванные стапедиаль-ные рефлексы не регистрируются по каким-то причинам, а получить объективную информацию о состоянии слуха необходимо для качественной настройки системы КИ, используются другие методы исследования [6].
Следующий метод объективной настройки системы -это ТНО. При ТНО проводится регистрация ответов слухового нерва в ответ на электрическую стимуляцию. Во время исследования при помощи программы для настройки проводится стимуляция одного из электродов КИ [7-9]. После стимуляции с соседнего электрода происходит запись электрического возбуждения слухового нерва. При классической регистрации ТНО оценивается возбуждение слухового нерва в ответ на импульсы разной амплитуды [10, 11]. По мере роста амплитуды импульса будет увеличиваться и амплитуда ответа слухового нерва. При обработке результатов строится зависимость амплитуды ответа слухового нерва от амплитуды стимула. При помощи этой зависимости определяются пороговые значения возбуждения слухового нерва. Эти данные используются в настройке [12-14].
Преимуществом использования ТНО является простое применение методики, этот метод не требует дополнительного оборудования, такого как импедансометр или установка для регистрации слуховых вызванных потенциалов. При регистрации нет дополнительных помех, как при записи слуховых вызванных потенциалов, артефакта от мышечного потенциала действия, не мешает спонтанная активность головного мозга. Результаты обследования не зависят от состояния пациента, не обязательно проводить исследования во время сна [15, 16]. Это связано с тем, что записываемый электрод находится в непосредственной близости от слухового нерва и далеко от источников помех.
В настоящее время этот метод в связи с его простотой используется для проведения дистанционной настройки КИ [17, 18]. Недостатками метода является то, что пороги ТНО, полученные классическим способом, недостаточно хорошо коррелируют с искомыми параметрами настройки речевого процессора, такими как максимальная комфортная громкость и пороговые уровни стимуляции. Также недостатком является необходимость в ряде случаев коррекции автоматической обработки результатов после обследования.
Целью нашего исследования являлось изучение возможности использования нейронных сетей для обработки электрически вызванного потенциала действия у пациентов с КИ. Нами был разработан метод обработки данных ТНО, дающий высокую корреляцию с параметрами максимальных комфортных уровней (МКУ) КИ.
Для определения значения МКУ громкости при регистрации ТНО была использована математическая модель нейронной сети. Искусственная нейронная сеть - это математическая модель, построенная по принципу организации и функционирования биологических нейронных сетей, нервных клеток живого организма [19, 20]. Нейронные сети представляют собой систему соединенных между собой действующих виртуальных нейронов. Нейроны представлены в виде нескольких слоев. Чаще всего это входной слой, скрытый слой нейронов и выходной слой. У каждого нейрона в процессе обучения нейронной сети настраиваются параметры его функционирования. Первая настройка параметров нейронной сети происходит в процессе инициализации. Дальше в процессе обучения параметры настраиваются автоматически в зависимости от подаваемых на вход и выход сигналов.
Использование нейронных сетей в нашей жизни встречается постоянно. Эти технологии используются банками для анализа кредитоспособности населения, оценки ситуации на финансовых рынках. Также нейронные сети применяются при различных сложно контролируемых процессах: голосовом управлении компьютером, управлении беспилотными самолетами, в других сферах анализа и принятия решений. Преимуществами нейронных сетей являются единые эффективные принципы обучения, нелинейность моделей, способность решать неформализованные задачи.
Задачи исследования
• Определить наиболее подходящую нейронную сеть для обработки результатов ТНО.
• Определить параметры, необходимые для работы нейронной сети.
• Используя данные ТНО, определить наиболее вероятное значение верхней границы максимальной комфортной громкости на данном канале.
При регистрации данных ТНО мы использовали функцию роста амплитуды и определение пороговых значений, по которым рассчитываются уровни максимальной комфортной громкости на выбранном канале. В процессе обучения нейронной сети на вход подавались необработан-
Схема процесса обучения нейронной сети.
ные результаты ответа ТНО и заранее определенные опытным путем уровни максимально комфортных уровней громкости, которые должны быть получены у этого пациента. Компьютерная программа, обучаясь, сама создавала алгоритм обработки исходных данных.
Материалы и методы
Были обследованы 120 пациентов. Всем пациентам были выполнены ТНО, регистрация стапедиальных рефлексов на электрический стимул и коррекция настройки МКУ по субъективным реакциям. Для обучающей выборки использовалась рабочая программа. Обследованные пациенты были разделены на 2 группы. Первая группа (85% пациентов) была использована для обучения нейронной сети. Вторая группа - 15% пациентов в обучающей выборке не участвовали и сформировали группу сравнения для оценки эффективности работы нейронной сети после обучения.
В обучающей выборке были представлены данные обследования пациентов, в том числе данные ТНО в электронном виде, заранее определенные опытным путем верхней границы громкости КИ. Общее количество параметров обучающей выборки составило 1420 значений для каждого пациента. Были обучены более 80 нейронных сетей и среди них выбрана лучшая по статистическим показаниям. В процессе обучения было проведено несколько итераций обучения каждой нейронной сети. Процесс обучения нейронных сетей представлен на рисунке.
В процессе обучения выбирались параметры нейронных сетей и проводилась предобработка данных, полученных в процессе тестирования. После этого применялась нейро-сеть, по ответу нейросети рассчитывалась ошибка и подстраивались веса нейронов сети. Такие итерации повторялись для каждого пациента. После того как ошибка становилась незначительной, обучение нейросети заканчивалось. В результате обработки была выбрана та сеть, которая оказалась оптимальной по статистическим показаниям. После выбора одной из нейросетей проводился анализ значимости ее входных параметров и впоследствии в работе нейросети принимали участие только значимые параметры.
Результаты
В процессе исследования были полностью обучены 80 нейросетей. Были проанализированы данные сети и выбрана сеть с наименьшей ошибкой. В процессе обучения анализировались входящие параметры. Незначимые в дальнейшем обучении параметры не использовались. Для прогнозирования сетью данных МКУ оказалось достаточно использовать только 3 значимых параметра. Структура сети составила 3 входных нейрона, 3 скрытых нейрона и 1 выходной нейрон. Доля верного прогноза при работе данной сети составила 99,2%.
Заключение
Применение нейросетевой экспертной системы позволяет выполнить целый ряд важных задач:
• увеличить информативность ТНО при настройке KR
• оптимизировать параметры настройки речевого процессора для каждого пациента.
• повысить эффективность реабилитации пациентов после KR
Наибольший прогнозируемый эффект при использовании обученной нейронной сети достигается у пациентов в младенческом и раннем возрасте, с аномалиями развития и со сложной структурой дефекта. Это связано с тем что у этих групп пациентов невозможно в полной мере использовать субъективные методы исследования и зачастую ТНО является единственным объективным методом, проведение которого возможно у этой группы пациентов.
Литература/References
1. Королева И.В. Кохлеарная имплантация глухих детей и взрослых (электродное протезирование слуха). ОТб.: КАРО, 2009. / Koroleva I.V. Kohlearnaja implantacija glu-hih detej i vzroslyh (jelektrodnoe protezirovanie sluha). SPb.: KARO, 2009. [in Russian]
2. Левин C.B. Cравнительная характеристика объективных методов исследования слуха при аудиологическом скрининге. Рос. оториноларингология. 2009; 1: 81-6. / Levin S.V. Sravnitel'naja harakteristika ob#ektivnyh metodov issledovanija sluha pri audio-logicheskom skrininge. Ros. otorinolaringologija. 2009; 1: 81-6. [in Russian]
3. Левина E.A. Cенсоневральная тугоухость - общие принципы медикаментозного подхода. Consilium Medicum. 2013; 15 (11): 64-7. / Levina E.A. Sensonevralnaja tugo-uhost - obshhie principy medikamentoznogo podhoda. Consilium Medicum. 2013; 15 (11): 64-7. [in Russian]
4. Bоронов B.A., Захаренкова O.B., Левин C.B., Левина E.A. Осложнения после стапе-допластики: некоторые подходы к диагностике и лечению. Профилактическая и клин. медицина. 2012; 1: 42-4. / Voronov V.A., Zaharenkova O.V., Levin S.V., Levina E.A. Oslozhnenija posle stapedoplastiki: nekotorye podhody k diagnostike i lecheniju. Profilak-ticheskaja i klin. medicina. 2012; 1: 42-4. [in Russian]
5. Кузовков B.E., Лиленко A.C., Cyгарова CB. Хирургические особенности при проведении кохлеарной имплантации у пациентов с аномалией мондини. Рос. оториноларингология. 2015; 3: 74-77. / Kuzovkov V.E., Lilenko A.S., Sugarova S.B. Hirurgicheskie osobennosti pri provedenii kohlearnoj implantacii u pacientov s anomaliej mondini. Ros. otorinolaringologija. 2015; 3: 74-77. [in Russian]
6. Королева ИВ., Пудов B.^, Жукова O.C. Кохлеарная имплантация - новое направление реабилитации глухих. Дефектология. 2001 ; 1: 17-25. / Koroleva I.V., Pudov V.I., Zhukova O.S. Kohlearnaja implantacija - novoe napravlenie reabilitacii gluhih. Defektolo-gija. 2001; 1: 17-25. [in Russian]
7. Schatzer R, Koroleva I, Griessner A et al. Speech perception with interaction-compensated simultaneous stimulation and long pulse durations in cochlear implant users. Hear Res 2015; 322: 99-106. Epub 2014 Nov 29. DOI: 10.1016/j.heares.2014.11.002
8. Королева ИВ., Шапорова A.B., Кузовков B.E. Разработка критериев и методов оценки эффективности кохлеарной имплантации у детей. Рос. оториноларингология. 2013; 6 (67): 80-6. / Koroleva I.V., Shaporova A.V., Kuzovkov V.E. Razrabotka kriteri-ev i metodov ocenki jeffektivnosti kohlearnoj implantacii u detej. Ros. otorinolaringologija. 2013; 6 (67): 80-6. [in Russian]
9. Лиленко A.C., Cyгарова CB., Азизов Г.Р. Новый метод фиксации кохлеарного им-планта. Опыт применения. Рос. оториноларингология. 2013; 1 (62): 146-9. / Lilenko A.S., Sugarova S.B., Azizov G.R. Novyj metod fiksacii kohlearnogo implanta. Opyt primenenija. Ros. otorinolaringologija. 2013; 1 (62): 146-9. [in Russian]
10. Левин C.B., Кузовков B.E., Астащенко C.B. и др. Развитие телекоммуникационных технологий в кохлеарной имплантации: особенности и перспективы. Рос. оториноларингология. 2012; 4: 154-9. / Levin S.V., Kuzovkov V.E., Astashhenko S.V. i dr. Razvi-
tie telekommunikacionnyh tehnologij v kohlearnoj implantacii: osobennosti i perspektivy. Ros. otorinolaringologija. 2012; 4: 154-9. [in Russian]
11. Кузовков B.E., Янов Ю.К., Левин С.В. Аномалии развития внутреннего уха и кохле-арная имплантация. Рос. оториноларингология. 2009; 2: 102-7. / Kuzovkov V.E., Ya-nov Yu.K., Levin S.V. Anomalii razvitija vnutrennego uha i kohlearnaja implantacija. Ros. otorinolaringologija. 2009; 2: 102-7. [in Russian]
12. Ланцов А.А., Петров C.M., Пудов В.И. Краткое введение в проблему кохлеарной имплантации. Вестн. оториноларингологии. 1998; 2: 9-11. / Lancov A.A., Petrov S.M., Pudov V.I. Kratkoe vvedenie v problemu kohlearnoj implantacii. Vestn. otorinolaringologii. 1998; 2: 9-11. [in Russian]
13. Пудов В.И. Настройка речевого процессора: пособие для врачей. СПб.: НИИ ЛОР, 2011. / Pudov V.I. Nastrojka rechevogo processora: posobie dlja vrachej. SPb.: NII LOR, 2011. [in Russian]
14. Левин С.В. Оценка слуховой функции у детей с помощью регистрации стационарных слуховых вызванных потенциалов. Рос. оториноларингология. 2008; 1: 100-4. / Levin S.V. Ocenka sluhovoj funkcii u detej s pomoshh'ju registracii stacionarnyh sluhovyh vyzvannyh potencialov. Ros. otorinolaringologija. 2008; 1: 100-4. [in Russian]
15. Левина E.A. Адгезивный отит как следствие воспалительных заболеваний носоглотки и среднего уха. Consilium Medicum. 2014; 16 (11): 77-80. / Levra E.A. Adhesive otitis as a consequence of inflammatory diseases of the nasopharynx and the middle ear. Consilium Medicum. 2014; 16 (11): 77-80. [in Russian]
16. Пудов Н.В., Пудов В.И. Корреляционная связь между максимально комфортной громкостью и электрически вызванным потенциалом действия слухового нерва у
пациентов с кохлеарными имплантами. Aмурский мед. журн. 2015; 1 (9): 32-4. / Pudov N.V., Pudov V.I. Korreljacionnaja svjaz' mezhdu maksimal'no komfortnoj gromkost'ju i jelektricheski vyzvannym potencialom dejstvija sluhovogo nerva u pacientov s kohlearny-mi implantami. Amurskij med. zhurn. 2015; 1 (9): 32-4. [in Russian]
17. Левин C.B., Cугарова Cb., Кузовков B.E. Bзаимодействие лор центров при оказании высокотехнологичной медицинской помощи. Рос. оториноларингология. 2011 ; 1: 105-9. / Levin S.V., Sugarova S.B., Kuzovkov V.E. Vzaimodejstvie lor centrov pri oka-zanii vysokotehnologichnoj medicinskoj pomoshhi. Ros. otorinolaringologija. 2011; 1: 105-9. [in Russian]
18. Левин C.B., Кузовков B.E., Aстащенко C.B. и др. Развитие телекоммуникационных технологий: особенности и перспективы. Рос. оториноларингология. 2012; 4: 154-63. / Levin S.V., Kuzovkov V.E., Astashhenko S.V. i dr. Razvitie telekommunikacionnyh tehnologij: osobennosti i perspektivy. Ros. otorinolaringologija. 2012; 4: 154-63. [in Russian]
19. Наркевич A.K, Bиноградов КА, Корецкая KM., Наркевич A.A. Использование прогностических математических моделей для выявления больных туберкулезом легких. Туберкулез и болезни легких. 2014; 9: 44-5. / Narkevich A.N., Vinogradov K.A., Koreckaja N.M., Narkevich A.A. Ispol'zovanie prognosticheskih matematicheskih modelej dlja vyjavlenija bol'nyh tuberkulezom legkih. Tuberkulez i bolezni legkih. 2014; 9: 44-5. [in Russian]
20. Назаров A.B., Лоскутов A.K, Нейросетевые алгоритмы прогнозирования и оптимизации систем. СТб.: Наука и техника, 2003. / Nazarov A.V., Loskutov A.I., Nejrosetevye algoritmy prognozirovanija i optimizacii sistem. SPb.: Nauka i tehnika, 2003. [in Russian]
СВЕДЕНИЯ ОБ АВТОРАХ
Левин Сергей Владимирович - канд. мед. наук, ст. науч. сотр. отд. диагностики и реабилитации нарушений слуха ФГБУ СПб НИИ ЛОР; ассистент каф. оториноларингологии ФГБОУ ВО «СЗГМУ им. И.И.Мечникова»
Наркевич Артем Николаевич - канд. мед. наук, доцент каф. медицинской кибернетики и информатики ФГБОУ ВО «КрасГМУ им. проф. В.Ф.Войно-Ясенецкого». E-mail: narkevichart@gmail.com Янов Юрий Константинович - акад. РАН, д-р мед. наук, проф., дир. ФГБУ СПб НИИ ЛОР, засл. врач РФ
Вахрушев Сергей Геннадьевич - д-р мед. наук, проф., зав. каф. ЛОР-болезней с курсом ПО ФГБОУ ВО «КрасГМУ им. проф. В.Ф.Войно-Ясенецкого». E-mail: vsg20061@gmail.com
Кузовков Владислав Евгеньевич - д-р мед. наук, зав. отд. диагностики и реабилитации нарушений слуха ФГБУ СПб НИИ ЛОР, доцент каф. ЛОР-болезней с курсом ПО ФГБОУ ВО «КрасГМУ им. проф.
В.Ф.Войно-Ясенецкого»
Левина Елена Алексеевна - канд. мед. наук, врач отд. сурдологии ФГБУ СПб НИИ ЛОР
Воронов Виктор Алексеевич - канд. мед. наук, доц. каф. оториноларингологии ФГБОУ ВО «СЗГМУ им. И.И.Мечникова». E-mail: voronov.ent@yandex.ru Шапорова Анна Викторовна - врач отд. сурдологии ФГБУ СПб НИИ ЛОР
