CC BY
23Использование речевых технологий для оптимизации регламентов проведения телемедицинских консультаций в экстремальных условиях
О.В. Переведенцев, В.М. Леванов
ФГБУН ГНЦ РФ «Институт медико-биологических проблем РАН», Москва
Для корреспонденции:
levanov53@yandex.ru
Speech technology for telemedicine consultation processes optimization in extreme situations O.V. Perevedentsev, V.M. Levanov
Institute of Biomedical Problems of Russian Academy of Science, Moscow, Russian Federation
Paper describes opportunities of medical data speech input during teleconsultations as an alternative to the computer keypad input. Speech technologies allows to reduce duration of input in 4.4 times, and to decrease percentage of mistakes. These factors are essential for telemedicine consultations in extreme conditions or urgent situations.
Key words: telemedicine consultation, speech recognition, speech technology, urgent medical care.
IV
бенно в ургентных ситуациях, когда возрастает вероятность ухудшения состояния пациента при неоказании медицинской помощи в максимально короткие сроки, и принципиально начать оказание адекватной медицинской помощи в пределах «золотого часа» [1, 3]. Одним из путей сокращения времени является оптимизация регламентов проведения телеконсультаций. В этих целях, например, предложено параллельно выполнять
отдельные виды диагностических исследований и т.д. [4, 5]. В настоящей статье рассмотрена еще одна возможность сокращения длительности телеконсультации - представлены сравнительные данные по различным методам ввода медицинских данных, в частности, рассмотрена возможность замены клавиатурного ввода информации на речевой ввод.
■ ЦЕЛЬ ИССЛЕДОВАНИЯ
Изучить принципиальную возможность и оценить результативность речевого ввода с параллельной передачей информации в телемедицинских системах. 8
инимизация длительности телемедицинской консультации является важным критерием ее эффективности, осо-
■ МАТЕРИАЛ И МЕТОДЫ
Авторами был разработан экспериментальный стенд, состоящий из планшетного компьютера со встроенным микрофоном, подключенной к нему аппаратной клавиатурой и датчиком, регистрирующим частоту сердечных сокращений испытателей. На планшетном компьютере функционировало оригинальное программное обеспечение, обеспечивающее предъявление испытателям текстовых фрагментов, регистрирующее действия испытателей и сохраняющее результаты на внешнем носителе для дальнейшей обработки.
Программа каждого эксперимент включала 4 теста. В каждом тесте участнику эксперимента предлагалось 10 тестовых фраз, которые он должен был ввести. Тестовые фразы из первого набора участник эксперимента должен был ввести на клавиатуре, при этом регистрировалось время от момента вывода на экран тестовой фразы до завершения ввода. Тестовые фразы из второго набора участник должен был проговорить в микрофон, при этом также регистрировалось время от момента вывода на экран тестовой фразы до завершения ввода. Ввод тестовых фраз из третьего и четвертого наборов выполнялись аналогично первым двум, однако участник эксперимента должен был ввести данные максимально быстро, что имитировало ургент-ную ситуацию.
РЕЗУ
Ы И ОБСУЖДЕНИЕ
В эксперименте участвовало 15 добровольцев в возрасте от 23 до 50 лет, из них 9 мужчин и
6 женщин. Полученные результаты приведены в таблице 1.
При отсутствии ограничения времени средняя скорость ввода данных посредством клавиатуры составляла 2,1±0,3 символа в секунду при среднем % ошибок ввода 2,8±1,8. При аналогичных условиях средняя скорость регистрации данных при речевом вводе составила 9,3±1,0 символа в секунду при среднем % ошибок ввода 0,8±0,5.
Во второй серии тестов при имитации ур-гентной ситуации средняя скорость клавиатурного ввода данных составила 2,7±0,6 символа в секунду при среднем % ошибок ввода 14,0±10,3, средняя скорость регистрации данных при речевом вводе составила 11,8±1,0 символов в секунду при среднем % ошибок ввода 3,3±2,3.
Таким образом, речевой ввод позволяет не только ускорить ввод информации до 4,4 раз как в нормальных условиях, так и в ургентной ситуации, но и существенно снизить долю ошибок при регистрации информации, передаваемой удаленному консультанту в ходе телемедицинской консультации, что представляется важным для снижения вероятности возникновения врачебной ошибки.
Следует отметить, что в ходе телемедицинской консультации необходимо не только ввести информацию в компьютер, но и передать ее по каналам связи удаленному консультанту. При клавиатурном вводе данных необходимо передавать достаточно небольшие объемы данных, в то время как объем файлов, хранящих аудиофраг-менты аналогичных текстов, существенно больше. Оценим, как эта разница влияет на общую длительность процесса ввода и передачи данных удаленному консультанту.
Таблица 1. Обобщенные данные о результативности участников эксперимента
Участник Скорость ввода, % ошибок ввода Скорость ввода, % ошибок ввода Скорость ввода, % ошибок ввода Скорость ввода, % ошибок ввода символов символов н символов символов
1 2,32 3,91 9,78 0,00 2,53 8,99 12,27 1,44
2 1,92 1,14 9,82 1,53 2,21 11,53 11,84 3,61
3 1,42 1,32 7,11 0,00 1,80 29,10 10,53 1,05
4 2,31 6,68 12,75 1,75 3,75 57,74 15,93 16,65
5 2,06 2,06 8,40 0,69 2,35 10,32 11,31 5,27
6 2,41 0,00 9,09 0,91 2,96 8,09 11,30 1,30
7 2,29 9,58 10,10 0,69 3,30 32,26 13,88 3,66
8 2,12 2,40 8,70 0,72 2,60 8,64 11,10 4,30
9 1,97 1,38 9,10 0,60 2,20 4,60 10,21 3,20
10 1,64 2,41 8,60 0,71 1,92 1,10 10,89 1,40
11 2,80 3,67 9,88 1,23 3,40 10,22 11,60 2,78
12 1,72 2,46 10,06 1,40 2,82 6,80 11,20 1,80
13 1,48 1,8 7,64 0,00 1,82 4,60 10,80 0,80
14 2,20 0,00 8,24 0,00 2,94 7,40 11,40 0,62
15 2,80 3,80 10,16 1,17 3,82 9,20 12,08 1,05
Тест 1
Тест 2
Тест 3
Тест 4
Пусть необходимо ввести и передать по каналам связи 1000 символов. В нормальных условиях при клавиатурном вводе на это потребуется около 476,8 секунд, объем полученного файла будет 1000 байт и на его передачу по каналу связи со скоростью 9600 бит/сек потребуется около 0,8 секунды. Итого на ввод и передачу данных потребуется 477,6 секунды. При речевом вводе на регистрацию указанного объема информации потребуется около 107,6 секунды, объем полученного файла будет около 155026,8 байт и на его передачу по каналу связи со скоростью 9600 бит/сек потребуется около 129,2 секунды. Итого на речевой ввод и передачу аудиоданных потребуется 236,8 секунды, что более чем в 2 раза быстрее. При использовании канала связи с большей пропускной способностью, например, в 128 кбит/сек, время на передачу текстового файла сократиться до 0,06 секунд, а на передачу файла с аудиофрагментом - до 10,4 секунды. В этом случае общее сокращение времени при использовании речевого ввода превысит 4 раза.
Для ургентной ситуации при использовании канала связи со скоростью передачи данных 9600 бит/сек общее время на клавиатурный ввод и передачу данных составит 372,1 секунды, общее время при речевом вводе и последующей передаче аудиофайла 187,4 секунды, что также быстрее в 2 раза. Аналогично, при использовании канала связи с пропускной способностью в 128 кбит/сек общее сокращение времени при использовании речевого ввода составит 4 раза.
Таким образом, несмотря на существенное увеличение объема передаваемого файла при речевом вводе информации, использование данного способа ввода информации позволит сократить время на регистрацию информации и ее передачу удаленному консультанту.
Из приведенных данных видно, что при речевом вводе информации длительность ввода и передачи файла соизмеримы по длительности. Можно предположить, что разделяя большой звуковой фрагмент на несколько фрагментов меньшего размера и отправляя записанный фрагмент по каналу связи удаленному консультанту одновременно с вводом очередного фрагмента можно еще более сократить время на ввод и передачу информации.
В конкретной телемедицинской системе и для конкретного пользователя объем звукового файла зависит от количества символов, преобразуемых в речь, и коэффициента преобразования а, зависящего от характеристик диктора,
алгоритмов оцифровки и компрессии речевого фрагмента и т.п.
Основываясь на данных, полученных в ходе эксперимента, при разделении фрагмента данных 1000 байт на 10 блоков по 100 байт и при а=155,0 для канала связи со скоростью 9600 бит/сек длительность регистрации и параллельной передачи блоков данных составит 130,3 секунды, что на 106,5 секунды или на 45% быстрее последовательной схемы работы.
Для канала связи со скоростью 128 кбит/сек длительность регистрации и параллельной передачи блоков данных составит 107,7 секунды, что на 10,3 секунды или на 8,7% быстрее последовательной схемы работы.
На рисунке показано изменение длительности процесса регистрации и передачи фрагмента данных размером 1000 байт в зависимости от размера блока данных.
т'сек -*-9600 бит/сек -^-128 кбит/сек
-------- -------- ------- -------------------------
------- 129,3
.....ЧГ......"■■* 130,3
107,6 107,7 108,5
1 Ю 100 "Р'6айт
Рис. Длительность процесса регистрации и передачи информации в зависимости от размера блока данных
Видно, что с увеличением размера блока увеличивается длительность процесса, причем, чем меньше скорость передачи данных, тем эта зависимость проявляется отчетливей.
Достаточно перспективным направлением дальнейшего использования технологий речевого ввода в телемедицинских комплексах представляется автоматическое преобразование отправленных консультанту аудио фрагментов в текст для их последующего структурированного хранения и анализа [2].
Также в ходе эксперимента измерялась частота сердечных сокращений (ЧСС) участников эксперимента. С целью выявления тенденции к уменьшению или увеличению ЧСС при выполнении каждого теста методом наименьших квадратов вычислялся угловой коэффициент к линейной зависимости. В случае, если к=0, прямая параллельна оси времени и ЧСС в ходе теста не меняется, если к>0, прямая образует острый угол с положительным направлением оси времени и ЧСС в ходе теста растет, если к<0, прямая образует тупой угол с 8
положительным направлением оси времени и ЧСС в ходе теста уменьшается.
В таблице 2 показано изменение ЧСС в тестах данного исследования.
В первом тесте у 73,3% и в третьем тесте у 80,0% участников исследования ЧСС имела тенденцию к увеличению, что может свидетельствовать о дополнительной стрессовой нагрузке, связанной с использованием клавиатурного ввода в условиях ограничения времени. Во втором тесте у 86,7% и в четвертом тесте у 80,0% участников исследования уровень ЧСС имел тенденцию к сни-
Таблица 2. Изменение ЧСС в тестах
Угловой коэффициент зависимости ЧСС от времени
Участник Тест 1 Тест 2 Тест 3 Тест 4
1 -0,0057 -0,1025 0,0238 -0,0145
2 -0,0039 -0,0047 -0,0015 -0,0126
3 0,0062 -0,0071 0,0068 -0,2315
4 0,0063 -0,0325 -0,0007 -0,0346
5 -0,0260 -0,0023 -0,0126 0,0000
6 0,0137 -0,0465 0,0005 -0,0779
7 0,0125 -0,0978 0,0358 -0,0859
8 0,0078 -0,0085 0,0045 -0,0022
9 0,0112 -0,0008 0,0002 0,0001
10 -0,0012 0,0002 0,0032 -0,0023
11 0,0036 -0,0122 0,0074 -0,0112
12 0,0023 -0,0111 0,0000 -0,0085
13 0,0088 -0,0131 0,0052 0,1331
14 0,0211 0,0001 0,0023 -0,022
15 0,0088 -0,0122 0,0088 -0,0009
1. Владзимирский А.В. Комплексное использование телемедицины в лечении острых нарушений мозгового кровообращения. Заместитель главного врача. 2015; 11 (114): 29-37.
[Vladzymyrskyy AV. Complex use of telemedicine in treatment of an acute stroke. Zamestitel glavnogo vracha. 2015; 11 (114): 29-37. (in Russ.)].
2. Гулиев Я.И., Калинин А.Н., Колупаев А.В., Малых В.Л., Юрченко С.И. Возможности применения речевого интерфейса и систем автоматической обработки текстов в МИС. Врач и информационные технологии. 2014; 5: 37-47. [Guliev YI, Kalinin AN, Kolupaev AV et al. Possibilities of voice interfaces automotive texts processing in electronic health records. Vrach i informatsionnye tekhnologii. 2014; 5: 37-47. (in Russ.)].
3. Камкамидзе К., Тевдорадзе М., Мануков М. с соавт. Компьютерные сети телемедицины. - Тбилиси: Издательский дом «Технический университет», 2009.- 132 с. [Kamkamidze K, Tevdoradze M, Manukov M et al. Komp yuternye seti telemeditsiny.Tbilisi: Publishing House Tekhnicheskii univer-
жению. Полученные результаты могут свидетельствовать о том, что речевой ввод информации более комфортен для пользователей, особенно в ситуациях, связанных с необходимостью выполнить ввод информации максимально быстро.
■ ВЫВОДЫ
1. Оптимизация алгоритма проведения экстренных телеконсультаций позволяет минимизировать потери времени для начала оказания адекватной медицинской помощи во внегоспи-тальных условиях в течение «золотого часа».
2. Использование речевого ввода с параллельной передачей информации в телемедицинских системах для экстремальных условий и ургентных ситуаций является более эффективным с точки зрения сокращения общей длительности телеконсультации и снижения вероятности возникновения ошибок при регистрации информации.
3. Основываясь на динамике ЧСС и оценке отношения количества ошибок к общему количеству введенных данных, можно предположить, что речевой ввод информации в ургентной ситуации является более комфортным для пользователей и сопровождается меньшим процентом ошибок при вводе.
Исследование не имело спонсорской поддержки. Авторы заявляют об отсутствии конфликта интересов. /
sitet, 2009, 132 p. (in Russ.)].
4. Леванов В.М., Переведенцев О.В., Орлов О.И. Способы оптимизации информационно-технического обеспечения мобильных телемедицинских систем для использования в неотложных ситуациях. Технологии живых систем. 2012; 5: 32-40.
[Levanov VM, Perevedentsev OV, Orlov OI. Methods for an optimization of information and hardware components of mobile telemedicine systems in emergency situations. Tekhnologii zhivykh sistem. 2012; 5: 32-40. (in Russ.)].
5. Орлов О.И., Богомолов В.В., Переведенцев О.В., Поляков А.В., Зорина Н.Г., Беркович Ю.А. Средства телемедицинского обеспечения на месте посадки космических экипажей. Авиакосмическая и экологическая медицина. 2012; 5(46): 67-72.
[Orlov OI, Bogomolov VV, Perevedentsev OV et al. Telemedicine tools on the place of space crews landing. Aviakosmicheskaya i ekologich-eskaya meditsina. 2012; 5(46): 67-72. (in Russ.)].
РЕЗЮМЕ
Статья посвящена изучению возможностей применения речевого ввода медицинских данных при проведении телеконсультаций как альтернативе вводу информации с клавиатуры компьютера. Показано, что использование речевых технологий позволяет не только уменьшить затраты времени до 4,4 раз, но и существенно снизить долю ошибок при регистрации информации, передаваемой удаленному консультанту в ходе телемедицинской консультации, что особенно важно в ургентных ситуациях.
Ключевые слова: телемедицинская консультация, распознавание речи, речевые технологии, экстренная медицинская помощь
ЛИТЕРАТУРА
