CC BY
40
Врач ÜSä
' 1/1 МЫГ+1ППМЯ1 11ЛПЫЫК1П
и информационные
технологии Н.Д. КУДРЯВЦЕВ,
ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0003-4203-0630 К.А. СЕРГУНОВА,
к.т.н., ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0002-9596-7278 Г.В. ИВАНОВА,
ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0003-4736-7355 Д.С. СЕМЁНОВ,
ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0002-4293-2514 А.Н. ХОРУЖАЯ,
ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0003-4857-5404 Н.В. ЛЕДИХОВА,
ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ»,
г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0002-1446-424X А. В. ВЛАДЗИМИРСКИЙ,
д.м.н., ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0002-2990-7736 С.П. МОРОЗОВ,
д.м.н., профессор, ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ», г. Москва, Россия, e-mail: [email protected], https://orcid.org/0000-0001-6545-6170
ОЦЕНКА ЭФФЕКТИВНОСТИ ВНЕДРЕНИЯ ТЕХНОЛОГИИ РАСПОЗНАВАНИЯ РЕЧИ ДЛЯ ПОДГОТОВКИ ПРОТОКОЛОВ РЕНТГЕНОЛОГИЧЕСКИХ ИССЛЕДОВАНИЙ
УДК: 002.53 DOI: 10.37690/1811-0193-2020^1-58-64
Кудрявцев Н.Д., Сергунова К.А., Иванова Г.В., Семёнов Д.С., Хоружая А.Н., Ледихова Н.В., Владзимирский А.В., Морозов С.П. Оценка эффективности внедрения технологии распознавания речи для подготовки протоколов рентгенологических исследований (ГБУЗ «Научно-практический клинический центр диагностики и телемедицинских технологий ДЗМ» г. Москва, Россия)
Аннотация. Проведена апробация технологии распознавания речи для подготовки протоколов рентгенологических исследований. Разработана методика оценки эффективности внедрения технологии распознавания речи для подготовки протоколов рентгенологических исследований. Проведено хронометражное исследование, подтверждающее эффективность применения голосового ввода. Проведена оценка приверженности врачей к внедрению инновационных технологий в рабочую практику.
Ключевые слова: технология распознавания речи; отделение лучевой диагностики; подготовка протоколов исследований; заполнение медицинской документации, оптимизация работы врачей.
© Н.Д. Кудрявцев, К.А. Сергунова, Г.В. Иванова, Д.С. Семёнов, А.Н. Хоружая, Н.В. Ледихова, А.В. Владзимирский, С.П. Морозов, 2020 г.
-f-
2020, октябрь
UDC: 002.53
Kudryavtsev N.D., Sergunova K.A., Ivanova G. V, Semenov D.S., Khoruzhaya A.N., Ledikhova N. V., Vladzymyrskyy A. V., Moro-zov S.P. Evaluation of the effectiveness of the implementation of speech recognition technology for the preparation of radiological protocols (Research and Practical Clinical Center for Diagnostics and Telemedicine Technologies of the Moscow Health Care Department, Moscow, Russia)
Abstract. Speech recognition technology was tested to prepare protocols for radiological examinations. A method to evaluate the efficiency of speech recognition technology implementation for the preparation of radiological examination protocols has been developed. A time-study was conducted to confirm the effectiveness of voice input. The commitment of radiologist to using innovative technologies in their work practices was evaluated.
Keywords: voice recognition technology, radiology department, examination protocol preparation, medical records management.
-f-
ВВЕДЕНИЕ
Система распознавания речи стала доступна для здравоохранения в начале 90-х годов прошлого столетия. Эта технология позволила врачам заполнять медицинскую документацию голосом, преобразуя слова в печатный текст [1]. Более ранние версии программного обеспечения для голосового ввода распознавали слова по отдельности, требуя от пользователя делать паузы между каждым словом. Позже были созданы системы, позволяющие распознавать слитную речь, при помощи которых врачи могут диктовать в удобном для них темпе. Так, разработанные в середине 90-х годов программы уже могли распознавать до 160 слов в минуту [2]. С тех пор системы распознавания речи получили широкое распространение при подготовке медицинской документации, в особенности в отделениях лучевой диагностики. В настоящее время в западных странах накоплен большой опыт применения данной технологии, однако в России она практически не используется.
Традиционное заполнение документации при помощи клавиатурного ввода ограничивается 80 словами в минуту. При использовании дополнительных периферийных устройств скорость набора слов еще больше снижается, приводя к увеличению времени работы специалиста с медицинской документацией [3]. Также существует проблема качества информации, внесенной в документ (электронную историю болезни или диагностическое заключение) при помощи клавиатуры. Так, например, широкое применение функции «копировать-вставить» может приводить к возникновению до 2,6% ошибок, служащих причиной повторного незапланированного обращения пациентов. Кроме того, данная функция ведет к ненужному увеличению объемов записи, внутренней несогласованности, последующему распространению ошибок [4-6].
В настоящее время в России активно проводится модернизация системы здравоохранения с применением 1Т-технологий. Одним из перспективных направлений является внедрение инновационной системы голосового заполнения протоколов в лучевой диагностике, что может позволить сократить время подготовки заключений, увеличить количество описываемых врачом исследований, снизить количество ошибок и повторов ненужного текста и таким образом оптимизировать работу врачей-рентгенологов. Однако ранее анализ этих потенциальных положительных эффектов голосового ввода для отечественных специалистов лучевой диагностики не проводился.
Целями нашей работы было оценить эффективность применения системы распознавания речи при подготовке протоколов рентгенологических исследований, определить точность распознавания специфической медицинской терминологии и приверженность врачей-рентгенологов к внедрению инновационных технологий в рабочий процесс.
МАТЕРИАЛЫ И МЕТОДЫ
Внедрение технологии распознавания речи осуществлялось на базе отделений лучевой диагностики семи городских поликлиник Департамента здравоохранения города Москвы. Каждое автоматизированное рабочее место врача-рентгенолога было подготовлено в соответствии с требованиями для внедрения технологии и оснащено программным обеспечением Voice2Med (ООО «Центр речевых технологий», Санкт-Петербург, Россия) и монофонической гарнитурой Р1ап^опс (Санта-Круз, США). Совместно с аппликатором компании-разработчика ПО врачи-рентгенологи прошли предварительное очное обучение по применению технологии распознавания речи.
Для оценки эффективности применения технологии распознавания речи специалистами ГБУЗ
Зрач ::==_
и информационные
технологии
«НПКЦ ДиТ ДЗМ» было проведено хронометражное исследование, в котором приняли участие 15 врачей-рентгенологов с опытом работы от 5 до 7 лет.
>Суть исследования заключалась в фиксации длительности подготовки протоколов рентгенологических исследований как с помощью клавиатурного ввода, так и с применением технологии распознавания речи (голосовой ввод). Хронометраж проводился в 3 этапа. На первом этапе измерялась длительность подготовки протоколов рентгенологических исследований с помощью клавиатуры. Второй этап проводился через неделю после внедрения технологии распознавания речи, во время которого измерялась длительность подготовки протоколов с помощью голосового ввода, третий - через месяц после внедрения, включающий также процедуру измерения длительности подготовки протоколов исследований с помощью голосового ввода.
Измерение длительности подготовки протоколов состояло из трёх временных интервалов: время просмотра диагностических изображений, время заполнения протокола исследования и время корректировки введенного текста. С данной целью был разработан специальный хронометр (программное обеспечение), позволяющий фиксировать одновременно три временных отрезка. Также для нивелирования разнородности диагностических исследований экспертом ГБУЗ «НПКЦ ДиТ ДЗМ» был сформирован датасет из 30 КТ и МРТ-исследований лёгкой и средней степени сложности описания.
На первом этапе проводился хронометраж подготовки протоколов исследований с помощью клавиатуры. Каждый врач был информирован о сути проведения хронометража. Врач случайным образом выбирал из датасета рентгенологическое исследование. Важно отметить, что предварительно врач-рентгенолог не ознакамливался с исследованием.
По команде хронометриста врач начинал процесс подготовки протокола исследования. Перед началом просмотра диагностических изображений врач говорил команду: «Смотрю», хронометрист по этой команде запускал 1-ый таймер. После ознакомления с изображением, врач говорил команду: «Пишу» и приступал к заполнению протокола исследования, в свою очередь хронометрист запускал 2-ой таймер. В случае необходимости дополнительного просмотра диагностического изображения или дополнения текстовой части протокола врач повторно говорил нужную команду, а хронометрист переключался на соответствующий таймер. После
завершения заполнения протокола исследования врач говорил команду «Корректирую» и приступал к проверке и, при необходимости, корректировке введенного текста, хронометрист запускал 3-ий таймер. После завершения проверки врач говорил команду «Визирую», хронометрист останавливал хронометр и записывал результаты.
Методика проведения второго и третьего этапов хронометража соответствовала методике, применявшейся на первом этапе, за исключением: вместо команды «Пишу» врач говорил: «Диктую», а заполнение протокола исследования осуществлялось с помощью голосового ввода. Второй этап проводился через неделю после внедрения технологии распознавания речи и обучения с аппликатором, третий - через месяц.
Статистический анализ сравнения времени работы с протоколом при повторных измерениях проводился с использованием непараметрического критерия Фридмана. Уровень значимости критерия был установлен p < 0,05.
Оценка точности распознавания медицинской лексики проводилась врачом-рентгенологом, экспертом консультативного отдела ГБУЗ «НПКЦ ДиТ ДЗМ», со стажем работы 15 лет. В целях исключения посторонних факторов, которые могли бы повлиять на точность распознавания (посторонняя речь, шумовое загрязнение помещения), было организовано «тихое» рабочее место. Эксперт случайным образом из ЕРИС выбирал протокол КТ- или МРТ-исследования (головной мозг, органы грудной клетки, органы брюшной полости, коленный сустав). Активировав систему распознавания речи, эксперт начинал читать вслух в удобном и спокойном темпе текст протокола, проговаривая все знаки препинания. После диктовки проводился подсчёт количества неверно распознанных слов. При подсчёте учитывались следующие виды ошибок:
1. Замена - ошибочное распознавание слова.
2. Вставка - добавление непроизнесенного слова.
3. Удаление - отсутствие произнесенного слова.
Уровень точности распознавания (WER - word
error rate) рассчитывался по формуле:
WER = (замена+вставка+удаление) / общее количество слов
Определение уровня точности проводились в начале и в конце пилотного проекта.
-
Для определения приверженности к внедряемой технологии среди врачей-рентгенологов, принявших участие в хронометражном исследовании, были проведены два опроса по методике Net Promoter Score (NPS) [7, 8]. Первый опрос проводился через месяц после внедрения технологии, второй - через три месяца. Врачам предлагалось ответить на один вопрос: «Какова вероятность того, что Вы порекомендуете технологию распознавания речи своим коллегам?» по 10-бальной шкале, где 0 соответствует ответу «Ни в коем случае не буду рекомендовать», а 10 - «Обязательно рекомендую». По результатам опроса все врачи были разделены на 3 группы: 9-10 баллов - сторонники технологии, 7-8 баллов - нейтральные потребители, 0-6 баллов - критики. Для расчёта индекса NPS использовалась формула:
NPS = % сторонников — % критиков.
Также для врачей-рентгенологов специалистами ГБУЗ «НПКЦ ДиТ ДЗМ» была создана форма обратной связи, куда врачи вносили свои комментарии и замечания по качеству распознавания, предложения по корректировке словаря и работы системы распознавания речи.
РЕЗУЛЬТАТЫ
Во время исследования длительности заполнения протоколов специалистами ГБУЗ «НПКЦ ДиТ ДЗМ» совместно с врачами-рентгенологами было проведено 225 хронометражных замеров. Результаты исследования представлены в таблице 1.
На первом этапе, при клавиатурном вводе, средняя длительность просмотра врачами-рентгенологами диагностических изображений составила
2020, октябрь
3 минуты 56 секунд, заполнение протокола - 5 минут 44 секунды, проверки и корректировки - 35 секунд. Таким образом, суммарное среднее время, необходимое для описания одного рентгенологического исследования с помощью клавиатурного ввода, составило 10 минут 15 секунд.
На втором этапе хронометража, проведенном через одну неделю после внедрения технологии распознавания речи, были получены следующие результаты: средняя длительность просмотра диагностических изображений составила 3 минуты 44 секунд, заполнения протокола с помощью голосового ввода - 4 минуты 2 секунды, проверки и корректировки - 2 минуты 37 секунд. Суммарное среднее время составило 10 минут 24 секунды.
На третьем этапе хронометража, проведенном через один месяц после внедрения технологии распознавания речи, были получены следующие результаты: средняя длительность просмотра врачами-рентгенологами диагностических изображений составила 3 минуты 34 секунд, заполнения протокола с помощью голосового ввода - 3 минуты 12 секунд, проверки и корректировки - 1 минута 1 7 секунд. Суммарное среднее время составило 8 минут 2 секунды.
При множественном сравнении длительности просмотра изображения не было выявлено значимых различий между тремя этапами (р = 0,18), что демонстрирует однородность выборки описываемых врачами рентгенологических исследований, которые были отобраны для хронометражного исследования. При сравнении суммарного времени подготовки протокола между тремя этапами было выявлено статистически значимое различие (р = 0,00039).
Таблица 1
Результаты хронометражного исследования
Этап Усредненное время
Просмотр диагностических изображений Заполнение протокола исследования Проверка и корректировка введенного текста Суммарное время подготовки протокола исследования
I этап Клавиатурный ввод 03:56 (SD ± 01:43) 05:44 (SD ± 02:51) 00:35 (SD ± 00:51) 10:15 (SD ± 03:51)
Г этап й 03:44 04:02 2:37 10:24 1олосовой ввод (SD ± 01:46) (SD ± 01:24) (SD ± 01:11) (SD ± 02:36) через 1 неделю
III этап Голосовой ввод через 1 месяц 03:34 (SD ± 02:05) 03:12 (SD ± 02:11) 01:17 (SD ± 01:01) 08:02 (SD ± 03:40)
>
Врач ÜSä
' 1/1 1ЛЫГ+1ППМЯ1 11ЛПЫЫК1П
и информационные
технологии
Таблица 2
Результаты оценки точности распознавания речи
>
Этап оценки Количество протоколов Количество слов Количество ошибок Уровень пословной ошибки
I этап Предварительная оценка 20 3,603 468 13%
II этап Пилотный проект 20 3,644 366 10%
На этапе предварительной оценки точности распознавания речи (таблица 2) было проверено 20 протоколов рентгенологических исследований, которые содержали 3,603 слова. Суммарно в протоколах было выявлено 468 ошибок. Таким образом, точность распознавания составила 87%. При повторной оценке точности было также проверено 20 протоколов рентгенологических исследований, суммарно содержащих 3,644 слова. Из них 366 слов были распознаны некорректно. Точность распознавания составила 90%.
При первичной оценке приверженности врачей-рентгенологов к внедрению технологии распознавания речи были получены следующие результаты: 4 респондента ответили - 9-10 баллов, 1 респондент - 7-8 баллов, 10 респондентов - 0-6 баллов; 27% врачей были сторонниками внедряемой технологии, 67% - критиками. Таким образом, приверженность к технологии в течение 1-го месяца использования составила -40%. При повторном опросе через 3 месяца - 6 респондентов ответили 9-10 баллов, 6 респондентов - 7-8 баллов и 3 респондента - 0-6 баллов. Доля сторонников технологии распознавания речи составила 43%, критиков - 21%. По результатам второго опроса приверженность врачей к внедрению технологии распознавания речи повысилась до +22%.
Всего за время апробации через форму обратной связи врачами-рентгенологами было оставлено 852 комментария и предложения по работе системы распознавания речи.
ОБСУЖДЕНИЕ
Результаты хронометражного исследования подтвердили эффективность применения технологии распознавания речи для заполнения медицинской документации. Благодаря дообучению нейросете-вой акустической модели словаря системы распознавания речи, основанной на обратной связи от врачей-рентгенологов и анализе готовых рентгенологических протоколов, удалось повысить точность распознавания речи до 90%, что в свою
очередь положительно повлияло на количество ошибок распознавания. Применение голосового ввода позволило повысить скорость заполнения протокола исследования на 44%, но несовершенство технологии распознавания речи требовало от врачей больших временных затрат на проверку и корректировку введенного текста. Также результаты II и III этапов хронометражного исследования показали, что врачам-рентгенологам необходимо некоторое время для адаптации и наработки навыка для работы с технологией. Дальнейшее повышение точности распознавания позволит еще больше сократить время подготовки протоколов исследований.
В условиях высокой загруженности диагностического оборудования, сокращение длительности заполнения протоколов исследований позволяет врачам-рентгенологам проводить более тщательный анализ диагностических изображений и медицинской документации пациента.
Наш опыт внедрения системы распознавания речи согласуется с данными мировой практики.
В 2015 году Vogel M. и соавт. провели рандомизированное контролируемое исследование, в котором сравнили голосовое заполнение медицинской документации с клавиатурным вводом по скорости введения, объему протоколов и удовлетворенности врачей. В исследовании приняли участие 28 специалистов, было проанализировано 1455 протоколов, из которых 49,35% были заполнены с применением речевых технологий. Полученные данные показали, что система распознавания речи ведет к повышению скорости заполнения документации на 26%, увеличению объема протокола, а также более высокой удовлетворенности врачей от работы с протоколами [9].
В 2016 году был опубликован обзор по применению речевых технологий в медицинских организациях с целью оптимизации документооборота. Было отмечено сокращение времени подготовки заключения рентгенологами после внедрения голосового заполнения протоколов. Показано значительное снижение финансовых затрат, связанных с документацией. Кроме преимуществ новой технологии, были
-
отмечены преграды для ее внедрения в клиническую практику, среди которых принятие врачами системы распознавания речи было поставлено на первое место [10]. Также было отмечено, что чем моложе специалисты, тем выше заинтересованность в применении инновационных технологий в клинической практике [11]. Большую роль играет предшествующий опыт и психологическая готовность персонала к переменам. Так, врачи с опытом использования технических новинок, модернизирующих рабочий процесс, были более открыты к внедрению речевых технологий, что существенно облегчило процесс адаптации к системе [12].
В 2018 году Sаxenа К. с соавторами опубликовали результаты трехлетнего научного исследования использования технологии голосового заполнения электронной истории болезни пациента медицинским персоналом. При анкетировании 84% специалистов ответили, что данная технология оптимизировала рабочий процесс, сократив время, необходимое для подготовки медицинской документации. Важно отметить, что голосовое заполнение электронной истории болезни существенно улучшило качество протоколов по содержанию. Также у специалистов повысилась удовлетворенность от работы с документацией [13].
Каирртеп Т. и соавт. провели оценку внедрения речевых технологий в работу отделения лучевой диагностики. В исследовании приняли участие 14 рентгенологов, было выполнено более 20 000 исследований, которые описывались с использованием голосового заполнения протоколов. Результаты показали, что применение системы распознавания речи сокращает время подготовки заключения до 81%. Процент готовых протоколов в течение одного часа увеличился с 26% до 58%. Также было отмечено улучшение качества протоколов, которые стали более структурированными по содержанию [14].
Важно отметить, что технология распознавания речи представляет собой менее дорогостоящий вариант оптимизации документооборота в сравнении, например, с транскрибированием, когда специалист записывает описание исследования на диктофон, запись передается оператору, который печатает текст и отдает готовый документ на подпись врачу. Кроме этого, транскрибирование значительно замедляет подготовку итогового протокола, делая его доступным для клиницистов через несколько часов или даже несколько дней после проведенного исследования [13, 15, 16].
2020, октябрь
Одним из существенных недостатков речевых технологий является ошибки распознавания речи. По данным систематического обзора, опубликованного в 2019 году, процент ошибок в протоколе при применении системы распознавания речи составил от 7,4% до 38,7% [17]. Необходимость корректировки текста оказывает негативное влияние на время подготовки протокола, приводя к снижению эффективности работы специалистов [18, 19]. Bhan S.N. и соавт. показали, что повысить продуктивность можно, если врач является носителем языка, используется гарнитура, в работе применяются шаблоны. Важно отметить, что система распознавания речи дает возможность создавать файлы автозамен и с помощью кодовых фраз вставлять в протокол большие по объему текстовые документы, что существенно сокращает время подготовки итогового документа специалистами [20].
В 2019 году были опубликованы результаты опроса врачей об использовании речевых технологий в заполнении электронной истории болезни пациента. 78,8% специалистов были удовлетворены работой приложения и 77,2% ответили, что голосовое заполнение медицинской документации повышает эффективность работы. Было показано, что удовлетворенность врачей от применения приложения ассоциировалась положительно с эффективностью работы и отрицательно с распространенностью ошибок и временем, необходимым для редактирования документа [21].
Kang H.P. с соавт. отметили, что благодаря сокращению времени подготовки заключений, а также стандартизации протоколов, применение речевых технологий привело к улучшению медицинского обслуживания пациентов, повысило его безопасность [22].
Успешный опыт применения технологии голосового распознавания на базе семи поликлиник делает перспективным последующее внедрение системы на базе всех городских поликлиник г. Москвы.
ЗАКЛЮЧЕНИЕ
В настоящей работе проведена апробация применения технологии распознавания речи для подготовки протоколов рентгенологических исследований.
1. Разработаны подходы к оценке эффективности внедрения речевых технологий в здравоохранении.
2. На основании мультицентровых хронометражных исследований доказана эффективность применения технологии распознавания речи для заполнения электронной медицинской документации.
>
■■ ■
63
Врач lis:
' 1/1 1ЛЫГ+1ППМЯ1 11ЛПЫЫК1П
и информационные
технологии
3. Проведена оценка приверженности врачей-рентгенологов к внедрению инновационных технологий в ежедневную практику.
4. Организована и реализована методика внедрения современной 1Т-технологии в отделениях лучевой диагностики медицинских учреждений Департамента здравоохранения города Москвы.
5. Путем дообучения нейросетевой акустической модели достигнута точность распознавания
>
специализированной русскоязычной речи с 87% до 90%.
Внедрение технологии распознавания речи в отделениях лучевой диагностики позволяет сократить время подготовки и заполнения протоколов исследований, что в свою очередь позволяет врачу-рентгенологу уделить больше времени на работу с диагностическими изображениями или медицинской документацией пациента.
ЛИТЕРАТУРА
Kauppinen T, Koivikko M.P., Ahovuo J.: Improvement of report workflow and productivity using speech recognition - a follow-up study. J Digit Imaging. 21(4):378-82, 2008. doi: 10.1007/s10278-008-9121-4. White K.S.: Speech recognition implementation in radiology. Pediatr Radiol. 35:841-846, 2005. Kumah-Crystal Y.A., Pirtle C.J, Whyte H.M., Goode E.S., Anders S.H, Lehmann C.U.: Electronic Health Record Interactions through Voice: A Review. Appl Clin Inform. 9(3): 541-552, 2018. doi: 10.1055/s-0038-1666844.
4. Tsou A.Y, Lehmann C.U., Michel J., Solomon R, Possanza L, Gandhi T. Safe Practices for Copy and Paste in the EHR. Systematic Review, Recommendations, and Novel Model for Health IT Collaboration. Appl Clin Inform.8(1):12-34, 2017. doi: 10.4338/ACI-2016-09-R-0150.
5. Thielke S, Hammond K, Helbig S. Copying and pasting of examinations within the electronic medical record. Int J Med Inform. 76 Suppl 1: S122-8, 2007.
6. Weis J.M., Levy P.C. Copy, paste and cloned notes in electronic health records: prevalence, benefits, risks, and best practice recommendations. Chest. 145(3):632-8, 2014. doi: 10.1378/chest.13-0886.
7. Grisaffe D.B. Questions about the ultimate question: conceptual considerations in evaluating Reichheld's net promoter score (NPS) //Journal of Consumer Satisfaction, Dissatisfaction and Complaining Behavior. -2007. - T. 20. - C. 36.
8. Keiningham T.L. et al. A longitudinal examination of net promoter and firm revenue growth //Journal of Marketing. - 2007. - T. 71. - № 3. - C. 39-51.
9. Shanafelt T.D., Balch C.M., Bechamps G, Russell T, Dyrbye L, Satele D. et al: Burnout and medical errors among American surgeons. Ann Surg. 251(6):995-1000, 2010. doi: 10.1097/SLA.0b013e3181bfdab3.
10. Dyrbye L.N., Shanafelt T.D., Sinsky C.A. et al: Burnout among health care professionals: a call to explore and address this underrecognized threat to safe, high-quality care. NAM Perspectives: discussion paper, National Academy of Medicine, Washington, DC. https://nam.edu/burnout-among-health-care-professionals. Accessed 5 July 2017.
11. Vogel M, Kaisers W, Wassmuth R, Mayatepek E. Analysis of Documentation Speed Using Web-Based Medical Speech Recognition Technology: Randomized Controlled Trial. Med Internet Res. 17(11): e247, 2015.
12. Ajami S.: Use of speech-to-text technology for documentation by healthcare providers. Natl Med J India. 29(3):148-152, 2016.
13. Wilder J.L., Nadar D, Gu]ra! N, Ortiz B, Stevens R, Holder-Niles F. et al: Pediatrician Attitudes toward Digital Voice Assistant Technology Use in Clinical Practice. Appl Clin Inform. 10(2):286-294, 2019.
14. Parente R, Kock N, Sonsini J.: An analysis of the implementation and impact of speech-recognition technology in the healthcare sector. Perspect Health Inf Manag. 1:5, 2004.
15. Saxena K, Diamond R, Conant R.F., Mitchell T.H., Gallopyn I.G., Yakimow K.E.: Provider Adoption of Speech Recognition and its Impact on Satisfaction, Documentation Quality, Efficiency, and Cost in an Inpatient EHR. AMIA Jt Summits Transl Sci Proc. 2018:186-195, 2018.
16. Kauppinen T, Koivikko M.P., Ahovuo J.: Improvement of report workflow and productivity using speech recognition - a follow-up study. J Digit Imaging. 21(4):378-82, 2008. doi: 10.1007/s10278-008-9121-4.
17. Rosenthal D.I., Chew F.S., Dupuy D.E, Kattapuram S. V, Palmer W.E., Yap R.M. et al: Computer-based speech recognition as a replacement for medical transcription. AJR Am J Roentgenol. 170(1):23-5, 1998.
18. Hart J.L., McBride A., Blunt D, Gishen P., Strickland N.: Immediate and sustained benefits of a «total» implementation of speech recognition reporting. Br J Radiol. 83(989):424-7, 2010. doi: 10.1259/bjr/58137761.
19. Blackley S.V., Huynh J., Wang L, Korach Z, Zhou L.: Speech recognition for clinical documentation from 1990 to 2018: a systematic review. J Am Med Inform Assoc. 26(4):324-338, 2019. doi: 10.1093/jamia/ocy179.
20. Hammana I, Lepanto L, Poder T, Bellemare C, Ly M.S:. Speech recognition in the radiology department: a systematic review. Health Inf Manag. 44(2):4-10, 2015.
21. Pezzullo J.A., Tung G.A., Rogg J.M., Davis L.M., Brody J.M., Mayo-Smith W.W: Voice recognition dictation: radiologist as transcriptionist. J Digit Imaging. 21(4):384-9, 2008.
22. Bhan S.N., Coblentz C.L., Norman G.R., Ali S.H.: Effect of voice recognition on radiologist reporting time. Can Assoc Radiol J. 59(4):203-9, 2008.
