CC BY
106
Медицинские информационные системы
www.idmz.ru
■ ■г_ ■ ■■■
F4H
гол г, №3
Г.Д. КОПАНИЦА,
к.т.н., ассистент кафедры оптимизации систем управления Института кибернетики Национального Исследовательского Томского Политехнического Университета, г. Томск, Россия; аспирант Института биологической и медицинской визуализации,
Центр им. Гельмгольца, г. Мюнхен, Германия
Ж.Ю. ЦВЕТКОВА,
магистрант кафедры оптимизации систем управления Института кибернетики Национального Исследовательского Томского Политехнического Университета, г.Томск, Россия, tsvetkova.ianna@gmail.com ХАСАН ВЕСЕЛИ,
научный сотрудник Института биологической и медицинской визуализации,
Центр им. Гельмгольца, г. Мюнхен, Германия
АНАЛИЗ МЕТРИК,
ИСПОЛЬЗУЕМЫХ ДЛЯ ОЦЕНКИ УДОБСТВА ИСПОЛЬЗОВАНИЯ МЕДИЦИНСКИХ ИНФОРМАЦИОННЫХ СИСТЕМ
УДК 61:658.011.56
Копаница Г.Д., Цветкова Ж.Ю., Весели X. Анализ метрик, используемых для оценки удобства использования медицинских информационных систем (Национальный Исследовательский Томский Политехнический Университет, г. Томск, Россия; Институт биологической и медицинской визуализации, Центр имени Гельмгольца, г. Мюнхен, Германия)
Аннотация: При проектировании графического пользовательского интерфейса (GUI) необходимо принимать во внимание требования различных групп пользователей. Важной проблемой является разработка комплексных методов оценки эффективности и удобства использования систем электронных медицинских записей. Целью исследования являлись обзор и анализ метрик, используемых для оценки юзабилити пользовательских интерфейсов в медицинских информационных системах. В работе проанализированы существующие метрики, используемые для оценки юзабилити, которые применяются в области здравоохранения и в других предметных областях, в которых применимы стандарты хранения и представления данных. Был проведен систематический обзор литературы с целью анализа метрик, применяемых для оценки юзабилити графического пользовательского интерфейса медицинской информационной системы. Было изучено несколько подходов и стандартов. Мы определили набор метрик и методов оценки, которые предоставляют целостные средства оценки графического интерфейса пользователя. Ключевые слова: визуализация, метрики, оценка, МИС
UDC 61:658.011.56
Kopanitsa G., Tsvetkova Z, Veseli H. Analysis of Metrics for the Usability Evaluation of Electronic Health Record Management Systems (National Research Tomsk Polytechnic University, Tomsk, Russia; Institute for Biological and Medical Imaging, Helmholtz Zentrum M?nchen, Neuherberg, Germany)
Abstract: Electronic health records are gradually replacing conventional paper-based health records. For a doctor it is a working instrument, which can significantly reduce the time spent on paper work. At the same time, patients can benefit from accessing the electronic health records even though they usually do not have a medical background. Therefore, when specifying a graphical user interface (GUI) it is necessary to take into account the requirements of the different users: e.g. the functionality for the doctors and the presentation of data in an understandable manner for the patients. The study aims to review and analyze metrics used to evaluate the usability of user interfaces in health information systems. The literature review to identify existing metrics was performed. The scope of the search included the analysis of existing usability evaluating metrics that are applied both in healthcare and other domains, where the standard of storage and presentation of information are applied. A systematic literature search was performed to analyze the metrics that are applicable for evaluating GUIs of health information systems. Several approaches and standards were studied. We identified a set of metrics and evaluation methods that provide holistic evaluation facilities for graphical user interfaces.
Keywords: visualization, metrics, evaluation, EHR
© Г.Д. Копаница, Ж.Ю. Цветкова, Хасан Весели, 2012 г.
■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■ ■ ■■■ ! п ■■ ■ ■ ■■■ ■■ ■■ ■ ■ ■ ■■■ ■■ ■ ■ ■ ■ ■ ■ ■■ ■■ ■ ■
гш
Медицинские информационные системы
1 и информационные
технологии
в:
Введение
настоящее время традиционные бумажные документы отходят на второй план, уступая место более практичным и удобным электронным. В области здравоохранения распространенность электронных медицинских записей (EHR) быстро растет, и это приводит к необходимости разработки эффективных и дружелюбных пользовательских интерфейсов [1—3].
На сегодняшний день основными пользователями EHR являются медицинские работники [4]. Однако существуют явные признаки того, что вовлечение пациентов приведет к улучшению системы медицинского обслуживания, а персональный доступ к электронной медицинской карте пациента поможет расширить возможности пациентов [5, 6].
Таким образом, при проектировании графического пользовательского интерфейса (GUI) необходимо принимать во внимание требования различных групп пользователей: например, функциональность системы для врачей и представление данных в доступном и понятном виде для пациентов. Важной проблемой становится разработка комплексных методов оценки эффективности и удобства использования систем электронных медицинских записей [7]. Методы должны предоставлять сбалансированную оценку системы.
Digital library. Были использованы следующие запросы: «usability evaluation», «usability metrics», «GUI evaluation». Рассмотренные статьи выбирались целенаправленно, чтобы была возможность проследить развитие методов оценки от первых работ по оценке юзабилити EHR до самых последних проектов. Также рассмотренные работы представляют различные предметные области, а не ограничены только здравоохранением. Исследование было проведено в ноябре—декабре 2011 г. Все работы, которые казались подходящими, были прочитаны двумя исследователями, любые разногласия в толковании были решены путем обсуждения. Результатом выполнения запросов были 1363 работы, 16 из них были выбраны как соответствующие следующим критериям.
Критерии включения:
• работа должна предлагать метод оценки юзабилити;
• работа должна описывать практическое применение метода оценки юзабилити;
• мы также включили в исследование стандарты по оценке юзабилити.
Критерии исключения:
• работы, оценивающие удобство использования медицинских приборов и датчиков;
• работы, которые оценивали удобство использования отдельных элементов интерфейсов.
Методы
С целью анализа методов оценки удобства пользовательского интерфейса был проведен литературный обзор публикаций, посвященных оценке медицинских информационных систем. Целью обзора являлось определение текущего состояния оценки юзабилити в медицинской информатике и других предметных областях для выявления наиболее целостного и эффективного метода оценки. Поиск проводился в следующих научных базах данных и журналах: Medline, Cochrane Library, CINAHL, EMBASE, sciencedirect.com и ACM
Результаты
Шестнадцать работ по оценке метрик юзабилити, применяемым в области здравоохранения, были тщательно проанализированы [3-18]. Среди этих работ были инструкции от Национального Института Стандартов и Технологии (NIST) для определения требований к юзабилити: Общая производственная спецификация для юзабилити — требования (CISU-R) [8] и ISO 9241-11 Руководство по юзабилити [9].
Юзабилити компьютерной системы может быть определено как способность
Медицинские информационные системы
www.idmz.ru
гол г, №3
системы позволять пользователю выполнять свои задачи безопасно, эффективно, действенно и с удовольствием [9]. ISO 9241-11 определяет юзабилити как «степень, в которой продукт может быть использован определенными пользователями для достижения определенных целей результативно, эффективно и с удовлетворением в определенном контексте использования». Юзабилити системы является сложным понятием, но можно выделить отдельные простые компоненты, которые являются общими для всех определений и могут быть использованы в любой предметной области [10]. В данном обзоре внимание обращено на результативность, эффективность и удовлетворенность, в то время как безопасность не вошла в круг рассмотренных вопросов. Существует набор методов, которые могут быть использованы для оценки юзабилити системы, их можно разделить на три категории: обзорные, основанные на тестировании, исследовательские.
В подходе, основанном на тестировании, пользователи работают над стандартными задачами с использованием системы (или ее прототипа), и исследователи получают результаты, показывающие, как интерфейс помогает пользователям выполнять задачи.
В обзорном подходе специалисты оценивают юзабилити отдельных компонентов интерфейса.
В исследовательских методах собирается информация о том, что пользователю нравится, не нравится, что ему требуется, как он понимает систему. Исследователи собирают информацию путем обсуждений с пользователями, наблюдая за ними в процессе реальной работы системы, или с помощью опросов пользователей.
Результаты анализа работ представлены в сводной таблице 1, которая содержит типы метрик, а также примеры использования метрик и их возможные применения для электронных медицинских карт.
Примеры использования в области здравоохранения
Результативность
Например, перед пользователем ставятся следующие задачи:
1. Найти пациента в Базе данных;
2. Добавление основных показателей состояния организма пациента;
3. Назначение лекарств;
4. Составление расписания следующего визита пациента; процент задач, выполненных полностью, и задач, выполненных наполовину, в сравнении с теми же задачами, выполненными без использования EHR-системы.
Эффективность
Была оценена и изучена повседневная работа пользователя без использования системы. Затем было проведено сравнение времени выполнения одних и тех же действий с помощью системы и без нее.
Удовлетворенность
Пользователю предлагалось выполнить задачу, специфичную для конкретной группы пользователей. Примеры задач для врачей были представлены выше, в разделе «Эффективность». Также было посчитано отношение объектов, необходимых для выполнения задачи, к числу элементов, видимых пользователю.
Представленные в работе метрики в большей части относятся к системам, которые предоставляют графический интерфейс пользователя для одного устройства (например, настольного компьютера) или могут быть использованы для оценки юзабилити системы для каждого устройства отдельно. Большинство современных систем электронных медицинских карт предоставляют многопользовательский (врачи, медсестры, пациенты) и кроссплатформенный (настольный компьютер, смартфон, планшет, телевизор) графический интерфейс пользователя. Это означает, что набор метрик оценки юзабилити должен предполагать, что одно и то же программное обеспечение может обеспечивать различное удобство использования для различных пользовате-
■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 33 ■
“■ и информационные
технологии
Медицинские информационные системы
Таблица 1
Метрики оценки юзабилити для систем электронных медицинских карт
Тип Класс метрик
Результа- Essential Efficiency (EE)
тивность Оценивает, насколько представленный
пользовательский интерфейс соответствует идеальному, описанному в модели вариантов использования
Примеры использования метрик
Процент полностью выполненных задач Сравнение качества задач, выполненных с использованием ПО, и качества задач, выполненных без использования ПО Процент участников, которые ответили, что они могут всегда, чаще всего, иногда или никогда выполнить поставленную задачу
Эффек-
тивность
Layout Appropriateness (LA) Время выполнения задачи или последователь-
Предпочтение отдается интерфейсу, в кото- ности задач
ром последовательно используемые компо- Время выполнения задачи с первой попытки ненты расположены как можно ближе, Число нажатий клавиш, сделанных для выпол-
уменьшая ожидаемое время на выполнение нения задачи задач
Task Concordance (TC) Время выполнения конкретной задачи после
Измеряет, насколько хорошо ожидаемая периода неиспользования продукта частота задач совпадает с их сложностью. Сравнение возможности выполнить задачу с Предпочтение отдается дизайну, где наибо- использованием ПО и без использования ПО лее частые задачи выполняются проще
Удовле-
творен-
ность
Речь идет о том, как пользователь относит- Число положительных комментариев; ся к системе. Число отрицательных комментариев;
Это больше относится к эмоциональной Процент участников, которые оставили поло-реакции, а не к результатам действий жительный комментарий;
Процент участников, которые оставили отрицательных комментарий.
Доля объектов интерфейса или элементов, необходимых для выполнения задачи, которые видны пользователю
лей и устройств. Для того чтобы можно было оценить такие системы, методы оценки юзабилити должны быть разработаны с учетом возможности применения существующих метрик, а также представить новую группу метрик, относящуюся к потенциальной работе систем EHR с множеством представлений данных. Опирающиеся на стандарты методы визуализации, разработанные к настоящему времени [1,2], в дополнение к оценке юзабилити требуют метрики для оценки их потенциала в обработке данных, основанных на стандартах.
Дискуссия
Новые подходы в медицинской информатике, такие как расширение прав и возможно-
стей пациентов [19], требуют целостной оценки с целью учета требований различных групп пользователей. На текущий момент нам не хватает инструкций, предоставляющих набор метрик оценки юзабилити, которые могут расширить Руководство по надлежащей практике оценки в области информатики здравоохранения (GEP-HI) [20] для того, чтобы предоставить целостную оценку пользовательских интерфейсов в медицинских информационных системах и объединить их в общую оценку медицинского ПО. Многие проекты по внедрению медицинских информационных систем потерпели неудачу из-за того, что не были приняты пользователями [21]. Так как одобрение пользователей может помочь или,
Медицинские информационные системы
www.idmz.ru
гол г, №3
наоборот, помешать развитию медицинской информационной системы, важно, чтобы все интересы пользователей принимались во внимание в процессе разработки и оценки системы. Решения, основанные на стандартах, необходимо развивать для того, чтобы оценить возможность обработки данных, основанных на стандартах, и предоставить оптимальный интерфейс пользователя.
Заключение
В работе были проанализированы методы и метрики оценки юзабилити графических пользовательских интерфейсов и их возможные применения для систем электронных медицинских карт. В ходе анализа были опре-
делены метрики, которые применимы в области здравоохранения. Общепринятые методы и метрики оценки юзабилити могут применяться в программном обеспечении электронных медицинских карт. Работы, рассмотренные нами, показали, что оценка юзабилити в большинстве случаев проводится для определенной группы пользователей, даже если система электронных медицинских карт поддерживает, например, взаимодействие между врачами и пациентами. В таком случае оценка сфокусирована на пациентах. Комплексный подход к оценке юзабилити предоставит возможность разработать интерфейсы, которые повысят эффективность системы для всех групп пользователей.
ЛИТЕРАТУРА
1. Atalag K., Yang H.Y. From openEHR Domain Models to Advanced User Interfaces: A Case Study in Endoscopy//Proceedings of Health Informatics New Zealand Conference, Wellington, 2-4 November 2010.
2. van der Linden H., Austin T, Talmon J. Generic screen representations for future-proof systems, is it possible? There is more to a GUI than meets the eye//Computer methods and programs in biomedicine. — 2009. — № 95. — P. 213-226.
3. Fonseca T, Ribeiro C, Granja C. Vital signs in intensive care: automatic acquisition and consolidation into electronic patient records//J Med Syst. — 2009. — № 33(1). — P. 47-57.
4. Smelcer J.B., Miller-Jacobs H., Kantrovich L. Usability of Electronic Medical Records //Journal of Usability Studies. — 2009. — № 4(2). — P. 70-84.
5. Design Requirements for a Patient Administered Personal Electronic Health Record/ R. Fensli, V. Oleshchuk, J. O'Donoghue, P. O'Reilly //Biomedical Engineering, Trends in Electronics, Communications and Software [Edited by Anthony Laskovski]. InTech, 2011. — P. 565-588.
6. EdsallR.L., Adler K.G. An EHR User-Satisfaction Survey: Advice From 408 Family Physicians//Family Practice Management. — 2005. — № 12(9). — P. 29-35.
■ ■ ■ ■ ■ ■■ ■ ■ ■ ■■■ ■ ■ ■ ■■ ■ ■ ■■■ ■ ■ ■ ■ 35 ■
“■ и информационные
технологии
Медицинские информационные системы
7. Kushniruk A.W., Patel V.L., Cimino J.J. Usability testing in medical informatics: cognitive approaches to evaluation of information systems and user interfaces//Proc AMIA Annu Fall Symp. — 1997. — P. 218-222.
8. Theofanos M.F. Common Industry Specification for Usabilty — Requirements. URL:
http://www.nist.gov/manuscript-publication-search.cfm?pub_id=51179 (accessed
2 April 2012)
9. ISO 9241-11 Ergonomic requirements for office work with visual display terminals (VDTs) — Part 11. URL: http://www.it.uu.se/edu/course/homepage/acsd/vt09/ /ISO9241part11.pdf (accessed 4 April 2012).
10. Nielsen J Usability 101: Definition and Fundamentals — What, Why, How (Jakob's Alertbox). URL: http://www.useit.com/alertbox/20030825.html (accessed 2 April 2012).
11. Cimino J.J., Socratous S.A. Just tell me what you want!: The promise and perils of rapid prototyping with the World Wide Web//Proc AMIA Annu Fall Symp. — 1996.
— P. 719-723.
12. Usability evaluation — Usability evaluation methods. URL: http://www.usabilityho-me.com/ (accessed 3 April 2012).
13. Cl inician perceptions of the usability of eNote/Haas J., Bright T., Bakken S., Stetson P., Johnson S.B. //Proc AMIA Symp. — 2005. — P. 973.
14. Helpi ng doctors and patients make sense of health statistics/Gigerenzer G., Gais-smaier W., Kurz-Milcke E., Schwartz L., Woloshin S.//Psychological Science in the Public Interest. — 2007. — № 8. — P. 53-96.
15. Scientific Visualization, Techniques and Applications/Brodlie K., Carpenter L., Earn-shaw R., Gallop J., Hubbold R., Mumford A., Osland C., Quarendon P. Springer Ver-lag, 1992. — 284 p.
16. Usability evaluation of a personal health record/Segall N., Saville J.G., L'Engle P., Carlson B., Wright M.C., Schulman K., Tcheng J.E.//Proc AMIA Annu Symp. — 2011.
— P. 1233-1242.
17. Bakhshi-Raiez F., de Keizer N.F., Cornet R., Dorrepaal M., Dongelmans D., Jaspers M.W. A usability evaluation of a SNOMED CT based compositional interface terminology for intensive care//International Journal of Medical Informatics. — 2011. — № 81(5). — P. 351-362.
18. Kushniruk A.W., Borycki E.M., Kuwata S., Kannry J. Emerging approaches to usability evaluation of health information systems: towards in-situ analysis of complex healthcare systems and environments//Stud Health Technol Inform. — 2011. — № 169.
— P. 915-919.
19. Riet A., Berg M., Hiddema F., Sol K. Meeting patients' needs with patient information systems: potential benefits of qualitative research methods//International Journal of Medical Informatics. — 2001. — № 64(1). — P. 1-14.
20. Nykanen P., Brender J., Talmon J., de Keizer N., Rigby M., Beuscart-Zephir M.C., Ammenwerth E. Guideline for good evaluation practice in health informatics (GEP-HI)// International Journal of Medical Informatics. — 2011. — № 80(12). — P. 815-827.
21. Brodlie K., Carpenter L., Earnshaw R, Gallop J., Hubbold R, Mumford A., Osland C, Quarendon P. Scientific Visualization, Techniques and Applications/Springer Verlag, 1992. — 284 p.
