CC BY
16ТРУДЫ МОЛОДЫХ УЧЕНЫХ
УДК 004.055
МЕТОДИКА КОМПЛЕКСНОЙ ОЦЕНКИ ЭФФЕКТИВНОСТИ ГРАФИЧЕСКИХ ПОЛЬЗОВАТЕЛЬСКИХ ИНТЕРФЕЙСОВ ИНФОРМАЦИОННЫХ СИСТЕМ МЧС РОССИИ
А.В. Вострых.
Санкт-Петербургский университет ГПС МЧС России
Разработана методика комплексной оценки эффективности графических пользовательских интерфейсов информационных систем МЧС России, ориентированных на человеко-машинное взаимодействие. Данная методика состоит из трёх алгоритмов, которые позволяют проводить всестороннюю многокритериальную оценку интерфейсов, учитывая широкий спектр характеристик качества информационных систем и особенности целевой аудитории, что даёт ей преимущество над существующими подходами и методами.
Ключевые слова: информационная система, графический пользовательский интерфейс, методика оценки эффективности, модель пользователя
METHODOLOGY OF COMPREHENSIVE ASSESSMENT OF THE EFFICIENCY OF GRAPHIC USER INTERFACES OF INFORMATION SYSTEMS EMERCOM OF RUSSIA
A.V. Vostrykh. Saint-Petersburg university of State fire service of EMERCOM of Russia
The article develops a method for comprehensive evaluation of the effectiveness of graphical user interfaces of information systems EMERCOM of Russia, focused on human-machine interaction. This methodology consists of three algorithms that allow for a comprehensive multi-criteria evaluation of interfaces, taking into account a wide range of information system quality characteristics and the characteristics of the target audience, which gives it an advantage over existing approaches and methods.
Keywords: information system, graphical user interface, performance evaluation methodology, user model
Современный мир интенсивно развивается во всевозможных направлениях, одним из которых является сфера информационных технологий, которая постоянно пополняется новинками различных информационных систем (ИС) [1-3]. Новые технологии внедряются во все государственные структуры, одной из которых является динамично и успешно развивающаяся система МЧС России. В министерстве используются инновационные подходы и современные программные продукты (1111), позволяющие на высоком профессиональном уровне выполнять поставленные задачи [4]. Одной из специфических особенностей работы МЧС России является необходимость выполнения поставленных задач в экстремальных условиях сложного прогнозирования, высоких психологических нагрузок и ответственности как за личный состав, так и население, оказавшееся в условиях чрезвычайной ситуации или происшествия различного характера [4].
Проведение спасательных или превентивных мероприятий не обходится без применения специализированных информационных систем, которые должны обладать высокими показателями эффективности и безотказной работы, а также удовлетворять профессиональным потребностям сотрудников [5-7].
Абсолютно каждая ИС обладает графическим пользовательским интерфейсом (ГПИ), который является комплексом технических и информационно-программных средств, посредством которых осуществляется диалоговый режим взаимодействия человека-оператора и вычислительных средств компьютеризированного образца [8, 9]. Интерфейс устанавливает правила для составляющих его элементов и интерактивной технологии, позволяющих оператору эффективно решать профессиональные задачи. Именно посредством определения в своей личностной ментальной модели выводов об удобстве и интуитивности взаимодействия с ГПИ пользователь принимает решение об эффективности всей ИС в целом [8].
Рынок современного цифрового мира предлагает широкий спектр 1111 для решения задач министерства, в связи с этим возникает задача рационального выбора определённых, наиболее эффективных ИС под специализированные задачи системы МЧС России. Поэтому разработка методики комплексной оценки эффективности ГПИ ИС является актуальным решением задачи оценки и рационального выбора ИС для задач министерства.
Также данная методика позволит делать выводы о качестве ПП ещё на этапе проектирования, что способствует выявлению уязвимостей ещё на ранней стадии, позволяя создавать более качественные ПП, специализированные под определённую аудиторию.
В настоящее время существует достаточно большое количество методов оценки ГПИ, которые в самом общем плане делятся на неформализованные и формализованные методы [10]. К неформализованным методам относятся: карточная сортировка, фокус группы, анализ контекста использования, опрос пользователей, наблюдение за пользователями, параллельный дизайн, оценка прототипа, стилевые правила, быстрые прототипы, «раскадровка», анализ снимков экрана и сравнение их с эталонными, эвристические характеристики Якоба Нильсена и т.д. [8]. Достоинствами данных методов являются [10]:
- контроль корректности тестирования проводится человеком;
- возможен поиск эстетических дефектов;
- анализ проводится согласно человеческому восприятию.
Основными недостатками этих методов являются [8]:
- высокая стоимость проведения оценки;
- получение неточной, субъективной оценки;
- высокие временные затраты,
- на каждой итерации тестирования ГПИ требуется участие новых потенциальных пользователей.
К формализованным методам можно отнести следующие: объём перерабатываемой информации (Шенон) [11], ценность данных (Харкевич) [12], избыточность (Парк) [13], объём перерабатываемой информации (Хартли) [14], информативность (Горячкин) [15], насыщенность (Горячкин) [15], сложность поиска (Емельянова) [13], наглядность (Диковицкий) [16], селективность (Мучник) [13], объём переработанной информации (Фаткин) [13], визуальная простота (Комбер-Мэлтби) [13], визуальная простота (Стикел) [13], интерпретируемость (Кузнецов) [13], лаконичность (Шенон) [11], структурность (Звенигородский) [13], целостность (Емельянова) [13], закон Хика [17], закон Фитса [18], методы GOMS [8], декомпозиции ментальных операторов (Оксанич) [13], модель измерения сложности LOC-СС [10] и т.д.
Достоинствами данных методов являются [10]:
- низкая стоимость тестирования;
- высокая скорость проведения оценки;
- отсутствие зависимости сложности оценки от объёма информации;
- отсутствие необходимости в участии пользователей.
Недостатками данных методов являются:
- высокая стоимость поддержки;
- применение определённого подхода возможно лишь для оценки одного или нескольких показателей качества ГПИ.
Так, в таблице приведён сравнительный анализ рассмотренных метрик на их возможность применения к оценке параметров качества модели описания элементов информационных систем, ориентированных на человеко-машинное взаимодействие, разработанной автором настоящей статьи, согласно стандартам из области проектирования программного обеспечения и их интерфейсов.
Таблица. Сравнительный анализ метрик оценки ГПИ
Метрики Характеристики качества
Структурность Информативность Читабельность Доступность элементов Привлекательность Управляемость Понятность Обучаемость Простота использования Мобильность Устойчивость к ошибкам Индивидуализация Сохранение навыков Результативность Удовлетворенность
Объём перерабатываемой информации (Шенон) + + - + - + + - + - - - - + -
Объём перерабатываемой информации (Хартли) + + - + - + + - + - - - - + -
Объём переработанной информации (Фаткин) + + + + - + + - + - - - - + -
Ценность данных (Харкевич) + -
Избыточность (Парк) + + - + - + + - + - - - - + +
Информативность (Горячкин) - - + - - - + - - - - - - - +
Насыщенность (Горячкин) - + + - - - + - - + - - - - +
Наглядность (Диковицкий) + + - + - + + + +
Сложность поиска (Емельянова) +1 - - + - - - - - - + + + - -
Селективность (Мучник) - + + + + + + - + + - - - - +
Визуальная простота (Комбер -Мэлтби) + + + + + + + - + + - - - + +
Визуальная простота (Стикел) + + + + + + + + + - - - - - +
Интерпретируемость (Кузнецов) + + + + + - + - + - - - - - +
Лаконичность (Шенон) - + - + - - + - - - - - - - +
Структурность (Звенигородский) + + + + + - + - + + + + + + +
Целостность (Емельянова) + + + + + + + + - - + + + + +
Закон Хика + + + - - - + - - - - - - - +
Закон Фитса + + + - - - + - - - - - - - +
Методы GOMS + + + + - + + + + + - - + + +
Декомпозиции ментальных операторов (Оксанич) + + + + - + + + + + - - + + +
Удобочитаемость текста - + + - - - + - + - - + - - +
Модель LOC-СС - - - - - - - - + - - - - - -
Из проведённого анализа видно, что для полной комплексной оценки эффективности ГПИ необходимо использовать сразу несколько метрик, но даже в этом случае многогранность структуры ГПИ не может быть оценена по причинам неактуальности многих рассмотренных подходов к оценке современных интерфейсов, а также отсутствия привязки данных метрик к моделям пользователей, что, как показывают многочисленные исследования, не дает в полной мере положительного результата [1-3, 10].
В статье предлагается новая авторская методика комплексной оценки эффективности ГПИ ИС, ориентированных на человеко-машинное взаимодействие, основанная на сопоставлении характеристик моделей пользователей с рядом данных в виде числовых значений, параметрических карт и шаблонов поведений пользователей (рис. 1).
Рис. 1. Сопоставление характеристик моделей пользователей с рядом данных, полученных с помощью разработанной методики оценки ГПИ
Такой широкий спектр оценок основан на том, что процесс взаимодействия пользователя с ИС многогранен в силу психофизиологических особенностей человеческой природы, множестве различных факторов воздействия внешней среды на пользователей и различии процессов получения-ввода и обработки информации человеком и машиной [2, 19].
Процесс взаимодействия пользователей с ИС состоит из различного вида нагрузок, воздействующих на него в течении работы. Данные нагрузки делятся на три типа по характеру воздействия на органы человека: когнитивная, визуальная и моторика [2, 19]. Каждая из этих нагрузок обладает своей энергозатратностью. Известно, что абсолютно любой пользователь стремиться к минимизации трат своих ресурсов, поэтому идеальным интерфейсом считается ГПИ, при взаимодействии с которым сумма затрачиваемой энергии будет равна 0 [19]. В реальности эта задача недостижима, так как при попытке снизить одну из нагрузок остальные две автоматически повышаются. Таким образом, основной задачей разработанной методики является оценка эффективность ГПИ с помощью соотношения полученных значений характеристик интерфейса с данными моделей пользователей для оценки испытываемой ими нагрузки и соотношении её с максимально возможным значением для достижения высокой субъективной удовлетворённости, скорости работы, степени сохранения навыков оперирования и снижении вероятности появления ошибок.
Разработанная методика комплексной оценки эффективности ГПИ ИС состоит из трёх направлений, соответствующих видам нагрузок и включающих в себя алгоритмы оценки различных составляющих ГПИ, которые покрывают собой все характеристики качества из таблицы (рис. 2). В состав методики входят три алгоритма:
- алгоритм оценки пространственно-временных характеристик графических элементов ГПИ;
- алгоритм оценки графической архитектуры ГПИ;
- алгоритм оценки качества логики взаимодействия с ГПИ.
Рис. 2. Покрытие алгоритмами разработанной методики характеристик качества ГПИ
Алгоритм оценки пространственно-временных характеристик графических элементов ГПИ в основном направлен на оценку когнитивной нагрузки, элементами которой являются: объёмы кратковременной и долговременной памяти, когнитивное искажение, возможность погружения в состояние потока и т.д. Алгоритм вычисляет следующие показатели:
- плотность заполнения основной формы ГПИ графическими элементами;
- равномерность заполнения основной формы ГПИ графическими элементами;
- нагрузка «точками концентрации внимания» ГПИ;
- время доступа к графическим элементам и их компонентам;
- время обхода всех компонентов выбранного графического элемента ГПИ согласно их порядку;
- время ввода данных в компоненты графических элементов ГПИ;
- время восприятия пользователем информации;
- построение множества труднодоступных компонентов графических элементов ГПИ.
Результатом работы алгоритма станут числовые значения и параметрические карты,
демонстрирующие области ГПИ, нуждающиеся в совершенствовании.
Алгоритм оценки графической архитектуры ГПИ в основном направлен на оценку визуальной нагрузки, которая напрямую связана с когнитивной. Так как главным каналом восприятия внешнего мира для человека является зрение, а на обработку и интерпретацию полученной информации тратится около половины ресурсов мозга. Также доказано, что около 70 % информации об окружающем мире человек получает посредством зрения [2, 19]. Таким образом, для быстрой обработки информации мозг использует стереотипы об окружающем мире, опираясь на предыдущий опыт, интерпретируя зрительные сигналы. С помощью различных форм и цвета ГПИ оказывает влияние на то, что видят пользователи, и способствует или препятствует получению и обработке информации в полном объёме. Составляющими оценки визуальной нагрузки являются: ограничения центрального зрения, ограничения периферического зрения, разрозненность фокуса внимания, теория геонов (распознание объектов), принципы гештальтпсихологии, гендерные предпочтения цветов и оттенков, цветовые ассоциации и т.д. [2, 19]. Алгоритм вычисляет следующие показатели:
- оценки гармоничности цветовой схемы;
- оценка ГПИ на наличие и степень преобладания «эффекта стереохроматизма»;
- оценка сложности визуального восприятия ГПИ.
Результатом работы алгоритма станут параметрические карты, демонстрирующие области ГПИ, нуждающиеся в совершенствовании.
Моторная нагрузка имеет немаловажное значение в поглощении энергии оператора. Количество производимых манипуляций, бессмысленный повтор и нерациональная расстановка элементов ГПИ приводит к потере времени, ошибкам и психологической и физической усталости операторов. Алгоритм оценки качества логики взаимодействия с ГПИ с помощью анализа действий пользователей в ИС выявляет некоторые проблемы в нём, основываясь на поиске одинаковых последовательностей действий (шаблонов). Примерами типовых шаблонов являются:
- «мгновенная отмена действия» (сразу после выполнения операции отменяются пользователем);
- «количество действий отмены» (подсчёт и анализ частоты использования команды «отмена»);
- «вызов онлайн-справки» (подсчёт частоты вызовов справки);
- «повторение действий» (частое повторение одних и тех же действий, через незначительный период времени);
- «частое открытие-закрытие выпадающих списков» (многократное нажатие одного и того же элемента управления).
Алгоритм состоит из двух этапов. На первом происходит поиск повторяющихся шаблонов действий отдельных пользователей. Так как единичные шаблоны ещё не говорят о проблемах в интерфейсе в силу специфики индивидуальных особенностей личности, то на втором этапе выявленные индивидуальные шаблоны сравниваются между собой на наличие «массового» сходства с помощью подхода AprioriAll [20]. Результатом работы алгоритма будет список повторяющихся последовательностей действий пользователей, число которых после анализа и выявления ошибок должно быть сведено к минимуму.
Таким образом, разработанная методика комплексной оценки эффективности ГПИ ИС МЧС России, состоящая из трёх алгоритмов, позволяет проводить многокритериальную оценку ГПИ, учитывая широкий спектр характеристик качества и особенностей профессии операторов министерства. Полученные данные могут быть использованы при выборе наиболее подходящей ИС для работы операторов системы МЧС России согласно специфике работы и особенностям как личностного профиля, так и профессионального.
В дальнейшем планируется на базе разработанных алгоритмов спроектировать программные продукты для ЭВМ, которые позволят в автоматическом режиме проводить оценку эффективности ИС.
Литература
1. Головач В. Дизайн пользовательского интерфейса. Usethics, 2008. 97 с.
2. Weinschenk S. 100 more things every designer needs to know about people. New Riders, 2016. 278 pp.
3. Головач В. Дизайн пользовательского интерфейса v 1.2. Uibookl, 2014. 141 с.
4. Вострых А.В., Терёхин С.Н. Совершенствование информационных систем, используемых органами надзорной деятельности МЧС России // Науч.-аналит. журн. «Вестник С.-Петерб. ун-та ГПС МЧС России». 2020. № 4. С. 163-170.
5. Вострых А.В., Шидловский Г.Л., Терёхин С.Н. Модернизация программ прогнозирования интенсивности пассажирских и транспортных потоков // Транспорт России: проблемы и перспективы: Междунар. науч.-практ. конф. 2020. Т. 1. С. 169-174.
6. Крупкин А.А., Максимов А.В., Матвеев А.В. Программное обеспечение системы поддержки принятия решений по управлению силами и средствами гарнизона пожарной охраны // Проблемы управления рисками в техносфере. 2015. № 4 (36). С. 75-81.
7. Буйневич М.В., Максимов А.В., Пелех М.Т. Принципы информационной поддержки системного проектирования развития сети пожарных депо на территории мегаполиса // Науч.-аналит. журн. «Вестник С.-Петерб. ун-та ГПС МЧС России». 2017. № 3. С.129-135.
8. Сергеев С.Ф. Методы тестирования и оптимизации интерфейсов информационных систем: учеб. пособие. СПб.: ИТМО, 2013. 117 с.
9. Буйневич М.В., Максимов А.В., Вострых А.В. Анализ результатов аудита сетевых информационных ресурсов МЧС России // Науч.-аналит. журн. «Вестник С.-Петерб. ун-та ГПС МЧС России». 2020. № 1. С. 101-110.
10. Вострых А.В. Сравнительный анализ методов оценки человеко-машинных интерфейсов // Актуальные проблемы инфо-телекоммуникаций в науке и образовании (АПИН0-2019). 2019. С. 179-184.
11. Shannon C.E. A mathematical theory of communication // Bell System Technical Journal. 1948. P. 379-423.
12. Харкевич А.А. Проблемы кибернетики. М.: Физматгиз, 1960. 57 с.
13. Емельянова Ю.Г., Фраленко В.П., Хачумов В.М. Методы комплексного оценивания когнитивных графических образов // Программные системы: Теория и приложения. 2018. № 3 (38) С. 49-63.
14. Hartley V.L. Transmission of information // Bell System Technical Journal. 1928. P.535-563.
15. Горячкин Б.С. Оценка выходных экранных форм автоматизированной системы обработки информации и управления // Международный научно-исследовательский журнал. 2016. № 10. С. 24-27.
16. Диковицкий В.В., Шишаев М.Г. Формализация задачи построения когнитивных пользовательских интерфейсов мультипредметных ИР // Труды КЦР РАН. Информационные технологии.2013.№ 5. С. 90-97.
17. Hick W.E. On the rate of gain of information // Quarterly Journal of Experimental Psychology. 1952. № 4. P. 11-26.
18. Fitts P.M. The information capacity of the human motor system in controlling // Journal of Experimental Psychology. 1954. Vol. 47 (6). P. 381-391.
19. Weinschenk S. 100 things every designer needs to know about people. New Riders, 2011. 272 pp.
20. Agrawal R., Srikant R. Mining Sequential Patterns // Journal Intelligent Systems. 1997. Vol. 9. № 1. P. 33-56.
References
1. Golovach V. Dizajn pol'zovatel'skogo interfejsa. Usethics, 2008. 97 s.
2. Weinschenk S. 100 more things every designer needs to know about people. New Riders, 2016. 278 pp.
3. Golovach V. Dizajn pol'zovatel'skogo interfejsa v 1.2. Uibook1, 2014. 141 s.
4. Vostryh A.V., Teryohin S.N. Sovershenstvovanie informacionnyh sistem, ispol'zuemyh organami nadzornoj deyatel'nosti MCHS Rossii // Nauch.-analit. zhurn. «Vestnik S.-Peterb. un-ta GPS MCHS Rossii». 2020. № 4 S. 163-170.
5. Vostryh A.V., Shidlovskij G.L., Teryohin S.N. Modernizaciya programm prognozirovaniya intensivnosti passazhirskih i transportnyh potokov // Transport Rossii: problemy i perspektivy: Mezhdunar. nauch.-prakt. konf. 2020. T. 1. S. 169-174.
6. Krupkin A.A., Maksimov A.V., Matveev A.V. Programmnoe obespechenie sistemy podderzhki prinyatiya reshenij po upravleniyu silami i sredstvami garnizona pozharnoj ohrany // Problemy upravleniya riskami v tekhnosfere. 2015. № 4 (36). S. 75-81.
7. Bujnevich M.V., Maksimov A.V., Pelekh M.T. Principy informacionnoj podderzhki sistemnogo proektirovaniya razvitiya seti pozharnyh depo na territorii megapolisa // Nauch.-analit. zhurn. «Vestnik S.-Peterb. un-ta GPS MCHS Rossii». 2017. № 3. S. 129-135.
8. Sergeev S.F. Metody testirovaniya i optimizacii interfejsov informacionnyh sistem: ucheb. posobie. SPb.: ITMO, 2013. 117 s.
9. Bujnevich M.V., Maksimov A.V., Vostryh A.V. Analiz rezul'tatov audita setevyh informacionnyh resursov MCHS Rossii // Nauch.-analit. zhurn. «Vestnik S.-Peterb. un-ta GPS MCHS Rossii». 2020. № 1. S. 101-110.
10. Vostryh A.V. Sravnitel'nyj analiz metodov ocenki cheloveko-mashinnyh interfejsov // Aktual'nye problemy info-telekommunikacij v nauke i obrazovanii (APINO-2019). 2019. S. 179-184.
11. Shannon C.E. A mathematical theory of communication // Bell System Technical Journal. 1948. P. 379-423.
12. Harkevich A.A. Problemy kibernetiki. M.: Fizmatgiz, 1960. 57 s.
13. Emel'yanova Yu.G., Fralenko V.P., Hachumov V.M. Metody kompleksnogo ocenivaniya kognitivnyh graficheskih obrazov // Programmnye sistemy: Teoriya i prilozheniya. 2018. № 3 (38) S. 49-63.
14. Hartley V.L. Transmission of information // Bell System Technical Journal. 1928. P.535-563.
15. Goryachkin B.S. Ocenka vyhodnyh ekrannyh form avtomatizirovannoj sistemy obrabotki informacii i upravleniya // Mezhdunarodnyj nauchno-issledovatel'skij zhurnal. 2016. № 10. S. 24-27.
16. Dikovickij V.V., Shishaev M.G. Formalizaciya zadachi postroeniya kognitivnyh pol'zovatel'skih interfejsov mul'tipredmetnyh IR // Trudy KCR RAN. Informacionnye tekhnologii. 2013. № 5. S. 90-97.
17. Hick W.E. On the rate of gain of information // Quarterly Journal of Experimental Psychology. 1952. № 4. P. 11-26.
18. Fitts P.M. The information capacity of the human motor system in controlling // Journal of Experimental Psychology. 1954. Vol. 47 (6). P. 381-391.
19. Weinschenk S. 100 things every designer needs to know about people. New Riders, 2011. 272 pp.
20. Agrawal R., Srikant R. Mining Sequential Patterns // Journal Intelligent Systems. 1997. Vol. 9. № 1. P. 33-56.
