CC BY
12
Формирование модели структуры интерфейса информационной системы и классификация используемых в нем элементов
С.А. Беликова, Ю.Ю. Липко, С.А. Кучеров, В.С. Лапшин, А.С. Свиридов Южный федеральный университет, Таганрог
Аннотация: Для достижения эффективной коммуникации в процессе человеко-машинного взаимодействия используются полимодальные пользовательские интерфейсы. В статье проводится классификация типовых элементов интерфейса, соответствующих различным каналам коммуникации с целью выявления состава элементов для реализации полимодального интерфейса, обеспечивающего возможность отображения профессиональной деятельности пользователя. С учетом приведенной классификации предлагается модель структуры интерфейса, отражающего логику работы пользователя. Ключевые слова: полимодальные интерфейсы, пользовательский интерфейс, классификация элементов интерфейса, модель интерфейса, типовые элементы интерфейса, технические системы, информационные системы, каналы коммуникации, модальности.
Введение
В настоящее время наличие нескольких модальностей в пользовательском интерфейсе используется не только для категории пользователей с ограниченными возможностями, но и все больше внедряется в системы для обеспечения эффективной коммуникации между человеком и компьютером и для обеспечения адаптивности к изменяющимся условиям использования системы [1]. Эффективность коммуникации достигается за счет того, что информация может быть передана посредством нескольких каналов коммуникации в зависимости от пожелания пользователя и условий выполнения задачи. При использовании такого полимодального взаимодействия человека с автоматизированной системой пользователь может более оперативно выполнять задачи, адаптироваться к ведению диалога с системой и управлять им [2]. Кроме того, для эффективного взаимодействия пользователя с системой необходимо обеспечить возможность отображения в интерфейсе не только необходимых для работы данных, но и логики профессиональной деятельности, сопровождаемой информационной системой.
Систематизация и классификация элементов интерфейса
В процессе человеко-машинного взаимодействия можно выделить два типа взаимодействия:
- ведение диалога и управление системой;
- ввод данных и манипулирование.
При этом в каждом типе взаимодействия могут быть использованы различные модальности, представляющие собой способы передачи информации от человека к системе и получения информации от системы к человеку.
Все элементы пользовательского интерфейса могут быть систематизированы, как относящиеся к одной из следующих четырех категорий:
1. Элементы ввода информации (Input Controls) - позволяют пользователям вводить информацию в систему.
2. Элементы осуществления навигации (Navigation Components) -помогают пользователям перемещаться в рамках интерфейса.
3. Информационные элементы (Informational Components) -предназначены для демонстрации информации пользователям.
4. Элементы-контейнеры (Containers) - предназначены для группировки связанного по смыслу контента (взаимосвязанных элементов интерфейса других категорий).
Поскольку проводится исследование построения полимодальных интерфейсов, обеспечивающих коммуникацию с пользователем по нескольким каналам восприятий информации, то необходимо выделить каналы коммуникации, которые будут использованы в информационной системе. Было выделено четыре канала коммуникации - текстовый, речевой, акустический и визуальный [3]. Каждому каналу коммуникации соответствуют определенные средства передачи информации, которым, в
свою очередь, соответствуют возможные реакции пользователя-оператора на получаемые сигналы, т.е. модальности [4].
На рис. 1-4 представлены цепочки классификации, соответствующие выбранным каналам коммуникации. Каждой модальности ставится в соответствие тип действий пользователя, который он может выполнять в
системе согласно выбранной модальности.
Рис. 1. - Типовые элементы интерфейса, соответствующие текстовому
каналу коммуникации
Каждому типу действий пользователя ставится в соответствие тип действия, осуществляемый элементами интерфейса, поскольку именно элементы интерфейса позволяют пользователям производить те или иные действия в системе. И, наконец, в зависимости от типа действия происходит переход непосредственно к типовым элементам интерфейса. Некоторые типовые элементы интерфейса могут соответствовать нескольким каналам коммуникации и нескольким модальностям, поэтому на рисунках можно видеть дублирование элементов. Аналогичная ситуация наблюдается и с типами действий пользователя и типами действий элементов интерфейса.
Рис. 2. - Типовые элементы интерфейса, соответствующие речевому каналу
коммуникации
В представленной классификации были учтены различные типы систем, поэтому типовые элементы интерфейса разделены согласно типам систем, в которых они используются. Синим цветом обозначены универсальные типы элементов, используемые в системах любого типа.
Оранжевым цветом обозначен набор типов элементов, используемых только в веб-системах. Зеленым - только в SCADA-системах.
Рис. 3. - Типовые элементы интерфейса, соответствующие акустическому
каналу коммуникации Классификация существующих элементов интерфейса показала, что на данный момент отсутствуют элементы интерфейса, позволяющие демонстрировать процесс выполнения профессиональной деятельности пользователя. Некоторые элементы (например, индикатор процесса «progress bar»), позволяют отслеживать процент выполнения действий системы, но никак не отражают их логику и место этих действий в деятельности пользователя. В состав типовых элементов должны быть добавлены новые элементы или их комбинации, которые позволят пользователю отслеживать этапы и логику выполнения своей профессиональной деятельности.
каналу коммуникации Попытки исследовать логику взаимодействия пользователя с системой предпринимаются давно (например, в [5]), в [6] был проведен анализ наиболее близких подходов, однако принципиально новых решений с точки зрения отражения логики в интерфейсе не наблюдается. Исследования в области формирования семантических моделей, отражающих логику деятельности пользователя проводятся авторами работ [7, 8].
Разработка модели структуры интерфейса информационной системы с учетом проведенной классификации и типизации его элементов
Предлагаемая структура интерфейса информационной системы будет соответствовать оконной парадигме построения пользовательских интерфейсов с поддержкой указанных выше модальностей с определенной последовательностью появления окон (форм, экранов), согласованной со
структурой деятельности пользователя и отражающей ее логику. Другими словами, именно последовательность выполнения действий пользователем будет определять последовательность появления интерфейсных форм, необходимых для выполнений этих действий.
На данном этапе формирования модели структуры интерфейса информационной системы будет рассмотрена модель структуры интерфейса для отдельного действия. Каждое отдельное действие - это акт взаимодействия пользователя с системой с целью осуществления с помощью нее определенного профессионального действия. Состав элементов интерфейса, согласно приведенной классификации, должен соответствовать набору данных, которые будут обработаны в рамках данного отдельного действия. Кроме того, в модели должны присутствовать элементы, отражающие логику выполнения деятельности пользователем.
Отличие такой модели интерфейса от существующей модели оконного интерфейса заключается в том, что наполнение форм элементами, организация взаимосвязи элементов и самих форм будет подчинена логике выполнения профессиональных действий пользователем, в отличие от иных аспектов организации наполнения и взаимосвязи, таких, как логика работы приложения, логика обработки данных, определенная разработчиком, и прочее.
Говоря в целом о процессе выполнения профессионального действия, нужно заметить, что пользователь должен держать в голове весь процесс, включая последовательность выполнения шагов, набор данных, которые необходимо подготовить и обработать, результат, который должен получиться. В ходе автоматизации часть этих манипуляций была возложена на систему, которая зачастую успешно справляется с обработкой данных и их преобразованием в результат, при этом процесс, выполняемый пользователем видоизменился. Пользователь по-прежнему должен выполнять весь процесс
целиком, однако поскольку частично действие стало выполняться системой, общая картина может быть искажена для пользователя, т.к. может не знать, как и в какой последовательность системой ведется обработка данных, необходимых для данного определенного шага, особенно при первом знакомстве с системой. В связи с этим предлагается общий процесс выполнения действия, который остался только «в голове» пользователя концептуально перенести в систему и отразить в интерфейсе, что даст пользователю целостную картину его профессиональной деятельности и поможет лучше ориентироваться в системе.
Представим модель структуры пользовательского интерфейса в рамках единичного акта взаимодействия (рис. 5). На рисунке 5 обозначены концептуальные блоки. Первый блок предназначен для ввода и обработки данных в рамках профессионального действия пользователя, для которого предназначена данная форма. Этот блок состоит из типовых элементов интерфейса согласно представленной классификации.
1 ■
Рис. 5. - Модель структуры интерфейса, отражающего логику работы
пользователя
Второй блок предназначен для отображения общей канвы профессиональной деятельности пользователя, а также логики текущего
действия. Данный блок должен состоять из элементов интерфейса, способных отразить процесс выполнения действия и его логику. В существующей модели интерфейса за понимание этапа выполняемой задачи пользователем отвечает система навигации. Предлагаемый блок отражения профессиональной деятельности пользователя принципиально отличается от существующего понятия системы навигации следующим аспектом: система навигации существующей модели интерфейса проектируется разработчиком, и состоит из меню, представляющего собой перечень опций программы, и системы переходов от одного элемента интерфейса или формы к другому элементу или форме. В то время, как предлагаемый блок отражения профессиональной деятельности пользователя должен отражать систему переходов от одного шага его деятельности к другому, при этом стандартная система навигации не заменяется, а дополняется смысловым пониманием назначения и целесообразности переходов между элементами и формами интерфейса.
Целью внедрения такого блока в интерфейс является достижение когнитивной простоты для пользователя - предсказуемости шагов взаимодействия с системой и отсутствия необходимости запоминать или изучать дополнительную информацию для решения профессиональных задач
[9, 10].
Заключение
В статье представлена классификация существующих элементов интерфейса, базирующаяся на четырех каналах коммуникации и соответствующих им модальностях. Проведенная классификация показала, что на данный момент отсутствуют элементы интерфейса, позволяющие демонстрировать общую логику выполнения профессиональных действий пользователем, поэтому в состав типовых элементов предложено добавить новые элементы или их комбинации, которые позволят пользователю
отслеживать этапы и логику выполнения своей профессиональной деятельности.
Также в статье представлена модель структуры интерфейса единичного акта действия, которая концептуально показывает наличие в интерфейсной форме блока типовых элементов интерфейса, предназначенных для ввода и обработки данных с учетом модальностей, а также блок элементов интерфейса, отражающий логику деятельности пользователя. Исследование логики взаимосвязи действий и, как следствие, логики взаимосвязи экранных форм, будет представлено в других работах.
Благодарности
Исследование выполнено при финансовой поддержке РНФ в рамках научного проекта 22-19-00723.
Acknowledgments
The reported study was funded by RSF according to the research project № 22-19-00723.
Литература
1. Бондарь М.С., Рогозинский Г.Г., Уолш Р. Использование киберфизических объектов и их моделей в мультидоменной модели коммуникаций с целью полимодального представления данных. Актуальные проблемы радио- и кинотехнологий. 2020. С. 108-112.
2. Hussain, J., Hassan, A.U., Bilal, H.S., Ali, R., Afzal, M., Hussain, S., Bang, J.H., Baños, O., & Lee, S.. Model-based adaptive user interface based on context and user experience evaluation. Journal on Multimodal User Interfaces. 2018. 12. pp. 1-16.
3. Ронжин А.Л., Карпов А.А. Многомодальные интерфейсы: основные принципы и когнитивные аспекты. Труды СПИИРАН, 2006. Вып. 3. Т. 1. стр. 300-319. ISSN 2078-9181 (печ.), ISSN 2078-9599 (онлайн).
4. Басов О. О. Модели и метод синтеза полимодальных инфокоммуникационных систем: диссертация ... доктора Технических наук: 05.13.01 / Басов Олег Олегович; [Место защиты: Санкт-Петербургский институт информатики и автоматизации Российской академии наук], 2016.293 с.
5. Stary C., Pasztor A. LUIS—A logic for task- oriented user interface specification. International Journal of Intelligent Systems, № 10, 1995. URL: doi.org/10.1002/int.4550100204.
6. Кучеров С.А., Беликова С.А., Липко Ю.Ю., Свиридов А.С. Анализ концептуальных подходов к формированию и реализации моделей интерфейсов технических систем. Информатизация и связь. 2022. № 2. С. 6467.
7. Lapshin V.S., Rogozov Y.I., Kucherov S.A. Method for building an information model specification based on a sensemaking approach to user involvement in the development process. Journal of King Saud University. Computer and Information Sciences. 2021. URL: sciencedirect.com/science/article/pii/S1319157821001026?via%3Dihub
8. Belikova S.A., Rogozov Y.I., Sviridov A.S., Shevchenko O.V., Egorov A.V., Koltunova L.V. Approach to user interfaces development based on semantic model of user activity. 2019 12th International Conference on Computer and Electrical Engineering. Journal of Physics: Conference Series. 2020. URL: iopscience.iop.org/article/10.1088/1742-6596/1457/1/012012
9. Huber, M., Wolf, M., Meyer, W., Jokisch, O., & Nowack, K. Some design aspects of a cognitive user interface. 2018. URL: pdfs.semanticscholar. org/f83d/1 f4d2d5662115e2918b291 ced9496ce0e901 .pdf?_ga =2.96527007.1865666781.1669304058-1475261311.1664293012
10. Tschope, C., Duckhorn, F., Huber, M., Meyer, W., & Wolff, M. A Cognitive User Interface for a Multi-modal Human-Machine
Interaction. International Conference on Speech and Computer. 2018. DOI: 10.1007/978-3-319-99579-3_72
References
1. Bondar M. S., Rogozinsky G. G., Walsh R. in the multi-domain communications model for polymodal representation of data. Aktual'nye problemy radio- i kinotekhnologij. St. Petersburg, 2020. P. 108-112.
2. Hussain, J., Hassan, A.U., Bilal, H.S., Ali, R., Afzal, M., Hussain, S., Bang, J.H., Baños, O., & Lee, S. Journal on Multimodal User Interfaces. 2018. 12. P. 116.
3. Ronzhin A.L., Karpov A.A. Mnogomodal'nye interfejsy: osnovnye principy i kognitivnye aspekty. Trudy SPIIRAN (SPIIRAS Proceedings), 2006. № 3. V. 1. pp. 300-319. ISSN 2078-9181 (printed), ISSN 2078-9599 (online).
4. Basov O.O. [Modeli i metod sinteza polimodal'nyh infokommunikacionnyh sistem] dissertaciya ... doktora Tekhnicheskih nauk: 05.13.01 / Basov Oleg Olegovich; [Mesto zashchity: Sankt-Peterburgskij institut informatiki i avtomatizacii Rossijskoj akademii nauk], 2016.- 293 p.
5. Stary C., Pasztor A. International Journal of Intelligent Systems, № 10, 1995. doi.org/10.1002/int.4550100204.
6. Kucherov S., Belikova S., Lipko Y., Sviridov A. Informatization and communication. 2022. №2. pp. 64-67.
7. Lapshin V.S., Rogozov Y.I., Kucherov S.A. Journal of King Saud University. Computer and Information Sciences. 2021. URL: sciencedirect.com/science/article/pii/S1319157821001026?via%3Dihub
8. Belikova S.A., Rogozov Y.I., Sviridov A.S., Shevchenko O.V., Egorov A.V., Koltunova L.V. Journal of Physics: Conference Series. 2019. 12th International Conference on Computer and Electrical Engineering. 2020. URL: iopscience.iop.org/article/10.1088/1742-6596/1457/1/012012.
9. Huber, M., Wolf, M., Meyer, W., Jokisch, O., & Nowack, K. Some design aspects of a cognitive user interface. 2018. URL: pdfs.semanticscholar. org/f83d/1 f4d2d5662115e2918b291 ced9496ce0e901 .pdf?_ga =2.96527007.1865666781.1669304058-1475261311.1664293012
10. Tschope, C., Duckhorn, F., Huber, M., Meyer, W., & Wolff, M. A Cognitive User Interface for a Multi-modal Human-Machine Interaction. International Conference on Speech and Computer. 2018. DOI: 10.1007/978-3-319-99579-3 72.
