CC BY
26
УДК 004.4, 004.8 doi: 10.15827/0236-235X.142.212-222 2023. Т. 36. № 2. С. 212-222
Нейросетевая инструментальная среда для создания персонализированных, интерфейсов прикладных, программ
Л.Ф. Тагирова Т.М. Зубкова
Ссылка для цитирования
Тагирова Л.Ф., Зубкова Т.М. Нейросетевая инструментальная среда для создания персонализированных интерфейсов прикладных программ // Программные продукты и системы. 2023. Т. 36. № 2. С. 212-222. doi: 10.15827/0236-235X.142.212-222 Информация о статье
Поступила в редакцию: 30.01.2023 После доработки: 14.03.2023 Принята к публикации: 17.03.2023
Аннотация. Статья посвящена проблеме персонализации интерфейса прикладных программ к индивидуальным особенностям пользователей на основе применения нейросетевых технологий. Новизной предложенного подхода является формирование прототипа интерфейса путем подбора каждого элемента меню отдельно, позволяющего сформировать персонализированный интерфейс. Предлагается использование инструментальной среды, включающей набор компонентов интерфейсной части, из которых динамически генерируется уникальный прототип интерфейса, адаптированный под особенности каждого пользователя. В качестве инструмента для подбора компонентов интерфейса использована глубокая нейронная сеть, представленная в виде многослойного перцептрона. Входными параметрами нейронной сети являются отличительные особенности пользователей, выходными - компоненты будущего прототипа интерфейса. В качестве критериев адаптации интерфейсной части приложений выбраны профессиональные, психофизиологические характеристики пользователей, их демографические особенности, а также эмоциональное состояние. Выходными параметрами являются компоненты интерфейса: размер шрифта текста и гиперссылок, размер и расстояние между элементами веб-страницы, вид подсказок и контекстного меню, сообщения пользователю, цветовая гамма, наличие окна для поиска информации и др. В результате разработана инструментальная среда для создания персонализированных интерфейсов прикладных программ c использованием нейросетевых технологий. В ходе работы программного средства пользователи проходят оценку своих характеристик с помощью базовых тестов IT-сферы и психологии. Для определения эмоционального тона, возраста и пола в системе используется библиотека Deepface языка Python, которая реализует алгоритм на основе обученной сверточной нейронной сети. Внедрение предложенной инструментальной среды позволит обеспечить удобное взаимодействие между пользователями и программным приложением.
Ключевые слова: компоненты интерфейса, искусственный интеллект, нейронная сеть, многослойный перцеп-трон, персонализированный интерфейс, электронная обучающая система
Интерфейсная часть и функционал программных продуктов становятся все более сложными и требуют от пользователей специальной подготовки, так как они имеют различный базовый уровень работы на компьютере, социальный статус, возрастные и культурные особенности и др. [1]. К тому же каждый человек имеет свои физиологические особенности, необходимые при работе с программным приложением (острота зрения, цветовосприятие, моторика рук и др.), психологические характеристики (мышление, память, быстрота реакции, внимательность и др.) и свое представление о том, как должен выглядеть идеальный интерфейс программы.
Решением данной проблемы может стать персонализированный пользовательский интерфейс, каждый компонент которого будет адаптирован под особенности отдельного человека [2].
Для разработки адаптивных интерфейсов прикладных программ исследователи применяют различные подходы. При создании автоматически генерируемых адаптивных пользо-
вательских интерфейсов предлагается внедрение редакторов баз знаний, построенных на основе онтологического подхода с учетом специфики предметной области, характеристик пользователя-эксперта, а также методов машинного обучения для оценки производительности интерфейса с точки зрения реакции пользователя [3-6]. В области образования - построение адаптивных интерфейсов мультимедийных систем на базе мультиагентных технологий [7].
В ГГ-сфере предлагается разработка интеллектуальных интерфейсов, основанная на компонентах, охватывающих такие аспекты, как мониторинг контекста и адаптация пользовательского интерфейса на уровне виджетов, концепции интеллектуальных пространств [8, 9]. В обеспечении информационной безопасности применен подход к формированию сенсорных интерфейсов, адаптированных под нужды пользователя, на основе анализа его поведения при работе с приложением [10].
В банковской сфере реализовано использование пользовательских моделей [11] и подход на основе паттернов c учетом ограниченных
возможностей пользователей [12-15]. Пластичные методы проектирования пользовательского интерфейса применены для культурно инклюзивных дизайнов [16], а обратный многослойный дизайн к цифровому дизайну пожилых людей [17] и др.
Для решения проблемы персонализации интерфейсной части приложений в работах применяется различный программный инструментарий, реализующий определенный математический аппарат. Общий недостаток отмеченных подходов в том, что подбирается готовый прототип приложения без рассмотрения каждого компонента отдельно.
Отличительной особенностью предлагаемого в данной статье подхода к разработке персонализированных динамически подстраивающихся интерфейсов в зависимости от характеристик пользователей является то, что каждый компонент определяется отдельно, а не подбирается уже готовый прототип интерфейса. Следовательно, для каждого пользователя интерфейс динамически собирается из набора элементов и будет уникальным, отличным от интерфейсов других пользователей.
Помимо этого, в рамках исследования предлагается при формировании интерфейсов учитывать не только профессиональные навыки работы на компьютере, но и психофизиологические особенности потенциальных пользователей приложений, а также их пол, возраст и эмоциональное состояние. В качестве инструмента для персонализации интерфейсов в системе предлагается использовать глубокие и сверточные нейронные сети как перспективные направления в области искусственного интеллекта.
На существующих базовых работах в области разработки интерфейсной части ПО [18, 19] были определены оценки, на основе которых реализован подбор компонентов интерфейса пользователя.
В качестве характеристик пользователей для подбора компонентов интерфейса выбраны
- профессиональные качества (компьютерная грамотность, машинопись);
- психофизиологические характеристики (быстрота мышления, память, концентрация внимания, острота зрения, цветовосприятие);
- демографические характеристики (возраст, пол);
- эмоциональное состояние.
Компонентами интерфейса выбраны размер
шрифта текста, гиперссылок и элементов веб-страницы, расстояние между элементами
веб-страницы, вид подсказок, контекстного меню и сообщений пользователю, цветовая гамма, наличие звукового оповещения и окна для поиска информации.
Каждый из приведенных компонентов интерфейсной части будет сформирован в зависимости от результатов оценки каждой отличительной особенности пользователя. На основе подобранного набора компонентов для каждого пользователя будет динамически сформирован уникальный прототип интерфейса для комфортной работы с приложением.
Постановка задачи исследования
В проводимом исследовании подбор компонентов интерфейса реализован на примере адаптивной электронной обучающей системы, предназначенной для преподавания основ программирования на языке высокого уровня студентам технических направлений подготовки.
Учебный блок включает теоретический материал дисциплины, дополненный видеолекциями, ссылками на ресурсы в Интернете, а также тренировочные тесты, способствующие более глубокому усвоению материала. Для приобретения практических навыков программирования предлагаются тренировочные упражнения, программный эмулятор, а также лабораторные и практические работы. Все результаты учебных достижений студентов доступны преподавателю в блоке электронного журнала, где можно не только просмотреть оценки студентов, но и сформировать выходную ведомость для отчета.
Адаптивность обучающей системы обусловлена присутствием в ней трех интеллектуальных блоков: блока подбора персонализированного интерфейса для каждого студента, адаптированного теоретического и тестового материала, а также предоставляемых на основе анализа результатов оценки характеристик обучаемых [20-22].
Характерным отличием предлагаемого электронного обучающего ресурса является то, что его интерфейсная часть реализована в виде веб-приложения. По сравнению с классическими оконными приложениями веб-страницы не требуют предварительной установки на компьютер пользователя, а запускаются в браузере.
Для реализации адаптации интерфейсной части приложения системе необходимо получить данные об обучающихся и сформирован-ности его характеристик. Для этого пользова-
телям предлагается пройти входное тестирование. Каждая из характеристик может быть сформирована у пользователя на одном из пяти уровней (высокий, выше среднего, средний, ниже среднего, низкий), что соответствует баллам от 0 до 100.
Распределение характеристик по каждому из уровней в зависимости от набранных баллов по результатам тестирования представлено в таблице 1.
Описания характеристик, заданные для выходных параметров (компонентов интерфейса), отражены в таблице 2.
Каждый из представленных компонентов подбирается индивидуально в зависимости от особенностей пользователя, создавая уникальный персонализированный интерфейс. Число возможных прототипов может быть неограниченным. На основе выявленных параметров определена структура нейронной сети.
Таблица 1
Соответствие характеристик пользователя уровню их сформированности
Table 1
The correspondence of user characteristics to their formedness level
Характеристика Уровень
Низкий Ниже среднего Средний Выше среднего Высокий
Компьютерная Отсутствует Минимальная Обычная Продвинутая Эксперт
грамотность
Быстрота мышления Минимальная Слабая Обычная Высокая Максимальная
Машинопись Медленная Умеренная Обычная Быстрая Отличная
Память Плохая Слабая Обычная Хорошая Отличная
Концентрация Низкая Слабая Обычная Хорошая Отличная
внимания
Острота зрения Низкая Слабая Обычная Хорошая Отличная
Цветовосприятие Плохое Плохое Плохое Хорошее Хорошее
Эмоциональное Гнев Страх Грусть Нейтральное Радость
состояние
Возраст Пожилой Зрелый Средний Молодой Юный
(60-75 лет) (45-59 лет) (30-44 года) (22-29 лет) (16-21 год)
Компонент интерфейса Значения характеристик
Размер шрифта Крупный 18 пт Увеличенный 16 пт Стандартный 14 пт Мелкий 13 пт Наименьший 12 пт
Размер текста Крупный Увеличенный Стандартный Мелкий Наименьший
гиперссылок 18 пт 16 пт 14 пт 13 пт 12 пт
Размер элементов Крупный Увеличенный Стандартный Мелкий Наименьший
веб-страницы 18 пт 16 пт 14 пт 13 пт 12 пт
Расстояние между Большое Увеличенное Обычное Малое Наименьшее
элементами страницы
Вид подсказок Графический При запуске Контекстный Всплывающий Отсутствуют
Вид контекстного меню Расширенное Подробное Краткое Простое Отсутствует
Вид сообщений Подробный Развернутый Краткий Очень Отсутствует
пользователю краткий
Цветовая гамма Контрастная Контрастная Колоритная Колоритная Колоритная
Наличие звукового Везде Только Только ошибки Только видео Отсутствует
оповещения важное
Наличие окна для поиска информации Присутствует Присутствует Присутствует Отсутствует Отсутствует
Таблица 2
Описание выходных характеристик компонентов интерфейса
Table 2
A description of the output characteristics of interface components
Разработка модели нейронной сети для подбора компонентов интеллектуального программного интерфейса
В рамках исследования выбрана глубокая нейронная сеть, реализованная в виде многослойного перцептрона. Данный тип нейросетей архитектурно довольно прост и отлично подходит для решения подобных задач [23]. Многослойный перцептрон - это класс искусственных нейронных сетей, состоящий как минимум из трех слоев: входного, скрытого и выходного. Структурная схема искусственного нейрона представлена на рисунке 1.
Синаптические веса
Входные сигналы
Выходной
Сумматор ®Ункция активации
Рис. 1. Формальная модель искусственного нейрона
Fig. 1. A formal model of an artificial neuron
На вход нейрона подаются биполярные сигналы (+1 или -1). В модель нейрона, показанную на рисунке 1, включен пороговый элемент (bias), который обозначен символом bk. Эта величина отражает увеличение или уменьшение входного сигнала, подаваемого на функцию активации [23]. В математическом представлении функционирование нейрона k можно описать следующей парой уравнений:
m
Uk =Z wkmxm , (!)
1 =1
yk = f (uk + bk), (2)
где m - размерность вектора переходов; xi, х2, ..., xm - входные сигналы; wkm - синаптические веса нейрона k; uk — линейная комбинация входных воздействий; bk - порог активации нейрона (хо = ±1, вес Wko = bk); yk - выходной сигнал нейрона; f — активационная функция нейрона.
Функции активации определяют выходной сигнал нейрона. Наибольшее распространение получили следующие активационные функции: линейная, функция гиперболического тангенса, сигмоидальная, бинарные функции различного определения.
В рамках проводимого исследования использовалась сигмоидальная функция активизации:
f ( X) =
1
1 + е"
(3)
Выбор обусловлен простотой нахождения ее производной и, как следствие, уменьшением затрат процессорного времени в период обучения нейронной сети.
Структура разработанной нейронной сети представлена на рисунке 2.
Наиболее важным свойством нейронных сетей является их способность обучаться на основе данных окружающей среды и в результате обучения повышать свою производительность. Обучение нейронной сети происходит посредством интерактивного процесса корректировки синаптических весов и порогов таким образом, чтобы сеть на входной набор выдавала нужное выходное значение [23]. На рисунке 3 отражен обобщенный процесс обучения нейронной сети.
Входные данные:
Компьютерная Хщ грамотность
Выходные данные:
Ук'
Размер шрифта Размер текста гиперссылок
Размер элементов веб-страницы
Расстояние между элементами
веб-страпицл ^
Вид подсказок Вид контекстного меню
Вид сообщений пользователю
Цветовая гамма
Наличие звукового оповещения Наличие окна для поиска информации
Входной слой
Выходной слой
Рис. 2. Структура нейронной сети системы подбора компонентов интерфейса пользователя
Fig. 2. The structure of the neural network of the system for selecting user interface components
Рис. 3. Процесс обучения нейросети Fig. 3. The learning process of the neural network
Для нейросети по подбору компонентов интерфейса использован алгоритм обучения с учителем. Обучение нейронной сети производилось методом обратного распространения
X.
ошибки. Достоинствами данного метода являются его высокая эффективность, а также простота реализации. Решение задачи было сведено к двум шагам: обучение перцептрона и сохранение синаптических весов в памяти, а также к подбору компонентов интерфейса прикладной программы на основе сформированных синаптических весов (рис. 4).
Как видно на рисунке 4, сначала выбираются результаты анализа мнений экспертов, которыми являются ^-специалисты, разрабатывающие интерфейсы прикладных программ,
а также преподаватели технических направлений подготовки вузов. Затем выбранные данные предварительно структурируются - сохраняются в памяти в виде одномерных списков или массивов, так как данная структура удобна для подачи в нейросеть. Далее создаются структуры нейросети в памяти и устанавливаются начальные значения синаптических весов.
Затем осуществляется непосредственно обучение перцептрона. В сеть подается входной вектор, который содержит также правильный ответ - основу для обучения. Далее проис-
Выборка результатов анализа мнений экспертов
entry/выборка результатов анализа мнений экспертов do/подготовка данных к обработке exit/готовые данные
Формирование начальных значений синаптических весов
do/генерация значений синаптических весов для каждой характеристики пользователя exit/матрицы синаптических весов
Обучение перцептрона
entry/готовые данные do/обучение exit/синаптические веса
Успешная классификация и есть входные векторы
Имеются входные векторы
Обработка вектора входных значений У Неуспешная «^классификация Корректировка весов
do/вычисление вектора выходных значений exit/вектор выходных значений entry/вектор входных значений у entry/выходные значения do/корректировка результатов алгоритма обратного распространения exit/откорректированные веса
/
Отсутствие входных векторов
Уровень ошибки неудовлетворителен
л. Отсутствие входных векторов .л
о-—-о
Уровень ошибки удовлетворителен
<§>
Сохранение значений синаптических весов entry/матрицы синаптических весов do/сохранение синаптических весов весов на диске
>t ®
Рис. 4. Обучение перцептрона для подбора компонента интерфейса Fig. 4. Training a perceptron to select an interface component
ходит прогон вектора через сеть. Если ответ сети совпадает с требуемым, правильным, ответом, подается следующий вектор, если нет, корректируются синаптические веса. Через данный процесс один набор данных проходит несколько раз до достижения требуемой точности классификации. Когда обучение завершено, нейросеть сохраняется в файл для последующего использования. В ходе проводимого исследования в качестве обучающей выборки были использованы данные двухсот студентов с различными входными характеристиками. Процесс непосредственной классификации с помощью обученного перцептрона представлен на рисунке 5.
Данный этап очень схож с процессом обучения. Сначала выбирается пользователь и форми-
руется вектор входных значений. Затем сохраненная нейросеть загружается в память. Далее входной вектор, описывающий пользователя, подается в нейросеть. Вычисляется отклик сети, определяется номер входа, которому соответствует максимальное значение. По номеру входа определяется компонент интерфейса.
Рассмотренный метод позволяет формировать рекомендации по выбору компонента прототипа интерфейса для каждого обучаемого. В качестве базовой модели математического метода выступил многослойный перцептрон, так как он наиболее подходит для подобной задачи классификации. Таким образом, в результате работы нейросети интерфейс для каждого пользователя будет формироваться динамически в зависимости от его входных характеристик.
Рис. 5. Процесс подбора компонентов интерфейса пользователя Fig. 5. The process of selecting user interface components
Разработка нейросетевой инструментальной среды для подбора компонентов интерфейса электронной обучающей системы
На основе представленного ранее алгоритма работы нейросети по подбору компонентов интерфейса прикладной программы разработана адаптивная электронная обучающая система для преподавания дисциплины «Программирование и алгоритмизация» студентам технических направлений подготовки. Данная система имеет два уровня доступа: студент и эксперт (преподаватель), которые отличаются интерфейсной частью и функционалом [20].
Преподаватель (эксперт) имеет возможность работы с базой оценочных материалов, а также с настройками нейронной сети. Студенту предоставляется возможность прохождения тестирования для оценки качеств, на основе которых в дальнейшем будет подбираться каждый компонент интерфейса.
При входе в систему под уровнем доступа студент пользователю предоставляется окно регистрации/авторизации, после чего загружается главное меню программного средства (см. http://www.swsys.ru/uploaded/image/2023-272023-2-dop71.jpg).
При первом запуске программного средства студенту необходимо пройти оценку своих характеристик, которые сохраняются в БД. Учащийся проходит тестирование по оценке компьютерной грамотности (вопросы из предметной области), машинописи (скорость набора текста), памяти (запоминание цифр на экране), концентрации внимания (поиск цвета в слове), быстроте мышления (логическое задание), остроте зрения (предоставляется таблица букв с разным размером шрифта), цветовосприятию (см. http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/2.jpg).
Для оценки профессиональных качеств и психофизиологических особенностей использовались базовые тесты IT-сферы и тесты по психологии. Для оценки таких характеристик, как возраст, пол и эмоциональное состояние, использована сверточная нейронная сеть, реализованная в виде библиотеки Deepface языка Python. Результат ее работы представлен на рисунке 6.
Работа нейросети заключается в анализе изображения пользователя, зафиксированного с помощью веб-камеры и переданного для распознавания. В ходе работы нейронная сеть распознает черты лица пользователя и определяет
его доминирующие эмоции (радость, нейтральное, грусть, страх, гнев), а также возраст и пол (см. http://www.swsys.ru/uploaded/image/2023-2/ 2023-2-dop/3.jpg, http://www.swsys.ru/uploaded/ image/2023-2/2023-2-dop/4.jpg, http://www.swsys. ru/uploaded/image/2023 -2/2023 -2-dop/5.jpg, http:// www.swsys.ru/uploaded/image/2023-2/2023-2-dop/ 6jpg).
Все результаты работы нейронной сети по оценке эмоционального состояния, возраста и пола пользователя, а также его профессиональных качеств и психофизиологических характеристик сохраняются для дальнейшего анализа в БД.
■1 Распознавание лиц - и
ВыОрагь файл Сделать снимок Преобладающая эмоция : нейтральна!
Возраст : 21 Пол : Мужской
Рис. 6. Результат работы нейросети по распознаванию лиц (юный мужчина, нейтральное эмоциональное состояние)
Fig. 6. The result oof the neural network for face recognition (young man, neutral emotional state)
Профессиональные качества, психофизиологические и демографические характеристики оцениваются единожды при входе в систему, так как предполагается, что они существенно не меняются во время работы с программным средством в отличие от эмоционального состояния, которое определяется каждый раз при входе в систему.
Студенты имеют возможность просмотреть результаты оценки своих качеств в соответствующем пункте меню главного окна программного средства. На рисунке 7 представлены результаты оценки качеств юного мужчины в нейтральном эмоциональном состоянии, для которого в ходе работы искусственной нейронной сети будут подобраны компоненты и сформирован интерфейс электронной обучающей системы.
При входе под уровнем доступа эксперт пользователю предоставляется аналогичное
Рис. 7. Результаты оценки характеристик студента Fig. 7. Student characteristics assessment results
меню, за исключением дополнительного пункта (Оценочные материалы), в котором он реализует пополнение базы тестовых заданий для оценки студентов.
Важным отличительным пунктом является пункт «Нейросеть». Здесь эксперт имеет возможность работать с обучающей и тестовой выборками, просматривать результаты подбора компонентов интерфейса для определенного пользователя на основе выгрузки его результатов тестирования.
Результаты работы нейросети по подбору компонетов интерфейса представлены на рисунках (см. http://www.swsys.ru/uploaded/ image/2023-2/2023-2-dop/7.jpg, http://www. swsys.ru/uploaded/image/2023 -2/2023-2-dop/8. jpg, http://www.swsys.ru/uploaded/image/2023-2/2023-2-dop/9.jpg).
Отметим, что интерфейсы для женщины в состоянии гнева и грусти отличаются использованием в дизайне оттенков и полутонов основного цвета. Также были приняты во внимание низкий уровень сформированности профессиональных характеристик (компьютерная грамотность, машинопись) и психофизиологических особенностей (зрение, память, концентрация внимания) и добавлены дополнительные компоненты меню (иконки, поисковая строка).
Немаловажной характеристикой при работе с любым приложением является эмоциональное состояние пользователя. Это особенно важно при работе с обучающей системой, требующей достаточной концентрации внимания и сосредоточенности в процессе изучения материала.
При создании дизайна интерфейса интеллектуальной обучающей системы были приняты во внимание особенности восприятия каждого цвета и предложены цветовые решения для управления каждой из пяти возможных эмоций пользователя (гнев, страх, грусть, нейтральное состояние и радость).
При выборе цветовой гаммы использованы вызывающие противоположные эмоции, то есть компенсирующие цвета. Например, для пользователя, который находится в состоянии грусти, в интерфейсе используются оранжевые цвета, несущие позитив, радость и счастье. Пользователю в гневном состоянии предоставляется цветовая гамма в зеленых оттенках, символизирующих жизнь и здоровье. Состояние страха компенсируется голубыми оттенками, а радости - бирюзовым. Пользователю в нейтральном состоянии будет подобран интерфейс в сине-серых оттенках, базовом цвете многих стандартных приложений (https:// psychologist.tips/164-razlichiya-vospriyatij -tsveta-u-muzhchin-i-zhenshhin.html).
Немаловажным аспектом является пол пользователя. Проведенный исследователями анализ (https://uscard.ru/clients/article/sila-cveta-chast-vtoraya-gendemoe-vospriyatie-cvetov/) показал, что женщины используют больше цветов и различают больше цветовых оттенков, чем мужчины. Поэтому считается, что они более требовательны к цветовой гамме приложения.
В разрабатываемой обучающей системе выявленные особенности тендерного цветовос-приятия были применены при подборе палитры компонентов прототипа интерфейса.
В частности, при создании прототипа для женщин использовались не только базовые цвета и оттенки, но и их полутона и близкие по спектру цвета, что сделало интерфейс более ярким и интересным.
В ходе проводимого исследования при разработке дизайна интрефейса были приняты во внимание возрастные особенности (см. http://www.swsys.ru/uploaded/image/2023-2/ 2023-2-dopZ10.jpg). Такой интерфейс использует другую цветовую гамму, более крупный шрифт, учитывая солидный возраст (проблемы со зрением). Помимо этого, на прототипе интерфейса имеются графические подсказки и строка для поиска информации.
Отметим, что немаловажной особенностью является наличие у пользователя дальтонизма или нарушенного цветовосприятия, при котором человек не различает некоторые цвета и оттенки. Поэтому при разработке дизайна интерфейса для людей такого типа используется градиентный черно-белый дизайн.
Заключение
В статье описаны разработка нейросетевой инструментальной среды для создания персонализированных интерфейсов и ее применение на электронной обучающей системе, интерфейсная часть которой адаптирована к конкретным пользователям.
Отличительной особенностью инструментальной среды является адаптация каждого компонента интерфейса к характеристикам
пользователя на основе оценки его профессиональных навыков работы с компьютерной техникой, психофизиологических, возрастных и гендерных особенностей, а также эмоционального состояния.
В качестве инструмента для подбора компонентов интерфейса на основе анализа входных характеристик пользователя использована глубокая нейронная сеть, представленная в виде многослойного перцептрона. Выходные данные при работе нейронной сети - компоненты прототипа интерфейса.
В работе представлены новая методология и математическая модель функционирования алгоритма управления подбором компонентов интерфейса прикладной программы на основе нейросетевых технологий, которая включает в себя следующие операционные действия: обучение нейронной сети по полученной экспериментальной выборке, проверка критерия окончания обучения, тестирование сети.
Для определения характеристик пользователя, на основе оценки которых подбираются компоненты интерфейса, применены 1Т-тесты и тесты по психологии. Для оценки эмоционального тона пользователя, а также его возраста и пола - сверточная нейронная сеть.
В исследовании приведен пример разработки персонализированного пользовательского интерфейса при создании электронной обучающей системы. Данное приложение представлено в виде веб-приложения.
Список литературы
1. Зубкова Т.М., Тагирова Л.Ф., Тагиров В.К. Автоматизация проектирования адаптивных пользовательских интерфейсов с элементами искусственного интеллекта // Программные продукты и системы. 2020. Т. 33. № 1. С. 5-10. doi: 10.15827/0236-235X.129.005-012.
2. Тагирова Л.Ф., Субботин А.В., Зубкова Т.М. Программная инструментальная система создания адаптивных пользовательских интерфейсов // Науч.-технич. вестн. СПбГУ ИТМО. 2022. Т. 22. № 4. С. 751-759. doi: 10.17586/ 2226-1494-2022-22-4-751-759.
3. Трегубов А.С. Разработка адаптивных контекстозависимых интерфейсов с использованием онтологических моделей // Кибернетика и программирование. 2017. № 6. С. 50-56. doi: 10.25136/2306-4196.2017.6.24747.
4. Грибова В.В., Паршкова С.В., Федорищев Л.А. Онтологии для разработки и генерации адаптивных пользовательских интерфейсов редакторов баз знаний // Онтология проектирования. 2022. Т. 12. № 2. С. 200-217. doi: 10.18287/2223-9537-2022-12-2-200-217.
5. Miraz M.H., Ali M., Excell P.S. Adaptive user interfaces and universal usability through plasticity of user interface design. Comput. Sci. Rev., 2021, vol. 40, art. 100363. doi: 10.1016/j.cosrev.2021.100363.
6. Iqbal M.W., Naqvi M.R., Khan M.A., Khan F. Mobile devices interface adaptivity using ontologies. Comput., Materials & Continua, 2022, vol. 71, no. 3, pp. 4767-4784. doi: 10.32604/cmc.2022.023239.
7. Фомина Т.А., Новикова Г.М. Проектирование адаптивного интерфейса ИС для поддержки деятельности образовательного учреждения // Вестн. Алтайской академии экономики и права. 2020. № 6-1. С. 125-133. doi: 10.17513/vaael.1174.
8. Миронов М.Д., Кашевник А.М. Адаптивный интерфейс на базе смартфона для системы управления шести-колесным мобильным роботом // Докл. ТУСУР. 2017. Т. 20. № 1. С. 110-118. doi: 10.21293/1818-0442-2017-20-1110-118.
9. Yigitbas Е., Josifovska K., Jovanovikj I., Kalinci F., Anjorin A. Component-based development of adaptive user interfaces. Proc. ACM SIGCHI Symposium on EICS, 2019, no. 13, pp. 1-7. doi: 10.1145/3319499.3328229.
10. Жернова К.Н., Коломеец М.В., Котенко И.В., Чечулин А.А. Применение адаптивного сенсорного интерфейса в приложениях информационной безопасности // Вопросы кибербезопасности. 2020. № 1. С. 18-28. doi: 10.21681/2311-3456-2020-01-18-28.
11. Hamid K., Iqbal M., Hafiz A.B., Muhammad B. Usability evaluation of mobile banking applications in digital business as emerging economy. IJCSNS, 2022, vol. 22, no. 2, pp. 250-260.
12. Braham A., Buendia F., Khemaja M., Gargouri F. Generation of adaptive mobile applications based on design patterns for user interfaces. Proc., 2019, no. 31, art. 19. doi: 10.3390/proceedings2019031019.
13. Bartling M., Resch B., Reichenbacher T., Havas C. Adapting mobile map application de-signs to map use context: A review and call for action on potential future research themes. CaGIS, 2022, vol. 49, no. 3, pp. 237-251. doi: 10.1080/15230406.2021.2015720.
14. Скориков А.В., Ляпина О.Н., Жукова И.Г., Романенко Р.Р. Применение подхода на основе паттернов при разработке адаптивного пользовательского интерфейса для людей с ограниченными возможностями // Изв. ВолГТУ. 2017. № 1. С. 97-102.
15. Поцелуйко А.С., Кравец А.Г., Кульцова М.Б. Персонализация интерфейсов мобильных приложений на основе паттернов интерфейсов для людей с ограниченными возможностями // Прикаспийский журнал: управление и высокие технологии. 2019. № 3. С. 17-27.
16. Miraz M.H., Excell P., Ali M. Culturally inclusive adaptive user interface (CIAUI) frame-work: Exploration of plasticity of user interface design. IJITDM, vol. 20, no. 01, pp. 199-224. doi: 10.1142/S0219622020500455.
17. Finne R., Larsson L., Mylonopoulou V. Reversed multi-layer design as an approach to designing for digital seniors. Proc. NordiCHI, 2022, no. 5, pp. 1-12. doi: 10.1145/3546155.3547275.
18. Спицина И.А., Аксенов К.А. Применение системного анализа при разработке пользовательского интерфейса информационных систем. Екатеринбург, 2018. 100 с.
19. Тидвелл Д., Брюэр Ч., Валенсия Э. Разработка интерфейсов. Паттерны проектирования; [пер. с англ.]. СПб: Питер, 2022. 558 с.
20. Тагирова Л.Ф., Галкин Р.В. Программное средство подбора компонентов пользовательского интерфейса электронной обучающей системы: Свид. о регистр. ПрЭВМ № 2022665301. Рос. Федерация, 2022.
21. Тагирова Л.Ф., Черняков А.А., Гнездилов Н.В. Программное средство адаптации образовательного контента технической дисциплины: Свид. о регистр. ПрЭВМ № 2022661043. Рос. Федерация, 2022.
22. Тагирова Л.Ф., Черняков А.А. Программная система адаптивного тестирования студентов дистанционного обучения: Свид. о регистр. ПрЭВМ № 2022681117. Рос. Федерация, 2022.
23. Цехановский В.В., Бутырский Е.Ю., Жукова Н.А. Искусственные нейронные сети. М.: Кнорус, 2023. 352 с.
Software & Systems doi: 10.15827/0236-235X.142.212-222 2023, vol. 36, no. 2, pp. 212-222
Neural network tool environment for creating adaptive application program interfaces
Liliya F. Tagirova Tatiana M. Zubkova
For citation
Tagirova, L.F., Zubkova, T.M. (2023) 'Neural network tool environment for creating adaptive application program interfaces', Software & Systems, 36(2), pp. 212-222 (in Russ.). doi: 10.15827/0236-235X.142.212-222 Article info
Received: 30.01.2023 After revision: 14.03.2023 Accepted: 17.03.2023
Abstract. The software is used in almost all areas of human activity. Erroneous actions of the user, which often depend on his emotional state, can lead to negative consequences, especially in production management, technological processes, design activities, medicine, etc. The article is devoted to the problem of personalizing the interface of application programs to user's individual features based on neural network technologies. The novelty of the approach proposed in the work is the prototype interface formation based selecting each menu item separately, which allows forming a personalized interface. The authors propose using a tool environment, which includes a set of components of the interface part for a dynamically generated unique prototype of the interface adapted to each user features. As a tool for selecting interface components, the authors used a deep neural network presented in the form of a multilayer perceptron. The input parameters of the neural network are the distinctive features of users, the outputs are the components of the future prototype interface. Professional, psychophysiological characteristics of users, their demographic characteristics, as well as emotional state were chosen as criteria for adapting the interface part of applications. The output parameters are interface components: text font size and hyperlinks, size and distance between web page elements, tooltip view and context menu, messages to the user, color scheme, availability of a window for information search, etc. Ah a result, the paper presents a developed instrumental environment for creating personalized application program interfaces using neural network technologies. During the software work, users are evaluated by their characteristics using basic tests of the IT sphere and psychology. To determine the emotional tone, age and gender, the system uses the Python Deepface library, which implements an algorithm based on a trained vertical neural network. The implementation of the proposed instrumental environment will ensure comfortable interaction between users and the application.
Keywords: interface components, artificial intelligence, neural network, multilayer perceptron, personalized interface, electronic training system
Reference List
1. Zubkova, T.M., Tagirova, L.F., Tagirov, V.K. (2020) 'Design automation of adaptive user interfaces with elements of artificial intelligence', Software & Systems, 33(1), pp. 5-10. doi: 10.15827/0236-235X.129.005-012 (in Russ.).
2. Tagirova, L.F., Subbotin, A.V., Zubkova, T.M. (2022) 'Software development system for creation adaptive user interfaces', Sci. Tech. J. Inf. Technol. Mech. Opt, 22(4), pp. 751-759. doi: 10.17586/2226-1494-2022-22-4-751-759 (in Russ.).
3. Tregubov, A.S. (2017) 'Development of adaptive context-dependent interfaces using ontological models', Cybernetics and Programming, (6), pp. 50-56. doi: 10.25136/2306-4196.2017.6.24747 (in Russ.).
4. Gribova, V.V., Parshkova, S.V., Fedorischev, L.A. (2022) 'Ontologies for development and generation adaptive user interfaces of knowledge base editors', Ontology of Designing, 12(2), pp. 200-217. doi: 10.18287/2223-9537-202212-2-200-217 (in Russ.).
5. Miraz, M.H., Ali, M., Excell, P.S. (2021) 'Adaptive user interfaces and universal usability through plasticity of user interface design', Comput. Sci. Rev., 40, art. 100363. doi: 10.1016/j.cosrev.2021.100363.
6. Iqbal, M.W., Naqvi, M.R., Khan, M.A., Khan, F. (2022) 'Mobile devices interface adaptivity using ontologies', Comput., Materials & Continua, 71(3), pp. 4767-4784. doi: 10.32604/cmc.2022.023239.
7. Fomina, T.A., Novikova, G.M. (2020) 'Designing an adaptive interface of an information system for support of educational institution's activities', Bull. of the Altai Academy of Economics and Law, (6-1), pp. 125-133. doi: 10.17513/ vaael.1174 (in Russ.).
8. Mironov, M.D., Kashevnik, A.M. (2017) 'Adaptive remote control interface based on smartphone application for six-wheeled mobile robot', Proc. of TUSUR Univ., 20(1), pp. 110-118. doi: 10.21293/1818-0442-2017-20-1-110-118 (in Russ.).
9. Yigitbas, E., Josifovska, K., Jovanovikj, I., Kalinci, F., Anjorin, A. (2019) 'Component-based development of adaptive user interfaces', Proc. ACMSIGCHISymposium on EICS, (13), pp. 1-7. doi: 10.1145/3319499.3328229.
10. Zhernova, K.N., Kolomeets, M.V., Kotenko, I.V., Chechulin, A.A. (2020) 'Use of adaptive touch interface in information security applications', Cybersecurity Iss., (1), pp. 18-28. doi: 10.21681/2311-3456-2020-01-18-28 (in Russ.).
11. Hamid, K., Iqbal, M., Hafiz, A.B., Muhammad, B. (2022) 'Usability evaluation of mobile banking applications in digital business as emerging economy', IJCSNS, 22(2), pp. 250-260.
12. Braham, A., Buendia, F., Khemaja, M., Gargouri, F. (2019) 'Generation of adaptive mobile applications based on design patterns for user interfaces', Proc., (31), art. 19. doi: 10.3390/proceedings2019031019.
13. Bartling, M., Resch, B., Reichenbacher, T., Havas, C. (2022) 'Adapting mobile map application de-signs to map use context: A review and call for action on potential future research themes', CaGIS, 49(3), pp. 237-251. doi: 10.1080/15230406.2021.2015720.
14. Skorikov, A.V., Lyapina, O.N., Zhukova, I.G., Romanenko, R.R. (2017) 'Development of design pattern approach to adaptive interfaces for people with disabilities', Izv. VSTU, (1), pp. 97-102 (in Russ.).
15. Potseluiko, A.S., Kravets, A.G., Kultsova, M.B. (2019) 'Personalization of mobile application interfaces on the basis of interface', Caspian J.: Management and High Technologies, (3), pp. 17-27 (in Russ.).
16. Miraz, M.H., Excell, P., Ali, M. (2021) 'Culturally inclusive adaptive user interface (CIAUI) frame-work: Exploration of plasticity of user interface design', IJITDM, 20(01), pp. 199-224. doi: 10.1142/S0219622020500455.
17. Finne, R., Larsson, L., Mylonopoulou, V. (2022) 'Reversed multi-layer design as an approach to designing for digital seniors', Proc. NordiCHI, (5), pp. 1-12. doi: 10.1145/3546155.3547275.
18. Spitsina, I.A., Aksenov, K.A. (2018) Applying System Analysis in the Development of the User Interface of Information Systems. Ekaterinburg, 100 p. (in Russ.).
19. Tidwell, J., Brewer, Ch., Valencia, A. (2022) Designing Interfaces: Patterns for Effective Interaction Design. O'Reilly Media Publ., 599 p. (Russ. ed.: St. Petersburg, 2022, 558 p.).
20. Tagirova, L.F., Galkin, R.V. (2022) Software Tool for Selecting Components of the User Interface of an Electronic Training System, Pat. RF, № 2022665301.
21. Tagirova, L.F., Chernyakov, A.A., Gnezdilov, N.V. (2022) Software Tool for Adapting Educational Content of Technical Discipline, Pat. RF, № 2022661043.
22. Tagirova, L.F., Chernyakov, A.A. (2022) Software System for Adaptive Testing of distance Learning Students, Pat. RF, № 2022681117.
23. Tsekhanovsky, V.V., Butyrsky, E.Yu., Zhukova, N.A. (2023) Artificial Neural Networks, Moscow, 352 p. (in Russ.).
Авторы
Тагирова Лилия Фаритовна ', к.п.н., доцент, LG-77@mail.ru Зубкова Татьяна Михайловна ', д.т.н., профессор, bars87@mail.ru
1 Оренбургский государственный университет, г. Оренбург, 460018, Россия
Authors
Liliya F. Tagirova Ph.D. (Education), Associate Professor, LG-77@mail.ru Tatiana M. Zubkova ', Dr.Sc. (Engineering), Professor, bars87@mail.ru
1 Orenburg State University, Orenburg, 460018, Russian Federation
