CC BY
72
УДК 004.514
DOI: 10.18698/0236-3933-2016-5-61-74
МЕТОД НЕИРО-НЕЧЕТКОИ ОЦЕНКИ ПРИГОДНОСТИ ИСПОЛЬЗОВАНИЯ ГРАФИЧЕСКОГО ИНТЕРФЕЙСА ПОЛЬЗОВАТЕЛЯ
В.П. Корвяков
ОАО «Ракетно-космическая корпорация «Энергия» им. С.П. Королёва, Королёв, Московская обл., Российская Федерация
Аннотация
Описан метод нечеткой оценки пригодности использования графических интерфейсов пользователя на базе измерений отдельных ее компонентов. В качестве аспектов пригодности использования рассмотрены эффективность, основанная на законе Фиттса, и оценка удовлетворенности пользователя с помощью однослойного пер-цептрона, обученного на экспертных данных. Модель взаимодействия человека с компьютером формализована с помощью ориентированного графа. Приведен пример оценки пригодности использования различных вариантов интерфейса выдачи управляющего воздействия бортовой вычислительной системе космического аппарата
Ключевые слова
Графический интерфейс пользователя, пригодность использования, нечеткая логика, искусственная нейронная сеть, закон Фиттса
Поступила в редакцию 17.02.2016 © МГТУ им. Н.Э. Баумана, 2016
Введение. В современных системах управления и обработки информации одну из ключевых ролей в обеспечении качества всей системы играет качество интерфейса человек-машина (ИЧМ), обеспечивающего взаимодействие системы с оператором. Еще более важным является качество ИЧМ в таких сложных системах, как пилотируемые космические аппараты. Поиск оптимального графического интерфейса пользователя (как частного случая ИЧМ) — сложная задача, для решения которой необходимо в первую очередь формализовать понятие качества интерфейса с возможностью его численной оценки. В настоящей работе рассмотрен метод оценки пригодности использования интерфейса, основанный на комбинировании оценок различной природы с помощью аппарата нечеткой логики.
Оценка пригодности использования. Поиск метода оценки качества графических интерфейсов следует начать с изучения стандартов, регламентирующих пользовательские и эргономические свойства интерфейса. Согласно стандарту ГОСТ Р ИСО 9241-11-2010, пригодность использования (юзабилити) — свойство продукции, при наличии которого установленный пользователь может применить продукцию в определенных условиях использования для достижения установленных целей с необходимой результативностью, эффективностью и удовлетворенностью [1]. При этом результативность означает степень реализации запланированной деятельности, эффективность — связь между достигнутым результатом и использованными ресурсами, а удовлетворенность определяют как отсутствие дискомфорта и положительное отношение пользователя к ИЧМ.
В соответствии с определением удовлетворенность пользователя — нестрогая и плохо формализуемая величина, а для формализации эффективности необходимо определить величины достигнутого результата и использованных ресурсов. В рассматриваемой модели интерфейса результативность принимается полной, т. е. пользователь всегда полностью достигает поставленную цель.
Оценку пригодности использования интерфейса определим как детерминированный функционал Qu, аргументами которого являются параметры конкретного варианта интерфейса. Большее значение функционала Qu должно соответствовать лучшей пригодности использования. Модель интерфейса, применяемая в настоящей работе, предполагает оптимизацию расположения элементов интерфейса, предназначенных только для ввода информации (кнопки, поля ввода текста, переключатели и т. п.). Оптимизация элементов интерфейса, используемых исключительно для отображения информации, в этой модели не рассматривается. Здесь и далее элементы интерфейса сокращенно называют виджетами.
В рассматриваемой модели взаимодействие пользователя с интерфейсом может быть представлено в виде ориентированного графа Г (X, и), где X — множество вершин, которые являются прямоугольными виджетами Я/ (х, у, к) в
пространстве интерфейса; и — множество ребер, определяющих перемещения пользователя от одного виджета к другому. Каждый виджет характеризуется координатами левой верхней точки (х, у) шириной и высотой к. Расстояния по оси х отмеряют вправо, по оси у — вниз от начала координат, расположенного в верхней левой точке пространства интерфейса. Любые два различных виджета одного интерфейса не могут полностью или частично перекрывать друг друга.
Для одного и того же интерфейса в графе Г можно выделить маршруты Б(х/,ц,Хк,и, ..., х(,иу,Х[каждый из которых характеризует определенный вариант использования интерфейса. Под «вариантом использования» понимаем последовательность действий оператора (нажатий на виджеты), приводящих к решению одной из задач работы с интерфейсом. Оценку пригодности использования интерфейса Qu (Г, Б) можно разложить на два компонента: 1) оценку эффективности ^ (Г, Б); 2) оценку удовлетворенности Qs (Г, Б).
Оценка эффективности. В модели основным показателем эффективности примем время решения задач с помощью графического интерфейса. Время наведения курсора на виджет и нажатия на него может быть оценено по закону Фиттса [2], который, как правило, используют в форме
где MT — среднее время, затрачиваемое пользователем на совершение действия (перемещение указателя и нажатие на объект); a — среднее время начала движения; b — коэффициент скорости движения указателя; D — расстояние от начальной точки до границы объекта (рис. 1); S — ширина объекта, измеренная вдоль оси движения.
Рис. 1. Схема расстояний, используемых в законе Фиттса для оценки времени перемещения курсора к цели
Значения коэффициентов а и Ь зависят от характеристик производительности устройства ввода, опыта пользователя, характеристик его нервной системы и т. п. Нейрофизиологическая и психомоторная природа этих коэффициентов рассмотрена, например, в работе [3]. При выполнении вычислений и оценке ввода с помощью компьютерной мыши можно принять а = 50, Ь = 150 [4]. Таким образом, закон Фиттса формализует очевидное утверждение: чем ближе и больше цель, тем проще пользователю навести курсор и выполнить нажатие.
Величина Qe (Г, £) равна суммарной оценке всех переходов между видже-тами для каждого заданного маршрута
N Ы1
йе (Г, £ ) = ££МТ],; ,
I=1 ]=1
где N — число маршрутов (вариантов использования), определенных для рассматриваемого интерфейса; М1 — число ребер в маршруте £; МТ, ^ — время, затрачиваемое пользователем для движения по ребру и^ в маршруте £. Таким образом, функционал ^ (Г, £) характеризует суммарное время, затрачиваемое пользователем при решении задачи с использованием рассматриваемого варианта интерфейса. Следует отметить, что для первого виджета маршрута время доступа необходимо вычислять особым способом: так как положение курсора до начала работы с интерфейсом, как правило, неизвестно, требуется рассчитать среднее время доступа к данному виджету из всех точек интерфейса.
Оценка удовлетворенности. Понятие «удовлетворенность» является субъективным, достаточно размытым и может иметь различные трактовки. Положительное отношение к интерфейсу можно, например, связать с удобством и «привычностью» расположения элементов интерфейса относительно друг друга. В реальных интерфейсах одни направления перехода между виджетами более предпочтительны, чем другие. Так, ГОСТ 22269-76 устанавливает, что органы управления, связанные с определенной последовательностью действий оператора, должны группироваться так, чтобы действия оператора осуществлялись слева направо и сверху вниз [5]. В принятой модели предложено сосредоточиться на этом аспекте и определить оценку удовлетворенности ^ (Г, £) как суммарную экспертную оценку всех направлений переходов между виджетами на всех маршрутах 5.
(х,у) w
Метод оценки направлений переходов между виджетами возможно реализовать на основе машинного обучения, которое нередко применяют для оценки качества интерфейсов. Примером такого исследования являются работы [6, 7], в которых описан метод ИзеЬеат. В этом методе на основании данных, полученных от опросов конечных пользователей, проводится обучение системы оценки и выявления проблем юзабилити веб-сайтов. Сравнив различные методы машинного обучения, авторы указанных работ приходят к выводу, что многослойный перцептрон лучше всего справляется с поставленной задачей. Близкий подход к оценке юзабилити, с тем различием, что вместо обучения на данных опросов конечных пользователей применяют обучение на структуре графа навигации веб-сайта, автоматически сгенерированного специально разработанной программой, использован в работе [8].
По сравнению с перечисленными работами машинной оценки пригодности использования, оценка направления перехода между виджетами является более простой задачей. В качестве входных данных для системы машинного обучения достаточно базы пар (угол перехода, оценка эксперта). С помощью разработанной программы QTrainer (рис. 2) была собрана база данных экспертных оценок по различным направлениям переходов. На этих данных обучена искусственная нейронная сеть (ИНС), которая далее выполняла оценку всех переходов между виджетами. Базовой моделью ИНС выбран однослойный перцептрон.
Рис. 2. Интерфейс программы для создания базы данных экспертных оценок по направлениям переходов между элементами интерфейса
В качестве передаточной функции для всех нейронов была принята сигмои-дальная функция / (х ) = -—^^. На вход перцептрона подают значение угла между горизонтальной осью и отрезком, соединяющим центры первого и
второго виджетов (рис. 3). Число нейронов скрытого слоя было определено экспериментально: для каждого числа от 1 до 10 нейронов было выполнено 20 попыток обучения сети, из которых был выбран вариант, минимизирующий среднеквадратичную ошибку между экспертной оценкой и оценкой, проведенной сетью. Наименьшее значение среднеквадратичной ошибки показала сеть с шестью нейронами скрытого слоя. Зависимость экспертных оценок и оценки, вычисленной ИНС, от угла направления перехода между виджетами приведена на рис. 4.
Функционал оценки удовлетворенности на
-л/2
-Зл/4 4-71/4
Л 1 0
X
Зтг/4\ Y к/2 /тс/4
Рис. 3. Схема измерения угла направления перехода между виджетами
всех маршрутах 5 графа интерфейса Г находим по формуле
(а/,} )
N Mi
ZZF
Qs (Г, 8) =
N
X М
1=1
где а/, $ — угол перехода между виджетами на ребре) маршрута 81; ¥ш оценка угла перехода а/, j, вычисленная обученной ИНС.
(«i> j) —
-4-3-2-10 1 2 3 а у, рад
Рис. 4. Зависимость экспертных оценок переходов между виджетами (1) и оценок, вычисленных ИНС (2)
Функционал Qs (Г, 8) представляет собой усредненную оценку по всем ребрам маршрутов 5. Таким образом, функционал Qs (Г, 8) может изменяться в пределах 0...1, где 0 соответствует самому плохому сочетанию переходов, 1 — наилучшему.
Нечеткий вывод комплексной оценки пригодности использования. Отдельным блоком стоит задача комбинирования оценки эффективности с оценкой удовлетворенности в комплексную оценку пригодности использования. Величины функционалов этих оценок имеют разную природу, физический смысл и определены на разных числовых интервалах. Кроме того, по закону Фиттса, лучшему интерфейсу соответствует минимум оценки эффективности, тогда как оценка удовлетворенности должна быть, наоборот, максимизирована.
В качестве одного из возможных решений этой задачи можно применить аппарат нечеткой логики, перенеся вычисленные значения оценок на нечеткие множества. Существует множество примеров, в которых нечеткую логику используют для принятия решений в условиях слабо структурированной предметной области и неопределенности входных данных. Например, в работе [9] нечеткий вывод использован в системе поддержки принятия решений о покупке автомобиля. На этом подходе в работе [10] основан метод оценки привлекательности расположения жилого здания в городском массиве.
Используем следующие обозначения нечетких множеств лингвистической переменной оценки удовлетворенности интерфейса:
1) H (horrible) — ужасный;
2) B (bad) — плохой;
3) N (normal) — нормальный;
4) G (good) — хороший;
5) E (excellent) — превосходный.
Функции принадлежности этих множеств показаны на рис. 5, а.
Для определения нечеткого множества оценки эффективности необходимо определить область рассуждений, т. е. пределы изменений оценки, для которых интерфейс может полагаться наилучшим и наихудшим. В общем случае эти пределы зависят от пиксельных размеров окна интерфейса, принятых констант a и b в законе Фиттса, а также суммарного числа вершин всех маршрутов, определенных на графе интерфейса. Минимальное (наилучшее) значение оценки эффективности может быть получено, если принять значение расстояния до каждого следующего виджета равным нулю, т. е. движение от одного виджета к другому начинается непосредственно у границы второго виджета. Таким образом,
Qmin = ZV [a + Mog2 (1)] = aJVi,
i=1 i=1
где Vi — число вершин в i-м маршруте.
Максимальное значение объективной оценки вычислим исходя из того, что все виджеты находятся на максимальном удалении друг от друга и имеют минимальные размеры. Минимально возможным размером является 1 пиксель по высоте и ширине. Максимальным удалением для заданного интерфейса — длина его диагонали. Следовательно,
Qmax = £ V [ a + blog2 (( + H2 )) = £ V a + 2 blog2 ((2 + H2 )
i=1 ^ ^ i=1
а
в
Рис. 5. Функции принадлежности нечетких множеств оценки удовлетворенности (я), оценки эффективности (б), оценки пригодности использования (в)
Функции принадлежности нечетких множеств оценки эффективности интерфейса приведены на рис. 5, б, где ЛQ = Qmax - ОшП. Функции принадлежности нечетких множеств для комплексной нечеткой оценки пригодности использования интерфейса представлены на рис. 5, в.
Для полученных нечетких оценок необходимо определить базу знаний, в которой будут определены правила вывода комплексной оценки. База правил нечеткого логического вывода представлена в табл. 1. Столбцы этой таблицы соответствуют принадлежности нечеткой оценки эффективности к соответствующим множествам, а строки — принадлежности оценки удовлетворенности. В ячейки таблицы внесены результаты конъюнкции для соответствующих множеств. Следует обратить внимание на несимметричность таблицы при высоких ^ и E) значениях оценок. Необходимость приоритета эффективности по отношению к удовлетворенности при высоких значениях оценок установлена экспериментально.
Таблица 1
База правил нечеткого логического вывода оценки пригодности использования интерфейса
& Qe
H B N G E
Qs H H H H H H
B H B B B B
N H B N N N
G H B N G E
E H B N G E
Для реализации фазификации, нечеткого вывода и дефазификации использована библиотека Fuzzylite языка C++ [11, 12]. Схема процесса вычисления комплексной оценки пригодности использования приведена на рис. 6. На вход вычислителя поступает информация о конкретном варианте интерфейса (о размерах и положении виджетов, а также о его графе использования и маршрутах). Подсистема объективной оценки рассчитывает эффективность интерфейса по закону Фиттса и фазификацию суммарной эффективности. Подсистема субъективной оценки с помощью обученной ИНС определяет усредненную оценку удовлетворенности интерфейса и фазифицирует ее. Затем на основе полученных нечетких оценок проводится нечеткий вывод комплексной оценки и ее дефазифи-кация методом центроида (центра тяжести). Результирующая величина может быть применена в качестве оценки пригодности использования интерфейса.
Рис. 6. Схема процесса вычисления комплексной оценки пригодности использования интерфейса
Пример использования метода оценки. Рассмотрим работу метода оценки на примере макета интерфейса выдачи управляющего воздействия в бортовую вычислительную систему космического аппарата. На окне размером 400 х 200 пикселей должны быть расположены четыре виджета.
1. Поле ввода или выбора идентификатора команды.
2. Поле ввода параметра команды.
3. Кнопка выдачи команды.
4. Кнопка отмены.
Для перечисленных виджетов возможны следующие варианты их использования.
1. Космонавт вводит идентификатор команды в поле 1; перемещает курсор в поле ввода параметра команды 2 и вводит его; перемещает курсор на кнопку выдачи команды 3 и нажимает на нее.
2. Ввод параметра не требуется. Космонавт вводит идентификатор команды в поле 1; перемещает курсор на кнопку выдачи команды 3 и нажимает на нее.
3. Необходимо только подтверждение ввода. Космонавт наводит курсор на кнопку 3 и нажимает на нее.
4. Отмена ввода. Космонавт наводит курсор на кнопку отмены 4 и нажимает на нее.
Граф интерфейса представлен на рис. 7. Кругами с двойным контуром обозначены виджеты, с которых может быть начата работа с интерфейсом. Для этих виджетов необходимо вычислять среднее время доступа по всей площади интерфейса.
Различные варианты (№ 1-8) рассмотренного интерфейса приведены на рис. 8. Цвета прямоугольников не имеют функционального значения и выбраны для удобства различия ви-джетов. Оценки эффективности и удовлетворенности, а также комплексные оценки пригодности использования этих вариантов приведены в табл. 2. Символом «~» в таблице обозначены нечеткие величины, применяемые в процессе вычислений.
Результаты вычислений показывают, что лучшую пригодность использования имеет вариант 2. При такой же эффективности у варианта 3 низкая субъективная оценка удовлетворенности, что ведет к уменьшению оценки пригодности использования. Вариант 4 также имеет хорошие оценки по двум составляющим и высокую суммарную оценку пригодности использования. Варианты 5 и 6 при высокой оценке удовлетворенности показывают низкую эффективность, что приводит к низкой оценке пригодности использования. Остальные варианты (1, 7, 8) также получили невысокие оценки пригодности использования. Варианты 2 и 3 свидетельствуют о том, что интерфейсы могут иметь одинаковую эффективность, но различные оценки удовлетворенности и это существенно для результирующей оценки пригодности использования. Варианты 1 и 2 показывают, что при одинаковых оценках удовлетворенности, лучшей пригодностью использования обладает более эффективный вариант интерфейса.
Рис. 7. Граф интерфейса Г ( X, и):
1-4 — виджеты
О 50 100 150 200
О 50 100 150 200
Команда (1) Параметры (2)
Отмена (4)
Выдать (3)
Выдать (3) Параметры (2)
Отмена (4) Команда (1)
Команда (1) Параметры (2)
Отмена (4) Выдать (3)
б
Команда (1) Параметры (2)
Выдать (3)
Отмена (4)
о
50 100 150 200
Команда (1)
Параметры (2)
Выдать (3)
Отмена (4)
I
I
m
0 50 100 150 200
Команда (1)
Параметры (2) Выдать (3) Отмена (4)
Команда (1)
Отмена (4) Параметры (2) Выдать (3)
0
100
300
400
200 300 400 0 100 200
ж з
Рис. 8. Варианты компоновки интерфейса выдачи управляющего воздействия бортовой вычислительной системе космического аппарата
Таблица 2
Оценки эффективности и удовлетворенности, комплексные оценки пригодности использования различных вариантов интерфейсов
№ Qe Q, Qe Qs Qu Qu
1 2183,05 0,78 0,89 0,11 0,88 0,12 G E 0,81 0,11 0,7578
2 1261,75 0,78 0,45 0,55 -+- G E 0,88 0,12 -+- G E 0,42 0,52 -+- G E 0,8098
3 1261,75 0,37 0,45 0,55 -+- G E 0,51 0,49 B N 0,44 0,43 B N 0,3734
4 1383,18 0,77 0,5 0,5 ~G E 0,9 0.1 ~G ~E 0,48 0,48 -+- G E 0,8007
Окончание табл. 2
№ Qe Q s Qe Qs Qu Qu
5 2142,5 0,95 0,87 0,13 G E 0,2 0,8 G E 0,75 0,12 G E 0,7598
6 2116,4 0,97 0,86 0,14 -+- G E 0,11 0,89 G E 0,79 0,14 -+- G E 0,7605
7 1386,1 0,66 0,51 0,49 G E 0,36 0,64 N G 0,33 0,32 0,31 -+-+- N G E 0,675
8 1306,9 0,68 0,47 0,53 G E 0,29 0,71 N G 0,27 0,33 0,38 -+-+- N G E 0,7008
Заключение. Разработан метод оценки пригодности использования графического интерфейса для ввода данных. Метод имеет следующие ограничения:
1) невозможность оценки интерфейсов, предназначенных для отображения информации;
2) сосредоточение лишь на некоторых аспектах пригодности использования (время решения задач с помощью интерфейса и удовлетворенность пользователя расположением элементов интерфейса) и игнорирование других аспектов.
Тем не менее, разработанный метод позволяет сравнить пригодность использования различных вариантов интерфейса и выбрать лучший из них с позиции перечисленных аспектов. Применение аппарата нечеткой логики позволит дополнить модель оценкой других аспектов пригодности использования, если будут разработаны методы их численной оценки. Кроме того, этот метод открывает возможности автоматического синтеза оптимальных графических интерфейсов, например, с применением генетических алгоритмов или других методов поиска оптимальных решений.
ЛИТЕРАТУРА
1. ГОСТ Р ИСО 9241-11-2010. Эргономические требования к проведению офисных работ с использованием видеодисплейных терминалов (VDT). Ч. 11. Руководство по обеспечению пригодности использования. М.: Стандартинформ, 2011. 28 с.
2. Fitts P.M. The information capacity of the human motor system in controlling the amplitude of movement // Journal of Experimental Psychology. 1954. Vol. 47 (6). P. 381-391.
3. Beamish D., Bhatti S., Chubbs S., MacKenzie S., Wu J., Jing Z. Estimation of psychomotor delay from the Fitts' law coefficients // Biological Cybernetics. 2009. Vol. 101. Iss. 4. P. 279-296.
4. Раскин Д. Интерфейс: новые направления в проектировании компьютерных систем; пер. с англ. СПб.: Символ-Плюс, 2004. 272 с.
5. ГОСТ 22269-76. Система «Человек-машина». Рабочее место оператора. Взаимное расположение элементов рабочего места. Общие эргономические требования. М.: Изд-во стандартов, 1988. 4 с.
6. Oztekin A., Kong Z., Uysal O. UseLearn: A novel checklist and usability evaluation method for eLearning systems by criticality metric analysis // International Journal of Industrial Ergonomics. 2010. Vol. 40. P. 455-469.
7. Oztekin A., Delen D., Turkyilmaz A., Zaim S. A machine learning-based usability evaluation method for eLearning systems // Decision Support Systems. 2013. Vol. 56. P. 63-73.
8. Korvald C., Kim E., Reza H. Evaluation and implementation of machine learning techniques in usability testing for web sites // Proceedings of the 47th Annual Midwest Instruction and Computing Symposium, April 2014. Verona, WI. URL: http:// micsymposium.org/mics2014/ProceedingsMICS_2014/mics2014_submission_23.pdf
(дата обращения: 14.10.2015).
9. Мясников А.С. Система поддержки принятия решения о покупке автомобиля // Наука и образование. МГТУ им. Н.Э. Баумана. Электрон. журн. 2009. № 1. URL: http://technomag.neicon.ru/doc/113752.html
10. Кузнецов М.А., Исаев Е.А. Оценка привлекательности расположения жилого здания в городском массиве // Известия ВолгГТУ. Сер. Актуальные проблемы управления, вычислительной техники и информатики в технических системах. 2015. № 2 (157). С. 122-127.
11. Fuzzylite. A fuzzy logic control library and application. URL: http://www.fuzzylite.com (дата обращения: 21.07.2015).
12. Rada-Vilela J. Fuzzylite: A fuzzy logic control library in C++ // Proceedings of the Open Source Developers Conference. Oct. 2013, Auckland, New Zeland. URL: http:// fuzzylite.googlecode.com/files/fuzzylite-3.1.pdf (дата обращения: 12.10.2015).
Корвяков Владимир Петрович — аспирант, инженер-программист научно-технического центра ОАО «РКК «Энергия» им. С.П. Королёва» (Российская Федерация, 141070, Московская обл., Королёв, ул. Ленина, д. 4а).
Просьба ссылаться на эту статью следующим образом:
Корвяков В.П. Метод нейро-нечеткой оценки пригодности использования графического интерфейса пользователя // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2016. № 5. С. 61-74. DOI: 10.18698/0236-3933-2016-5-61-74
METHOD OF NEURO-FUZZY ESTIMATION OF GRAPHICAL USER INTERFACE USABILITY
V.P. Korvyakov [email protected]
S.P. Korolev Rocket and Space Corporation Energia, Korolev, Moscow Region, Russian Federation
Abstract
This paper provides an approach to fuzzy estimation of graphical user interface usability on the basis of measurements of its individual components. The considered aspects of usability are Fitts law-based value of efficiency and estimation of user satisfaction using a single-layer perceptron,
Keywords
Graphical user interface, usability, fuzzy logic, artificial neural network, Fitts law
trained by expert data. Model of human-computer interaction is being formalized using directed graph. An example provided in a paper describes usability estimation of different mockups for control action execution interface for space vehicle onboard computer system
REFERENCES
[1] Standard RF GOST R ISO 9241-11-2010. Ergonomicheskie trebovaniya k provedeniyu ofisnykh rabot s ispol'zovaniem videodispleynykh terminalov (VDT). Ch. 11. Rukovodstvo po obespecheniyu prigodnosti ispol'zovaniya [State Standard R ISO 9241-11-2010. Ergonomic requirements for office work using video display terminals (VDT). Part 11. Guidelines for usability]. Moscow, Standartinform Publ., 2011. 28 p.
[2] Fitts P.M. The information capacity of the human motor system in controlling the amplitude of movement. Journal of Experimental Psychology, 1954, vol. 47 (6), pp. 381-391.
[3] Beamish D., Bhatti S., Chubbs S., MacKenzie S., Wu J., Jing Z. Estimation of psychomotor delay from the Fitts' law coefficients. Biological Cybernetics, 2009, vol. 101, iss. 4, pp. 279-296.
[4] Raskin J. The human interface. New directions for designing interactive systems. Addison-Wesley Professional, 2000.
[5] Standard RF GOST 22269-76. Sistema "Chelovek-mashina". Rabochee mesto operatora. Vzaimnoe raspolozhenie elementov rabochego mesta. Obshchie ergonomicheskie trebovaniya [State Standard 22269-76. Man-machine system. Operator's workstation. The relative position of the working space elements. General ergonomic requirements]. Moscow, Izd. Standartov Publ., 1988. 4 p.
[6] Oztekin A., Kong Z., Uysal O. UseLearn: A novel checklist and usability evaluation method for eLearning systems by criticality metric analysis. International Journal of Industrial Ergonomics, 2010, vol. 40, pp. 455-469.
[7] Oztekin A., Delen D., Turkyilmaz A., Zaim S. A machine learning-based usability evaluation method for eLearning systems. Decision Support Systems, 2013, vol. 56, pp. 63-73.
[8] Korvald C., Kim E., Reza H. Evaluation and implementation of machine learning techniques in usability testing for web sites. Proceedings of the 47th Annual Midwest Instruction and Computing Symposium, April 2014. Verona, WI. Available at: http://micsymposium.org/mics2014/ProceedingsMICS_2014/mics2014_submission_23.pdf (accessed 14.10.2015).
[9] Myasnikov A.S. Decision Support System for buying a car. Nauka i obrazovanie. MGTU im. N.E. Baumana [Science & Education of the Bauman MSTU. Electronic Journal], 2009, no. 1. Available at: http://technomag.neicon.ru/en/doc/113752.html
[10] Kuznetsov M.A., Isaev E.A. Evaluation attractive location residential building in the city array. Izvestiya VolgGTU [Izvestiya Volgograd State Technical University. Ser. Actual problems of management, computing hardware and informatics in engineering systems], 2015, no. 2 (157), pp. 122-127 (in Russ.).
[11] Fuzzylite. A fuzzy logic control library and application. Available at: http://www.fuzzylite.com (accessed 21.07.2015).
[12] Rada-Vilela J. Fuzzylite: A fuzzy logic control library in C++. Proceedings of the Open Source Developers Conference. Oct. 2013, Auckland, New Zeland. Available at: http://fuzzylite.googlecode.eom/files/fuzzylite-3.1.pdf (accessed 12.10.2015).
Korvyakov V.P. — post-graduate student, software engineer Research and Development Centre, S.P. Korolev Rocket and Space Corporation Energia (ul. Lenina 4-a, Korolev, Moscow Region, 141070 Russian Federation).
Please cite this article in English as:
Korvyakov V.P. Method of Neuro-Fuzzy Estimation of Graphical User Interface Usability. Vestn. Mosk. Gos. Tekh. Univ. im. N.E. Baumana, Priborostr. [Herald of the Bauman Moscow State Tech. Univ., Instrum. Eng.], 2016, no. 5, pp. 61-74. DOI: 10.18698/0236-3933-2016-5-61-74
