CC BY
74
Оригинальная статья / Original article
УДК: 004.055:004.891.2
DOI: 10.21285/1814-3520-2017-1-90-102
ВЫБОР ОПЕРАТОРОВ АГРЕГИРОВАНИЯ ПОЛЬЗОВАТЕЛЬСКИХ КРИТЕРИЕВ ДЛЯ ОЦЕНКИ УДОБСТВА ВЕБ-СТРАНИЦ
© С.А. Сакулин1, А.Н. Алфимцев2
Московский государственный технический университет имени Н.Э. Баумана
(национальный исследовательский университет),
Российская Федерация, 105005, г. Москва, ул. 2-я Бауманская, 5, стр. 1.
РЕЗЮМЕ. ЦЕЛЬ. В работе проведен обзор и сравнительный анализ применения различных видов операторов агрегирования в области построения обобщенных оценок удобства веб-страниц. Целью исследования является обоснованный выбор наиболее подходящего оператора агрегирования для свертки пользовательских критериев. МЕТОДЫ. Агрегирование пользовательских критериев может быть реализовано с применением аддитивных операторов, нейросетей, OWA (Ordered Weighted Averaging) операторов Ягера, нечетких интегралов Шоке и Суд-жено. Выявлено, что рассматриваемая прикладная область обладает рядом свойств, которые можно сформулировать в виде свойств оператора агрегирования. В частности, между критериями могут возникать зависимости нескольких типов. Кроме того, сам оператор должен обладать рядом неформализованных свойств для его применения в рассматриваемой прикладной области. РЕЗУЛЬТАТОМ проведенного сравнительного анализа стал выбор в качестве оператора агрегирования пользовательских критериев интеграла Шоке по нечеткой мере. Этот результат обусловлен тем, что интеграл Шоке удовлетворяет всем требованиям, предъявляемым к оператору агрегирования в данной прикладной области. Для применения интеграла Шоке необходима предварительная идентификация его параметров в виде коэффициентов нечеткой меры. В связи с этим в статье обоснован выбор метода идентификации на основе минимизации дисперсии нечеткой меры применительно к рассматриваемой области. ВЫВОДЫ. Интеграл Шоке по нечеткой мере в совокупности с методом идентификации нечеткой меры на основе минимизации дисперсии является наиболее подходящим оператором агрегирования пользовательских критериев при построении обобщенных оценок удобства веб-страниц.
Ключевые слова: оценка удобства веб-страниц, оператор агрегирования, интеграл Шоке, нечеткая мера.
Формат цитирования: Сакулин С.А., Алфимцев А.Н. Выбор операторов агрегирования пользовательских критериев для оценки удобства веб-страниц // Вестник Иркутского государственного технического университета. 2017. Т. 21. № 1. С. 90-102. DOI: 10.21285/1814-3520-2017-1-90-102
SELECTION OF USER CRITERIA AGGREGATION OPERATORS FOR WEB PAGE USABILITY EVALUATION
S.A. Sakulin, A.N. Alfimtsev
Bauman Moscow State Technical University (National ResearchUniversity), 5/1, 2nd Baumanskaya St., Moscow, 105005, Russian Federation.
ABSTRACT. PURPOSE. This paper provides an overview and a comparative analysis of the use of different types of aggregation operators in the field of building generalized evaluations of Web page usability. The purpose of this study is to give a grounded choice of the most appropriate aggregation operator for the convolution of users' criteria. METHODS. Aggregation of users' criteria can be implemented with the use of additive operators, neural networks, Jager OWA (Ordered Weighted Averaging) operators and Choquet and Sugeno fuzzy integrals. It is revealed that the application area under consideration has a number of features that can be formulated in the form of properties of an aggregation operator. In particular, several types of dependences can appear between the criteria. Besides, to be used in the considered area the operator must have a number of nonformalized properties. The RESULT of the conducted comparative analysis is the choice of user's criteria of the Choquet integral with respect to fuzzy measure as an aggregation operator. This result is determined by the fact that the Choquet integral satisfies all requirements for the aggregation operator in the applica-
Сакулин Сергей Александрович, кандидат технических наук, доцент кафедры информационных систем и телекоммуникаций, е-mail: [email protected]
Sergey A. Sakulin, Candidate of technical sciences, Associate Professor of the Department of Information Systems and Telecommunications, е-mail: [email protected]
2Алфимцев Александр Николаевич, кандидат технических наук, доцент кафедры информационных систем и телекоммуникаций, е-mail: [email protected]
Aleksandr N. Alfimtsev, Candidate of technical sciences, Associate Professor of the Department of Information Systems and Telecommunications, е-mail: [email protected]
tion area under discussion. To apply the Choquet integral its parameters should be first identified as coefficients of fuzzy measures. Therefore, the paper gives the justification of the choice of the identification method based on fuzzy measure variance minimization as applied to the considered area. CONCLUSIONS. The Choquet integral with respect to fuzzy measure together with the fuzzy measure identification method based on variance minimization form the most appropriate aggregation operator of user criteria when building generalized evaluations of Web page usability. Keywords: Web pages usability evaluation, aggregation operator, Choquet integral, fuzzy measure
For citation: Sakulin S.A., Alfimtsev A.N. Selection of user criteria aggregation operators for Web page usability evaluation // Proceedings of Irkutsk State Technical University. 2017, vol. 21, no. 1, pp. 90-102. (In Russian) DOI: 10.21285/1814-3520-2017-1 -90-102
Введение
Современные пользователи получают доступ через веб-страницы к информации в глобальной сети из разных областей, с разным уровнем качества. Поэтому все большую популярность получают общие формальные оценки удобства, достоверности или надежности веб-страниц, которые применяются для упорядочивания информации автоматическими или полуавтоматическими средствами. С теоретической и практической точек зрения представляется актуальным вопрос обоснованного и точного создания таких обобщенных оценок [1-3]. При этом главную роль в задаче формализации экспертных знаний об удобстве веб-страниц играют операторы агрегирования того или иного типа, с помощью которых непосредственно осуществляется свертка пользовательских критериев.
Данная работа является продолжением серии работ авторов по использованию нечетких операторов агрегирования (Шоке, Суджено) в различных прикладных областях анализа данных и принятия решений. Например, в статье [4] основное внимание было уделено вопросу практической применимости нечеткого интеграла Шоке в качестве оператора агрегирования для формализации экспертных знаний об удобстве веб-страниц, вместе с тем вопрос выбора типа оператора агрегирования рассмотрен не был. В настоящей статье анализируются возможные варианты такого выбора и приводятся обоснования в пользу применения определенного типа оператора агрегирования для рассматриваемой прикладной области.
Методы, результаты и их обсуждения
Особенности прикладной области и свойства оператора. Существуют объективные особенности процесса формализации экспертных знаний об удобстве веб-страниц. Эти особенности можно проанализировать и формально определить в виде свойств операторов агрегирования пользовательских критериев оценки удобства веб-страниц. В зависимости от целей проводимой оценки и от конкретного эксперта пользовательские критерии могут различаться. Например, эти критерии могут быть сформулированы на основе известных обзоров по оценке удобства веб-страниц [5, 6] и объединены в определенную иерархию в соответствии с методикой конкретного эксперта.
Обозначим оператора агрегирования пользовательских критериев как AGG(ggH),
где g,..., - отдельные критерии, задаваемые экспертным путем; H - число этих критериев; J = {1,... H} - множество индексов, соответствующих отдельным критериям.
Рассмотрим свойства этого оператора. Первое свойство, которым должен обладать данный оператор агрегирования - это свойство неубывания, так как при увеличении значения отдельного критерия (или ряда критериев) результат агрегирования также должен увеличиваться (или не убывать). Но при этом эксперт может сформулировать отдельные критерии оценки удобства веб-страниц таким образом, чтобы, в соответствии с некоторой логикой, при большем значении отдельного критерия результат агрегирования уменьшался. Например, таким специальным критерием для Веб-страниц является мера «перегруженности» страницы элементами [4]. Решением данной проблемы является стандартная процедура инверсии шкал критериев, в результате которой простое линейное преобразование позволяет сделать сово-
купность всех отдельных критериев оценки пригодными для агрегирования с помощью оператора, обладающего свойством неубывания. Данное свойство с использованием введенных обозначений будет выглядеть следующим образом:
gl < gl < ¿н ^ ЛОО(&,.., &н) < Лвв^,..., ¿н). (1)
Вторым общим свойством операторов агрегирования, которому будет удовлетворять
оператор агрегирования пользовательских критериев gн), является свойство
идемпотентности. Формально свойство идемпотентности выражается следующим образом:
g1 = g2 =... = gн ^ gн) = gl. (2)
Это свойство означает, что если все отдельные критерии оценки удобства веб-страницы принимают максимальное (единичное) значение, т.е. страница в соответствии с мнением эксперта «идеальна во всех отношениях», то результат агрегирования также должен принимать максимальное значение. Если же у веб-страницы все отдельные критерии принимают среднее значение (0,5), то очевидно, что и результат агрегирования в этом случае должен быть средним.
Наличие зависимостей между значениями отдельных критериев является другой характерной особенностью прикладной области формализации экспертных знаний об удобстве веб-страниц. Для данной прикладной области большинство зависимостей очевидны и имеют простое когнитивное объяснение. Например, существует корреляция критериев «ясность визуальной иерархии» и «степень разделения на четкие области». Если страница обладает свойством ясности визуальной иерархии, то, вероятно, что разработчик веб-страницы позаботился и о хорошем разделении содержимого страницы на четкие области. Еще одним примером положительной корреляции критериев является корреляция между критериями «применение стандартных обозначений и условностей» и «ясное обозначение активных элементов».
Однако в человеко-машинном взаимодействии существует множество неявных и неоднозначных зависимостей между пользовательскими критериями. Критерий «если элементы являются частями друг друга логически, то они должны быть представлены в виде вложений», по мнению отдельно взятого эксперта, в условиях хорошей видимости и состоятельности важных элементов веб-страницы [7], может стать более важным для агрегированной оценки ясности визуальной иерархии, чем критерий «степень визуальной связанности элементов, которые связаны между собой логически», поскольку при этом гиперссылки «наиболее важный элемент - его составные части» будут более удобны для пользователя, чем визуально связанные между собой, но расположенные рядом с выделенным наиболее важным элементом его составные части. В теории полезности данные рассуждения экспертов называют предпочтительной зависимостью [8, 9].
Формально предпочтительная зависимость критериев описывается следующим образом. Для определенной веб-страницы реализация оценок g представляет собой совокупность значений пользовательских критериев. Предположим, что предпочтения эксперта на множестве реализаций критериев А известны и выражены отношением нестрогого порядка . Обозначим §в реализацию критериев gг, где / е в, обозначим gJ д реализацию критериев &, где / е J - в. Подмножество критериев в с J называется предпочтительно независимым от J - в тогда и только тогда, когда для каждой пары реализаций критериев §в, §'0 из (§ в, § J - в Ив* .§/-!)) Для некоторой реализации gJ_D следует Для всех
реализаций , где у означает отношение предпочтения (нестрогого порядка) на А. В про-
тивном случае подмножество критериев D ^ J является предпочтительно зависимым от подмножества J - D. При этом если подмножество D предпочтительно независимо от подмножества J -D для каждого подмножества j с d, то полный набор критериев j называется взаимно предпочтительно независимым [9]. То есть оператор агрегирования пользовательских критериев необходимо выбирать таким образом, чтобы была возможность его использования и для формализации подобных неоднозначных экспертных предпочтений.
Дополнительной особенностью рассматриваемой прикладной области является требование к объективности агрегирования. При выполнении этого требования оператор агрегирования не должен вносить в результат субъективизма, не связанного с субъективной работой эксперта. Другими словами, результат агрегирования в виде нестрогого порядка на множестве реализаций критериев не должен зависеть от выбора того или иного вида оператора, а должен зависеть только от экспертных предпочтений. Примером такой особенности прикладной области является ситуация, в которой важность какого-либо отдельного пользовательского критерия при агрегировании завышена относительно остальных пользовательских критериев не в процессе построения оператора агрегирования на основе предпочтений эксперта, а в процессе применения некоторого метода построения оператора агрегирования.
Кроме рассмотренных базовых свойств операторов агрегирования могут быть также выделены неформализованные свойства, такие как эмпирическая пригодность, адаптируемость и семантическая ясность [10]. Свойство эмпирической пригодности означает, что все базовые свойства оператора агрегирования соответствуют всем особенностям прикладной области и могут формально представлять эти особенности. Адаптируемость означает, что существует возможность путем изменения параметров оператора подстроить его результирующие значения под соответствующие экспертные предпочтения (обучить оператор). Свойство семантической ясности предполагает ясную для эксперта и разработчиков пользовательского интерфейса интерпретацию результата агрегирования и изменений результата оператора в зависимости от изменения значений отдельных пользовательских критериев.
Таким образом, рассмотренные свойства операторов агрегирования пользовательских критериев особенно важны для прикладных областей, в которых характерно использование операторов агрегирования в целях формализации неоднозначных, взаимнокоррелированных знаний эксперта, что, несомненно, относится и к зачастую полностью субъективной области оценки удобства веб-страниц.
Обзор и выбор оператора агрегирования для формирования интегральных оценок. В прикладной области человеко-машинного взаимодействия активно используются различные операторы агрегирования: минимум, максимум, среднее арифметическое, взвешенное среднее арифметическое, OWA (Ordered Weighted Averaging) операторы Ягера; нейронные сети, интегралы Шоке и Суджено, а также другие, менее распространенные [11]. Рассмотрим различные операторы агрегирования, исходя из перечисленных выше свойств, обусловленных соответствующими особенностями данной прикладной области.
Одними из самых популярных операторов агрегирования являются операторы минимума и максимума. Практическое применение таких операторов может быть следующим: в качестве результата поиска веб-страница будет демонстрироваться пользователю в поисковой системе, только если превышен заранее заданный порог по каждому из отдельных пользовательских критериев, в противном случае веб-страница признается малозначимой и отбрасывается из результатов поиска. Это правило, записанное на естественном языке, означает, что к множеству отдельных пользовательских критериев оценки удобства веб-страниц применяется оператор взятия минимума, и если полученный результат агрегирования оказывается меньше заданного порогового значения, то соответствующая страница отбрасывается.
Также на практике в качестве оператора агрегирования часто применяется простое среднее арифметическое:
1 н
ЛGG(gl,..., ) = -^^. (3)
н н=1
Этот оператор обладает свойствами неубывания и идемпотентности, но не отражает различия в значимости отдельных пользовательских критериев и не может отразить экспертные предпочтения о предпочтительной зависимости критериев.
Другим возможным оператором для агрегирования пользовательских критериев, также обладающим первым (1) и вторым (2) свойствами, является взвешенное среднее арифметическое:
н
ЛОО(^..., ) = 2, (4)
Ь=1
где щ - весовые коэффициенты, определяющие субъективный вес отдельных критериев,
н
н™*=1.
к=1
Аддитивные операторы агрегирования не в состоянии отразить предпочтительную зависимость, выраженную экспертом [8]. Поэтому простое среднее арифметическое (3) и средневзвешенный оператор (4) не подходят для формализации экспертных знаний об удобстве веб-страниц.
В качестве альтернативы рассмотренным операторам применимы ОМА операторы Ягера. С их помощью возможно отразить предпочтительную зависимость оценок. Пример использования такого оператора в области формальной оценки нескольких критериев представлен в работе [12]. С помощью нечеткого квантификатора формализована экспертная информация о допустимой форме компромисса между значениями по разным отдельным критериям. Недостатком подобного подхода к формированию интегральных оценок веб-страниц является отсутствие возможности явно отразить при построении оператора знания эксперта о корреляции между оценками по отдельным критериям.
Нейросети также могут быть применены для решения задачи агрегирования. Простейшая архитектура многослойной нейронной сети без обратных связей состоит из слоев нейронов [13]. Каждый нейрон имеет вход и выход. Вход каждого нейрона любого промежуточного и последнего слоя соединен с выходами всех нейронов предыдущего слоя. Выходы нейронов последнего слоя ни с чем не соединены. Входы первого слоя нейронной сети без обратных связей также ни с чем не соединены. В других типах архитектур нейронных сетей допускаются соединения выходов нейронов последнего слоя со входами нейронов первого слоя. Такие нейронные сети называются нейронными сетями с обратными связями.
Для агрегирования могут использоваться нейронные сети с различной архитектурой [14]. Суть агрегирования критериев с помощью многослойной нейронной сети, независимо от ее архитектуры, состоит в следующем. На вход сети последовательно по мере появления или одновременно после их накопления подаются реализации критериев из множества А. После этого на выходе последнего слоя нейронов появляется значение, соответствующее агрегированным данным. Сеть настраивается таким образом, что при подаче на вход сети наблюдаемой реализации критериев, соответствующей определенному состоянию объекта, на выходе сети появляется агрегируемое значение. Для того чтобы нейронная сеть могла осуществлять эффективное агрегирование данных, ее необходимо обучить [15]. Для этого формируется обучающая выборка для всех агрегируемых данных, которая является объединением множеств доступных реализаций критериев.
Сегодня искусственные нейронные сети являются детально изученными и хорошо за-
рекомендовавшими себя моделями не только для задач агрегирования, распознавания образов и прогнозирования, но и для аппроксимации данных об удобстве веб-страниц [16]. Более того, такие сложные вопросы человеко-машинного взаимодействия, как анализ данных о качестве кросс-платформенного взаимодействия и опыте такого взаимодействия, сегодня также успешно решаются с использованием этой модели [17]. Однако несмотря на очевидные успехи за последние годы в области глубокого обучения [18, 19], для решения задач агрегирования информации исследователи и разработчики пользовательских интерфейсов вновь сталкиваются с классическими проблемами нейронных сетей:
• Для надежного агрегирования данных зачастую используются большие нейронные сети с тысячами нейронов. Если обозначить г число слоев сети, пж - число нейронов в скрытом слое, то сложность агрегирования данных сетью будет иметь оценку 0(гТп2с).
• В процессе обучения нейронных сетей возможен так называемый паралич сети, когда значения весовых коэффициентов становятся очень большими величинами [20]. Это приводит к тому, что процесс обучения практически прекращается. В результате приходится изменять внутреннюю структуру сети, что приводит к дополнительным затратам на ее переобучение.
• Обучение сети может завершиться вследствие нахождения локального оптимума. Это может привести к тому, что схожие данные практически не будут различаться в смысле результатов агрегирования.
Таким образом, несмотря на то что нейронные сети удовлетворяют базовым свойствам оператора агрегирования, указанные недостатки делают нейронные сети малоперспективными для агрегирования информации об удобстве веб-страниц на ограниченном наборе экспертных данных и данных, полученных по результатам автоматического наблюдения за поведением пользователя в сети или анализа его биометрических характеристик [21].
Обобщением операторов минимума, максимума, взвешенного среднего арифметического и ОМА операторов Ягера является интеграл Шоке по нечеткой мере, то есть при соответствующей настройке параметров интеграла Шоке возможно получить приведенные выше операторы. Основным преимуществом интеграла Шоке является возможность его применения для представления не только важности отдельных критериев, но и взаимозависимостей этих критериев, в частности, рассмотренной предпочтительной зависимости и корреляции. За последние годы интеграл Шоке стал применяться во многих прикладных областях, о чем свидетельствует множество публикаций, в частности [22-24].
Интеграл Шоке обладает свойством эмпирической пригодности для оценки удобства веб-страниц, поскольку для него выполняются свойства неубывания (1) и идемпотентности (2), и он пригоден для формального представления знаний эксперта о корреляции и предпочтительной зависимости критериев. Свойство адаптируемости интеграла Шоке обеспечивается благодаря тому, что нечеткую меру можно задать таким образом, что она будет отражать мнение эксперта об агрегировании.
Рассмотрим формальное определение интеграла Шоке, для этого введем необходимые обозначения и определения. Обозначим нечеткую меру как функцию множества щ: 21 ^[0,1], где 2J- множество всех подмножеств полного набора критериев удобства Вебстраницы J. Эта функция отражает степень «важности» не только отдельного критерия, но и каждого из подмножеств этих оценок и удовлетворяет условиям:
1) ¥(0) = 0, ¥У) = 1;
2) УД, В с J : Д с В ^¥(Д) <¥(В).
Первое условие определяет значения меры на пустом множестве и на множестве всех критериев. Второе условие ограничивает класс нечетких мер теми мерами, для которых выполняется свойство монотонности. Нечеткая мера не обязательно должна обладать свойством аддитивности, или ¥(Д) + ¥(В) ф¥(Д^В) где Д В с J; Д^В = 0. Величина ¥(Д)
представляет собой субъективную значимость подмножества критериев б .
Для того чтобы применить интеграл Шоке в качестве оператора агрегирования пользовательских критериев удобства веб-страниц, необходимо сначала идентифицировать на основе экспертных знаний параметры интеграла в виде коэффициентов нечеткой меры. Такая идентификация осложняется тем, что необходимо задать величины у(0) для всех подмножеств критериев б , что является трудным или даже невыполнимым для эксперта. Для упрощения идентификации нечетких мер М. Грабиш предложил использовать нечеткие меры ^го порядка, для которых зависимости между более чем k критериями не рассматриваются. Чаще всего на практике применяется 2-аддитивная нечеткая мера. Несмотря на относительную простоту, она позволяет моделировать предпочтительную зависимость между критериями [25]. Здесь следует отметить, что в случае, если экспертные предпочтения будут содержать зависимости между более чем двумя критериями, порядок нечеткой меры можно увеличить, что позволит в полном объеме формализовать знания эксперта.
В случае 2-го порядка интеграл Шоке имеет вид [26]:
Су(&,..., Ен)=Ну(/)е + Н -у(г)-уО))т1п(&>8]). (5)
{¿.Л&/
Величина и знак взаимодействия двух критериев г и ] выражаются индексом взаимодействия [26]:
1ы(Я) = Ы(])-Ы(г)-УСА ^. (6)
Индекс Шепли критерия г выражает относительный вес этого критерия среди других критериев [26]:
Фу(г) = У(0 +1 Н (У(У) - У) - У(])), г е -1. (7)
2 М^-)
Интеграл Шоке может обладать свойством семантической ясности при условии ясной интерпретации этого аппарата для эксперта. Это может быть достигнуто путем визуализации интеграла Шоке и его параметров. В частности, в [26] предлагается визуализация интеграла Шоке 2-го порядка, на основе чего был разработан метод идентификации нечеткой меры [27]. В [28] рассмотрены возможные альтернативы графической интерпретации, например, при работе с экспертом возможно применение визуализации интеграла Шоке на основе сопоставления ему физического объекта.
Агрегирование пользовательских критериев удобства веб-страниц также возможно с использованием в качестве оператора агрегирования нечеткого интеграла Суджено. Недостатком этого интеграла является то, что для него не разработано применимое на практике «представление взаимодействия» и соответствующее программное обеспечение подобно тому, как это сделано для интеграла Шоке [29]. Кроме того, интеграл Суджено предназначен для агрегирования, при котором на результат влияет только относительное расположение значений критериев на числовой оси (порядковые шкалы). В то же время агрегирование пользовательских критериев удобства веб-страниц предполагает, что значения каждого из критериев влияют на результат.
Таким образом, интеграл Шоке по нечеткой мере в сравнении с другими операторами агрегирования наиболее соответствует особенностям рассматриваемой прикладной области агрегирования пользовательских критериев удобства веб-страниц и пригоден к практическому применению.
Идентификация параметров интеграла Шоке. Для того чтобы применять интеграл Шоке в качестве оператора агрегирования пользовательских критериев удобства веб-страниц, необходимо сначала идентифицировать его параметры в виде коэффициентов нечеткой меры. Такая идентификация производится исходя из предпочтений эксперта. Полученные в результате коэффициенты нечеткой меры не определяются только лишь экспертными предпочтениями, их значения также зависят от самого метода идентификации этих параметров. В настоящее время существует множество методов идентификации нечеткой меры, например, метод наименьших квадратов, максимального разделения, наименьшей дисперсии, на основе иерархической диаграммы парных сравнений (в виде «бриллианта») и т.д. [27, 29-31]. В качестве исходной информации для тех или иных методов идентификации требуются различные виды экспертных знаний, которые определяются исходя из предметной области и целей самой идентификации.
Далее рассмотрим методы идентификации нечеткой меры применительно к задаче агрегирования критериев удобства веб-страниц с помощью интеграла Шоке.
Наиболее простым и одним из первых предложенных методов идентификации был метод на основе наименьших квадратов [29]. Этот метод относительно прост, в качестве входных данных для него необходимо иметь желаемые результаты агрегирования (значения интеграла Шоке) для известных значений агрегируемых критериев. Существенным недостатком рассматриваемого метода является невозможность принимать во внимание другие виды предпочтений эксперта, в то время как обычно для эксперта задача определения желаемых значений агрегирования представляет определенные трудности [29]. Целевая функция метода имеет вид:
(щ) = (8) - "(8) )2. (8)
8еА
Здесь и(8) обозначены желаемые результаты агрегирования для реализаций 8 е А. Результатом действия этого метода является минимизация квадратичного расстояния между значениями интеграла Шоке от реализаций на обучающей выборке (С(8)}§&4 и желаемыми
значениями результата агрегирования [и(8)}^А. Еще одним недостатком рассматриваемого
метода является то, что результатов идентификации в виде коэффициентов нечеткой меры может быть несколько. В этом случае необходимо будет выбирать, на основе какой нечеткой меры строить оператор агрегирования критериев удобства веб-страниц. При этом возникает неоднозначность трактовки экспертом значимости как отдельных критериев, так и групп критериев. Помимо этого рассматриваемый метод не позволяет эксперту напрямую формализовать его предпочтения о корреляции и о различиях в значимости отдельных критериев. Достоинством метода наименьших квадратов является его простота.
Метод идентификации на основе максимального разделения основан на максимизации целевой функции вида (г) = г при следующих ограничениях:
V/ е J, УО с J - / выполняется ^ а( D и г) > 0
ДсО Д\<к-1
(Д) =1 (9)
0<| Д\<к
Сщ (8) - С(8')
Здесь g с j, k - порядок нечеткой меры щ; a(D) = Z (-!)'G DV(D) - функция
DcG
Мёбиуса по щ; 8C - порог безразличия, или минимально значимая разность между результатами агрегирования двух реализаций оценок из обучающей выборки, задаваемый экспертом.
В качестве входной информации для метода необходим нестрогий порядок >А на множестве доступных реализаций критериев. Кроме того, метод может учитывать знания эксперта о значимости отдельных критериев, а также о типе взаимодействия внутри той или иной группы критериев. Таким образом, метод позволяет учитывать те знания эксперта, которые не принимает во внимание метод наименьших квадратов. Недостатком рассматриваемого метода является то, что его целевая функция максимизирует разности между реализациями на множестве доступных реализаций А, что не удается обосновать исходя из особенностей прикладной области. Действительно, целенаправленное «отдаление» друг от друга результатов агрегирования для двух известных веб-страниц не имеет под собой никакого логического основания. В результате такой искусственной максимизации разности могут быть необоснованно завышены (занижены) относительные значимости отдельных критериев, что противоречит мнению эксперта. Кроме того, недостатком рассматриваемого метода, как и предыдущего, является отсутствие уникальности результата, что приводит к необходимости выбора того или иного решения.
Метод идентификации на основе минимизации дисперсии [31] или, что то же самое, максимизации энтропии отвечает следующему принципу: в случае, если имеются частичные сведения о возможных реализациях случайной величины, то необходимо выбирать такое ее вероятностное распределение, которое максимизирует неопределенность недостающих данных [32]. Другими словами, надо выбрать такое распределение, которое будет согласовано с доступными данными, а к недоступной информации относиться по возможности непредвзято. В области формализации предпочтений об удобстве веб-страниц это означает, что если мы не имеем об отдельных критериях удобства каких-либо предпочтений эксперта, то метод идентификации не должен никак выделять эти критерии относительно друг друга. Это значит, что в процессе формализации экспертных предпочтений нужно выбирать такой оператор агрегирования, который был бы совместим с предпочтениями эксперта и обладал максимальной энтропией. В [31] этот принцип рассмотрен применительно к идентификации нечетких мер. Соответствующий метод идентификации основан на минимизации дисперсии нечеткой меры:
f, (щ>à zz^^® is « л - ^
PI ieJ GoJ-i JI!
Л
2
DœG
(10)
Дисперсию F^(щ) минимизируют при следующих ограничениях:
Vi g J, VG о J - i выполняется Z a(D u /) > 0
DOG
idi <к-\
Z « (D) = 1 (11)
DoG
0<| d| <k
СЩ (g ) - C^(g') >JC
<
Для метода идентификации на основе минимизации дисперсии входными данными служат предпочтения эксперта на множестве реализаций критериев, на множестве самих критериев и, наконец, на множестве индексов взаимодействия критериев. По типам входных данных рассматриваемый метод ничем не отличается от метода максимального разделения. Следовательно, применяя этот метод идентификации, можно формализовать знания эксперта о значимости отдельных критериев удобства веб-страниц, об их корреляции и о предпочтительной зависимости отдельных критериев. Нечеткая мера, идентифицированная на основе метода минимизации дисперсии, всегда уникальна или вовсе не существует в случае противоречий в экспертных предпочтениях. Помимо этого такая нечеткая мера не будет вносить в результат агрегирования субъективизм, связанный с выбором метода идентификации, поскольку сам принцип, положенный в основу этого метода, исключает такую возможность. Единственным недостатком метода является его относительная алгоритмическая сложность, которая компенсируется тем, что применять метод предполагается только на подготовительном этапе построения операторов агрегирования пользовательских критериев удобства веб-страниц. Приведенные рассуждения позволяют сделать вывод о том, что метод идентификации параметров интеграла Шоке на основе минимизации дисперсии наиболее пригоден для агрегирования пользовательских критериев удобства веб-страниц.
Выводы
Статья посвящена обоснованию выбора того или иного оператора для агрегирования пользовательских критериев удобства веб-страниц. Из особенностей прикладной области вытекает необходимость выполнения ряда свойств оператором агрегирования. К таким свойствам относятся некоторые формальные математические, а также некоторые неформализованные свойства оператора агрегирования. Сравнительный анализ применения в рассматриваемой прикладной области различных операторов агрегирования позволяет сделать вывод о том, что в качестве такого оператора наиболее подходящим является интеграл Шоке по нечеткой мере, поскольку он обладает всеми упомянутыми свойствами в совокупности.
Для практического применения интеграла Шоке необходимо выбрать также метод идентификации нечеткой меры. Наиболее подходящим в рассматриваемой прикладной области является метод идентификации на основе минимизации дисперсии, в обоснование чего в статье рассмотрены свойства различных методов идентификации нечеткой меры и проведен их сравнительный анализ.
Библиографический список
1. Ашманов И.С., Иванов А.А. Продвижение сайта в поисковых системах. М.: ИД «Вильямс», 2007. 304 с.
2. Круг С. Как сделать сайт удобным. Юзабилити по методу Стива Круга. СПб.: Питер, 2010. 208 с.
3. Скотт Б., Нейл Т. Проектирование Веб-интерфейсов. СПб.: Символ-Плюс, 2010. 352 с.
4. Alfimtsev A., Sakulin S., Levanov A. Formalization of Expert Knowledge About the Usability of Web Pages Based on User Criteria Aggregation // International Journal of Software Innovation (IJSI). 2016. Vol. 4. No. 3. P. 38-50.
5. McDonald S., Edwards H. M., Zhao T. Exploring think-alouds in usability testing: An international survey // IEEE Transactions on Professional Communication. 2012. Vol. 55. No. 1. P. 2-19.
6. F0lstad A., Law E., Hornbœk K. Analysis in practical usability evaluation: a survey study // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2012. P. 2127-2136.
7. Lee J. [et al.]. Factors affecting the perceived usability of the mobile web portal services: comparing simplicity with consistency // Information Technology and Management. 2013. Vol. 14. No. 1. P. 43-57.
8. Мулен Э. Кооперативное принятие решений: аксиомы и модели. М.: Мир, 1991. 463 с.
9. Grabisch M. Fuzzy integral in multicriteria decision making // Fuzzy Sets and Systems - Special issue on fuzzy information processing. 1995. Vol. 69. Iss. 3. P. 279-298.
10. Marichal J.-L. Aggregation Operators for Multicriteria Decision Aid. PhD in Sciences University of Liège, Liège, Belgium. 1998.
11. Beliakov G., Warren J. Appropriate Choice of Aggregation Operators in Fuzzy Decision Support Systems // IEEE Transaction on Fuzzy Systems. 2001. Vol. 9. No. 6. P. 773-784.
12. Сизов А.С., Халин Ю.А., Цепов А.Ю. Использование OWA оператора Ягера для интеграции данных на входе
ДСМ системы оценки риска инвестирования малого инновационного предприятия // Инновации в науке. 2013. № 24. С. 67-74.
13. Ляхов А.Ф., Тришин И.М. Компьютерное моделирование поведения игрока в интеллектуальной карточной игре с помощью нейронной сети // Компьютерные инструменты в образовании. 2013. № 5. С. 54-64.
14. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation // Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015. P. 3431-3440.
15. Sainath T.N. [et al.]. Low-rank matrix factorization for deep neural network training with high-dimensional output targets // International Conference on Acoustics, Speech and Signal Processing. IEEE. 2013. P. 6655-6659.
16. Oztekin A. [et al.]. A machine learning-based usability evaluation method for elearning systems // Decision Support Systems. 2013. No. 56. P. 63-73.
17. Shin D.H. Cross-Platform Users' Experiences Toward Designing Interusable Systems // International Journal of Human-Computer Interaction. 2016. No. 1. P. 1-12.
18. Schmidhuber J. Deep learning in neural networks: An overview // Neural Networks. 2015. Vol. 61. P. 85-117.
19. Anastassiou G.A. Rate of convergence of some multivariate neural network operators to the unit, revisited // Journal of Computational Analysis & Applications. 2013. Vol. 15. No. 1. P. 1300-1309.
20. Srivastava N. [et al.]. Dropout: a simple way to prevent neural networks from overfitting // Journal of Machine Learning Research. 2014. Vol. 15. No. 1. P. 1929-1958.
21. Slanzi G., Balazs J.A., Velasquez J.D. Combining eye tracking, pupil dilation and EEG analysis for predicting web users click intention // Information Fusion. 2017. Vol. 35. P. 51-57.
22. Алфимцев А.Н. Нечеткое агрегирование мультимодальной информации в интеллектуальном интерфейсе // Программные продукты и системы. 2011. № 3. С. 44-48.
23. Ахаев А.В., Ходашинский И.А., Анфилофьев А.Е. Метод выбора программного продукта на основе интеграла Шоке и империалистического алгоритма // Доклады Томского государственного университета систем управления и радиоэлектроники. 2014. № 2. С. 224-229.
24. Максаков А.А., Сакулин С.А. Модель оценки качества внедрения информационной системы на предприятии // Инженерный журнал: наука и инновации. Электронное научно-техническое издание. 2013. № 11 (23). DOI: 10.18698/2308-6033-2013-11-1011.
25. Mayag B., Grabisch M., Labreuche Ch. A representation of preferences by the Choquet integral with respect to a 2-additive capacity. Theory and Decision. 2011. Vol. 71. Р. 297-324.
26. Grabisch M. A Graphical Interpretation of the Choquet Integral // IEEE Transactions on Fuzzy Systems. 2000. No. 8. Р. 627-631.
27. Wu J., Zhang Q. 2-order additive fuzzy measure identification method based on diamond pairwise comparison and maximum entropy principle // Fuzzy Optimization and Decision Making. Kluwer Academic Publishers. 2010. Vol. 9. No. 4. Р. 435-453.
28. Сакулин С.А., Алфимцев А.Н. К вопросу о практическом применении нечетких мер и интеграла Шоке // Вестник МГТУ им. Н.Э. Баумана. Сер. Приборостроение. 2012. Вып. 4. С. 55-63.
29. Grabisch M., Kojadinovic I., Meyer P. A review of methods for capacity identification in Choquet integral based multiattribute utility theory: Applications of the Kappalab R package. 2008. No. 2. Р. 766-785.
30. Marichal J.-L., Roubens M. Determination of weights of interacting criteria from a reference set // European Journal of Operational Research. 2000. No. 124. P. 641-650.
31. Kojadinovic I. Minimum variance capacity identification // European Journal of Operational Research. 2007. No. 177 (1). Р. 498-514.
32. Jaynes E.T. Information theory and statistical mechanics // Phys. Rev. 1957. No. 106. Р. 620-630.
References
1. Ashmanov I.S., Ivanov A.A. Prodvizhenie saita v poiskovykh sistemakh [Website promotion in search engine]. Moscow, Vil'yams Publ., 2007, 304 p. (In Russian)
2. Krug S. Kak sdelat' sait udobnym. Yuzabiliti po metodu Stiva Kru [How to make your site user-friendly. Usability by Steve Krug method]. St.-Petersburg, Piter Publ., 2010, 208 p. (In Russian)
3. Skott B., Neil T. Proektirovanie Veb-interfeisov [Web Interface Design]. St.-Petersburg, Simvol-Plyus Publ., 2010, 352 p. (In Russian)
4. Alfimtsev A., Sakulin S., Levanov A. Formalization of Expert Knowledge About the Usability of Web Pages Based on User Criteria Aggregation. International Journal of Software Innovation (IJSI). 2016, vol. 4, no. 3, pp. 38-50.
5. McDonald S., Edwards H.M., Zhao T. Exploring think-alouds in usability testing: An international survey. IEEE Transactions on Professional Communication. 2012, vol. 55, no. 1, pp. 2-19.
6. F0lstad A., Law E., Hornb^k K. Analysis in practical usability evaluation: a survey study. Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 2012, pp. 2127-2136.
7. Lee J. [et al.]. Factors affecting the perceived usability of the mobile Web portal services: comparing simplicity with consistency. Information Technology and Management. 2013, vol. 14, no. 1, pp. 43-57.
8. Mulen E. Kooperativnoe prinyatie reshenii: aksiomy i modeli [Cooperative decision making: axioms and models]. Mos-
cow, Mir Publ., 1991, 463 p. (In Russian)
9. Grabisch M. Fuzzy integral in multicriteria decision making. Fuzzy Sets and Systems - Special issue on fuzzy information processing. 1995, vol. 69, iss. 3, pp. 279-298.
10. Marichal J.-L. Aggregation Operators for Multicriteria Decision Aid. PhD in Sciences University of Liège, Liège, Belgium. 1998.
11. Beliakov G., Warren J. Appropriate Choice of Aggregation Operators in Fuzzy Decision Support Systems. IEEE Transaction on Fuzzy Systems. 2001, vol. 9, no. 6, pp. 773-784.
12. Sizov A.S., Khalin Yu.A., Tsepov A.Yu. Ispol'zovanie OWA operatora Yagera dlya integratsii dannykh na vkhode DSM sistemy otsenki riska investirovaniya malogo innovatsionnogo predpriyatiya [Integration of incoming data by using Yager's OWA operator to valuate investment appeal of a small innovation business with the use of DSM method]. Inno-vatsii v nauke [Innovation in science]. 2013, no. 24, pp. 67-74. (In Russian)
13. Lyakhov A.F., Trishin I.M. Komp'yuternoe modelirovanie povedeniya igroka v intellektual'noi kartochnoi igre s pomoshch'yu neironnoi seti [Computer modeling of the player behavior in the intelligent card game by means of neural networks]. Komp'yuternye instrumenty v obrazovanii [Computer tools in education]. 2013, no. 5, pp. 54-64. (In Russian)
14. Long J., Shelhamer E., Darrell T. Fully convolutional networks for semantic segmentation. Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2015, pp. 3431-3440.
15. Sainath T.N. [et al.]. Low-rank matrix factorization for deep neural network training with high-dimensional output targets. International Conference on Acoustics, Speech and Signal Processing. IEEE, 2013, pp. 6655-6659.
16. Oztekin A. [et al.]. A machine learning-based usability evaluation method for e-learning systems. Decision Support Systems. 2013, no. 56, pp. 63-73.
17. Shin D.H. Cross-Platform Users' Experiences Toward Designing Interusable Systems. International Journal of Human-Computer Interaction. 2016, no. 1, pp. 1-12.
18. Schmidhuber J. Deep learning in neural networks: An overview. Neural Networks. 2015, vol. 61, pp. 85-117.
19. Anastassiou G.A. Rate of convergence of some multivariate neural network operators to the unit, revisited. Journal of Computational Analysis & Applications. 2013, vol. 15, no. 1, pp. 1300-1309.
20. Srivastava N. [et al.]. Dropout: a simple way to prevent neural networks from overfitting. Journal of Machine Learning Research. 2014, vol. 15, no. 1, pp. 1929-1958.
21. Slanzi G., Balazs J.A., Velasquez J.D. Combining eye tracking, pupil dilation and EEG analysis for predicting web users click intention. Information Fusion. 2017, vol. 35, pp. 51-57.
22. Alfimtsev A.N. Nechetkoe agregirovanie mul'timodal'noi informatsii v intellektual'nom interfeise [Fuzzy aggregation of multi-modal information in an intelligent interface]. Programmnye produkty i sistemy [Software products and systems]. 2011, no. 3, pp. 44-48. (In Russian)
23. Akhaev A.V., Khodashinskii I.A., Anfilof'ev A.E. Metod vybora programmnogo produkta na osnove integrala Shoke i imperialisticheskogo algoritma [Method for software selection on the basis of Choquet integral and imperialist algorithm]. Doklady Tomskogo gosudarstvennogo universiteta sistem upravleniya i radioelektroniki [Proceedings of Tomsk State University of Control Systems and Radio Electronics]. 2014, no. 2, pp. 224-229. (In Russian)
24.Maksakov A.A., Sakulin S.A. Model' otsenki kachestva vnedreniya informatsionnoi sistemy na predpriyatii [Evaluation model for the quality of the enterprise information system's implementation]. Inzhenernyi zhurnal: nauka i innovatsii. El-ektronnoe nauchno-tekhnicheskoe izdanie [Engineering Journal: Science and Innovation. Electronic scientific and technical publication]. 2013, no. 11 (23). (In Russian) DOI: 10.18698/2308-6033-2013-11-1011
25. Mayag B., Grabisch M., Labreuche Ch. A representation of preferences by the Choquet integral with respect to a 2-additive capacity. Theory and Decision. 2011, vol. 71, pp. 297-324.
26. Grabisch M. A Graphical Interpretation of the Choquet Integral. IEEE Transactions on Fuzzy Systems. 2000, no. 8, pp. 627-631.
27. Wu J., Zhang Q. 2-order additive fuzzy measure identification method based on diamond pairwise comparison and maximum entropy principle. Fuzzy Optimization and Decision Making. Kluwer Academic Publishers. 2010, vol. 9, no. 4, pp. 435-453.
28. Sakulin S.A., Alfimtsev A.N. K voprosu o prakticheskom primenenii nechetkikh mer i integrala Shoke [To the Problem on Practical Application of Fuzzy Measures and Choquet Integral]. Vestnik MGTU im. N.E. Baumana. Ser. Priboro-stroenie [Proceedings of Bauman Moscow State Technical University. Instrumentation series.]. 2012, no. 4, pp. 55-63. (In Russian)
29. Grabisch M., Kojadinovic I., Meyer P. A review of methods for capacity identification in Choquet integral based multiattribute utility theory: Applications of the Kappalab R package. 2008, no. 2, pp. 766-785.
30. Marichal J.-L., Roubens M. Determination of weights of interacting criteria from a reference set. European Journal of Operational Research. 2000, no. 124, pp. 641-650.
31. Kojadinovic I. Minimum variance capacity identification. European Journal of Operational Research. 2007, no. 177 (1), pp. 498-514.
32. Jaynes E.T. Information theory and statistical mechanics. Phys. Rev. 1957, no. 106, pp. 620-630.
Критерии авторства
Сакулин С.А., Алфимцев А.Н. провели обзор и сравнительный анализ применения различных видов операторов агрегирования в области построения обобщенных оценок удобства веб-страниц и написали рукопись. Сакулин С.А., Алфимцев А.Н. имеют равные авторские права и несут равную ответственность за плагиат.
Authorship criteria
Sakulin S.A., Alfimtsev A.N. conducted a review and a comparative analysis of the use of different types of aggregation operators in the field of building generalized estimations of Web pages usability and wrote the manuscript. Sakulin S.A., Alfimtsev A.P. have equal author's rights and bear equal responsibility for plagiarism.
Конфликт интересов
Авторы заявляют об отсутствии конфликта интересов.
Conflict of interests
The authors declare that there is no conflict of interest regarding the publication of this article.
Статья поступила 08.11.2016 г. The article was received 8 November 2016
