Научная статья на тему 'Применение подхода fuzzy-DEMATEL при анализе проблем мобильных приложений'

Применение подхода fuzzy-DEMATEL при анализе проблем мобильных приложений Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
498
63
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
МОБИЛЬНЫЕ ПРИЛОЖЕНИЯ / МНОГОКРИТЕРИАЛЬНОЕ ПРИНЯТИЕ РЕШЕНИЙ / НЕЧЕТКИЙ ПОДХОД DEMATEL / MOBILE APP / APP ISSUES / MULTI-CRITERIA DECISION MAKING / FUZZY DEMATEL

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Панди Мамта, Литория Ратнеш, Панди Пратик

Растущая популярность смартфонов привела к появлению большого количества мобильных приложений. Мобильные приложения динамичны по своей природе, поэтому классические подходы к разработке для них не подходят. Индивидуальные потребности пользователей, новые технологии, необходимость снижать энергопотребление и многие другие факторы побуждают разработчиков поставлять на рынок все новые и новые приложения. Однако из-за отсутствия формальных и специализированных для данной области практик разработки с мобильными приложениями связано множество различных проблем. Наличие таких проблем отрицательно сказывается на качестве приложений и на их восприятии конечными пользователями. В этой статье рассматриваются пятнадцать различных проблем, связанных с мобильными приложениями. Мы применили метод fuzzy-DEMATEL для анализа таких критически важных факторов и выделили среди этих факторов группы в соответствии с причинно-следственными связями. Сначала группа экспертов оценивает непосредственные связи между существенными проблемами мобильных приложений. Результаты оценок представляются в виде треугольных нечётких чисел (triangular fuzzy numbers,TFN). На втором шаге в TFN преобразуются лингвистические термины. На третьем шаге при помощи методов DEMATEL выполняется причинно-следственная классификация проблем. Проблемы из группы причин идентифицируются как критически важные в области разработки мобильных приложений. Результаты исследования сравниваются с другими вариантами DEMATEL, такими как G-DEMATEL и E-DEMATEL. Результаты сравнения показывает, что fuzzy-DEMATEL является наиболее подходящим методом анализа взаимосвязей между различными проблемами мобильных приложений. Выводы, содержащиеся в этой работе, могут способствовать эффективной идентификации значимых проблем, на которых должны быть сфокусированы усилия специалистов и менеджеров проектов в индустрии мобильных приложений.

i Надоели баннеры? Вы всегда можете отключить рекламу.

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Панди Мамта, Литория Ратнеш, Панди Пратик

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

Application of Fuzzy DEMATEL approach in analyzing mobile application issues

In the current scenario, the popularity of smartphones has led to the emergence of an ample collection of mobile applications (apps). Mobile apps are dynamic in nature; therefore, classical software development approaches are not suitable. Individual needs of the customer, new technology, battery consumption, and many more issues force app developers regularly introduce new apps to the market. But due to the unavailability of any formal and customized practices of app development, various issues occur in mobile apps. These issues may adversely affect the application and user acceptance of the end product. In this paper, fifteen issues in mobile apps have been identified. Then we applied Fuzzy-DEMATEL (Decision Making Trial and Evaluation Laboratory) method to analyze the critical mobile issues (CMIs) and divide these issues into cause and effect groups. Firstly, multiple experts evaluate the direct relations of influential issues in mobile apps. The evaluation results are presented in triangular fuzzy numbers (TFN). Secondly, convert the linguistic terms into TFN. Thirdly, based on DEMATEL, the cause-effect classifications of issues are obtained. Finally, the issues in the cause category are identified as CMIs in mobile apps. The outcome of the research is compared with the other variants of DEMATEL like G-DEMATEL and E-DEMATEL and the comparative results suggest that fuzzy-DEMATEL is the most fitting method to analyze the interrelationship of different issues in mobile apps development. The outcome of this work definitely assists the mobile apps development industry to successful identification of the serious issues where professionals and project managers could really focus on.

Текст научной работы на тему «Применение подхода fuzzy-DEMATEL при анализе проблем мобильных приложений»

DOI: 10.15514/ISPRAS-2019-31(4)-5

Применение подхода Fuzzy-DEMATEL при анализе проблем мобильных приложений

М. Панди, ORCID: 0000-0002-4339-6565 <[email protected]> Р. Литория, ORCID: 0000-0002-7285-422X <[email protected]> П. Панди, ORCID: 0000-0001-5384-6606 <[email protected]> Инженерно-технологический университет Джайпи, Индия, 473226, Гуна, Рагхогарх, шоссе A-B

Аннотация. Растущая популярность смартфонов привела к появлению большого количества мобильных приложений. Мобильные приложения динамичны по своей природе, поэтому классические подходы к разработке для них не подходят. Индивидуальные потребности пользователей, новые технологии, необходимость снижать энергопотребление и многие другие факторы побуждают разработчиков поставлять на рынок все новые и новые приложения. Однако из-за отсутствия формальных и специализированных для данной области практик разработки с мобильными приложениями связано множество различных проблем. Наличие таких проблем отрицательно сказывается на качестве приложений и на их восприятии конечными пользователями. В этой статье рассматриваются пятнадцать различных проблем, связанных с мобильными приложениями. Мы применили метод fuzzy-DEMATEL для анализа таких критически важных факторов и выделили среди этих факторов группы в соответствии с причинно-следственными связями. Сначала группа экспертов оценивает непосредственные связи между существенными проблемами мобильных приложений. Результаты оценок представляются в виде треугольных нечётких чисел (triangular fuzzy numbers,TFN). На втором шаге в TFN преобразуются лингвистические термины. На третьем шаге при помощи методов DEMATEL выполняется причинно-следственная классификация проблем. Проблемы из группы причин идентифицируются как критически важные в области разработки мобильных приложений. Результаты исследования сравниваются с другими вариантами DEMATEL, такими как G-DEMATEL и E-DEMATEL. Результаты сравнения показывает, что fuzzy-DEMATEL является наиболее подходящим методом анализа взаимосвязей между различными проблемами мобильных приложений. Выводы, содержащиеся в этой работе, могут способствовать эффективной идентификации значимых проблем, на которых должны быть сфокусированы усилия специалистов и менеджеров проектов в индустрии мобильных приложений.

Ключевые слова: мобильные приложения; многокритериальное принятие решений; нечеткий подход DEMATEL

Для цитирования: Панди М., Литория Р., Панди П. Применение подхода Fuzzy-DEMATEL при анализе проблем мобильных приложений. Труды ИСП РАН, том 31, вып. 4, 2019 г., стр. 73-96. DOI: 10.15514/ISPRAS-2019-31(4)-5

Application of Fuzzy DEMATEL approach in analyzing mobile application issues

Mamta Pandey, ORCID: 0000-0002-4339-6565 <[email protected]> Ratnesh Litoriya, ORCID: 0000-0002-7285-422X <[email protected]> PrateekPandey, ORCID: 0000-0001-5384-6606 <[email protected]> Jaypee University of Engineering and Technology A-B Road, Raghogarh, Guna (M.P.), 473226, India

Abstract. In the current scenario, the popularity of smartphones has led to the emergence of an ample collection of mobile applications (apps). Mobile apps are dynamic in nature; therefore, classical software development approaches are not suitable. Individual needs of the customer, new technology, battery consumption, and many more issues force app developers regularly introduce new apps to the market. But due to the unavailability of any formal and customized practices of app development, various issues occur in mobile apps. These issues may adversely affect the application and user acceptance of the end product. In this paper, fifteen issues in mobile apps have been identified. Then we applied Fuzzy-DEMATEL (Decision Making Trial and Evaluation Laboratory) method to analyze the critical mobile issues (CMIs) and divide these issues into cause and effect groups. Firstly, multiple experts evaluate the direct relations of influential issues in mobile apps. The evaluation results are presented in triangular fuzzy numbers (TFN). Secondly, convert the linguistic terms into TFN. Thirdly, based on DEMATEL, the cause-effect classifications of issues are obtained. Finally, the issues in the cause category are identified as CMIs in mobile apps. The outcome of the research is compared with the other variants of DEMATEL like G-DEMATEL and E-DEMATEL and the comparative results suggest that fuzzy-DEMATEL is the most fitting method to analyze the interrelationship of different issues in mobile apps development. The outcome of this work definitely assists the mobile apps development industry to successful identification of the serious issues where professionals and project managers could really focus on.

Keywords: Mobile App; App Issues; Multi-Criteria Decision Making; Fuzzy-DEMATEL

For citation: Pandey M., Litoriya R., Pandey P. Application of Fuzzy DEMATEL approach in analyzing Mobile application issues. Trudy ISP RAN/Proc. ISP RAS, vol. 31, issue 4, 2019. pp. 73-96 (in Russian). DOI: 10.15514/ISPRAS-2019-31(4)-5

1. Введение

Под «приложением» будем далее понимать прикладное программное обеспечение (ПО), предназначенное для выполнения на портативных устройствах, таких как смартфоны, планшеты и т.п. [1]. Существуют различные бесплатные и платные каналы (Google Play Store, iTunes, Blackberry и др.) для скачивания приложений. Изначально области применения мобильных приложений были ограничены такими сферами, как предоставление информации и повышение продуктивности, например, калькулятор, календарь, электронная почта, контакты. Развитие технологий и растущие запросы пользователей привели к появлению новых категорий приложений, включая такие категории как образование, развлечения, мобильные игры и др.; в настоящее время насчитывается более 33 категорий мобильных приложений [2].

При наличии подключения к интернету приложения предоставляют информацию и контент подобно веб-сайтам, однако некоторые приложения предоставляют сервисы и в отсутствие подключения в интернету, что является одним из важнейших преимуществ мобильных приложений [3]. Ожидается, что, доход рынка мобильных приложений, благодаря их растущей популярности, к 2020 г. достигнет $188.2 миллиардов долларов [4]. Количество пользователей приложений и число скачиваний также увеличилось за последние годы, но при этом недостаточное внимание уделяется количеству удаляемых и некачественных приложений [1]. Наиболее частая причина удаления приложений - неудовлетворенность пользователей. Среди прочих причин можно выделить дефицит свободного места на устройстве и эпизодический характер потребностей в некоторых приложениях.

Мобильные приложения представляют вновь зарождающееся направление в области разработки ПО; однако, если для классического ПО существуют развитые технологии, то область мобильных приложений является относительно новой. По этой причине подходы, применяемые в сфере разработки классического ПО, могут оказаться неподходящими для создания мобильных приложений. Отсутствие формализованных подходов к разработке усугубляют ситуацию и порождает ряд проблем. Эти проблемы отражены в сообщениях пользователей соответствующих платформ. В ряде недавних работ некоторыми исследователями рассмотрены проблемы, отмеченные в отзывах пользователей, которые содержат ценную информацию, например, жалобы, связанные с функциональностью, вопросы защиты персональных данных, запросы на добавление дополнительных возможностей.

Но многие из этих работ, посвященных анализу приложений, не ориентированы на вопросы разработки ПО [5-7]. С другой стороны, выявление причинно-следственных связей между факторами, влияющими на рейтинг приложений, может дать неплохое представление об этой проблеме менеджерам проектов и помочь им в принятии обоснованных решений в условиях неопределенности. В данной статье для выявления причинно-следственных связей используется нечеткий метод DEMATEL (fuzzy-DEMATEL). Этот подход основан на экспертных заключениях.

Из-за ограниченных возможностей экспертов выражать свои суждения или решения количественным образом был применен лингвистический анализ экспертных оценок. С целью преодоления неоднозначности, свойственной лингвистическому анализу, был выбран метод fuzzy-DEMATEL для группового принятия решений. Он позволяет классифицировать факторы, влияющие на качество приложений, в причинно-следственные группы, чтобы помочь менеджерам проектов улучшить качество принимаемых решений. Подходы, основанные на fuzzy-DEMATEL, успешно применялись для решения сложных проблем группового принятия решений, включая стратегическое планирование, эволюцию рынка электронного обучения, исследования и разработки [8].

Согласно литературным источникам, ключевой проблемой является то, что связи между различными факторами в области разработки мобильных приложений недостаточно изучены. В данной работе метод DEMATEL и некоторые его варианты, такие как нечеткий (fuzzy-DEMATEL), «серый» (G-DEMATEL) и основанный на свидетельствах (E-DEMATEL), используются для оценок взаимосвязей между различными проблемами мобильных приложений. Данное исследование будет полезно различным организациям, занимающимся разработкой мобильных приложений. Результаты, полученные при помощи fuzzy-DEMATEL, превосходят результаты, полученные при помощи альтернативных методов. Метод fuzzy-DEMATEL включает восемь шагов. Сначала происходит сбор данных в лингвистической форме, после чего вычисляется матрица непосредственных связей. Результаты вычисляются в форме TFN (Triangular Fuzzy Number), и затем нечеткие значения конвертируются в точные при помощи дефаззификации. Затем при помощи DEMATEL производится классификация причинно-следственных проблем. В данной статье проблемы, относящиеся к категории причин, идентифицируются как критически важные (critical mobile issues, CMI).

Дальнейшее содержание статьи организовано следующим образом. В разд. 2 приводится обзор литературы по мобильным приложениям и связанным с ними вопросам. В разд. 3 описывается применяемая методология. Метод проведения экспериментального исследования описывается в разд. 4. В разд. 5 представлен процесс исследований. Результатам и следствиям посвящен разд. 6. В разд. 7 обсуждаются факторы, влияющие на достоверность результатов исследования. Раздел 8 содержит заключение и обсуждение направлений дальнейших исследований.

2. Обзор публикаций

Этот раздел, посвященный обзору литературы, разделен на два подраздела. В первом подразделе обсуждаются сценарии разработки мобильных приложений в индустрии ПО, позволяющие получить общее представление об этой области. Во втором подразделе рассмотрены работы, посвященные различным аспектам создания мобильных приложений. На основе обзора литературы, а также обсуждений с экспертами выявлены пятнадцать проблем, связанных с мобильными приложениями.

2.1 Программная инженерия и проблемы мобильных приложений

Процесс разработки мобильных приложений во многих отношениях подобен процессу разработки классического ПО, весьма изощренному и включающему различные макро- и микроитерации. Так или иначе, это процесс разработки ПО, и основные этапы те же самые -формулировка требований, проектирование, программирование, тестирование. Тем не менее, классические методики создания ПО не могут быть перенесены в сферу мобильных приложений без существенных изменений [9]. Между классическим ПО и мобильными приложениями имеется множество различий. Некоторые из наиболее важных различий рассмотрены в [10]:

a. мобильные приложения существенно компактнее классического ПО;

b. мобильные приложения могут быть значительно сложнее, в основном, из-за того, что в них активно используются библиотеки сторонних производителей;

c. в мобильных приложениях практически не используется наследование;

d. разработчики часто не поддерживают связь между файлом манифеста Android и исходным кодом;

e. руководства по разработке приложений зачастую игнорируются.

Важные изменения, произошедшие за последнее десятилетие, привели к появлению новых проблем, связанных с разнородностью устройств, растущей квалификацией пользователей, а также с такими общими вопросами, как безопасность, производительность, надежность и ограничения по памяти. Тем не менее, можно видеть, что к мобильным приложениям предъявляется ряд специфических требований, не характерных для классического ПО, таких как возможность взаимодействия с другими приложениями, сенсорное управление, разнообразие приложений, различия платформ, безопасность, специфические пользовательские интерфейсы, сложность тестирования, ограничения по энергопотреблению [11].

В этом разделе обсуждаются исследовательские работы, посвященные проблемам мобильных приложений.

2.2 Проблемы мобильных приложений

Разработка мобильных приложений по существу является частью дисциплины разработки ПО в целом. В контексте создания мобильных приложений на стадии проектирования требований особое значение придается прояснению формулировке требований [12]. Другие фазы проектирования требований практически остаются без изменений для мобильных приложений. Об этом можно судить, например, по работе Крюкова и Демичева [13], в которой представлен сравнительный обзор различных типов децентрализованных хранилищ данных.

Большая часть проблем, возникающих у пользователей, связана с интерфейсом приложений. Поэтому одним из важнейших вопросов при создании мобильного ПО является разработка пользовательского интерфейса. С разработкой интерфейса связан целый ряд проблем, обусловленных такими особенностями мобильных приложений, как сложности ввода данных, малый размер экрана и его низкое разрешение [14].

В существующей литературе из области разработки ПО не уделяется достаточного внимания вопросам качества мобильных приложений, методикам и особенностям разработки, а также специфическим формальным подходам. Например, тестирование мобильных приложений отличается от тестирования обычного ПО.

Однако разработчики применяют общие методы тестирования, не всегда приемлемые для мобильных приложений. В частности, об этом свидетельствуют следующие работы. Армена-Кано и др. [15] обращаются к энергозависимому онлайн-планированию рабочих мест с конфликтом ресурсов. Предложена и представлена оптимизационная модель для распределения ресурсов с концентрацией работы. Черных и др. представили исследование [16], посвященное роли неопределенности в ресурсах облачных вычислений и предоставлении услуг. В нем также говорится о снижении рисков потери информации, отказа в доступе, прерываний в соединениях и утечки информации.

В данной статье представлена структурированная методология анализа, основанная на групповой работе и коллективном принятии решений. Эта методология обеспечивает новое понимание проблемы за счет выявления связей между различными факторами, что позволяет лучше понять причинно-следственные отношения между этими факторами. В качестве технологий анализа мы применяем fuzzy-DEMATEL, а также другие варианты DEMATEL, такие как G-DEMATEL и Е-БЕМЛТЕЬ.

DEMATEL является испытанной методологией выявления связей между различными проблемами или факторами в определенном контексте. Этот метод применялся в различных отраслях экономики, таких как управление, проектирование в области механики, химии, разработка программного обеспечения [17]. До настоящего времени проводилось недостаточное число исследований по применению fuzzy-DEMATEL в области разработки мобильных приложений и связанных с этим проблем. Примеры применения методов DEMATEL в области разработки ПО представлены в табл. 1.

Табл. 1. Применение fuzzy-DEMATEL и DEMATEL в области программного обеспечения Table 1. Application of Fuzzy DEMATEL and DEMATEL in the software field

No. Авторы Факторы/Область Год

1. Goel S., Nagpal R., Mehrotra D. [181 Параметры удобства использования мобильных приложений. Взгляд изнутри 2017

2. Han W.M., Hsu C.H., Yeh C.Y. [191 Использование DEMATEL для анализа качественных характеристик мобильных приложений 2015

3. Sugiyanto S., Rochimah S. [20] Roy Bijoyeta, Misra S.K. et al. [21] Интеграция DEMATEL и ANP методы для вычисления веса характеристики программного обеспечения качества на основе модели ISO 9126. Комплексный подход DEMATEL и АНР для оценки персонала 2013 2012

4. Wu W.W., Lan L.W., Lee Y.T. [22] Изучение решающих факторов, влияющих на принятие организации SaaS: социологическое исследование 2011

Гойел, Нагпал и Мехротра [18] применили метод DEMATEL для исследования параметров удобства использования мобильных приложений и выявили взаимосвязи между этими параметрами.

Хан и другие в [19] провели исследование применимости метода DEMATEL для анализа характеристик качества мобильных приложений Основываясь на изучении литературы, они выделили восемь таких характеристик. Они применили вектора значимости и относительные векторы для разбиения характеристик качества на две группы, аналогичные группам причин и следствий. Результаты работы полезны для выявления характеристик качества, оказывающих наибольшее влияние или наиболее зависимых.

Суджиянто и Рошимах [20] интегрировали методы DEMATEL и ANP (Analytic Network Processes) для вычисления весов характеристик качества на основе модели ISO-9126. Результаты оказались полезными для уточнения весов тех подхарактеристик по ISO-9126, которые представляют уровни значимости характеристик и подхарактеристик. Рой Биджайета, Мисра С.К. и др. [21] рассмотрели различные критерии, такие как опыт, технические навыки и т.п., которые могут потребоваться в различных проектах по разработке ПО, а затем для оценки причинно-следственных связей между критериями и выбором наилучшего критерия применили методологии DEMATEL и AHP.

Ву В.В., Лан Л.В. и Ли Й.Т. [22] использовали DEMATEL для анализа различных проблем в SAAS (Software As A Service). Результаты их исследований могут стать для поставщиков такого ПО ключом к разработке более эффективных маркетинговых стратегий с целью продвижения бизнеса SaaS.

Наш анализ показывает, что разработка мобильных приложений является относительно новой областью по сравнению с другими формами ПО, такими как классическое ПО или веб-приложения. Качество приложения определяется количеством имеющихся в нем дефектов. Чем меньше дефектов, тем выше качество приложения. Выше мы рассмотрели применение методологии fuzzy-DEMATEL в различных областях и показали, что этот метод хорошо подходит для выявления взаимосвязей между различными проблемами, связанными с мобильными приложениями.

3. Методология

Анализ дефектов мобильных приложений является сложной проблемой, поскольку между этими дефектами существует множество взаимосвязей. Поэтому для анализа дефектов мобильных приложений необходима изощренная многокритериальная методика принятия решений (multi-criteria decision-making, MCDM), позволяющая учитывать конфликтующие цели и компромиссы. Среди различных методик MCDM для проведения исследований наиболее широко применяются интерпретационное структурное моделирование (interpretive structural modeling, ISM) и метод анализа иерархий (analytical hierarchy process, AHP). Методика DEMATEL превосходит другие многокритериальные методики принятия решений, такие как ISM и AHP, поскольку она позволяет оценить общую степень влияния различных факторов или проблем, выделить причинно-следственные группы и установить причинно-следственные связи [23, 24]. Применение нечеткости в DEMATEL позволяет использовать неточную информацию, которая типична для человеческих суждений. Нечеткий метод DEMATEL использовался в различных областях, таких как управление, информационные технологии, производство [25-27]. В этой статье fuzzy-DEMATEL применяется к анализу проблем разработки мобильных приложений. Мы представим методологию оценки факторов, определяющих успех или неуспех в разработке мобильного приложения. Методология включает следующие четыре шага.

• Сбор данных (Acquisition, A). Для выявления областей, в которых возможно совершенствование, необходимо собрать данные, касающиеся пользовательского опыта, чтобы можно было применить различные количественные и качественные операции для уточнения деталей.

• Идентификация (Identification, ID). Информация, собранная на шаге A, важна для выявления потенциальных проблем, препятствующих созданию успешного мобильного приложения. Исходя из характера полученной информации, проводится количественный и качественный анализ данных. Возможно также преобразование качественных данных в количественные и обратно.

• Анализ взаимосвязей (Relationship Analysis, RA). Число проблем, выделенных на шаге ID, может варьироваться в диапазоне от нескольких единиц до очень больших значений. Мы полагаем, что ни одна из проблем не существует сама по себе, вне связи с другими.

Иначе говоря, каждая проблема может влиять на другие или зависеть от других проблем. Таким образом, важно проанализировать взаимосвязи между проблемами. • Интерпретация (Interpretation, I). На этом шаге выполняется интерпретация результатов анализа, проведенного на шаге RA.

4. Эксперименты

Для проведения экспериментов, описываемых в этом разделе, применялась методология, описанная в разд. 3.

4.1 Сбор данных и обработка текстовой информации

Мы собрали отзывы о мобильных приложениях от различных пользовательских сообществ, соответствующих различным приложениям. Всего было собрано около 115000 пользовательских отзывов по 31-й категории мобильных приложений, включая такие, как социальные сети, фотография, персонализация. После стадии отбора примерно 40% от общего числа отзывов было признано информативными. Таким образом, для дальнейшего анализа было доступно примерно 45000 обзоров. Затем мы провели обработку текста по некоторым отобранным ключевым словам, используя инструмент прослушивания социальных сетей (social media listening tool) Radian 6, чтобы выявить различные типы пользовательских претензий для разных категорий мобильных приложений. После этого мы кластеризовали близкие по смыслу претензии, чтобы выделить существенные проблемы (дефекты). Ниже приведены детализация примененного похода, а также использованные источники информации и инструменты обработки текста.

i. Сбор отзывов: отзывы были собраны из различных магазинов приложений (Google Play Store, BlackBerry App Store и т.п.).

ii. Фильтрация не английских слов и сленга: были удалены такие слова как "Kool", "nhi" и т.п.

iii. Обработка текстов: для обработки текстов обзоров были применены приложения POS tagger, word2vec. Например, после фильтрации и обработки были выявлены часто встречающиеся слова battery, slow, login, heat и т.д.

4.2 Идентификация проблем

После кластеризации мы заметили, что каждое такое слово можно отнести к одному из 15 типов проблем, перечисленных в табл. 2. Например, слово request (запрос) предполагает отсутствие некоторой возможности (запрос дополнительной возможности); аналогично, слово drain (разрядка) относится к проблеме энергопотребления. Эти типы проблем согласуются с существующими исследованиями в области разработки мобильных приложений [28, 29].

4.3 Анализ связей между проблемами

Проблемы обычно не возникают изолированно друг от друга; наличие одной проблемы оказывает влияние на другие. Практически невозможно создать приложение, не имеющее ошибок или дефектов. Чтобы создать успешное приложение, необходим некий компромисс, определяемый в зависимости от типа приложения и желаемых целей. Поэтому необходимо понимать взаимосвязи между различными типами проблем.

Метод fuzzy-DEMATEL представляет собой основанный на экспертных заключениях подход к выявлению проблем и других факторов, влияющих на качество систем [8]. Для анализа взаимных влияний различных факторов мы применяем восьмиэтапный подход DEMATEL. Самый первый шаг, рассмотренный ранее в подразделе 4.2, предназначен для идентификации проблем; однако выявленные нами проблемы, как оказалось, соответствуют тем, которые уже

79

были выявлены ранее в различных исследованиях и представлены в табл. 2 вместе со ссылками на соответствующие источники. Мы применили метод fuzzy-DEMATEL к анализу проблем, связанных с мобильными приложениями, и сравнили результат с другими вариантами - G-DEMATEL и E-DEMATEL. Fuzzy-DEMATEL, G-DEMATEL, и E-DEMATEL описаны в подразделах 4.4, 4.5 и 4.6 соответственно. Применение fuzzy-DEMATEL к выявленным проблемам продемонстрировано в подразделе 5.1.

Табл. 2 Перечень проблем мобильных приложений Table 2. List of mobile app issues

Проблема Описание Ссылка

Дополнительные расходы (И) Пользователи жалуются на скрытые расходы, требуемые для получения доступа ко всем функциям приложения [30]

Функциональная жалоба (12) Возникновение неожиданного поведения или сбоя приложения [31]

Жалобы на содержание (13) Конкретный контент непригляден или отсутствует [32]

Сбои (14) Приложение часто аварийно завершается [33-34]

Запрос на удаление функции (К) Одна или несколько конкретных функций разрушают приложение [28]

Запрос на добавление функции (16) В приложении необходимо добавить функции [35]

Проблема совместимости (17) У приложения имеются проблемы на конкретном устройстве или версии ОС [36]

Проблемы при установке (18) Сбой происходит в процессе установки [28]

Проблемы подключения к сети (19) У приложения имеются проблемы подключения к сети, например, возникает отставание сети (network lag) [37-38]

Большой расход ресурсов (П0) Приложение потребляет слишком электропитания или памяти [39-42]

Время отклика (111) Приложение медленно реагирует на ввод или отстает в целом [43-45]

Трафик (112) Приложение потребляет больше сетевого трафика, чем ожидает пользователь [46]

Проблема обновлений (П3) Пользователи считают, что обновления приводят к появлению новых проблем [47-48]

Пользовательский интерфейс (П4) Пользователи жалуется на дизайн, элементы управления или визуализацию [49-50]

Жалоба на безопасность (115) Приложение угрожает безопасности собственности пользователя [51]

4.4 Fuzzy-DEMATEL

Человеческие суждения обычно предвзяты и неточны из-за неполноты информации. Нечеткая теория (fuzzy theory) помогает разрешать затруднения, связанные с неопределенностью, такие как неполнота информации и использование человеческих суждений [52-53]. Нечеткая теория позволяет получать значимые результаты на основе небольших объемов данных. Процесс принятия решений может комбинироваться с применением нечеткой теории, и этот подход используется в ряде областей, таких как управление, выбор производственно-сбытовой цепи [54], индустрия информационных технологий [55]. Применение нечеткой логики для обработки экспертных суждений по крайней мере частично решает проблему неопределенности.

В реальной жизни эксперты часто строят свои заключения, опираясь на имеющийся у них опыт и существующую практику. Экспертные оценки обычно формулируются с использованием лингвистически неоднозначной терминологии [56]. Хороший способ совместить различные взгляды, предположения, мотивы и идеи различных экспертов заключается в том, чтобы преобразовать эти оценки из лингвистической формы в форму нечетких чисел. Таким образом, для исследования сложных дилемм принятия решений в реальном мире в условиях неопределенного окружения может оказаться полезным сочетание нечеткой логики и метода DEMATEL. Этот подход применялся к решению различных проблем исследований и разработок на базе группового принятия решений [8]. Как упоминалось выше, в области создания мобильных приложений было выявлено пятнадцать проблем. Чтобы выявить среди этих проблем группы причин и следствий, был применен метод fuzzy-DEMATEL, являющийся расширением обычного метода DEMATEL.

4.5 Grey DEMATEL (G-DEMATEL)

Grey DEMATEL представляет собой комбинацию теории серых систем (grey system theory) и DEMATEL. Денг предложил математическую теорию серых систем, основанную на понятии серых чисел [57]. Человеческим суждениям свойственна неоднозначность, и серые системы позволяют работать с этими неоднозначностями. Проблемы, связанные с неопределенностью, неточностью и неоднозначностью, могут решаться при помощи серых систем, в особенности в ситуациях многокритериального принятия решений [58]. Серые числа могут быть трансформированы в точные при помощи модифицированного метода преобразования нечетких данных CFCS (Converting Fuzzy data into Crisp Scores).

Серое число обозначается как ®Х. Если X - верхняя граница серого числа ®Х, а X - его нижняя граница, то

®х = \Х,~Х]. (1)

Пусть ®Xfj - это серое значение оценки эксперта к, который определяет влияние фактора i

на фактор ]'. Пусть Xу и Xу - нижнее и верхнее значения серого числа соответственно.

Для получения обычного количественного значения (crisp value) требуются следующие действия:

1) нормализация

— ХУ - minXi

ХУ =-Ы._' ij (2)

ij \тах ' v'

^min

ХУ - mimXy к ij j Xij лтах , --^ min

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

2) вычисление совокупного нормализованного обычного значения

x?j(i-x?j)+XijxXij

Yij = =-~ т--(4)

1-Xv+Xij

3) вычисление окончательного обычного значения

zy = mimXb + Yy.rnax (5)

J J_L ij ^ min

4.6 Evidental DEMATEL (E-DEMATEL)

E-DEMATEL это комбинация теории D-чисел и DEMATEL. Теория D-чисел является обобщением теории свидетельств (evidence theory), или теории Демпстера-Шафера

(Dempster-Shafer theory, DST), и этот подход широко применяется для оценки лингвистических данных [59].

Эта теория способствует обработке неточной и недостоверной информации путем присваивания вероятности не отдельным объектам, а подмножествам из более чем одного элемента с последующим применением методов теории вероятностей. Наиболее сложным понятием теории DST являются правила комбинирования, при помощи которых может быть объединена информация из нескольких источников. Этот метод широко применяется во многих областях, таких как объединение информации (information fusion) [60], анализ рисков [61], выбор поставщиков [62], многокритериальное принятие решений [63], задача классификации [64], меры неопределенности [65] и управление конфликтами [66]. Ниже приведено краткое описание этой теории. Пусть П - непустое конечное множество элементов (01,02,03 .. всех подмножеств Л:

2й = ( 0, (01), ( 02],... ( 0п], ( 01,02],... ( 01,02,. Полное и пустое множество обозначены здесь через П и 0 соответственно. В DST используется понятие присваивания базовых вероятностей (basic probability assignment, BPA) - отображение m: ^ [0,1], удовлетворяющее следующим условиям:

У ш(л) = 1, (6)

¿—'АаП

ш(0) = 0. (7)

Условием фокальности элемента А является т(Д) >0, и набор всех фокальных элементов называется доказательной базой (Body Of Evidence, BOF). Когда доступно несколько независимых BOE, для получения объединенного доказательства используется правило комбинирования Демпстера:

,Ccí2,BnC=A Ш1

0п]. Пусть 2й - множество .,0п],...,Л ].

ш(Л) = :

(8)

1 -К

где ИВпс=0ш1(£)ш2(С) - мера конфликта. Если ^ < 1, то правило комбинации значимо, иначе оно бессмысленно.

5. Процесс исследований

Общий ход нашей работы разделен на восемь шагов, которые показаны на рис. 1 и поясняются далее.

Рис. 1. Предлагаемая схема нашего научного исследования Fig. 1. Proposed framework of our research study

Рис 2. Треугольное нечеткое число z Fig. 2. A triangular fuzzy number z

Табл. 3. Представление лингвистического термина и лингвистических значений Table 3. Representation of linguistic term and linguistic values

Лингвистические Лингвистические

термины значения

Very High ifluence (VH), (0.75, 1, 1)

High ifluence (Н) (0.5, 0.75, 1)

Low ifluence (L) (0.25,0.5,0.75)

Very Low ifluence (VL) (0, 0.25, 0.5)

No ifluence (No) (0, 0, 0.25)

Рис. 3. Представление треугольных нечетких чисел для лингвистических переменных Fig. 3. Representation of triangular fuzzy numbers in for linguistic variables

Шаг 1: Формирование группы компетентных лиц, принимающих решения, которые имеют опыт решения проблем мобильных приложений.

Группа состоит из 10 экспертов, включающих консультанта в проекте по разработке программного обеспечения, менеджера проекта, старшего разработчика программного обеспечения и т.д. Все имеют техническое образование и большой опыт. В настоящее время все эксперты работают над проектами по разработке мобильных приложений. Группе экспертов предоставляется список вопросов, ответы на которые используются в данном исследовании.

Шаг 2: Построение критериев оценки и разработка нечеткой лингвистической шкалы. На этом этапе мы определяем различные критерии и степени относительной значимости каждой проблемы, а также представляем их в лингвистических классификационных терминах: very high, high, low, very low и no influence. Ответы экспертов, преобразованные в нечеткие числа с использованием размытой шкалы, представлены в табл. 3. Использовались треугольные нечеткие числа; треугольное нечеткое число z определяется следующим

83

образом: z=(7,m, u), где Z, ши и действительные числа и I < т < и. Функция принадлежности ^ определяется так:

х — I

^со = <

т — I и — х

при Z < х < ш при ш < х < и

и — ш

^0 во всех остальных случаях Графическое представление треугольного нечеткого числа приведено на рис. 2. Определение лингвистических терминов и лингвистических значений дано в табл. 3. Связи, представленные в форме треугольных нечетких чисел, показаны на рис. 3. Шаг 3: Составление суждений экспертов, принимающих решения.

Мера связи между различными проблемами сравнивалась в терминах лингвистических значений. Сформируем нечеткие матрицы ...,5^. Треугольные нечеткие числа были

сгенерированы в соответствии с суждениями экспертов, участвовавших в принятии решений. Начальную прямую матрицу будем называть нечеткой матрицей г*0.

7к =

0

z(fc) й12

0

LZ(fc)

7(fc) 'in

Jfc)

где к = 1,2,3,... ,р; z,

(fc) _ (,№) „,№) „№)

'7

'7

,mi/,U

Без ограничения общности гг) ([ = 1,2...п) будет рассматриваться как треугольное

нечеткое число г = (0,0,0), когда это необходимо.

Шаг 4. Анализ нормализованной нечеткой матрицы прямых связей.

Пусть

rfc = max^

и

(10)

Для преобразования шкалы критериев в шкалу сопоставимых значений использовано линейное преобразование, и нормализованная нечеткая матрица прямых связей, полученная из экспертных оценок, представляется следующим образом:

(11)

где к = 1,2,3 ... р;

(fc) У (fc) У (fc) X Л1п

у ' У 22 ') X2n

у ' Xn2 ...... X ЛПП

Zt7 _ /j(fc) (fc) /г(7 Ш(7 (fc)\

rfc 1 ^ fc ^ fc rfc 1

(12)

Подобно тому, как это принято в обычном методе DEMATEL, мы считаем, что имеется по крайней мере одно значение I такое, что < £

^=1'

X обозначает среднюю точку зрения всех лиц, участвовавших в принятии решений:

21

0

fc

Ч

X

'7

х = -

X1 +х2 + — + хР

V

X =

Хц

%21

1

%12 %22

Хх ••

X

(13)

(14)

У11 х" yk=ixi]

где X =

1 р

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Шаг 5: Для вычисления общей нечеткой матрицы связей Т была введена и проанализирована структурная модель. Известно, что = в, где в - нулевая матрица. Кроме того,

известно, что + X + X2 ... + Хш) = — X) . Оба эти соотношения доказаны в

[8]. Последняя матрица и является общей нечеткой матрицей связей Т. Шаг 6: Вычисляется общая матрица связей Т. Также вычисляются вектора значимости и относительного положения.

Шаг 7: На этом шаге все нечеткие числа переводятся в точные значения. Для этого используется следующий вариант метода СБС8. Пусть имеются треугольные нечеткие числа Ык = (1к,тк,ик); к = 1,2, ...,п. Пусть Ь = тт(1к),Я = тах(ик),А= И — Ь. Тогда обычное значение Ык вычисляется по следующей формуле:

N^ef = L +Ах

(тк -Ь)(А + ик- mk)2(R - lk) + (ик - Ь)2(А + тк- lk)2 (А + тк- 1к)(А + ик- mk)2(R - lk) + (ик - Ь)(А + тк- 1к)2(А + ик- тк)

. (15)

Шаг 8: Наконец, по результатам вычислений шага 7 выводятся диаграммы причин и следствий.

5.1 Применение fuzzy-DEMATEL к анализу проблем мобильных приложений

Теперь применим шаги описанной процедуры к анализу взаимосвязей между различными проблемами мобильных приложений.

Шаг 1: Выбор группы экспертов в области разработке мобильных приложений, включая разработчиков, менеджеров проектов и т. д.

Шаг 2: Построение критериев оценки и разработка нечеткой лингвистической шкалы. На этом этапе разная степень влияния одного фактора на другую проблему представлена в форме пяти лингвистических терминов: very high, high, low, very low и no influence; соответствующие треугольные нечеткие числа показаны в табл. 3 и на рис. 3. Оценка по мнению первого эксперта в форме языковых терминов показана в таблице 4. Шаг 3: Получение экспертных оценок от членов группы.

Измерение взаимосвязей между различными проблемами /¿||i = 1,2,...,15, число лиц, участвующих в принятии решений - 10. Итого , получено 10 нечетких метрик zk и соответствующих матриц нечетких треугольных чисел.

Шаг 4: На этом шаге строится нормализованная нечеткая матрица прямых связей. Каждая нечеткая матрица прямых связей хк вычисляется с использованием нечетких треугольных чисел Zy из матрицы zk на основе соотношений (10) и (11). Суммарная нормализованная нечеткая матрица прямых связей X рассчитывается на основе соотношений (12) и (13). Шаг 5: Вычисляется общая нечеткая матрица связей Т.

Шаг 6: На этом шаге вычисляются сумма строк и сумма столбцов общей матрицы связей Г. Сумма строк обозначается через а сумма столбцов через В табл. 5 показаны результаты для (Д + Д.) и (Д - Я,).

Шаг 7: Теперь, в соответствии с формулой (15) выполняется процесс дефаззификации для векторов значимости и относительного положения. Преобразование дефаззификации показано в табл. 6, а связи между различными проблемами показаны ниже в виде диаграммы на рис. 4.

Табл. 4. Прямое влияние каждой проблемы на другие проблемы: оценка первого эксперта в форме лингвистических терминов

Table 4. Direct influence of each issue on the other issues: The assessment of the first expert opinion by linguistic term

Mobile app issues I1 I2 I3 I4 I5 I6 I7

I1 NO NO L NO VH VL L

I2 NO NO VL H VL NO VL

I3 NO L NO H VL NO VL

I4 NO L L NO NO H H

I5 VH H L L NO H H

I6 VH L H L NO NO H

I7 L L NO L L L NO

I8 NO L NO VL NO NO NO

I9 NO L NO L NO NO L

I10 H NO H NO VH L L

I11 NO H H VH H H L

I12 VL VL NO H H L H

I13 NO VL VL NO NO NO L

I14 NO NO L NO L NO VL

I15 H NO NO NO VL H VL

Mobile app issues I8 I9 I10 I11 I12 I13 I14 I15

I1 NO NO NO NO NO NO NO NO

I2 VH L NO L L NO NO NO

I3 VH L NO L L NO NO NO

I4 VL NO VL VL L L VL NO

I5 NO NO VH L VL VL L L

I6 NO NO VH VH L L NO L

I7 NO L L L NO VH L L

I8 NO H VH NO L H NO NO

I9 L NO VH VH VH VH NO NO

I10 VL NO NO NO H VH L NO

I11 VL VH VH NO VH VH H L

I12 L VH VH VH NO NO NO L

I13 VL NO VH L NO NO NO NO

I14 NO NO H H L NO NO NO

I15 NO NO VH VH H NO VH NO

Табл. 5. Суммарные значения Ьг, Rv вектор значимости и вектор относительного положения Table 5. The total amounts of Dt, Rv prominence and relative vectors

Mobile app issues Dt X Prominence Vector (X + X) Relative Vector (X - Iх,) (positive side) Relative Vector -(X-X) (negative side)

I1 (.527,.764,1.59) (.839,.462,.421) (.366,1.22,2.011) (.312,.302,1. 169) (.312,.302,1. 169)

I2 (.287,.456,1.739) (.301,.6,.935) (.588,1.056,2.674) (-.023, .144,. 804) (.023,.144,-.804)

I3 (.438,.71,1.274) (.285,1.07,1.163) (.723,1.78, 2.473) (. 153,-.36, .111) (-.153,.36,-.111)

I4 (.768,1.476,.27) (.423,.305,.743) (1.191,1.78,.97) (.345,1.171,.516) (.345,1.171,.516)

I5 (.508,.766,.15) (.417,.541,.456) (.925,1.307,.607) (.091,.225,-.305) (-.091,.225,.305)

I6 (.516,. 865,2.13) (.381,.403,.322) (.897,1.268,2.45) (.135,.462,1.808) (.135,.462,1.808)

I7 (.447,.256,.319) (.418,.265,.322) (.865,.521,.641) (.029,.009,.003) (-.029,.009,.003)

I8 (.675,.543,1.25) (.454,.438,.459) (1.129,.981,1.709) (.221,.105,.791) (-.221,. 105,.791)

I9 (.813,.735,.359) (1.203,.684,.92) (2.016,1.419,1.279) (-.39,.051,-.561) (.39,-.051,.561)

I10 (.412,.761,.352) (.91,.748,1.466) (1.322,1.509,1.818) (.498,.013,1.114) (.498,.013,1.114)

I11 (.612,.413,.521) (.268,.435,.431) (.88,.848,.952) (.344,-.022,.09) (-.344,.022,-.09)

I12 (.517,.652,1.29) (.401,.499,.546) (.918,1.151,1.836) (.116,.153,.744) (-.116,.153,.744)

I13 (.378,.376,2.58) (.463,1.093,1.44) (.841,1.46,4.022) (.085,.726,1.138) (.085,.726,1.138)

I14 (.329,.673,.557) (1.087,.827,1.23) (1.156,1.5,1.787) (.416,1.5,1.787) (-.416,1.5,1.787)

I15 (.218,.564,1.32) (1.344,2.158,3.52) (.562,2.722,4.84) (-.126,1.594,2.2) (.126,1.594,2.2)

Табл. 6. Результат дефаззификации векторов значимости и относительного положения Table 6. The defuzzification of prominence and relative vector

Mobile app issues Prominence Vector Relative Vector (XXl-iXl)def

I1 2.12 -0.5

I2 3.10 2.98

I3 2.81 -0.7

I4 1.61 -1.2

I5 1.68 -1.0

I6 2.81 2.75

I7 2.64 -0.97

I8 1.91 -0.68

I9 2.40 2.71

I10 2.19 2.29

I11 1.35 -0.62

I12 1.41 -0.5

I13 2.10 2.2

I14 2.23 2.6

I15 1.69 2.19

Табл. 7(а). Рейтинги причинно-следственных проблем Table 7(a). Rank factors of cause and effect issues

Категория Проблема Ранг

Причина 12 Возникновение неожиданного поведения или сбоя приложения 2.98

16 В приложении необходимо добавить функции 2.75

19 У приложения имеются проблемы подключения к сети, например, возникает отставание сети 2.71

114 Пользователи жалуются на дизайн, элементы управления или визуализацию 2.6

110 Приложение потребляет слишком электропитания или памяти 2.29

113 Пользователи считают, что обновления приводят к появлению новых проблем 2.2

115 Приложение угрожает безопасности собственности пользователя 2.19

Следствие 11 Пользователи жалуются на скрытые расходы, требуемые для получения доступа ко всем функциям приложения -0.5

112 Приложение потребляет больше сетевого трафика, чем ожидает пользователь -0.5

111 Приложение медленно реагирует на ввод или отстает в целом -0.62

18 Сбой происходит в процессе установки -0.68

13 Конкретный контент непригляден или отсутствует -0.7

17 У приложения имеются проблемы на конкретном устройстве или версии ОС -0.97

15 Одна или несколько конкретных функций разрушают приложение -1.0

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

14 Приложение часто аварийно завершается -1.2

Табл. 7(b). Причинно-следственная классификация и ранжирование проблем с использованием fuzzy-DEMATEL, G-DEMATEL и E-DEMATEL

Table 7(b). Cause-effect classification and ranking of issues using fuzzy-DEMATEL, G-DEMATEL and E-DEMATEL

Категория Проблемы с мобильным приложением и рейтинг

fuzzy-DEMATEL G-DEMATEL E-DEMATEL

Причина I2 I2 I2

1б I6 I6

I9 I9 I9

I14 I14 I14

I10 I10 I10

I13 I13 I13

I15 I15 I15

Следствие I1 I1 I7

I12 I12 I8

I11 I11 I1

I8 I8 I11

I3 I3 I3

I7 I7 I12

I5 I5 I5

I4 I4 I4

5.2 Оценка

Оценка результатов была выполнена на основе абсолютного среднего отклонения (mean absolute error, MAE); это обеспечивает количественную оценку сходства важности проблем на основе векторов значимости и относительного положения. MAE позволяет учитывать неопределенность и нечеткость данных и вычисляется следующим образом:

N

МЛ^1^'-^, (16)

¿=1

где N - число влияющих проблем, V' обозначает значение положительной стороны проблемы i, V' - значение отрицательной стороны проблемы i. Значения MAE для проблем, вычисленное с положительной и отрицательной стороны, представлено в табл. 8.

Табл. 8. MAE важности проблемы, вычисленная с положительной и отрицательной стороны Table 8. The MAE of issue importance calculated from positive side and negative side

G-DEMATEL E-DEMATEL fuzzy-DEMATEL

MAE 0.28 0.33 0.14

Меньшие значения MAE указывают на то, что важность проблем, вычисленная с положительной и отрицательной стороны, лучше соответствуют реальности. По этим оценкам fuzzy-DEMATEL оказывается более разумным подходом, чем G-DEMATEL и E-DEMATEL с точки зрения выявления связей между проблемами мобильных приложений, являющимися причинами и следствиями.

Одним словом, по сравнению с большинством существующих методов fuzzy-DEMATEL в большей степени обладает возможностью способствовать улучшению качества мобильных приложений. В сравнении с G-DEMATEL и E-DEMATEL, fuzzy-DEMATEL лучше справляется с проблемами субъективности оценок в лингвистической форме и более приспособлен для выявления CMI в мобильных приложениях, так как этот процесс по своей сути связан с обработкой лингвистических оценок.

5.3 Сравнительный анализ нашего метода и других вариантов метода DEMATEL

В обзоре существующей литературы (разд. 2) показано, что существует целый ряд методов для анализа проблем мобильных приложений. Тем не менее, лишь немногие из них принимают во внимание связи между проблемами мобильных приложений и позволяют формулировать критерии для оптимального выбора проблем, которые необходимо решать. В сравнении с другими существующими методами, fuzzy-DEMATEL позволяет идентифицировать проблемы мобильных приложений и получать общее связи ними. На основе fuzzy-DEMATEL можно существенно упростить процесс оптимизации мобильного приложения, рассматривая его как процесс оптимизации отдельных проблемных ситуаций.

Табл. 9. Сравнение G-DEMATEL, E-DEMATEL и нечеткого DEMATEL (F-DEMATEL) при проведении лингвистических оценок

Table 9. Comparison of G-DEMATEL, E-DEMATEL and fuzzy DEMATEL in the linguistic assessment

G-DEMATEL E-DEMATEL fuzzy--DEMATEL

Нечеткость лингвистической шкалы X ✓ ✓

Субъективность экспертной оценки ✓ ✓ X

«х» означает, что метод не предусматривает возможности решать проблему, «✓» означает, что метод может решить проблему

Был также проведен сравнительный анализ методов G-DEMATEL, E-DEMATEL и fuzzy-DEMATEL, результаты которого представлены в табл. 9.

• Fuzzy-DEMATEL в сравнении с G-DEMATEL: Нечеткие системы идеально подходят для описания лингвистических явлений, в то время как в «серой» системе возможны неверное понимание или неправильная интерпретация.

• Нечеткий DEMATEL в сравнении с E-DEMATEL: Хотя оба метода позволяют работать в условиях субъективности экспертных оценок, теория свидетельств не очень хорошо подходит для оценок в лингвистической форме из-за наличия гипотезы о том, что все элементы области суждений должны быть взаимно исключающими.

Таким образом, в сравнении с G-DEMATEL и E-DEMATEL, fuzzy-DEMATEL является более подходящим методом для идентификации проблем мобильных приложений, поскольку этот процесс существенно основан на оценках, представленных в лингвистической форме. Классификация проблем, являющихся причинами и следствиями, в соответствии с оценками по методам fuzzy-DEMATEL, G-DEMATEL и E-DEMATEL, представлена в табл. 7 (a) и (b). Из этих таблиц можно видеть, что CMI, идентифицированные при помощи fuzzy-DEMATEL, G-DEMATEL и E-DEMATEL одни и те же и включают I2, 1б, I9, I14, I10, I13 и I15.

Табл. 10. Попарное сравнение рейтинга сходства G-DEMATEL, E-DEMATEL и F-DEMATEL с использованием коэффициента корреляции Спирмена

Table 10. Pair-wise comparison of the importance of G-DEMATEL, E-DEMATEL, and F-DEMATEL using the Spearman correlation coefficient

G-DEMATEL E-DEMATEL fuzzy--DEMATEL

G-DEMATEL 1 0.7808 0.8083

E-DEMATEL 0.7608 1 0.7435

fuzzy--DEMATEL 0.8964 0.8709 1

Кроме того, для того чтобы точно отразить соответствие векторов значимости и относительного положения, полученных при помощи этих методов, в табл. 10 представлены коэффициенты корреляции Спирмена (Spearman correlation coefficient), вычисленные для каждой пары методов. Таблица показывает, что рейтинг сходства для fuzzy-DEMATEL выше, чем для двух остальных методов, поскольку более высокое значение коэффициента корреляции Спирмена означает более высокий рейтинг сходства.

6. Результаты и следствия

Результаты этого анализа показывают наличие сложных взаимозависимостей между различными проблемами и сложность мобильных приложений. Эти результаты также показывают, что различные виды проблем могут быть охарактеризованы как причины и следствия на основе исследования их влияния и чувствительности к влиянию других проблем. Разработчик мобильного приложения может использовать эти результаты, чтобы решить, какие проблемы требуют безотлагательного внимания, а какие могут и подождать. Результаты анализа могут быть критически важны для повышения качества мобильных приложений и уровня их популярности у пользователей.

Хотя эта статья не дает прямых рекомендаций по разработке мобильных приложений, разработчики могут использовать представленные результаты для совершенствования процесса разработки. Например, можно провести анализ корреляции между типами проблем и рейтингом приложений, чтобы составить представление об относительной значимости отдельных проблем.

На рис. 4 (a) показаны различные типы проблем и их влияние на рейтинг приложений. Недостаток функциональности (I2) оказывается наиболее значимой проблемой с влиянием 2.98, в то время как аварийное завершение является наиболее значимой проблемой с

влиянием -1.2. Более высокий ранг проблемы показывает ее влияние, низкий ранг отражает высокое влияние проблемы на качество приложений.

Рис. 4(a). Диаграмма причинно-следственного порядка проблем мобильных приложений при

использовании fuzzy-DEMATEL Fig. 4(a). Cause-effect order diagram of mobile app issues using fuzzy-DEMATEL

Сравнительный анализ методов G-DEMATEL, E-DEMATEL и fuzzy-DEMATEL представлен на рис. 4(b). Наилучшим из этих трех подходов оказался fuzzy-DEMATEL. Положительные значения представляют вектор значимости, а отрицательные - вектор относительного положения.

Вектор значимости

Вектор

относительного положения

3,5 3 2,5 2 1,5 1 0,5 0 0,5 -1 -1,5

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

F-DEMATEL 2,98 2,75 2,71 2,6 2,29 2,2 2,19 -0,5 -0,5 -0,6 -0,7 -0,7 -1 -1 -1,2

G-DEMATEL 2,5 2,2 2 1,9 1,2 0,8 0,6 -0,4 -0,5 -0,4 -0,5 -0,5 -0,7 -0,8 -0,9

E-DEMATEL 2,3 2,1 1,9 1,5 1 0,7 0,6 -0,3 -0,4 -0,3 -0,2 -0,3 -0,6 -0,5 -0,2

Рис. 4 (b). Сравнительная диаграмма причинно-следственного порядка проблем мобильных

приложений

Figure 4 (b). Comparative cause-effect order diagram of mobile app issues

Имеется ряд предшествующих исследований различных проблем, связанных с мобильными приложениями. Для успешной разработки мобильных приложений необходимо проанализировать значимость различных проблем мобильных приложений и взаимосвязи между ними. Взаимосвязи между проблемами мобильных приложений могут быть

критичными. Ранее решалась задача количественной оценки влияния различных проблем мобильных приложений [67]. Однако задача причинно-следственных зависимостей между различными проблемами мобильных приложений не была исследована. Цель данной работы - восполнить указанный пробел и представить соответствующую диаграмму. На диаграмме причинно-следственных отношений показаны важные взаимосвязи, что может помочь менеджерам проектов в принятии решений, касающихся разработки мобильных приложений, дать более наглядное представление процесса разработки и обеспечить максимально быстрый выпуск новых приложений на рынок.

Например, из диаграммы видно, что жалобы на недостатки функциональности (I2), имеющие

,— —\def

максимальное значение ( Dl + Rl) , являются наиболее значимым причинным фактором

? •—- .—-\def

для разработки мобильных приложений. С другой стороны, (Rl — Rl) для проблемы совместимости (I7) имеет максимальное по абсолютной величине отрицательное значение, а значит, также является наиболее значимым фактором в группе следствий. Положительное значение показателя значимости указывает, что соответствующая проблема принадлежит к группе причин, а отрицательные значения указывают, что проблема принадлежит к группе следствий.

7. Угрозы валидности

Данное исследование имеет ряд ограничений. В частности, здесь рассмотрено только 15 проблем; в дальнейшем к ним могут быть добавлены и другие. Применение методов многокритериального принятия решений, таких как ANP и нечеткий ANP в сочетании с результатами данной работы может оказать более подходящим подходом для анализа проблем, связанных с мобильными приложениями.

8. Выводы и направления будущей работы

Разработка мобильных приложений была выделена как отдельная область разработки программного обеспечения в целом. Мобильные приложения в настоящее время являются насущной потребностью бизнеса, но из-за недостаточной развитости формальных научных методов разработки этого класса приложений, возникает множество проблем. В отличие от предшественников - веб-приложений и приложений для настольных компьютеров - процесс разработки мобильных приложений зачастую носит «любительский» характер и находится в фазе эволюции.

Данное исследование является попыткой выделить важнейшие проблемы, связанные с мобильными приложениями. Предложенный подход может быть включен в фазу планирования при разработке любого мобильного приложения, чтобы при принятии стратегических решений можно было сверяться с задачами обеспечения качества приложения. Настоящее исследование может помочь компаниям, занимающимся разработкой ПО, в выделении ключевых проблем, связанных с мобильными приложениями. В этой работе было рассмотрено пятнадцать проблем, связанных с мобильными приложениями, а именно: дополнительные затраты (I¡), недостатки функциональности (I2), жалобы на контент (I3), аварийное завершение (I4), удаление ранее имевшихся возможностей (I5), запросы на новые возможности (I6), проблемы совместимости (I7), проблемы установки (Is), сетевое соединение (I9), ресурсоемкость (10), время отклика (1ц), избыточный трафик (I¡2), обновления (Iи), пользовательский интерфейс (I¡4) и безопасность (In). После выявления указанных проблем для разделения их на группу причин и группу следствий был применен метод fuzzy-DEMATEL. Недостатки функциональности, запросы на новые возможности, сетевое соединение, пользовательский интерфейс, ресурсоемкость, обновления и безопасность вошли в группу причин. Остальные восемь проблем, включая дополнительные затраты, жалобы на контент, аварийное завершение, запросы на новые

возможности, проблемы совместимости, проблемы установки, время отклика и избыточность трафика входят в группу следствий.

В сравнении с аналогичными подходами, такими как G-DEMATEL B E-DEMATEL, fuzzy-DEMATEL, дает лучшие результаты. Можно видеть, что хотя результаты были выведены из векторов значимости и относительного положения, эти два числовых значения имеют очевидные отличия. В качестве критерия для оценки результатов использовалась средняя абсолютная погрешность.

Результаты показывают, что «недостатки функциональности» являются наиболее важной проблемой мобильных приложений, в то время как «проблемы совместимости», являются в значительной мере следствием других проблем.

Поскольку исследования и полученные результаты основаны на коллективном опыте экспертов в области разработки ПО, увеличение объема этого опыта поможет снять эффект предвзятости. Дальнейшие исследования могут быть направлены на идентификацию большего числа проблем, связанных с мобильными приложениями, и изучение их влияния на уже выявленные причинно-следственные связи.

References

[1]. Inukollu V.N., Keshamoni D.D., Kang T., and Inukollu M. Factors Influencing Quality of Mobile Apps: Role of Mobile App Development Life Cycle. International Journal of Software Engineering and Applications, vol. 5, no. 5, 2014, pp. 15-34.

[2]. Pandey M., Litoriya R., Pandey P. Perception-Based Classification of Mobile Apps: A Critical Review. In Smart Computational Strategies: Theoretical and Practical Aspects. Springer, Singapore, 2019, pp. 121133.

[3]. Jason Summerfield. Mobile Website vs. Mobile App: Which is Best for Your Organization? Available at: https://www.hswsolutions.com/services/mobile-web-development/mobile-website-vs-apps/.

[4]. Ashishdeep A., Bhatia J., Varma K. A software engineering model for mobile app development. International Journal of Computer Science and Communication, vol. 7, no. 1, 2016, pp. 150-153.

[5]. Pandey M., Litoriya R., Pandey P. Mobile applications in context of big data: A survey. In Proc. of the Symposium on Colossal Data Analysis and Networking (CDAN), 2016.

[6]. McIlroy S., Ali N., Hassan A.E. Fresh apps: an empirical study of frequently-updated mobile apps in the Google play store. Empirical Software Engineering, vol. 21, issue 3, 2016, pp.1346-1370.

[7]. Pandey, M., Litoriya, R., Pandey, P. Mobile APP development based on agility function. Ingénierie des Systèmes d'Information, vol. 23, no. 6, 2018, pp. 19-44.

[8]. Lin C.J., Wu W.W. A causal analytical method for group decision-making: Under fuzzy environment. Expert Systems with Applications, vol. 34, issue 1, 2007, pp. 205-213.

[9]. Litoriya, R., Kothari, A. (2013). Cost Estimation of web projects in context with Agile paradigm: Improvements and validation. International Journal of Software Engineering (A Publication of Software Engineering Competence Center - Egypt), 6(2), 91-114.

[10]. Minelli R. and Lanza M. Software analytics for mobile applications - Insights & Lessons Learned. In Proc. of the 17th European Conference on Software Maintenance and Reengineering, 2013, pp. 144-153.

[11]. Stepanova E., Kirikova M. Continuous requirements engineering for mobile application development. In Joint Proceedings of Workshops, Doctoral Symposium, Research Method Track, and Poster Track co-located with the 23rd International Conference on Requirements Engineering: Foundation for Software Quality (REFSQ 2017), 2017.

[12]. Seyff N., Graf F. User-driven requirements engineering for mobile social software. In Software Engineering (Workshops), 2010, pp. 503-512.

[13]. Kryukov A.P., Demichev A.P. Decentralized Data Storages: Technologies of Construction. Programming and Computer Software, vol. 44, no. 5, 2018, pp. 303-315.

[14]. Kaufman J. Principles of Mobile App Design. Apteligent White Paper, 2016, 20 p. Available at: https://www.apteligent.com/wp-content/uploads/2016/07/PRINCIPLES-M0BILE-APP-DESIGN-WP.pdf.

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

[15]. Armenta-Cano F.A., Tchernykh A., Cortés-Mendoza J.M., Yahyapour R., Drozdov A.Y., Bouvry P., Nesmachnow S. Min_c: Heterogeneous concentration policy for energy-aware scheduling of jobs with resource contention. Programming and Computer Software, vol. 43, no. 3, 2017, pp. 204-215.

[16]. Tchernykh A., Schwiegelsohn U., Talbi E.G., Babenk M. Towards understanding uncertainty in cloud computing with risks of confidentiality, integrity, and availability. Journal of Computational Science. Available online 22 November 2016, DOI: 10.1016/j.jocs.2016.11.011.

[17]. Mavi R.K., Standing C. Critical success factors of sustainable project management in construction: A fuzzy DEMATEL-ANP approach. Journal of Cleaner Production, vol. 194, no. 1, 2018, pp. 751-765.

[18]. Goel S., Nagpal R., Mehrotra D. Mobile applications usability parameters: Taking an insight view. In Proc. of the International conference on Information and Communication Technology for Sustainable Development, 2018, pp. 35-43.

[19]. Han W.M., Hsu C.H., Yeh C.Y. Using DEMATEL to analyze the quality characteristics of mobile applications. In Proc. of the International Conference on Future Information Engineering and Manufacturing Science, 2014, pp. 131-134.

[20]. Sugiyanto S., Rochimah S. Integration of DEMATEL and ANP methods for calculate the weight of characteristics software quality based model ISO 9126. In Proc. of the International Conference on Information Technology and Electrical Engineering, 2013, pp. 143-148.

[21]. Bijoyeta Roy, S.K. Misra, Preeti Gupta, Akanksha Goswami. An Integrated DEMATEL and AHP approach for personnel estimation. International Journal of Computer Science and Information Technology & Security, vol. 2, no. 6, 2012, pp. 1206-1212.

[22]. Wu W.W., Lan L.W., and Lee Y.T. Exploring decisive factors affecting an organization's SaaS adoption: A case study. International Journal of Information Management, vol. 31, issue 6, 2011, pp. 556-563.

[23]. Venkatesh V.G., Zhang A., Luthra S., Dubey R., Subramanian N., Mangla S. Barriers to coastal shipping development: An Indian perspective. Transportation Research. Part D: Transport and Environment, vol. 52, part A, 2017, pp.362-378.

[24]. Pandey P., Litoriya R., Tiwari A. A framework for fuzzy modelling in agricultural diagnostics. Journal Européen des Systèmes Automatisés, vol. 51, no. 4-6, 2018, pp. 203-223.

[25]. Wu Y.C., Lin C.W. National port competitiveness: Implications for India. Management Decision, vol. 46, no. 10, 2008, pp. 1482-1507.

[26]. Han Y., Deng Y. An enhanced fuzzy evidential DEMATEL method with its application to identify critical success factors. Soft Computing, vol. 22, no. 15, 2018, pp. 5073-5090.

[27]. Bhatia M.S., Srivastava R.K. Analysis of external barriers to remanufacturing using grey-DEMATEL approach: An Indian perspective. Resources, Conservation & Recycling, vol. 136, 2018, pp. 79-87.

[28]. Zhang L., Huang X.Y., Jiang J., Hu Y.K. CSLabel: An Approach for Labelling Mobile App Reviews. Journal of Computer Science and Technology, vol. 32, no. 6, 2017, pp. 1076-1089.

[29]. Maalej W., Kurtanovic Z., Nabil H., Stanik C. On the automatic classification of app reviews. Requirement Engineering, vol. 21, no. 3, 2015, pp. 311-331.

[30]. Gui J., McIlroy S., Nagappan M., and Halfond W.G. Truth in advertising: The hidden cost of mobile ads for software developers. In Proc. of the 37th International Conference on Software Engineering, 2015, pp. 100-110.

[31]. Xu X., Dutta K., and Datta A. Functionality-based mobile app recommendation by identifying aspects from user reviews. In Proc. of the 35th International Conference on Information Systems, 2014, pp. 1-10.

[32]. Khalid H. et al. What Do Mobile App Users Complain About? A Study on Free iOS Apps. IEEE software, vol. 32, no. 3, 2015, 70-77.

[33]. Tan S.H. et al. Repairing Crashes in Android Apps. In Proc. of the 40th International Conference on Software Engineering, 2018, pp. 187-198.

[34]. Rajput G.S., Litoriya R. Corad Agile Method for Agile Software Cost Estimation. Open Access Library Journal, vol. 1, no.3, 2014, pp. 1-13.

[35]. Vu P.M. et al. Mining user opinions in mobile app reviews: A keyword-based approach. In Proc. of the International Conference on Automated Software Engineering, 2015, pp. 749-759

[36]. Zhang T. et al. Compatibility testing service for mobile applications. In Proc. of the IEEE Symposium on Service-Oriented System Engineering, 2015, pp. 179-186.

[37]. Bonne B. et al. Insecure Network, Unknown Connection: Understanding Wi-Fi Privacy Assumptions of Mobile Device Users. Information, vol. 8, no. 3, 2017, pp. 1-20.

[38]. Vu P.M. Mining user opinions in mobile app reviews: A keyword-based approach. In Proc. of the International Conference on Automated Software Engineering, 2015, pp. 749-759.

[39]. Wilke C. et al. Energy consumption and efficiency in mobile applications: A user feedback study. In Proc. of the IEEE International Conference on Green Computing and Communications and IEEE International Conference on Internet of Things, and IEEE International Conference on Cyber, Physical and Social Computing, 2013, pp. 134-141.

[40]. Datta S.K., Bonnet C., and Nikaein N. Android Power Management: Current and Future Trends. In Proc. of the First IEEE Workshop on Enabling Technologies for Smartphone and Internet of Things, 2012, pp. 48-53.

[41]. Pandey M., Litoriya R., Pandey P. Novel Approach for Mobile Based App Development Incorporating MAAF. Wireless Personal Communications, vol. 107, issue 4, 2019, pp. 1687-1708.

[42]. Ferreira D., Dey A.K. and Kostakos V. Understanding Human-Smartphone Concerns: A Study of Battery Life. Lecture Notes in Computer Science, vol. 6696, 2011, pp. 19-33.

[43]. Willocx M., Vossaert J. and Naessens V. Comparing performance parameters of mobile app development strategies. In Proc. of the International Conference on Mobile Software Engineering and Systems, 2016, pp 38-47.

[44]. Litoriya R., Sharma N., Kothari A. Incorporating Cost driver substitution to improve the effort using Agile COCOMO II. In Proc. of the CSI Sixth International Conference on Software Engineering, 2012, pp. 1-7.

[45]. Falaki H., Lymberopoulos D, and Mahajan R. A First Look at Traffic on Smartphones. In Proc. of the 10th ACM SIGCOMM conference on Internet measurement, 2010, pp. 281-287.

[46]. Comino S., Manenti F.M., and Mariuzzo F. (2015) Updates Management in Mobile Applications. iTunes vs Google Play. Available at SSRN:

https://ssrn.com/abstrad-2664463 or http://dx.doi.org/10.2139/ssrn.2664463.

[47]. Hassan S., Shang W., and Hassan A.E. An empirical study of emergency updates for top android mobile apps. Empirical Software Engineering, vol. 22, no. 1, 2017, pp. 505-546.

[48]. Ranjan A., Litoriya R. Relational Algebra Interpreter in Context of Query Languages. International Journal of Computer Theory and Engineering, vol. 3, no. 1, 2011, pp. 9-15.

[49]. Andreou A.S. et al. Key issues for the design and development of mobile commerce services and applications. International Journal of Mobile Communications, vol. 3, no. 3, 2005, pp. 303-323.

[50]. Perez B.M., Diez I.D., and Coronado M.L. Privacy and security in mobile health apps: A review and recommendations. Journal of Medical Systems, vol. 39, no. 1, 2017, pp. 1-8.

[51]. Pandey P., Litoriya R. An activity vigilance system for elderly based on fuzzy probability transformations. Journal of Intelligent and Fuzzy Systems, vol. 36, no. 3, 2019, pp. 2481-2494.

[52]. Armand A., Allahviranloo T., Gouyandeh Z. Some Fundamental Results on Fuzzy Calculus. Iranian Journal of Fuzzy Systems, vol. 15, no. 3, 2018, pp. 27-46.

[53]. Pandey P., Kumar S., Shrivastav S. A fuzzy decision making approach for analogy detection in new product forecasting. Journal of Intelligent & Fuzzy Systems, vol. 28, no. 5, 2015, pp. 2047-2057.

[54]. Bhadauriya S., Sharma V., Litoriya R. Empirical Analysis of Ethical Issues in the Era of Future Information Technology. In Proc. of the 2nd International Conference on Software Technology and Engineering, vol. 2, 2010, pp. 31-35.

[55]. Tseng M.L., Wu K.J., Nguyen T.H. Information technology in supply chain management: a case study. Procedia - Social and Behavioral Sciences, vol. 25, 2011, pp. 257-272.

[56]. Deng J.L. Control problems of grey systems. Systems and Control Letters, vol. 1, no. 5, 1982, pp. 288294.

[57]. Tseng M.L. A causal and effect decision making model of service quality expectation using grey-fuzzy DEMATEL approach. Expert Systems with Applications, vol. 36, no. 4, 2009, pp. 7738-7748.

[58]. Pandey P., Kumar S., Shrivastav S. Forecasting using Fuzzy Time Series for Diffusion of Innovation: Case of Tata Nano Car in India. National Academy Science Letters, vol. 36, no. 3, 2013, pp. 299-309.

[59]. Pandey P., Kumar S., Shrivastav S. A fuzzy decision making approach for analogy detection in new product forecasting. Journal of Intelligent and Fuzzy Systems, vol. 28, no. 5, 2015, pp. 2047-2057.

[60]. Wang F. et al. A semantics-based approach to multi-source heterogeneous information fusion in the internet of things. Soft Computing, vol. 21, no. 8, 2017, pp. 2005-2013.

[61]. Zheng X. and Deng Y. Dependence assessment in human reliability analysis based on evidence credibility decay model and IOWA operator. Annals of Nuclear Energy, vol. 112, 2018, pp. 673-684.

[62]. Liu T., Deng Y., Chan F. (2018) Evidential supplier selection based on DEMATEL and game theory. International Journal of Fuzzy Systems, vol. 20, no. 4, 2018, pp. 1321-1333.

[63]. Han Y., Deng Y. A hybrid intelligent model for assessment of critical success factors in high-risk emergency system. Journal of Ambient Intelligence and Humanized Computing, vol. 9, issue 6, 2018, pp. 1933-1953.

[64]. Liu Z. et al. Combination of classifiers with optimal weight based on evidential reasoning. IEEE Transactions on Fuzzy Systems, vol. 26, issue 3, 2018, pp. 1217-1230.

[65]. Song Y. et al. Combination of interval-valued belief structures based on intuitionist fuzzy set. IEEE Transactions on Fuzzy Systems, vol. 26, issue 3, 2018, pp. 61-70.

[66]. Wang J., Wu J., Wang J., Zhang H., Chen X. Multi-criteria decision-making methods based on the hausdorff distance of hesitant fuzzy linguistic numbers. Soft Computing, vol. 20, no. 4, 2016, pp. 1621— 1633

[67]. Pandey M, Litoriya R., and Pandey P. An ISM approach for modeling the issues and factors of mobile app development. International Journal of Software Engineering and Knowledge Engineering, vol. 28, no. 7, 2018, pp. 937-953.

Информация об авторах / Information about authors

Мамта ПАНДИ - научный сотрудник, факультет компьютерных наук и инженерии. Научные интересы: мобильные приложения, разработка программного обеспечения.

Mamta PANDEY, Research Scholar, Department of Computer Science and Engineering. Her research interests include mobile applications, software engineering.

Д-р Ратнеш ЛИТОРИЯ, доцент, Ph.D, факультет компьютерных наук и инженерии. Его область исследований и преподавания включает разработку программного обеспечения, управление проектами, компьютерную графику, алгоритмы и мобильные сети.

Dr. Ratnesh LITORIYA, Assistant Professor, Ph.D, Department of Computer Science and Engineering. His research and teaching proficiency area focus on software engineering, project management, computer graphics, algorithms, and mobile adhoc networks.

Пратик ПАНДИ, доцент, PhD, факультет компьютерных наук и инженерии. Доктор Панди работает в областях управления бизнес-процессами, разработки программного обеспечения и прогнозирования.

Prateek PANDEY, Assistant Professor, PhD, Department of Computer Science and Engineering. Dr. Pandey has worked in the area of Business Process Management, Software Engineering, and Forecasting.

i Надоели баннеры? Вы всегда можете отключить рекламу.