CC BY
40О ПРИМЕНЕНИИ ИНФОРМАЦИОННО-АНАЛИТИЧЕСКИХ СИСТЕМ В УСЛОВИЯХ РАЗВИТИЯ СОВРЕМЕННЫХ ИНФОРМАЦИОННО-КОММУНИКАЦИОННЫХ ТЕХНОЛОГИЙ
ON THE APPLICATION OF INFORMATION-ANALYTICAL SYSTEMS UNDER CONDITIONS OF DEVELOPMENT OF MODERN INFORMATION-
COMMUNICATION TECHNOLOGIES
УДК-004
Абрамов Герман Игоревич, магистр 2 курса, Российский Технологический Университет, Кафедра практической и прикладной информатики, г. Москва Abramov G.I. mailru007@mail.ru
Аннотация
Статья посвящена применению информационно-аналитических систем в условиях развития современных информационно-коммуникационных технологий. В публикации речь о новых методах фильтрации входных данных. Более подробно рассматривается персональная адаптация под клиента и преимущества этого подхода. Указывается важность сферы деятельности организации для более эффективного результата, реализуемой ИАС. В статье на примере линейной и логистической регрессий делается вывод, что выбор алгоритма машинного обучения важен при решении определенной задачи. Обсуждаются варианты использования облачных сервисов, а также интеграции ИАС с мобильными устройствами. Предлагается подход создания «двойника» ИАС для предсказания типичных ошибок при работе ИАС. Рассматривается зависимость работы ИАС от внешних факторов.
Summary
The article is devoted to the use of information and analytical systems in the development of modern information and communication technologies. The publication discusses new methods for filtering input data. Personal adaptation to the client and the advantages of this approach are considered in more detail. The importance of the scope of the organization for a more effective result, implemented by IAS, is indicated. The article, using the example of linear and logistic regressions, concludes that the choice of a machine learning algorithm is important in solving a specific problem. The options for using cloud services, as well as the integration of
IAS with mobile devices are discussed. An approach is proposed to create a "double" IAS for predicting typical errors during the operation of IAS. The dependence of IAS on external factors is considered.
Ключевые слова: информационные технологии, информационно -аналитические системы, машинное обучение, информатика, анализ данных, большие данные
Keywords: information technologies, information and analytical systems, machine learning, informatics, data analysis, big data
В связи с развитием вычислительной техники и информационно -коммуникационных технологий расширяется как сфера применения информационно-аналитических систем, так и требования к получаемым с их помощью решениям. Для чего нужна информационно-аналитическая система? Основная задача любой ИАС - это получение информации, не всегда в явном виде, из разных источников, её анализ и определенные выводы исходя из этого анализа [1].
Для эффективной работы информационно-аналитической системы и получения с её помощью более обоснованных решений необходима правильная организация процесса сбора первичной информации для анализа. Одним из главных этапов в процессе сбора первичной информации является определение категории клиента. Персональная адаптация под каждого пользователя информационно-аналитической системой играет важную роль, так как по категории клиента можно сделать много выводов для организации. Результат, который выведет ИАС, будет полностью зависеть от входных данных. Поэтому, следует делить клиентов на разные категории на самом первом этапе любой архитектуры ИАС - получение входных данных. Первую стадию работы ИАС можно рассмотреть как «решающее дерево», которое классифицирует пользователей на определённые категории. За несколько вопросов, уйдя на определенную глубину, организация сможет сделать много выводов о категории клиента. Пример решающего дерева показан на рисунке 1 [2]. Из этих выводов - уже реально сузить круг и предложить клиенту действительно то, что ему нужно. Если же клиент пользуется сервисом уже не первый раз - необходимо исследовать историю операций и определить клиента к определенному классу. Любая ИАС должна иметь разные витрины данных для каждой категории клиентов, а не смешивать их вместе. В противном случае, визуализация данных будет нечитабельной.
Давать ли кредит?
Кредитная История
Не давать Поручители? Д«ть Не давать
Дать Не девать
Рисунок 1 - Пример решающего дерева
Персональная адаптация может достигаться не только определением категории у клиента, события, операции и т.д. Персональная адаптация может исходить непосредственно из личных привычек пользователя. Легче всего это сделать благодаря синхронизации действий с личным мобильным устройством пользователя. То есть, мобильное приложение сервиса должно учитывать все привычки пользователя и учиться на этом. Этот принцип вписывается в концепцию машинного обучения [3]. Благодаря множеству тех или иных операций в приложении на мобильном устройстве клиента алгоритм начинает распознавать важные факторы, которые влияют на результат и передавать их в ИАС. Помимо этого, адаптация под личные устройства пользователей увеличивает безопасность клиентов. Когда алгоритм, выученный на большом количестве операций, видит какое-то незнакомое действие, то ИАС получает сигнал на проверку. После этого клиенту будет предложено дополнительное действие, которые подтверждает, что действие выполняет клиент. Например, верификация по мобильному номеру телефона. Количество мошеннических действий может снизиться в разы при включении данной функции в информационно-аналитическую систему.
Помимо персональной адаптации, нужно выделить адаптацию информационно-аналитической системой под сферу деятельности организации. В зависимости от сферы деятельности (банковское дело, информационные технологии, розничный бизнес, медицина, наука и другое) разнится и результат, ожидаемый от ИАС. В разных сферах используются разные метрики, необходимы разные результаты. Алгоритмы машинного обучения могут быть разными в зависимости от деятельности организации.
Например, при оценке рыночной недвижимости лучше воспользоваться линейной регрессией, потому что для оценки стоимости нужно оценить много других признаков, такие площадь, локация, ремонт и др. Алгоритм линейной регрессии предполагает, что функция (в данном случае - цена недвижимости) зависит от неких параметров (признаков) [4]. В случае семантического анализа отзывов, необходимо предсказать семантику отзыва и дать ему оценку: положительный или отрицательный отзыв. В этом случае лучше применять логистическую регрессию. Логистическая регрессия полезна для ситуаций, в которых вы хотите иметь возможность предсказать наличие или отсутствие характеристики или итога на основании значений набора переменных -предикторов. Она подобна модели линейной регрессии, но подходит для моделей, где зависимая переменная имеет только два значения [5].
На данный момент все традиционные ИАС оцениваются исходя из собственных результатов. В зависимости от эффективности работы ИАС делаются некоторые выводы, система дорабатывается. Но иногда, проходит достаточно большое количество времени перед тем, когда будет найдена ошибка в работе. Определенным преимуществом для любой организации будет некий сигнал, который предупреждает о возможных ошибках в архитектуре информационно-аналитических систем. Принцип «учиться на ошибках других» здесь отлично подходит. Но т.к. большинство компаний не разглашают, как работают их ИАС, сложно взять пример для построения каких-либо выводов. Это можно решить созданием «двойника» собственной ИАС, меняя входные данные. Каждый клиент имеет большое количество признаков, которые можно искусственно изменять для экспериментов работы ИАС. Также можно менять признаки непосредственно технических составляющих. Пробовать разные инструменты внутри ИАС, разные модели машинного обучения на выходе системы. При небольшом умышленном изменении любого из вышеперечисленных признаков - основная концепция модели ИАС не изменится, но результат может быть другим. Таким образом, можно предугадать положительные и отрицательные сценарии, а также выявить слабые и сильные стороны уже имеющейся архитектуры ИАС. Так как количество возможных комбинаций (изменения признаков у клиента, изменений в работе хранилища данных или аналитических инструментов, моделей машинного обучения) слишком много, рекомендуется изменять параметры достаточно глобально, а не пробовать абсолютно каждый вариант - так разных вариантов моделей будет слишком много. Пример изменения признаков представлен на рисунке 2. Исходя из изменения признаков, меняются и значения класса. Данный пример написан с помощью библиотеки
Pandas - программной библиотеки на языке Python для обработки и анализа данных [6].
Рисунок 2 - Пример изменения признаков на этапе получения входных
данных(данных о клиенте)
Исходя из предыдущего аспекта, стоит отметить, что при большом количество «двойников» потребуется большая вычислительная мощность. Такой мощности не будет хватать на локальных компьютерах или личных устройствах. Из этого следует, что все вычисления, происходящие для модернизации ИАС должны храниться на облачных сервисов. Вполне возможно, что квантовые компьютеры(которые активно совершенствуются в последнее время) отлично подойдут для вычислений внутри реализуемых ИАС.
Каждая информационно-аналитическая система должна учитывать внешние источники информации. Для этого, во входные каналы должна подаваться информация, отражающая актуальную информацию о текущей ситуации в мире в целом, о последних изменениях в сфере деятельности компании.
В заключении следует отметить, что каждая информационно-аналитическая система создаётся для решения определенной задачи. Если система даёт результат, то её можно применять к другой задаче. Но нужно будет доработать процесс получения входных данных (т.к. входные данные будут другие), процесс обучения алгоритмов и процесс хранения данных в базе данных. Когда эффект от работы ИАС ощутим на примере одной области, можно начинать внедрение эту же архитектуру с небольшими изменениями в других областях.
Литература
1. Абрамов Г.И. Сравнительный анализ информационно-аналитических систем финансовых институтов [Электронный ресурс] // Электронный научный журнал «Меридиан», выпуск №10(28). 2019.
URL: http://meridian-iournal.ru/site/article?id=1528 (дата обращения: 02.05.2020)
2. Машинное обучение для людей: блог vas3k. [Электронный ресурс].
2018. URL: https://vas3k.ru/blog/machine learning/ (Дата обращения: 02.05.2020)
3. Машинное обучение и мобильная разработка: статья от @YourDestiny. [Электронный ресурс]. 2018. URL: https: //habr. com/ru/company/oleg-bunin/blog/416477/ (Дата обращения: 02.05.2020)
4. А.Б. Горобцова. Оценка рыночной стоимости квартир с помощью методов регрессионного анализа // Моделирование и анализ данных.
2019. №2. С.63-72.
5. IBM Knowledge Center: образовательные статьи от IBM. [Электронный ресурс]. 2020. URL:
https: //www. ibm. com/support/knowledgecenter/ru/SSLVMB 25.0.0/spss/regr ession7idh_lreg.html (Дата обращения: 04.05.2020)
6. Pandas : Wikipedia. [Электронный ресурс]. 2020. URL:
https://ru.wikipedia.org/wiki/Pandas (Дата обращения: 04.05.2020)
Literature
1. Abramov G.I. Comparative analysis of information and analytical systems of financial institutions [Electronic resource] // Electronic scientific journal "Meridian", Issue No. 10 (28). 2019. URL: http://meridian-journal.ru/site/article?id=1528 (accessed: 05/02/2020)
2. Machine learning for people: vas3k blog. [Electronic resource]. 2018. URL: https://vas3k.ru/blog/machine_learning/ (Date of access: 05/02/2020)
3. Machine learning and mobile development: an article by @YourDestiny. [Electronic resource]. 2018. URL: https://habr.com/en/company/oleg-bunin/blog/416477/ (Date accessed: 05/02/2020)
4. A.B. Gorobtsova. Assessing the market value of apartments using regression analysis methods // Modeling and data analysis. 2019. №2. P.63-72.
5. IBM Knowledge Center: educational articles from IBM. [Electronic resource]. 2020. URL:
https: //www.ibm.com/support/knowledgecenter/en/SSLVMB_25.0.0/spss/reg ression/idh_lreg.html (Date accessed: 05/04/2020)
6. Pandas: Wikipedia. [Electronic resource]. 2020. URL: https://ru.wikipedia.org/wiki/Pandas (Date of access: 04.05.2020)
