CC BY
103
ТЕХНИЧЕСКИЕ НАУКИ
РЕАЛИЗАЦИЯ И ИССЛЕДОВАНИЕ ИНТЕЛЛЕКТУАЛЬНОГО ПОИСКА ИНФОРМАЦИИ И АНАЛИЗА ДАННЫХ В ВЕБ-
ПРИЛОЖЕНИЯХ
1 2
Захарова О.И. , Карпов М.А. Email: [email protected]
1Захарова Оксана Игоревна - кандидат технических наук, доцент; 2Карпов Михаил Алексеевич - магистрант, кафедра информационных систем и технологий, Поволжский государственный университет телекоммуникаций и информатики,
г. Самара
Аннотация: в статье рассматриваются основные подходы к проведению интеллектуального поиска информации и анализу данных в веб-приложениях. Автором рассмотрены составляющие модели интеллектуального анализа данных и этапы ее применения. В качестве примера методологических разработок при исследовании интеллектуального поиска информации и анализа данных в веб-приложениях в статье рассмотрены предложения А.М. Гусенкова из Казанского (Приволжского) федерального университета. В качестве практического примера реализации программного продукта для исследования рассмотрена российская разработка - программа PolyAnalyst.
Ключевые слова: интеллектуальный поиск информации, анализ данных, веб-приложение, PolyAnalyst.
IMPLEMENTATION AND RESEARCH OF INTELLECTUAL SEARCH OF INFORMATION AND DATA ANALYSIS IN WEB
APPLICATIONS Zaharova O.I.1, Karpov MA.2
1Zaharova Oksana Igorevna - PhD in Technical Sciences, Associate Professor; 2Karpov Mikhail Alexeyevich - Undergraduate, DEPARTMENT OF INFORMATION SYSTEMS AND TECHNOLOGIES VOLGA STATE UNIVERSITY OF TELECOMMUNICATION AND INFORMATICS,
SAMARA
Abstract: the article discusses the main approaches to conducting intelligent search of information and data analysis in web applications. The author considers the components of the data mining model and the stages of its application. As an example of methodological developments in the study of intelligent information search and data analysis in web applications, the article reviewed the proposals of A.M. Gusenkova from Kazan (Volga) Federal University. As a practical example of the implementation of a software product for research, Russian development is considered - the program PolyAnalyst. Keywords: Web Mining, data analysis, web application, PolyAnalyst.
УДК 004.891.2
В современных условиях развития информационных технологий (ИТ), для обменена информацией широко используются глобальные сети. При этом пользователи сети Интернет пользуются значительным количеством разнообразной информации, которая должна автоматически анализироваться.
Чтобы осуществить структурированный поиск, а также анализ неструктурированной информации, в сети появилось целое направление развития
анализа данных, которое получило название интеллектуального поиска информации или Web Mining.
Web Mining представляет собой современную технологию обнаружения пригодной к использованию информации в крупных наборах данных в сети, основанной на интеллектуальном анализе. Интеллектуальный анализ данных использует математический анализ, чтобы выявить закономерности и тенденции, существующие в данных. Как правило, при обычном просмотре данных такие закономерности обнаружить весьма сложно из-за огромного объема данных [1, с. 117].
Все закономерности и тенденции объединяются в модель интеллектуального анализа данных. Такие модели могут быть применены для решения конкретных задач:
- прогнозирования;
- оценки риска и вероятностей;
- разработки рекомендаций;
- поиска последовательностей;
- группирования [ 3 ].
Можно выделить несколько этапов применения технологии Web Mining:
1. Поиск ресурсов (input stage) - поиск неструктурированных данных из различных источников.
2. Извлечение информации (prepro с e s sing stage) - данные преобразовываются в форму, необходимую для построения модели.
3. Обобщение (patterndi sc overy stage) - этап моделирования.
4. Анализ (pattern analy si s stage) - этап анализа модели и интерпретации результатов [5, с. 218].
Данные этапы являются обобщенными для поиска и анализа необходимой информации в Интернет. Конкретные шаги зависят от конкретно поставленной задачи. Среди различных категорий WebMining выделяют Web U sage Mining -анализ использования веб-ресурсов, который предоставляет следующую информацию: страницы, просматриваемые пользователем, а также последовательность просмотра этих страниц.
Такое использование данных обеспечивает доступ к путям посещенных страниц. Подобная информация часто автоматически собрана в журналы посещения при помощи веб-сервера. CGI скрипты предлагают другую полезную информацию, такую, например, как журналы ссылок, информацию о подписках пользователей и обзорные журналы. Результатами Web U sage Mining могут быть данные веб-сервера, сервисных приложений или прикладного уровня.
Web Structure Mining рассматривает взаимосвязи между веб-страницами на основании их связей. Данная модель используется при классификации веб-страницы и определения сходства между различными ресурсами.
При использовании Web Mi i g перед разработчиками возникает несколько типов задач. Первая задача касается сбора данных, а вторая - использования методов персонификации. Собрав некоторый объем данных о клиенте, система накопит какие-либо знания, в соответствии с полученной информацией, а затем может рекомендовать ему. В результате сбора некоторого объема персонифицированных ретроспективных данных о конкретном пользователе, система накапливает определенные знания о нем и может рекомендовать ему какие-либо товары или услуги. Основываясь на информации о всех пользователях, посещающих сайт, система может определить группы посетителей с целью рекомендации товаров или рассылки определенной информации [4, с. 421].
В общем и целом, технология Web Mi i g предназначена для поиска необходимой информации и выявления знаний из веб-ресурсов, невзирая на несовершенства поисковых систем, а также для анализа структур сегментов сети. Примером использования Web Mi i g на практике является всеми известная поисковая система G gle [ ].
Вместе с тем, необходимо признать факт того, что на данный момент процесс обработки неструктурированных данных является несовершенным и многие компании-разработчики столкнулись с данной проблемой. Однако, ИТ постоянно развиваются и на рынок выходят все более точные программные решения, которые в скором будущем позволят решить данную проблему, в том числе в области интеллектуального поиска информации и анализа данных в веб-приложениях.
Отечественная разработка компании «Megaputer» система PolyAnaly st является лидером среди систем извлечения полезной информации как из структурированных, так и из неструктурированных данных. Независимо от того, какие источники данных используются, какие стоят задачи анализа и какими навыками анализа данных обладает исполнитель, P lyA aly t позволяет извлечь ценную и доступную для интерпретации информацию, необходимую для принятия различных управленческих и бизнес-решений. Система PolyAnaly st сочетает в себе следующие элементы:
- новейшие алгоритмы обработки естественного языка (NLP);
- широкий спектр статистических инструментов и алгоритмов машинного обучения.
- встроенные инструменты для создания графических отчетов [6].
Po lyAnaly st предоставляет возможности реализации всех этапов анализа данных:
- загрузка данных из файлов, баз данных, документов, электронной почты, социальных сетей;
- очистка и преобразование данных;
- обработка естественного языка, извлечение сущностей и отношений;
- выявление тенденций и прогностическое моделирование;
- представление результатов в виде настраиваемых отчетов;
- возможность экспорта и импорта аналитических решений.
Профессиональная версия системы - PolyAnalyst Pro - позволяет проанализировать различные форматы данных и оптимизировать бизнес-процессы. Система выполняет весь комплекс задач анализа данных: загрузку, объединение, очистку и преобразование данных, глубокий текстовый анализ, извлечение информации, визуализацию результатов и создание отчетов.
Важным выглядит, что P lyA aly t Pr предлагает большой выбор инструментов машинного обучения, которые позволяют решать задачи кластеризации и классификации, прогнозируют числовые значения, выявляют аномалии, группируют значения на основе сходства, выполняют анализ социальных сетей и моделирование временных рядов.
Старшим преподавателем Института вычислительной математики и информационных технологий Казанского (Приволжского) федерального университета А.М. Гусенковым разработан подход по интеллектуальному поиску сложных объектов в различных типах структурно размеченных текстов, который может быть применен для обработки «больших данных» (Big Data), что свойственно веб-приложениям [2]. При этом источником информации для построения онтологии и, в дальнейшем, организации интеллектуального поиска выступают тексты на естественном языке, которые относятся к слабоструктурированным данным.
Таким образом, проведенный анализ показывает, технология Web Mining предназначена для поиска необходимой информации и выявления знаний из веб-ресурсов, невзирая на несовершенства поисковых систем, а также для анализа структур сегментов сети. На сегодняшний день в научной среде осуществляются различение методологические разработки по совершенствованию процедур и этапов Web Mi i g. Практические разработки по интеллектуальному поиску информации и анализу данных в веб-приложениях нашли отражение в создании отечественной системы PolyAnalyst.
Список литературы /References
1. Барсегян А.А. и др. Анализ данных и процессов. СПб.: БХВ-Петербург, 2016. 512 с.
2. Гусенков А.М. Интеллектуальный поиск сложных объектов в массивах больших данных // Российский научный электронный журнал, 2016. Т. 19. № 1. С. 40-76.
3. Дюк В. Data Mining - интеллектуальный анализ данных. [Электронный ресурс]. Режим доступа: https://iteam.ru/publications/it/section_92/article_1448/ (дата обращения: 14.01.2019).
4. Карпов М.А. Использование методов интеллектуального анализа данных в веб-приложениях // Аллея науки, 2017. Т. 1. № 10. С. 418-423.
5. Маннинг К. Введение в информационный поиск / К. Маннинг, П. Рагхаван, Х. Шютце. М.: Вильямс, 2015. 528 с.
6. Megaputer Intelligence Inc. [Электронный ресурс]. Режим доступа: https://www.megaputer.ru / (дата обращения: 14.01.2019).
ИННОВАЦИОННЫЙ МЕТОД ВОЛОЧЕНИЯ МНОГОСЛОЙНЫХ
ТРУБ 12 Щедрин А.В. , Жаворонков С.А.
Email: [email protected]
1 Щедрин Алексей Владиславович - кандидат технических наук, доцент; 2Жаворонков Сергей Александрович - студент, кафедра технологии и оборудования прокатки, Московский государственный технический университет им. Н.Э. Баумана,
г. Москва
Аннотация: в данной статье представлена конструкция экспериментальной оснастки для системного совершенствования методов волочения многослойных труб. Предлагается совместное использование соответствующих инструментов с регулярной микрогеометрией и инновационной макрогеометрией воздействующих поверхностей в условиях самовозбуждаемого противодавления современных металлоплакирующих смазок, реализующих фундаментальное научное открытие «эффект безызносности при трении Гаркунова-Крагельского». Проведенное исследование показало стабильное снижение усилия волочения и высокое качество получаемой поверхности. Полученные результаты дают нам основание утверждать, что подобный энергосиловой эффект может увеличить срок эксплуатации инструмента, а также принести экономическую выгоду.
Ключевые слова: трубная заготовка, регулярный микрорельеф, металлоплакирующая смазка, оправочное волочение труб, регулярный микрорельеф.
INNOVATIVE METHOD FOR DEVELOPING MULTILAYER PIPES
12 Shchedrin A.V.1, Zhavoronkov S.A.2
1Shchedrin Alexey Vladislavovich - PhD in Technical Sciences, Associate Professor; 2Zhavoronkov Sergey Alexandrovich - Student, DEPARTMENT TECHNOLOGIES AND EQUIPMENT OF ROLLING, MOSCOW STATE TECHNICAL UNIVERSITY N.E. BAUMAN, MOSCOW
Abstract: this article presents the design of experimental equipment for the systematic improvement of methods of drawing multilayer pipes. It is proposed the joint use of
