CC BY
0
ВЛИЯНИЕ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА НА НОРМАЛИЗАЦИЮ БАЗ ДАННЫХ ПРИ РАБОТЕ С BIG DATA
М.В. Пугин, студент Н.Н. Гринчар, доцент Российский университет транспорта (Россия, г. Москва)
DOI:10.24412/2500-1000-2024-8-2-159-162
Аннотация. В условиях стремительного роста объемов данных, актуальной задачей становится разработка эффективных методов их управления и анализа. Нормализация баз данных, традиционно требующая значительных временных и человеческих ресурсов, сталкивается с трудностями при работе с большими данными (Big Data). В этой статье рассматривается влияние искусственного интеллекта (ИИ) на процессы нормализации баз данных в контексте Big Data. Показано, что ИИ способен автоматизировать анализ данных, оптимизировать схемы баз данных, выявлять закономерности и аномалии, а также интегрировать данные из различных источников. Применение ИИ позволяет значительно повысить эффективность нормализации баз данных, сократить избыточность и обеспечить целостность данных. Эти возможности способствуют улучшению управления данными, повышению производительности баз данных и их масштабируемости. Статья основана на анализе современных исследований и практического опыта, что подтверждает высокий потенциал ИИ в трансформации подходов к управлению большими данными.
Ключевые слова: искусственный интеллект, нормализация баз данных, большие данные, автоматизация, оптимизация схем данных, интеграция данных, управление данными, масштабируемость, целостность данных, машинное обучение.
Современный мир переживает стремительный рост объема данных, что приводит к необходимости разработки новых методов и подходов для их эффективного управления и анализа. Одним из таких методов является нормализация баз данных, направленная на устранение избыточности данных и улучшение их структуры. Традиционные методы нормализации требуют значительных временных и человеческих ресурсов, что затрудняет их применение в условиях работы с большими данными (Big Data). В этой связи искусственный интеллект (ИИ) представляет собой мощный инструмент, способный автоматизировать и оптимизировать процесс нормализации баз данных.
ИИ предоставляет новые возможности для анализа и обработки больших объемов данных, что способствует выявлению закономерностей и оптимальных схем данных, а также интеграции данных из различных источников. Применение ИИ позволяет существенно повысить эффектив-
ность нормализации, сократить избыточность данных и обеспечить их целостность, что, в свою очередь, улучшает качество управления данными и ускоряет процессы анализа.
Нормализация баз данных является важным процессом для повышения эффективности хранения данных и обеспечения их целостности. В контексте работы с большими данными искусственный интеллект может помочь в нормализации баз данных несколькими способами:
1. Анализ данных и выявление закономерностей. ИИ может анализировать большие объемы данных, выявлять закономерности и повторяющиеся структуры. Это помогает определить, какие данные можно разделить на отдельные таблицы, чтобы минимизировать избыточность и улучшить структуру базы данных.
2. Автоматическая классификация данных. Системы ИИ могут автоматически классифицировать и категоризировать данные, что позволяет создавать логически
связанные группы данных для нормализации. Например, ИИ может распознать, что информация о клиентах, заказах и продуктах должна быть разделена на соответствующие таблицы.
3. Оптимизация схем данных. ИИ может предложить оптимальные схемы данных, основываясь на анализе текущей структуры и паттернах использования данных. Это помогает создать более эффективные и нормализованные базы данных.
4. Интеграция и консолидация данных. Для больших данных часто необходимо объединение информации из разных источников. ИИ может автоматизировать процесс интеграции данных, обеспечивая нормализацию и устранение дубликатов при консолидации данных из различных источников.
5. Идентификация избыточных данных. ИИ может выявлять избыточные и дублирующиеся данные, предлагая способы их удаления или преобразования, чтобы нормализовать базу данных.
6. Автоматизация рутинных задач. Использование ИИ позволяет автоматизировать рутинные задачи по нормализации данных, такие как создание связей между таблицами, определение первичных и внешних ключей, и проверка целостности данных.
7. Обучение на документациях и прошлых работах. ИИ может обучаться на исторических данных и применять полученные знания для предсказания и предложений по нормализации новых данных.
Анализ текуи_,9г' БД
В=1ягл9чие а нома." и й
Сс^ачие иемь
Перенесение данным
Рис. 1. Пример использования ИИ для нормализации БД
Выполняя анализ текущей БД, ИИ сканирует базу данных, анализируя структуру и взаимосвязи между данными. Этот процесс включает в себя такие моменты, как:
- Изучение существующих таблиц и полей, а также их типов данных и значений.
- Определение ключей (первичных и внешних) и связей между таблицами.
- Анализ текущих индексов и их влияния на производительность запросов.
- Оценку масштабируемости и выявление узких мест в текущей структуре базы данных.
После того, как ИИ собрал необходимую информацию из используемых баз данных, он приступает к выявлению аномалий. Искусственный интеллект занимается поиском дублирующихся записей и избыточных данных, которые могут приводить к нарушению целостности данных. Он занимается определением несоответствий в типах данных и значения, которые
могут указывать на ошибки ввода данных, выявлением неявных зависимостей и корреляций между полями, которые могут быть использованы для улучшения структуры, и в конце выявления аномалий ИИ автоматически выявляет шаблоны с использованием методов машинного обучения и анализа данных.
Следующим шагом после выявления аномалий является создание схемы. ИИ предлагает новую схему базы данных с нормализованными таблицами и связями. Этот процесс включает в себя:
- Разработку логической схемы данных, которая устраняет избыточность и минимизирует повторения.
- Определение новых таблиц и полей на основе анализа данных и выявленных закономерностей.
- Создание связей между таблицами, включая первичные и внешние ключи для обеспечения целостности данных.
- Оптимизация схемы для улучшения производительности запросов и масштабируемости базы данных.
И последним результативным шагов является миграция данных. ИИ помогает в миграции данных из старой схемы в новую нормализованную структуру, обеспечивая целостность и минимизируя потери данных в силу того, что ИИ также занимается планированием миграции, включая создание резервных копий данных и разработку стратегии переноса. Искусственный интеллект трансформирует данные, чтобы
преобразование типов данных и форматирование значений. Он переносит данные из старых таблиц в новые, с учётом установленных связей и зависимостей, проверяет целостность и корректность данных после миграции, включая тестирование и вали-дацию данных. В результате обновляет индексы и оптимизацию производительности базы данных в новой структуре.
Таким образом, использование ИИ для нормализации баз данных в работе с большими данными позволяет улучшить качество и эффективность управления данными, сократить избыточность и упростить процесс анализа данных. ИИ позволяет анализировать большие объемы данных, выявлять скрытые закономерности и аномалии, автоматизировать процесс создания оптимальных схем данных и облегчать миграцию данных из старых структур в новые. Благодаря этим возможностям, организации могут значительно улучшить управление данными, сократить избыточность, повысить производительность баз данных и обеспечить их масштабируемость.
Исследование влияния ИИ на нормализацию баз данных в контексте больших данных демонстрирует потенциал этих технологий для трансформации подходов к управлению данными. Применение ИИ не только упрощает сложные задачи, но и позволяет находить решения, которые были бы недоступны при использовании традиционных методов.
они соответствовали структуре, включая
Библиографический список
1. Мухаммедова Дж., Гузычев А., Аманова А., Гылыджова М. Использование искусственного интеллекта и больших данных для оптимизации процессов в нефтегазовой отрасли // Инновационная наука. - 2023. - №9-2.
2. Литвин И.И. Особенности сбора, обработки и защиты персональных данных искусственным интеллектом // Вестник Уральского юридического института МВД России. -2021. - №4.
3. Максимов А.И. История, развитие и будущее искусственного интеллекта: влияние на человечество // Вестник науки. - 2024. - №7 (76).
4. Федоров А.М. Актуальность применения элементов искусственного интеллекта на предприятиях массового обслуживания // ГИАБ. - 2014. - №11.
5. Массель Л.В. Современный этап развития искусственного интеллекта (ИИ) и применение методов и систем ИИ в энергетике // Информационные и математические технологии в науке и управлении. - 2021. - №4 (24).
THE IMPACT OF ARTIFICIAL INTELLIGENCE ON DATABASE NORMALIZATION
WHEN WORKING WITH BIGDATA
M.V. Pugin, Student N.N. Grinchar, Associate Professor Russian University of Transport (Russia, Moscow)
Abstract. In the context of the rapid growth of data volumes, the development of effective methods for their management and analysis becomes an urgent task. Database normalization, which traditionally requires significant time and human resources, faces difficulties when working with big data. This article examines the impact of artificial intelligence (AI) on database normalization processes in the context of Big Data. It is shown that AI is able to automate data analysis, optimize database schemas, identify patterns and anomalies, and integrate data from various sources. The use of AI can significantly improve the efficiency of database normalization, reduce redundancy and ensure data integrity. These capabilities contribute to improved data management, database performance and scalability. The article is based on the analysis of modern research and practical experience, which confirms the high potential of AI in transforming approaches to big data management.
Keywords: artificial intelligence, database normalization, big data, automation, data schema optimization, data integration, data management, scalability, data integrity, machine learning.
