CC BY
1
УДК 004.415.25
Берестнев Д.Д.
Магистр 3 курса ПГУТИ г. Самара, РФ Берестнев П.Д.
Магистр 1 курса САМГТУ г. Самара, РФ
Научный руководитель: Лиманова Н.И.
Доктор технических наук, профессор, ПГУТИ
г. Самара, РФ
РЕЛЯЦИОННАЯ МОДЕЛЬ КАК ЭФФЕКТИВНОЕ РЕШЕНИЕ ДЛЯ СИСТЕМ УПРАВЛЕНИЯ ЦИФРОВЫМИ АКТИВАМИ
Аннотация
В данной статье рассматривается концепция систем управления цифровыми активами, обозревается предметная область, рассказывается о отечественных системах управления цифровыми активами, производится сравнение использования документно-ориентированной и реляционной модели базы данных для подобных систем, рассказывается об особенностях и функциональных ограничениях накладываемых каждой из них, рассказывается о разработанной реляционной модели для отечественной системы управления цифровыми активами.
Целью работы является разработка структуры реляционной модели базы данных с целью улучшения индексации данных и ускорения процесса поиска данных в отечественной системе управления цифровыми активами, разработанной ИТ-аккредитованной компанией ООО "БД СОФТ" под руководством авторов.
Предметом работы является создание структуры реляционной базы данных для объектно-ориентированной системы, которая позволила бы достичь поставленных целей.
Практическая значимость работы обусловлена тем, что понимание преимуществ и ограничений документно-ориентированной и реляционной модели для систем управления цифровыми активами помогает оптимизировать процессы проектирования, внедрения, поддержки и использования подобных систем, что в конечном итоге приводит к более эффективному использованию ресурсов и улучшению общей производительности и скорости взаимодействия с цифровыми активами. Данная статья может быть полезна инженерам, программным архитекторам и программным аналитикам, выбирающим под задачи своего предприятия наиболее подходящую модель базы данных для системы управления цифровыми активами.
Ключевые слова
Универсальная платформа централизованного управления цифровыми активами предприятия, система управления цифровыми активами, цифровые активы, реляционная модель, документоориентированная модель, digital asset management system, DAM ML.
Введение
Система управления цифровыми активами (СУЦА) представляет собой комплекс программных средств или сервисов, целью которых является эффективное управление, систематизация, хранение, поиск и распространение цифровых активов. Цифровые активы включают в себя разнообразные мультимедийные ресурсы, такие как изображения, видео, аудиофайлы и документы.
Функционал СУЦА охватывает несколько ключевых областей. В первую очередь, система предоставляет централизованное хранилище для размещения цифровых активов, позволяя их удобно организовывать по категориям, атрибутам, ключевым словам и тегам. Второе важное направление -
обеспечение быстрого, эффективного поиска и доступа к требуемым активам.
Также СУЦА предоставляет инструменты для совместной работы и взаимодействия с цифровыми активами, возможность их версионирования, управления правами доступа, возможность интеграции с другими системами (веб-сайтами, социальными сетями, мобильными приложениями и т.д.) и возможность автоматической предварительной обработки данных.
Целью работы является разработка структуры реляционной модели базы данных (БД) для улучшения индексации данных и ускорения процесса поиска данных в отечественной СУЦА, разработанной ИТ-аккредитованной компанией ООО "БД СОФТ" под руководством авторов.
Предметом работы является создание структуры реляционной БД для объектно-ориентированной системы, которая позволила бы достичь поставленных целей.
В работе обозревается предметная область, рассказывается об отечественных системах управления цифровыми активами, производится сравнение документно-ориентированной и реляционной моделей БД для подобных систем, рассказывается об особенностях и функциональных ограничениях, накладываемых каждой из них, рассказывается о разработанной реляционной модели для отечественной системы управления цифровыми активами.
Исследование предметной области
СУЦА включает в себя следующие основные понятия: атрибуты, сущности, медиатипы, записи.
Атрибуты — это поля, из которых формируется сущность. Атрибуты могут быть различных типов: дата, время, целочисленное число, число с плавающей точкой, файл, текст, логический тип и т.д. В контексте реляционных баз данных, атрибуты аналогичны столбцам таблицы.
Сущность представляет собой структуру данных - вид записи. Например статья, галерея, акция и т.д. Сущность включают в себя атрибуты, например название статьи, теги, дата публикации и т.д. Проводя аналогию с реляционными БД, аналогом сущности является таблица.
Медиатипы используются для атрибутов типа - файл, включают в себя список расширений и позволяют устанавливать правила валидации прикрепляемых медиаданных.
Записи создается на основе сущностей. При создании записи выбирается сущность, после чего атрибуты, привязанные к данной сущности, заполняются соответствующими значениями [1].
Важным моментом является то, что в процессе работы системы на уровне БД недопустимо создание, удаление, редактирование таблиц (коллекций) или столбцов (полей) в ней, так как это отрицательно сказывается на производительности БД, делает невозможным построение индекса, является плохой практикой при разработке подобных систем.
Обзор отечественных систем управления цифровыми активами
После марта 2022 года целый ряд зарубежных компаний, предоставлявших облачные услуги управления цифровыми активами, перестали работать с российскими клиентами. Основными пользователями данных систем являются сети крупных торговых центров, сети розничной торговли, СМИ, сети ресторанов. Одним из таких пользователей является крупный российский девелопер ООО "МОЛЛТЕК", по заданию которого, в рамках импортозамещения Берестневым Д.Д. был разработан отечественный продукт «DAM ML», являющийся аналогом ранее использовавшейся зарубежной системы «AssetBank». Он, свою очередь, стал прототипом разработанной авторами «Универсальной платформы централизованного управления цифровыми активами предприятия». На данный момент, «DAM ML» уже около 1.5 лет находится в промышленной эксплуатации и имеет государственную регистрация в Роспатенте [2]. На основе «DAM ML» компанией ООО "МТ ЛАБ" являющейся дочерней компанией ООО "МОЛЛТЕК" совместно с Берестневым Д.Д. была разработана система «LAB ADV (ЛАБ АДВ)» - CRM система для продажи рекламы в торговых центрах. Программа также имеет государственную регистрацию в Роспатенте [3]. Медиаконтент для данной CRM системы берется из системы управления цифровыми активами «DAM ML».
Разработанная ООО "БД СОФТ" «Универсальная платформа централизованного управления цифровыми активами предприятия» использует иной стек технологий и является полностью
переработанным потомком системы «DAM ML», развивающим заложенные в нем идеи, но лишенным его недостатков и ограничений. Работа поддержана грантом Фонда содействия инновациям (ФСИ) «Студенческий стартап (II) - 2022» [4].
«Универсальная платформа централизованного управления цифровыми активами предприятия» построена на базе серверного фреймворка Laravel и фреймворка для клиентской части Vue.js. В качестве основы для клиентской части использует концепцию single page application (SPA), что позволяет повысить интерактивность для пользователей и снизить количество трафика при работе в системе. В качестве базы данных используется документно-ориентированная БД MongoDB, обеспечивающая простоту структуры и легкость в горизонтальном масштабировании. В качестве основного подхода используется методология Domain-driven development (DDD), подразумевающая реализацию классов на базе интерфейсов и абстракций, а также разбиение системы на бизнес домены, что позволяет с легкостью переключать систему с одной инфраструктуры на другую, изменяя тип базы данных, файлового хранилища и т.д. [5-6].
Сравнение документно-ориентированной и реляционной модели базы данных
В качестве примера для построения «DAM ML» была взята иностранная система управления цифровыми активами «AssetBank». Данная система имела возможность выгрузки данных в xlsx формате и возможность интеграции с внешними сервисами посредством REST API, система была доступна только в облаке, а исходный код программы был закрыт. Исходя из формата, в котором выгружались данные, формата в котором они были доступны через REST API, а также исходя из того, что в качестве идентификаторов записей использовался universally unique identifier (UUID), а не просто автоинкрементируемый порядковый индекс, можно сделать предположение о том, что данная система была построена на базе документно-ориентированной БД.
Для построения подобных систем на базе документно-ориентированной БД есть ряд оснований:
• Легкость реплицирования и шардирования данных - в документно-ориентированной БД MongoDB данный функционал доступен «из коробки», в отличии от реляционных БД («SQL»).
• Простота и понятность схемы БД. Отсутствие сложных реляционных связей (рис. 1-2).
• Возможность версионирования документов путем копирования их JSON представлений из одной коллекции в другую.
• Отсутствие избыточных полей в документах, благодаря наличию возможности создания документов с разным набором полей в одной и той же коллекции.
0bjectld('Ref to MediaType Model')
'editor': Boolean|undefined, 'unique1: Boolean|undefined,
Рисунок 1 - Структура атрибута в системе управления цифровыми активами на базе
документно-ориентированной БД
Рисунок 2 - Структура сущности в системе управления цифровыми активами на базе
документно-ориентированной БД
К преимуществам использования реляционной БД в подобных системах можно отнести:
• Простоту построения индекса для записей с целью ускорения процесса поиска и взаимодействия с ними.
• Быстроту выполнения операций связанных с использованием в себе связей с другими таблицами.
• Поддержку функционала транзакций гарантирующую атомарность операций с данными.
'fileld': 0bjectld('Ref to File Model')
'_id': 0bjectld('Ref to Attribute Model'), 'value': String|Number|Boolean|Date|Text,
Рисунок 3 - Структура записи в системе управления цифровыми активами на базе документно-ориентированной БД.
«DAM ML» и «Универсальная платформа централизованного управления цифровыми активами
предприятия» были построены на базе документно-ориентированной БД MongoDB. Однако при попытке построения индекса для ускорения поиска возникли определенные сложности связанные с специфичностью структуры записи - значения атрибутов представляют собой список JSON объектов с различной структурой и типами полей что приводит к плохой индексации (рис. 3).
Также выявился недостаток связанный с невозможностью гарантировать атомарность операций удаления сущностей и атрибутов в связи с отсутствием транзакций в документно-ориентированных БД. Из-за отсутствия встроенного функционала, связанного с использованием реляционных связей в документно-ориентированных БД при извлечении какой-либо записи, приходится извлекать информацию о всех зависимых документах путем отправки дополнительных запросов к БД что уменьшает скорость и увеличивает количество используемого трафика [7].
Так как в процессе разработки универсальной платформы централизованного управления цифровыми активами предприятия был использован DDD-подход данная система поддерживает возможность смены типа БД. Для устранения вышеперечисленных недостатков для данной системы была разработана реляционная структура БД (рис. 4).
Рисунок 4 - Реляционная структура БД для универсальной платформы централизованного управления
цифровыми активами предприятия
Структура состоит из 10 основных таблиц: attributes, entities, media-types, values, records, users, extensions, files, thumbnails, types и 5 связующих, обеспечивающих возможность организации связей многие к многим: attribute_list_values, record_values, entity_media_type, attribute_entity, attribute_media_type.
Таблица users содержит в себе информацию о пользователях системы. Таблица types содержит в себе информацию о всех доступных типах, а также их параметрах. Таблица attributes предназначена для хранения списка атрибутов, содержит в себе настройки атрибутов и имеет связь один ко многим с таблицей types. Таблица entities предназначена для хранения списка сущностей, имеет связь многие ко многим с таблицей attributes через связующую таблицу attribute_entity. Таблица attribute_entity является связующей между таблицами attributes и entities, а также содержит в себе параметры, отвечающие за отображение атрибутов в превью записей (show_in_list) и позиции атрибутов (index), в сущностях. Таблица media_types содержит в себе список медиа типов имеет связь один ко многим с таблицей extensions, а также имеет связь многие ко многим с таблицей attributes и entities через связующие таблицы entity_media_type и attribute_media_type для задания правил валидации медиаконтента. Таблица attribute_list_values содержит в себе список доступных значений для атрибутов типа «список». Таблица records содержит в себе список записей, имеет связь один ко многим с таблицей entities для задания типа записи, имеет связь один ко многим с таблицей files для задания главного файла, а также имеет связь один ко многим с таблицей record_values. Таблица record_values содержит в себе информацию о значениях атрибутов для той или иной записи, имеет связь один ко многим с таблицей records, имеет связь один ко многим с таблицей attributes, а также имеет связь один ко многим с таблицей values. Таблица files содержит в себе информацию о медиафайле имеет связь один ко многим с таблицей extensions, имеет связь один ко многим с таблицей thumbnails, а также имеет поле hash для обеспечения дедупликации файлов. Таблица thumbnails содержит в себе информацию о пути до превью медиафайла. Таблица values содержит в себе значения для каждого атрибута в записи и имеет отдельный столбец под каждый тип атрибута из таблицы types для ускорения поиска.
Гибкость системы заключается в сложных реляционных связях между таблицами, что позволяет не создавать новые таблицы и столбцы при добавлении новых сущностей и атрибутов. Использование реляционных связей уменьшает количество запросов к БД, гарантирует их атомарность, а также уменьшает объем трафика, используемого для взаимодействия с БД.
Заключение
Отечественные системы управления цифровыми активами должны быть гибкими чтобы соответствовать разнообразным требованиям предприятий. Ключевым аспектом эффективного функционирования таких систем является способность их взаимодействия как с реляционными, так и с документно-ориентированными БД.
«Универсальная платформа централизованного управления цифровыми активами предприятия» представляет собой инновационное решение, спроектированное для работы в различных сценариях в зависимости от уникальных потребностей и задач предприятия. Данная платформа обеспечивает возможность выбора между реляционной и документно-ориентированной моделями в зависимости от конкретных требований.
В сценариях, где необходимо обеспечить быстрый поиск данных, снизить нагрузку на базу данных и гарантировать консистентность данных, предпочтительным вариантом будет использование реляционной модели. Эта модель позволяет эффективно организовывать и структурировать данные, обеспечивая высокую производительность при операциях поиска в подобных системах.
С другой стороны, когда возникает потребность в версионировании документов, шардировании и
репликации баз данных, документно-ориентированная модель становится более предпочтительным выбором. Эта модель позволяет эффективно управлять документами, сохраняя историю их изменений, а также обеспечивает возможность горизонтального масштабирования для удовлетворения растущих потребностей предприятия.
Список использованной литературы:
1. Лиманова Н.И., Берестнев Д.Д. Универсальная платформа централизованного управления цифровыми активами предприятия // XXX Российская научно-техническая конференция «Актуальные проблемы информатики, радиотехники и связи». 2023. С. 167.
2. Свидетельство о государственной регистрации программы для ЭВМ № 2023614653. DAM ML / Д.Д. Берестнев, А.Ю. Спиридонов - Заявка №2012618426. Дата поступления 14 февраля 2023 г. Зарегистрировано в Реестре программ для ЭВМ 3 марта 2023 г.
3. Свидетельство о государственной регистрации программы для ЭВМ № 2023617500. LAB ADV (ЛАБ АДВ) / Д.Д. Берестнев, А.В. Девятов, Ю.А. Король и др. - Заявка № 2023616528. Дата поступления 5 апреля 2023 г. Зарегистрировано в Реестре программ для ЭВМ 11 апреля 2023 г.
4. Фонд содействия инновациям. Результаты конкурса «Студенческий стартап» (очередь II) [Электронный ресурс] . - Режим доступа: https://www.fasie.ru/press/fund/studstartup-results-2/, свободный. - (дата обращение 30.04.2023).
5. Clean Architecture, DDD, гексагональная архитектура [Электронный ресурс]. - Режим доступа: https://habr.com/ru/articles/718916/, свободный. - (дата обращение 08.11.2023).
6. Domain Driven Design: модели вместо требований [Электронный ресурс]. - Режим доступа: https://habr.com/ru/companies/custis/articles/705958/, свободный. - (дата обращение 08.11.2023).
7. MongoDB vs PostgreSQL: основные различия и особенности миграции [Электронный ресурс]. - Режим доступа: https://habr.com/ru/companies/slurm/articles/733508/, свободный. - (дата обращение 08.11.2023).
© Берестнев Д.Д., Берестнев П.Д., 2023
УДК 004.896
Выборнов О.А.
студент 3 курса РТУ МИРЭА, г. Москва, РФ Шрайнер Д.О. студент 4 курса РТУ МИРЭА, г. Москва, РФ
РОБОТИЗАЦИЯ В ПРОМЫШЛЕННОСТИ: НОВЫЕ ВОЗМОЖНОСТИ
Аннотация
Статья рассматривает современные тенденции роботизации и автоматизации в промышленности. Робототехника становится неотъемлемой частью современных производств, улучшая точность и производительность от сборки до упаковки.
Ключевые слова
Промышленность, роботизация, автоматизация, искусственный интеллект.
