CC BY
13
УДК 004.6
Палкина София Александровна Ухлова Вера Владимировна
Воронежский государственный университет
г. Воронеж, РФ
МОДИФИКАЦИЯ АЛГОРИТМА CRISP ДЛЯ ВИЗУАЛИЗАЦИИ ЛАБОРАТОРНЫХ ДАННЫХ
НА ПЛАТФОРМАХ КЛАССА BI
Аннотация
В статье рассматривается модификация алгоритма методологии работы с данными CRISP-DM. Цель модификации - возможность применения алгоритма для отображения данных, получаемых с лабораторного оборудования, на платформах визуализации класса BI. Суть модификации заключается в добавлении шагов для трансформации данных и переносе нескольких шагов между этапами для упрощения дальнейшей работы по представлению данных. Итоговый алгоритм становится адаптированным под обработку данных, получаемых с лабораторного оборудования, и позволяет отображать данные на платформах BI.
Ключевые слова
Методология CRISP, платформа BI, обработка данных, аналитика данных.
Palkina Sofiia A. Ukhlova Vera V.
Voronezh State University Voronezh, Russia
MODIFICATION OF THE CRISP ALGORITHM FOR VISUALIZATION LABORATORY DATA ON BI-CLASS PLATFORMS
Abstract
The article considers a modification of the algorithm of the CRISP-DM data methodology. The purpose of the modification is to make it possible to apply the algorithm to display data from laboratory equipment on BI class visualization platforms. The essence of the modification is to adding steps to transform data and transferring of several steps between steps to simplify further work on data representation. The final algorithm becomes adapted to process the data, from laboratory equipment, and allows the data to be displayed on BI platforms.
Keywords
CRISP methodology, BI platform, data processing, data analytics.
Задачи визуализации данных научных исследований и экспериментов заключаются в таком представлении данных, которое позволит упростить обработку результатов исследования и проведение анализа полученных данных, получить объективное представление об эксперименте,
ускорить принятие решения в отношении отдельных действии по эксперименту с целью его корректировки.
При использовании лабораторного оборудования исследователь сталкивается с тем, что результаты исследования (измерения, наблюдения) приходится собирать вручную и затем переводить самостоятельно в цифровой формат, лабораторное оборудование сохраняет данные в форматах, которые трудно или невозможно экспортировать в универсальные визуализаторы, необходимость анализировать данные, отображаемые и сохраненные в разных источниках. Переход на цифровое оборудование и использование мощных платформ визуализации не позволяет решить проблемы сбора и сохранения данных на аналоговом оборудовании, которое до сих пор применяется в исследовательских лабораториях, а алгоритмы подготовки данных для визуализации на современных платформах требуют доработки. Это и определяет актуальность данной работы.
Современное цифровое лабораторное оборудование имеет сервисы сохранения результатов в любом удобном для визуализации формате. Однако простейшее оборудование сохраняет данные в текстовом формате или «неуниверсальном» формате, или требует записи результатов вручную (рис. 1).
Рисунок 1 - Пример фиксации данных на лабораторной установке РИо1осог
Более того, в большинстве случаев, при проведении экспериментов используется несколько лабораторных установок. При этом формат и структура данных зависят от лабораторного оборудования и зачастую отличаются.
Далее работа с данными проводится с применением одной из методологий аналитики данных. В данном случае рассматривается методология СШБР-ЭМ (рис. 2). Она реализует все стандартные шаги работы с данными и позволяет подготовить данные для возможности использования платформы визуализации класса В1, однако требует доработки. Для применения ее к визуализации данных с лабораторного оборудования проведена ее модификация по шагам трех этапов (рис. 3). Этапы методологии, которые модифицированы: анализ данных, подготовка данных и визуализация.
Рисунок 2 - Базовый алгоритм методологии CRISP-DM
В шаги этапа «Анализ данных» добавляется шаг «Форматирование данных», который позволяет разметить данные, разделить и преобразовать текстовые данные к виду электронных таблиц, удобный для загрузки в аналитический контур.
Рисунок 3 - Модифицированный алгоритм методологии CRISP-DM
После этого возможно изучение данных согласно их виду. На этапе «Подготовка данных» шаг «Выборка данных» выполняется после шага «Интеграция». Шаг «Форматирование данных» отсутствует, т.к. перенесен на этап «Анализ данных». Этап внедрения представляет собой визуализацию, которая представлена шагами «Выбор инструментов визуализации», «Формирования дашборда», «Настройка дашборда» и «Оценка визуализации».
Такая модификация алгоритма позволяет в дальнейшем сценарии визуализации данных учесть процессы преобразования форматов данных и организации единого хранилища, реализовывать любое количество процедур по преобразованию данных, осуществлять интеграцию данных, их перекодировку и уменьшение размерности.
Список использованной литературы:
1. Business Intelligence. Бизнес-аналитика // TAdvisor : сайт. - URL: http://www.tadviser.ru/index.php/BI
2. Power BI // Power BI Report Server: сайт. - URL: https://powerbi.microsoft.com/ru-ru/report-server
3. Ильяшенко О. Ю. Роль BI-систем в совершенствовании процессов обработки и анализа бизнес информации: учебник / О. Ю. Ильяшенко, И. В. Ильин, Д. Д. Болобонов. - Наука и бизнес: пути развития, - 2017. - № 6. - С. 124-131.
4. Паклин Н. Б. Бизнес-аналитика: от данных к знаниям: учебное пособие / Н. Б. Паклин, В. И. Орешков. - Санкт-Петербург: Питер, 2015. - 624 с.
5. Феррари А. Анализ данных при помощи Microsoft Power BI и Power Pivot для Excel: руководство / А. Феррари, М. Руссо; перевод с английского А. Ю. Гинько. — Москва: ДМК Пресс, 2020. — 288 с.
©Палкина С.А., Ухлова В.В. 2023
