ПРОГРАММНЫЙ КОМПЛЕКС ПО ОБРАБОТКЕ ТЕХНОЛОГИЧЕСКИХ ДАННЫХ Текст научной статьи по специальности «Компьютерные и информационные науки»

УДК 004

Технические науки

Алили Ширхан Габилоглы, студент

Астраханский государственный университет им. В. Н. Татищева,

г. Астрахань, Россия Email: gfebxh@bk.ru

ПРОГРАММНЫЙ КОМПЛЕКС ПО ОБРАБОТКЕ ТЕХНОЛОГИЧЕСКИХ

ДАННЫХ

Аннотация: Программные комплексы хранения, сбора и обработки технологических данных, в том числе распределенные сетевые комплексы, используются для решения задач промышленного производства, а также в случаях необходимости сбора и обработки больших массивов данных.

Ключевые слова: программный комплекс, сбор и обработка данных, проектирование, приложение.

Abstract: Software complexes for storing, collecting and processing technological data, including distributed network complexes, are used to solve industrial production problems, as well as in cases of need for collecting and processing large data arrays.

Keywords: software package. data collection and processing, design, application.

Сетевой программный комплекс (СПК) является совокупностью программных средств, которые обеспечивают сбор, хранение и обработку данных в компьютерной сети. Он может использоваться в различных областях, включая бизнес, науку, медицину и т.д.

Разработка СПК включает в себя следующие этапы:

1. Определение требований. Этот этап предполагает определение того,

какие данные необходимо собирать, хранить и обрабатывать, а также какие функции должен выполнять СПК.

2. Проектирование архитектуры. На этом этапе определяется структура СПК и выбираются технологии, которые будут использоваться для разработки.

3. Разработка и тестирование. Этот этап включает в себя создание кода и его тестирование на соответствие требованиям.

4. Внедрение. На этом этапе разработанный СПК устанавливается на серверах и начинает использоваться.

5. Сопровождение. Сопровождение СПК включает в себя регулярное обновление программного обеспечения, исправление ошибок и добавление новых функций, если это необходимо.

СПК для хранения, сбора и обработки данных должен обеспечивать следующие функции:

1. Сбор данных. СПК должен иметь возможность собирать данные из различных источников, таких как базы данных, файлы, сенсоры, интернет-ресурсы и т.д.

2. Хранение данных. СПК должен иметь возможность хранить данные в надежном и безопасном месте, а также обеспечивать их доступность для использования.

3. Обработка данных. СПК должен иметь возможность обрабатывать данные, включая их анализ и визуализацию.

4. Управление доступом к данным. СПК должен иметь возможность контролировать доступ к данным и обеспечивать их безопасность.

5. Интеграция с другими системами. СПК должен иметь возможность интегрироваться с другими системами, такими как CRM, ERP, BI и т.д.

Одна из сложностей проектирования, эксплуатации и модификации таких комплексов - необходимость оптимальной реализации алгоритмов слияния гетерогенной информации, получаемой из разнородных источников. С целью обеспечения обработки больших объемов информации за ограниченное время

разрабатываемые приложения могут разрабатываться как облачные (например, для работы c Microsoft Azure), что позволяет получать все преимущества, связанные с возможностью использования облачных сервисов [2].

Поставлена задача разработки программного комплекса хранения, сбора и обработки данных, поступающих с современных торговых платформ (MetaTrader вер. 4,5 и др.). Программный комплекс представлен структурными единицами: модуль оперативного сбора поступающих данных (котировки финансовых инструментов), принимаемых терминалами МТ4 и МТ5; модуль ввода в базу данных (БД) архивной информации (исторические данные котировок финансовых инструментов за прошедшие периоды), загружаемой из текстовых фалов (txt, csv (Comma-Separated Values); БД для хранения собранной информации; технологические модули обработки информации (прогнозирование изменения финансовых инструментов, публикация информации о выявленных торговых сигналах на интернет порталах, рассылка информации пользователям по электронной почте и в виде Push- уведомлений на мобильные устройства, модули консолидации данных для ввода данных в таблицы заданной структуры, модули обнаружения и восстановления пропущенных данных и т.д.). Выполненные программные разработки планируется использовать для совершенствования программно-алгоритмического комплекса формирования испытательного полигона нестационарных рядов наблюдений ("Программный комплекс POLIGON хранения и обработки данных биржевых котировок" http://www.ofernio.ru/rto_files_ofernio/18946.doc). Перечень основных таблиц БД данных хранения биржевых котировок: таблицы с минутными котировками (М1); таблицы с данными тиковых котировок; поддерживается возможность размещения таблиц с данными финансовых инструментах старших таймфреймов: М5, М15, М30, Н1, Н4, дневного (D1), недельного (W1) и месячного (MN), а также таблиц с данными нестандартных (для МТ4 и МТ5) таймфреймов: М10, М20, Н2 и др. Все таблицы с информацией по отдельно взятым финансовым инструментам, за исключением таблиц тиковых

котировок, включают в себя пять полей: минимальное значение цены на начало периода (Low), максимальное значение цены за период (High), значение цены на начало (Open цена открытия) и на конец периода (Close цена закрытия), данные о числе сделок, совершенных за период (объем торгов Volume). Поддерживается возможность размещения данных в таблицах консолидации, записи которых имеют формат: поля даты и времени, поля данных финансового инструмента 1, поля данных финансового инструмента 2, поля данных финансового инструмента N. БД работает под управлением СУБД MS SQL Server 2014. Для сбора в оперативном режиме поступающих данных котировок финансовых инструментов для терминалов платформ МТ разрабатываются и тестируются приложения, выполняемые под управлением терминала (исполняемые файлы формата ex4 и ex5). Собираемые приложением данные отправляются, по протоколу http (https) на web- сервер, где записываются в файл, обрабатываемый разработанной прикладной программой, запущенной непосредственно на сервере, загружающей данные из файла в таблицу БД Тестируются варианты программ, использующие вызов внешних функций из dll библиотек, а также приложения, использующие функцию WebRequest и не требующие подключения dll библиотек. Разрабатывается система защиты аппаратно-программных средств и написанного ПО от несанкционированного доступа [2]. На странице портала http://www.mctrewards.ru/proekty/base размещено несколько примеров разработанных программ (скомпилированные файлы и исходные коды программ), раздел периодически обновляется.

Программный комплекс, используемый для хранения, сбора и обработки технических данных, в том числе распределенный сетевой комплекс, используемый для решения задач промышленного производства, а также в случае необходимости сбора и обработки больших массивов, данных [1]. Одной из трудностей при проектировании, эксплуатации и модификации таких комплексов является необходимость оптимальной реализации алгоритмов объединения разнородной информации, полученной из разнородных источников. Чтобы гарантировать обработку большого объема информации за

ограниченное время, разрабатываемое приложение может быть разработано как облачное (например, в сотрудничестве с Microsoft Azure), что позволяет получать всю информацию, связанную с возможностью использования облачных сервисов.

Наша задача - разработать программный пакет для хранения, сбора и обработки данных с современных торговых платформ. 4,5 и т.д.). Программный комплекс представлен структурной единицей: модулем для работы и сбора входящих данных (котировок финансовых инструментов), получаемых терминалами MT4 и MT5; модулем для ввода архивной информации в базу данных (DB) (исторические данные котировок финансовых инструментов за прошедший период), загруженную из текстового файла (txt, csv (значения через запятую); база данных для хранения собранной информации; модуль технологии обработки информации (прогнозировать изменения финансовых инструментов, публиковать информацию об обнаруженных торговых сигналах на интернет-порталах, отправлять информацию пользователям по электронной почте и в виде push-уведомлений на мобильные устройства, вводить данные в модуль консолидации данных заданной структурной таблицы, обнаруживать и восстанавливать потерянные модули данных и т.д.) Завершенный план разработки программного обеспечения используется для совершенствования программно-алгоритмического комплекса для формирования тестовой площадки для нестационарной серии наблюдений ("Программный пакет POLIGON для хранения и обработки данных о котировках акций").http://www.ofernio.ru/rto_files_ofernio/18946.doc). Список основных таблиц базы данных, используемых для хранения котировок акций: таблица с минутными котировками (M1); таблица с данными о ежедневных котировках; Он поддерживает возможность размещения таблиц данных по финансовым инструментам в более высокие периоды времени: M5, M15, M30, H1, H4, ежедневно (D1), еженедельно (W1) и ежемесячно (MN), а также таблиц данных для нестандартных (MT4 и MT5) периодов времени: M10, M20, H2 и т.д. За исключением таблицы ценовых предложений, все таблицы, содержащие

информацию об отдельных финансовых инструментах, включают пять полей: наименьшее значение цены в начале периода (low), наибольшее значение цены в течение периода (high), значение цены в начале периода (цена открытия) и цена значение на конец периода (цена закрытия), количество сделок за период данных (объем торгов). Поддерживается возможность размещения данных в объединенной таблице, формат записи: поля даты и времени, поля данных финансового инструмента 1, поля данных финансового инструмента 2, Поле данных финансового инструмента МБаза данных работает под управлением MS SQL Server 2014. Для сбора онлайн-входящих данных о котировках финансовых инструментов с терминала платформы MT разрабатываются и тестируются приложения (исполняемые файлы ex4 и ex5), работающие под управлением терминала. Данные, собранные приложением, отправляются на веб-сервер по протоколу http (https), где они записываются в файл, обрабатываемый приложением разработки, запущенным непосредственно на сервере, данные загружаются из файла в таблицу базы данных, вариант программы, который использует библиотеку dll для вызова внешние функции для тестирования и приложение, которое использует функцию WebRequest без необходимости подключения к библиотеке dll. Разрабатывается система для защиты аппаратного и программного обеспечения, а также написанного программного обеспечения от несанкционированного доступа. На странице портала <url> есть несколько примеров разработки программ (файлы компиляции и исходный код программы), которые регулярно обновляются.

Библиографический список:

1. Абрамкина О.А. Исследование протокола ТСР в среде Wireshark. Международный научный журнал-приложение РК «Поиск», №2(2), г. Алматы, 2014, с.312-316.

2. Технологии слияния гетерогенной информации из разнородных источников (data fusion) Ананченко И.В., Гайков А.В., Мусаев А.А. Известия Санкт-Петербургского государственного технологического института

(технического университета). 20l3. №l9 (45). c. 098-105.