CC BY
78
УДК 004.772, 004.41
Ю.В. Катькалов, Я.А. Сахаров
ФГБУН Полярный геофизический институт КНЦ РАН
СИСТЕМА ПЕРЕДАЧИ ДАННЫХ ДЛЯ СЕТИ ГЕОФИЗИЧЕСКИХ СТАНЦИЙ Аннотация
В работе описана система, предназначенная для передачи геофизических данных с удаленных точек наблюдения, построенная на базе GSM-устройств, использующихся для подключения к сети Интернет. Приводится описание основных компонентов системы, а также процедур передачи данных.
Ключевые слова:
система передачи данных, геофизические данные.
Ju.V. Katkalov, Ja.A. Sakharov
DATA TRANSMISSION SYSTEM FOR GEOPHYSICAL NETWORKS
Abstract
The article decribes the system designed for transmission geophysical data from remote observation points by using GSM as access point on Internet. It contains description of the main components of the system, as well as data transmission procedures.
Key words:
data transmission system, geophysical data.
Введение
При решении современных задач по исследованию воздействия факторов космической погоды на технологические или иные системы, становится актуальной проблема оперативной передачи информации, собираемой на территориально распределенной сети станций, в единый информационный центр для обработки, анализа и последующего размещения их в базах данных. В условиях Арктики зачастую единственным способом оперативной передачи информации являются мобильные каналы связи. Нами разработана система сбора, передачи и обработки данных, предназначенная для обслуживания геофизических обсерваторий Полярного геофизического института. Далее описана система, обеспечивающая передачу данных на центральный узел для хранения, обработки и визуализации данных, работающая в обсерватории Ловозеро, а также в международном проекте EURSIGIC*
Система передачи данных
Разработанная система состоит из двух компонентов: системы сбора данных и системы передачи данных на центральный сервер сбора данных (рис. 1).
*
EURISGIC - European Risk from Geomagnetically Induced Currents. Проект финансируется Европейским Союзом в рамках Седьмой Европейской Рамочной Программы (FP7-SPACE-2010-1).
Рис.1. Основные компоненты системы передачи данных
Система передачи данных включает в себя два компонента, разделенных территориально: локальный сервер и центральный сервер сбора данных. Локальный сервер соединен с системой сбора данных и выполняет функцию подготовки данных, полученных системой сбора, с дальнейшей отправкой данных на центральный сервер сбора. Данный компонент реализован в виде аппаратно-программного комплекса, включающий локальный сервер, работающий под управлением операционной системы Linux (openSUSE 12), и GSM-маршутизатор (CCU 3G VPN). GSM-маршрутизатор представляет собой автономное устройство, которое предназначено для подключения сетевых устройств из локальной сети к сети Интернет, используя сеть GSM в качестве среды передачи данных.
Использование GSM-маршрутизатора в качестве устройства для соединения с Интернет имеет ряд преимуществ по сравнению с использованием обычных неавтономных GSM-устройств, таких как GSM-модемы:
- GSM-маршрутизатор является автономным устройством (не требует наличие компьютера для подключения);
- GSM-маршрутизатор может использоваться как точка выхода в сеть Интернет для нескольких сетевых устройств;
- GSM-маршрутизатор включает аппаратные/программные средства контроля состояния подключения к сети Интернет.
Таким образом, использование GSM-маршрутизатора позволяет организовать беспроводное соединение с сетью Интернет для одного или нескольких устройств в условиях, когда организация проводного соединения невозможна или нецелесообразна (например, по техническим или экономическим соображениям).
Работа локального сервера сбора данных реализована следующим образом (рис. 2):
1) система сбора данных записывает полученные данные в файл и, согласно расписанию, передает данные на локальный сервер сбора данных, используя один из возможных протоколов передачи данных. В качестве протоколов передачи данных могут использоваться ftp, http, ssh, smb, rsync и другие;
2) cервер, согласно установленному расписанию, проверяет наличие новых данных от системы сбора и, в случае их наличия, производит подготовку данных для отправки на центральный сервер сбора. Данная процедура состоит из двух этапов: архивация данных, которая включает сжатие данных, и перемещение данных в архивное хранилище. Данные, переданные в хранилище, будут также добавлены в очередь, которая представляет собой список файлов для передачи на центральный сервер сбора;
3) на завершающем этапе сервер осуществляет отправку данных, находящихся в очереди, на центральный сервер сбора данных.
Рис. 2. Схема передачи данных на центральный сервер сбора
Процедура передачи данных на центральный сервер сбора выполняется по следующей схеме:
1) локальные сервер, используя протокол ssh, устанавливает соединение с центральных узлом по заданному адресу;
2) на следующем этапе для всех файлов, находящихся в очереди на передачу, будет выполнена следующая процедура:
- на локальном сервере вычисляется хешш-сумма (контрольная сумма) файла по алгоритму MD5. Для вычисления хешш-суммы используется программа md5sum;
- локальные сервер передает файл на центральный сервер сбора и помещает его во временное хранилище. Для передачи данных на удаленный узел (центральный сервер сбора данных) используется программа scp, которая использует ssh в качестве транспортного протокола;
- после завершения процедуры передачи, локальный сервер вычисляется хешш-сумму файла, который находится во временном хранилище на центральном сервере сбора;
- локальный сервер производит проверку, совпадают ли хешш-суммы файлов из временного хранилища и из очереди и, в случае совпадения (считается, что если хешш-суммы совпадают, то файл был передан без ошибок), файл перемещается из временного хранилища в основное хранилище данных на центральном сервере сбора;
- в случае, если процедура передачи файла была прервана (например, из-за разрыва соединения) или хешш-суммы файлов не совпадают, локальный сервер пытается передать файл из очереди повторно.
3) Локальный сервер закрывает соединение с центральным узлом и удаляет из очереди все файлы, которые были успешно переданы на центральный сервер сбора данных.
Несмотря на то, что описанная процедура передачи данных с локального сервера на центральный сервер сбора данных является более трудоемкой по сравнению с обычными процедурами передачи данных (например, копирование фалов по протоколу ftp или rsync), она позволяет гарантировать, что данные, которые будут помещены в основное хранилище на центральном сервере сбора, не будут содержать ошибок.
Использование протокола ssh позволяет организовать защищенный (зашифрованный) канал передачи данных, что является необходимым в случаях, когда данные являются конфиденциальными. Кроме того, протокол ssh позволяет организовывать ssh-туннели, которые могут использоваться, например, для создания "прямого" соединения между двумя узлами (VPN-over-ssh). Использование таких соединений, позволяет решить задачу, связанную с контролем и управлением удаленной системой сбора данных.
Описанный подход к реализации передачи данных на центральный сервер сбора с использованием локального сервера хранения данных позволяет решить ряд важных задач. Во-первых, использование промежуточного сервера хранения данных позволяет разделить задачу сбора и задачу передачи данных. Это позволяет реализовывать более гибкую конфигурацию систем сбора и передачи данных, а также производить масштабирование существующей системы, в случае, когда требуется организовать передачу данных от нескольких системы сбора данных (рис. 3). Во-вторых, наличие локального сервера хранения, в качестве компонента системы передачи данных, позволяет организовывать отправку данных на центральный сервер независимо от работы системы сбора.
Рис. 3. Пример масштабирования системы передачи данных
Заключение
В приведенном подходе данные, переданные одной или несколькими системами сбора, будут переданы на центральный сервер сбора данных, который выполняет роль консолидирующего узла, что позволяет организовать на сервере централизованную систему хранения и обработки данных.
Данная система используется в течение семи лет для сбора и передачи данных, получаемых на обсерваториях Ловозеро и Лопарская в режиме «почти реального времени». Описанная система передачи данных также использовалась для организации сети станций, предназначенных для регистрации геомагнитно индуцированных токов в проекте EURISGIC.
Сведения об авторах
Катькалов Юрий Владимирович - младший научный сотрудник,
e-mail: [email protected]
Juri V. Katkalov - Junior research
Сахаров Ярослав Алексеевич - к.ф.-м.н., заведующий лабораторией, e-mail: [email protected]
Yaroslav A. Sakharov - PhD (Phys.&Math.Sci.), Head of laboratory
