CC BY
18РАЗРАБОТКА ГЕОИНФОРМАЦИОННОЙ СИСТЕМЫ ДЛЯ СТАНЦИЙ И ЦЕНТРОВ АГРОХИМИЧЕСКОЙ СЛУЖБЫ
РОССИЙСКОЙ ФЕДЕРАЦИИ
А. В. Марков, В. С. Шерстнев, А. И. Шерстнева
Национальный исследовательский Томский политехнический университет,
634034, Томск, Россия
УДК 004.422.8
Рассматривается задача автоматизации деятельности станций и центров агрохимических служб Российской Федерации. Автоматизация деятельности в аспекте обработки накопленных производственных данных предлагается за счет использования соответствующих программных средств - разрабатываемой геоинформационной системы, состоящей из ряда модулей. Система автоматизации предназначена для ввода и обработки атрибутивных и пространственных агрохимических данных и основана на распространенных программных компонентах, что упрощает ее внедрение. Используются оригинальные алгоритмы обработки, структуры хранения производственных данных в этой предметной области.
Ключевые слова: мониторинг агрохимического состояния сельскохозяйственных угодий, агрохимическая служба, геоинформационные технологии, ArcGis, тематические карты, SQL, Visual Studio.
The article focuses on the problem of automating centres and stations of the agrochemical services of the Russian Federation. The automation of activities in the aspect of processing cumulative industrial data is performed by using appropriate software environment, namely a geo-information system. The geo-information system being developed consists of a number of modules and it is intended for automating the input and processing of attributive and spatial agrochemical data. The system has been based on widespread software components in order to simplify its implementation. The feature of novelty is the usage of original processing algorithms and structures of industrial data storage in this domain.
Key words: to monitor the fertility of agricultural lands, agrochemical service, geoinformation technology (GIS), ArcGis, thematic maps, SQL, Visual Studio.
Введение. Страна, обладающая огромными площадями сельскохозяйственных угодий, не может не придавать значения решению задачи их планомерного освоения с использованием информационных технологий. Некоторое отставание в автоматизации данной отрасли по сравнению с прочими (например, нефтегазодобывающей) можно объяснить тем, что в России сельское хозяйство не дает столь быстрого и большого дохода, какой возможен при разработке нефтяных или газовых месторождений. Однако планомерное развитие этой отрасли за счет внедрения высоких технологий не менее важно для государства, чем добыча ископаемых ресурсов. Сельское хозяйство является возобновляемым ресурсом, имеющим государственное значение.
Департамент растениеводства, химизации и защиты растений при Министерстве сельского хозяйства Российской Федерации осуществляет руководство множеством центров и станций агрохимической службы (ЦАС и САС). Агрохимическая служба отвечает за соблюдение норм концентраций химических элементов и соединений в сельскохозяйственных
угодьях. В России насчитывается более 140 подобных федеральных государственных учреждений (ФГУ). Основными задачами ФГУ агрохимической службы являются мониторинг химического состояния подотчетных территорий, разработка планов мероприятий и рекомендаций по поддержанию и повышению плодородия обследованных земель.
Мониторинг. В настоящее время мониторинг сельскохозяйственных угодий осуществляется с помощью регулярных полевых обследований, в ходе которых собираются и анализируются образцы почв. На основании полученных данных формируются карты покрытия для тех или иных химических элементов и соединений: подвижной серы, фосфора, азота, водорастворимого фтора, обменного калия, ртути, марганца, свинца, меди, железа, гумуса и пр. Оценка агрохимического состояния почв другими способами затруднительна. Методы дистанционного зондирования Земли с использованием космических снимков позволяют распознавать типы сельскохозяйственных угодий (пашня, пастбище, посевы многолетних культур и т. д.), но не позволяют оценить количественное содержание необходимых для мониторинга химических элементов.
На основе данных регулярного мониторинга ФГУ ЦАС (САС) тем или иным способом разрабатывают цифровые модели сельскохозяйственных угодий, доступные для дальнейшего анализа с помощью соответствующих программных инструментов.
В целом построение точной и адекватной цифровой модели агрохимического состояния территорий позволит использовать в России подходы "точного земледелия" (precision agriculture) [1], широко распространенные в странах Европы, Северной и Южной Америки, Китае.
"Точное земледелие" подразумевает наличие разнообразной достоверной агрохимической информации об элементарных земельных участках. Цифровая модель способна обеспечить такое качество данных даже при недостаточном количестве собранных первичных данных (образцов почв). Наличие даже нерегулярных в пространстве сведений об агрохимических показателях позволяет в рамках цифровой модели в некотором приближении вычислить значения показателей в других точках с помощью распространенных методов аппроксимации и интерполяции (см. [2]).
Использование современных возможностей обработки данных требует применения соответствующей высокотехнологичной архитектуры и структур данных для накопления производственной информации. С использованием существующего программного обеспечения построить производительное, многофункциональное и наращиваемое решение весьма затруднительно.
На рынке информационных технологий в аграрном секторе известны такие программные продукты, комплексы и системы, как Farm Works, Agro-Map PF, Agro-Net NG / Agrocom, ГИС-Растениеводство, АСУР "АгроКонсул" и др. Однако информации об их внутренней архитектуре, особенностях использованного алгоритмического и математического обеспечения недостаточно. В то же время закрытость реализации и обеспечения данных продуктов вполне объяснима с коммерческой точки зрения. С технической точки зрения многие из упомянутых продуктов представляют собой надстройку над существующими геоинформационными системами (ГИС), что приводит к значительному увеличению их стоимости владения и накладывает соответствующие требования на квалификацию обслуживающего персонала: пользователи должны быть специалистами не только в своей области, но и в области используемой ГИС.
Неясно, какие структуры данных используют указанные выше продукты, позволяют ли они расширять перечень учитываемых химических показателей, имеется ли возможность
формировать произвольные отчетные формы, комбинировать в отчетах текстовую и картографическую информацию, доступны ли для конечных пользователей возможности ОЬАР-анализа накопленных агрохимических данных.
В данной работе исследуются структура и алгоритмическое обеспечение разрабатываемой ГИС для агрохимических центров и станций РФ.
Частично результаты данного проекта представлялись в 2009 г. на международных конференциях [3, 4].
Принципы построения системы. Одними из основных принципов разрабатываемой системы являются функциональная расширяемость, совместимость по форматам обмена данными и открытая структура хранения данных.
Функциональная расширяемость позволит системе добавлять новые востребованные пользователями возможности (функции, модули функций) без переработки исходного кода основной системы.
Совместимость по обменным форматам крайне необходима для импорта и экспорта производственных данных (как атрибутивных, так и картографических).
Для хранения всей производственной информации агрохимической службы необходимо использовать нормализованные реляционные структуры данных. Использование файловых хранилищ в качестве источников данных нецелесообразно.
Архитектура системы. С точки зрения внутренней архитектуры разрабатываемую систему предлагается рассматривать как набор нескольких программных модулей, работающих по клиент-серверной технологии с единым хранилищем данных, расположенным на сервере приложений. На рис. 1 представлены взаимосвязи между программными модулями системы и сервером приложений с развернутой на нем СУБД.
Вертикальные связи между клиентскими модулями и СУБД отражают основные потоки данных, циркулирующие в системе. Прямой (горизонтальный) обмен данными между клиентскими модулями излишен, так как противоречит идее единого хранения данных. Горизонтальные связи на схеме показывают возможные программные вызовы одного модуля из интерфейса другого. Данные, перемещаемые по горизонтальным связям, минимальны, они лишь ориентируют смежный модуль на отображение определенных производственных данных. Примером такого случая является потребность отобразить (для выбранного в картографическом модуле элементарного земельного участка) хронологическую информацию по агрохимическим обследованиям (с помощью смежного модуля, отвечающего за ввод-вывод результатов агрохимических обследований образцов почв).
Структуры хранения данных. При решении задачи хранения производственных данных агрохимических служб всю имеющуюся информацию следует разделить на атрибутивную (числовую, текстовую) и картографическую (векторную, растровую). Для хранения атрибутивных данных очевидным является использование классических реляционных СУБД. Картографическая информация агрохимических центров и станций преимущественно существует в формате эЬр-файлов, используемых в семействе ГИС от ЕВЫ (АгеШо, Агс^в1^ ArcGis и т. д.). Варианты хранения картографических данных представлены на рис. 2.
¿О
Сервер приложений ЦАС и САС (СУБД агрохимической информации)
| ^УЛЬ2 ^ Модуль N |
Модуль
Отчеты Результаты О-О Карты /1 анализов ___г\
Рис. 1. Обобщенная архитектура системы
Хранение картографической информации в виде файловых структур на файл-сервере (вариант 1) нерационально, несмотря на то что многие унаследованные производственные системы по-прежнему используют такой подход. В рассматриваемом случае данный вариант неприемлем.
Наиболее современным и высокотехнологичным вариантом можно считать вариант с использованием специального расширения пространственного анализа (spatial database engine (SDE)), устанавливаемого на СУБД (вариант 2). Однако преимущества данного варианта ощутимы только в случае интенсивной многопользовательской редакции пространственных данных. В случае с агрохимическими центрами и станциями деятельностью по актуализации картографического материала занимается отдельный сотрудник-топограф, что не дает преимуществ в использовании SDE. Также следует отметить, что использование SDE требует дополнительных финансовых затрат на приобретение и установку соответствующего модуля на СУБД. Варианты 2, 3 (с использованием SDE или хранением картографической информации в виде бинарных файлов) также актуальны при использовании механизмов репликации данных между несколькими однородными производственными серверами СУБД. При этом регулярная синхронизация данных между СУБД будет приводить к синхронизации не только атрибутивной информации, но и картографической. Кроме того, предприятия, подобные ФГУ ЦАС (САС) РФ, редко обладают репликационной сетью серверов. К тому же в восточной части России каналы связи между ФГУ ЦАС (САС) также не отличаются достаточной полосой пропускания, что не позволяет активно использовать механизмы репликации СУБД. Тем не менее преимущества совместного хранения атрибутивной и картографической информации очевидны при операциях резервного копирования данных СУБД, которые будут приводить к регулярному и полному архивированию как атрибутивной, так и картографической производственной информации. Таким образом, в данном случае наиболее обоснованным с экономической и технической точек зрения является вариант хранения производственной картографической информации в СУБД без использования SDE. Снижения клиент-серверного трафика при работе с картографической информацией можно достичь за счет реализации функций кеширования в картографическом модуле.
Хранение атрибутивной и картографической информации осуществляется в нормализованных структурах данных. Все структуры данных проектировались с использованием соответствующего case-средства Sybase Power Designer Studio [5]. Для обеспечения удобного доступа к подобным данным разработан соответствующий слой бизнес-логики (рис. 3), включающий набор ограничений, представлений, хранимых процедур и функций, спроектированных с помощью того же case-средства [5] и реализованных на диалекте T-SQL стандарта ANSI SQL 92.
Рис. 2. Варианты хранения картографической информации
Слой бизнес-логики | (хранимые процедуры, | функции, ограничения и т.д.)| I______________________I
Рис. 3. Взаимодействие пользователей с данными о помощью слоя бизнес-логики
Рис. 4. Тематическая карта, сформированная по типу использования сельскохозяйственных угодий
Многие современные распространенные офисные приложения позволяют решать задачи анализа данных, полученных из различных источников. Для поддержки подобной возможности в СУБД реализован объект типа "View", обобщающий всю атрибутивную информацию предприятия, представляя ее в ненормализованном виде. Такое представление можно считать неким OLAP-интерфейсом, предназначенным для подключения к системе внешних офисных приложений и выполнения задач по анализу производственных данных.
Модуль картографии. Цифровая модель содержит множество данных по тем или иным сельскохозяйственным угодьям. Каждый из хранимых показателей земельного участка (концентрация фосфора в 1999 г., урожайность в 2001 г. и т. д.) может быть визуализирован на электронной карте в виде тематической карты. В качестве характеристики пространственного объекта (элементарного земельного участка) может быть использован и вычисляемый параметр, например снижение концентрации подвижной серы за период с 2002 по 2005 г. Подобные "сигнальные карты" визуализируются на основании shp-файлов (векторная графика) и аэрокосмических снимков (растровой графики) в качестве подложки. Пример тематической карты по Абанскому району Красноярского края представлен на рис. 4.
Построенные тематические карты могут быть выведены на печать в нужном формате, доступен экспорт карт в shp-формат (для дальнейшей обработки или последующей пересылки).
Модуль построения отчетов. На каждом предприятии стоит задача построения некоторого отчета по ранее собранным данным. В рамках разрабатываемой системы эта задача также решается.
С технической точки зрения проблему построения отчетов можно решить несколькими способами. Первый способ уместен при использовании на предприятии распространенной СУБД Microsoft SQL Server 2008 [6]. При этом логичным является применение существующей службы SQL Reporting Service [7]. Формирование соответствующих шаблонов возможно также с помощью имеющегося стандартного инструментария Report Builder [8]. Другим способом формирования отчетности на основе предопределенных шаблонов можно считать использование на стороне клиента библиотек распространенного продукта Crystal Report [9].
Рис. 5. Фрагмент пользовательского интерфейса модуля "Отчеты"
Рис. 6. Фрагмент пользовательского интерфейса модуля "Адресная часть"
Независимо от способа реализации пользователь получает возможность избрать шаблон нужного отчета и автоматически заполнить его накопленными данными. На рис. 5 приведен пример работы модуля построения отчетов.
Сформированные отчеты также могут быть конвертированы в распространенные форматы (*.doc, *.xls, *.xml, *.pdf, *.html) офисных приложений (Word, Excel и т. д.) для последующей обработки (например, для добавления картографической информации).
Модуль адресной информации. Для наполнения производственной базы данных (БД) высокоуровневой описательной информацией используется отдельный модуль -модуль адресной информации (рис. 6). С помощью этого модуля специалисты ЦАС (САС) заносят в БД сведения о таких постоянных объектах, как районы, населенные пункты, фермерские хозяйства, земельные участки, элементарные земельные участки и т. д. Все объекты упорядочены в строгую иерархию, что всегда позволяет проследить территориальную и семантическую вложенность объектов.
На территории одного района могут располагаться несколько тысяч элементарных земельных участков. Для упрощения просмотра и навигации во множестве учтенных в системе объектов предусмотрены функции поиска объектов по различным критериям. Поиск объектов может осуществляться на основании критериев поиска, вручную введенных специалистом, либо на основании готовых запросов, оформленных как хранимые функции в слое бизнес-логики СУБД. Специалисту необходимо лишь выбрать (и при необходимости параметризировать) готовый запрос из зарегистрированных в системе.
На рис. 6 представлен перечень учтенных в системе объектов типа "Земельный участок". Для эффективного поиска нужных участков в БД предусмотрены функции фильтрации по различным типам объектов-родителей (хозяйства, населенные пункты, контуры).
Модуль справочной информации. Любая информационная система обладает возможностью вносить и корректировать справочную информацию. Модуль справочной информации позволяет описать возможные типы использования земельных угодий, севооборотов, существующие виды посевных культур, списки химических элементов, учтенных в системе, и т. д. На рис. 7 представлен примерный вариант настройки цветового выделения земельных участков на карте в соответствии с граничными значениями групп интервалов концентраций агрохимического показателя "Подвижный фосфор". Следует отметить, что поддерживается возможность учета значений концентраций агрохимических показателей, определенных различными методами (в данном случае методами Чирикова и Мачигина).
Рис. 7. Пример пользовательского Рис 8 МоДУль "Аналитические вед°м°сти",
, „ ,, принимающий данные пакетного и ручного ввода
интерфейса модуля Справочники"
Как отмечено выше, при необходимости расширения перечня справочных значений предусмотрена возможность вызова данного модуля из других модулей.
Модуль аналитических ведомостей. Большую часть информационного наполнения БД ЦАС (САС) составляют данные об анализах образцов почв земельных участков. За летний сезон может быть обследовано более нескольких тысяч гектаров земельных участков. Все собранные образцы почв анализируются в лабораториях по множеству показателей, затем результаты анализов заносятся в БД.
Однако не все используемые лабораторные установки и комплексы, проводящие химические обследования, обладают необходимым интерфейсом для обмена данными с компьютерной техникой. Поэтому в модуле предусмотрен не только пакетный ввод результатов анализов (из файлов), но и ручной (с помощью пользовательского интерфейса). Внесенные результаты анализов привязываются к соответствующим элементарным участкам. Принцип работы модуля аналитической информации показан на рис. 8.
Вследствие использования нормализованной структуры данных модуль аналитических ведомостей взаимодействует с большим количеством таблиц в БД. Для эффективного обмена данными с БД также активно используются хранимые процедуры и функции из разработанного слоя бизнес-логики SQL-сервера.
Пользовательский интерфейс модуля, фрагмент которого представлен на рис. 9, не зависит от количества учитываемых в системе агрохимических показателей. При добавлении в систему (через модуль справочной информации) новых показателей (химических элементов или соединений) интерфейс пользователя динамически расширяется, предоставляя доступ для внесения данных по новым показателям.
Модуль администрирования. За конфигурацию настройки системы отвечает модуль администрирования, с помощью которого администратор корректирует метаданные системы: права доступа пользователей к объектам системы; учтенные в системе шаблоны отчетов; взаимосвязи слоев картографической информации с существующими картами и т. д. В качестве хранилища метаданных системы также выступает СУБД ЦАС (САС).
- с*«.. =1
11
—-—-— 1
------ -1
|г*1——"—I- и —■'■
7и-1 — 1 — '■И—
*
Щ 1 '-И»«
Щ ,4
П1 5 •
1И *
; Ю ■ 109
1В_
гаг £ па м——
и во Ыш—-н-
111 «3 и 11Ш
Рис. 9. Фрагмент пользовательского интерфейса модуля "Аналитические ведомости"
Перспективы развития системы. Вследствие иерархической подчиненности ЦАС (САС) Департаменту растениеводства, химизации и защиты растений при Министерстве сельского хозяйства Российской Федерации требуется регулярно предоставлять вышестоящей организации отчеты о текущем состоянии сельскохозяйственных угодий. Для упрощения этой процедуры предлагается использовать следующие механизмы: службу отчетов SQL-сервера (Reporting Service); web-доступ к функциям системы через сервер приложений, реализованный на ASP.NET. Исследования и разработка соответствующего программного обеспечения в этом направлении уже ведутся.
Заключение. В результате проведенных исследований реализована геоинформационная система для станций и центров агрохимической службы РФ. ГИС для ЦАС (САС) проходит апробацию на одной из станций агрохимической службы РФ. Система доведена до уровня коробочной продукции, т. е. обладает пошаговыми мастерами-инсталляторами, может быть установлена и настроена без вмешательства разработчиков.
Список литературы
1. Якушев В. П. Информационное обеспечение точного земледелия / В. П. Якушев, В. В. Якушев. СПб.: ПИЯФ РАН, 2007. 384 с.
2. АндрекаЙте А. А., Исаев В. К. Алгоритмы построения регулярных и нерегулярных сеток в одно-связной плоской области. [Электрон. ресурс]. Режим доступа: http://www.mipt.ru/nauka/conf_mipt/conf49/ z49/faki/program/andrekajte.pdf, свободный.
3. Шерстнев В. С., Марков А. В., КрыжАновский В. В., Русинов И. Г. Использование геоинформационных систем для решения задач обработки данных центров и станций агрохимической службы РФ // Сб. ст. 11-й Междунар. науч.-техн. конф. "Информационно-вычислительные технологии и их приложения". Пенза: МНИЦ ПГСХА, 2009. С. 259-261.
4. Шерстнев В. С., Марков А. В. Информационная система геомониторинга для агрохимических предприятий // Материалы 15-й Междунар. науч.-практ. конф. студентов и молодых ученых "Современные техника и технологии". Томск: ТПУ, 2009. Т. 2. С. 246-247.
5. SyBASE. Моделирование данных с помощью Sybase Power Designer DataArchitect. [Электрон. ресурс]. Режим доступа: http://www.sybase.ru/products/powerdesigner/datamodeling, свободный.
6. Microsoft. Microsoft SQL Server 2008. [Электрон. ресурс]. Режим доступа: http://www.microsoft.com/ sqlserver/2008/ru/ru/default.aspx, свободный.
7. Microsoft. Службы SQL Server Reporting Services. [Электрон. ресурс]. Режим доступа: http://msdn.microsoft.com/ru-ru/library/ms159106.aspx, свободный.
8. Microsoft. Report Builder 2.0. [Электрон. ресурс]. Режим доступа: http://www.microsoft.com/ sqlserver/2008/en/us/report-builder.aspx, свободный.
9. CRySTAL Reports. [Электрон. ресурс]. Режим доступа: http://crystalreports.com, свободный.
Марков Александр Валерьевич - техник Томского политехнического
университета; e-mail: [email protected] Шерстнев Владислав Станиславович - канд. техн. наук, доц. Томского политехнического университета;
тел.: 8-913-889-75-57, e-mail: [email protected] Шерстнева Анна Игоревна - канд. физ.-мат. наук, доц. Томского политехнического университета; e-mail: [email protected]
Дата поступления - 08.04.10
