CC BY
7УДК GG4.722.25 Y.K. Smirnov, V.I. Halimon
RELIABLE MODEL FOR PHARMACEUTICAL COMPANY PRODUCTION AND ENTERPRISE NETWORKS CONNECTION
St. Petersburg State Institute of Technology (Technical University) Moskovskii pr. 26, St. Petersburg, 190013, Russia Scientific Technological Pharmaceutical Firm "POLYSAN", Ltd, Ligovsky pr., 112, St. Petersburg, 191119, Russia e-mail: Jaroslav.smirnov.k@gmail.com
The article deals with the analysis of the production systems during enterprise resource planning system integration. The pharmaceutical production plant was selected to illustrate the case of risks occurring during enterprise resource planning systems integration. It presents an analysis of the existing topologies used for production and enterprise networks and suggests a reliable abstract solution. The paper presents critical point of view for comparable models.
Keywords: ERP, data collection systems, IDMZ, SCADA, GAMP
Я.К. смирнов1, В.И. Халимон2
МОДЕЛЬ НАДЕЖНОЙ СИСТЕМЫ ПОДКЛЮЧЕНИЯ СЕТИ ПРОМЫШЛЕННОГО ОБОРУДОВАНИЯ К КОРПОРАТИВНОЙ СЕТИ ФАРМАЦЕВТИЧЕСКОГО ПРЕДПРИЯТИЯ
Санкт-Петербургский государственный технологический институт (технический университет), Московский пр., 26, Санкт-Петербург, 190013, Россия
ООО «Научно-техническая фармацевтическая фирма «ПОЛИСАН», Лиговский пр., 112, Санкт-Петербург, 191119, Россия
e-mail: Jaroslav.smirnov.k@gmail.com
Проанализирована ситуация в области внедрения систем управления ресурсами предприятия для производств. Указаны риски, возникающие при интеграции систем управления ресурсами предприятия в случае фармацевтической промышленности. Произведен анализ существующих топологий предназначенных для сбора данных корпоративной сетью предприятия. Предложена модель безопасного подключения корпоративной сети к системе сбора данных производственного оборудования. Предложены вероятностные модели нахождения в критическом состоянии для представленных систем с точки зрения эксплуатации их на фармацевтическом производстве.
Ключевые слова: ERP, системы сбора данных, IDMZ, SCADA, GAMP
Введение
В последнее время на промышленных предприятиях наблюдается повышение уровня интеграции систем планирования ресурсов ERP (Enterprise Resource Planning). Такие системы способствуют увеличению производительности предприятия в целом, так как представляют собой мощные инструменты анализа данных, автоматизации работы персонала, замены операций, использующих ручной ввод информации и т.п. [1]. В действительности внедрение ERP-системы не всегда увеличивает производительность труда, особенно персонала производственной линии. Это связано с тем, что ERP-система для своего функционирования требует множества параметров; подключение к нижнему уровню производственной системы является довольно трудоемким, а данные, которые могут быть получены с самого верхнего уровня системы, недостаточны. Специалисты по интеграции ERP зачастую отбрасывают решение задачи подключения к нижнему уровню производственной системы и решают задачу путем выдачи персоналу PDA (Personal Digital Assistant - Персональный Цифровой Помощник).
Для отраслей промышленности с повышенными требованиями к достоверности получаемых данных
(таких как фармацевтическая) интеграция с информационными потоками, получаемыми от технологического процесса, может быть особенно опасна. Действительно, искажение данных технологического процесса может повлиять на качество продукта, от которого, в свою очередь, зависят человеческие жизни.
В фармацевтической промышленности действуют правила GMP (Good Manufacturing Practice - Надлежащая Производственная Практика), являющиеся международным стандартом в целом и стандартом в Российской Федерации [2, 3]. Для систем с компьютерным управлением существует дополнительный стандарт GAMP (Good Automated Manufacturing Practice - Надлежащая Практика Автоматизированного Производства) [4]. В результате задача автоматизированной обработки встречает дополнительные трудности.
Например, согласно существующей практике, в процессе ввода в эксплуатацию автоматизированная система должна пройти валидацию, которая должна подтвердить соответствие параметра, получаемого автоматизированной системой, его фактической величине. Также должна быть подтверждена достоверность этих данных. Причем подтверждение требуется на всех стадиях пе-
1 Смирнов Ярослав Константинович, аспирант каф. системного анализа, инженер ООО «РТФФ «ПОЛИСАН», e-mail: Jaroslav.smirnov.k@gmail.com Smirnov Yaroslav K., Post-graduate Student, of systems analysis department, Electronic engineer «STPF «POLYSAN», e-mail: Jaroslav.smirnov.k@gmail.com
2 Халимон Виктория Ивановна, д-р техн. наук, профессор, зав. каф. системного анализа СПбГТИ(ТУ), e-mail: sa@sa.lti-gti.ru Halimon Victoria I., Dr. Sci. (Eng.). Professor, Head of system analysis department, e-mail: ssa@sa.lti-gti.ru
Дата поступлении - 9 октября 2014 года Received October 09, 2014
редачи информации. Все преобразования должны быть должным образом задокументированы и проверены [4].
Подобные условия создают большие сложности при интеграции ERP - системы в производство, поскольку требуют интеграции с его нижним уровнем, а также вали-дации отдельных частей ERP - системы, отвечающих за соответствие полученных данных реальным.
Описание проблемы
Стандартный способ организации системы сбора производственных данных представлен на рисунке 1 [5]. Этот способ, известный с 90-х годов ХХ столетия, несколько видоизменяется в зависимости от используемого оборудования.
Рисунок 1. Структура для сбора данных
Один PLC (Programmable Logic Controller - Программируемый Логический Контроллер) управляет одной технологической стадией или процессом. Стадии объединены одной SCADA (Supervisory Control and Data Acquisition - Система Диспетчерского Контроля и Сбора Данных) системой, которая собирает данные от PLC и отправляет уставки или управляющие сигналы в PLC.
PLC с сенсорами и исполнительными устройствами поставляются производителем производственной установки. SCADA система производится по заказу проектного института, проектирующего производство в целом. Эта структура отлично функционирует и обеспечивает безопасность, находясь в отрыве от сети предприятия.
Современная тенденция на интеграцию производственных линий в ERP- систему заставляет задаться вопросом: как правильно (без ущерба на каких-то уровнях) интегрировать промышленную сеть в сеть предприятия? [6] .
Можно выделить три способа подключения системы сбора данных к ERP- системе:
1. Прямое подключение к существующей SCADA системе (через шлюз, напрямую к базе данных и т.д.) [6].
2. Подключение к PLC и/или SCADA через OPC (OLE for Process Control - OLE для Промышленного Контроля) [6, 7].
3. Организация специального сервера хранения данных, работающего как шлюз.
Все представленные типы подключений опасны и неприемлемы для фармацевтической производственной линии без принятия мер по обеспечению безопасности. Причина заключается в возникновении сквозного сетевого потока, который выявляет уязвимость сети, создавая тем самым ненадежность сети в целом и производственной линии, в частности.
Существующие риски:
1 Риск вирусов для PLC. Вирус Stuxnet в Иране нанес серьезный урон Иранской атомной программе. Были повреждены несколько урановых центрифуг [8]
2. «Зависание» или неправильное функционирование контроллера из-за ошибочных кадров данных, содержащихся в общей сети. Неправильные кадры данных могут вызывать непредсказуемые ошибки в работе контроллера, источник которых трудно поддается распознаванию. При эксплуатации оборудования был зафиксирован случай, когда в работе электростанции произошло аварийное отключение одной из машин по причине одного
неверно сформированного кадра данных, который предназначался другому оборудованию. Данная ошибка была выявлена уже после ввода в эксплуатацию электростанции и привела к аварийному прекращению электропитания.
3. Непосредственное использование уязвимос-тей PLC злоумышленниками. Изначально вопросы безопасности промышленных систем стояли не слишком остро, но в последнее время в литературе можно встретить все больше информации относительно уязвимости в PLC, таких как: возможность удаленного отключения, возможность управления вводами-выводами и т.д. [9, 10].
Сбор данных со SCADA системы сужает количество собираемых параметров, поэтому такой способ подключения является недостаточным для соответствующей и полной интеграции ERP системы. Требуется интеграция с уровнем контроллеров или с помощью дополнительных модулей ввода.
В производственных линиях прошивка контроллера поставляется производителем оборудования, что приводит к следующим сложностям:
1. Отсутствие данных в протоколе PLC. Производитель может полагать, что некоторые данные не важны для конечного пользователя и может не включить их в протокол передачи данных.
2. Проблемы с подключением к PLC. Очень часто при интеграции программы PLC, разработанной производителем оборудования со сторонними программными продуктами, возникают различные проблемы, связанные с программным обеспечением, средой передачи данных или ошибкой в документации. Поэтому интеграция с помощью OPC сервера становится невозможной и/ или усложняет процесс.
3. Синхронизация данных. При интеграции ERP-системы не синхронизированные данные приводят к ошибкам в технологических картах. Под синхронизацией имеется в виду не только синхронизация по времени, но и синхронизация по стадиям операции, так как значение некоторых параметров необходимо для конкретных стадий процесса. Например, температура жидкости в момент полного визуального растворения порошка в емкости.
Дополнительно, при интеграции нижнего уровня возникают трудности с документацией, а именно низкое качество или неполнота документации на оборудование производственной линии. В таком случае возможны два пути успешного решения проблемы.
Первый - запрос документации от производителя оборудования, что может занять много времени; при этом полученная документация может оказаться недостаточной и не содержать необходимой информации.
Второй - загрузка программы PLC, ее анализ и возможное изменение. Такой способ является некорректным. К тому же он может снять гарантию с оборудования, занять много времени и повредить оборудованию.
Резюмируя изложенное, следует выделить три типа структуры подключения, пригодных для использования в системах сбора данных.
Способы подключения
Подключение, игнорирующее вопросы безопасности. Практика подключения оборудования без принятия дополнительных мер по обеспечению безопасности широко распространена. Все промышленное оборудование объединяется в одну подсеть. Эта подсеть подключается к сети предприятия без дополнительных мер по обеспечению безопасности, таких как брандмауэр или шлюз, ограничивающий трафик. Обычно в таких структурах для подключения используются OPC серверы или прямое подключение к базе данных. Специалисты, осуществляющие интеграцию с помощью такой структуры, наивно предполагают, что вредоносное программное обеспечение и прочие компьютерные угрозы для PLC и подобных систем отсутствуют, что в корне неверно[9, 10].
Безопасная технология с использованием DMZ (Demilitarized Zone - Демилитаризованная зона). В крупнейшем производителе сетевого оборудования CISCO и Rockwell Automation предлагают структуру, показанную на рисунке 2. Сеть строится так, что не позволяет потоку информации проходить насквозь из производственной зоны в корпоративную и обратно. Этот способ организации сети позволяет снизить риск проникновения в производственную зону из корпоративной [11].
Рисунок 2. Структура от CISCO
Однако, следует заметить, что согласно [11] CISCO рекомендует использовать для организации сетевого взаимодействия обычные компоненты (не промышленного исполнения). «Ключевые компоненты DMZ-брандмауэры. Брандмауэры работают как маршрутизаторы между производственной зоной и корпоративной сетью и предоставляют возможность тщатель-
ной проверки пакетов, включая проверку состояния соединения для брандмауэра с обнаружением проникновения» [11].
Эта структура выглядит более надежной по сравнению с первой структурой, но настройка фильтрации и обнаружения атаки осуществляется интегратором, имеющим право на ошибку, которую сложно обнаружить в ходе ввода в эксплуатацию, что создает потенциальную уязвимость системы. Кроме того, регулярно повторяющиеся случаи обнаружения «потайных ходов» в оборудовании крупных производителей заставляют сомневаться в безопасности такого решения [12].
Предполагаемая безопасная топология. Учитывая потенциальные недостатки топологии предложенной CISCO, можно предложить для DMZ зоны системы другое решение.
Вместо использования стандартных брандмауэров предлагается решение на базе PLC и шлюза, ограничивающего передаваемый трафик и объем информации. Эта структура представлена на рисунке 3. Главным элементом системы сбора данных служит PLC, который размещается между 3 и 4 уровнями промышленной сети.
PLC осуществляет разделение протоколов на физическом уровне, не допуская при этом сквозного прохождения пакетов. По запросу данные запрашиваются этим PLC и возвращаются с необходимым штампом времени. Шлюз, в свою очередь, осуществляет функцию преобразования данных и брандмауэра, защищая тем самым внутреннюю систему от каких-либо воздействий. Очевидно, что такая концепция кэширу-ющего шлюза создает более надежную и безопасную сетевую структуру, так как защищает систему от широкого круга уязвимостей, в том числе вызванных человеческим фактором при наладке сетевого оборудования.
Корпоративная сеть
Шлюз
j
PLC сбора данных
HMI
Производственный
PLC 1
Датчики
Исполнительные устройства
HMI
Производственный
PLC п
2
Датчики
Исполнительные устройства
Рисунок 3. Надежная система сбора данных от промышленной сети
Рассмотренное решение создает простую древовидную топологию, в которой PLC сбора данных является корнем всей системы сбора данных. В случае необходимости PLC сбора данных может быть легко отключен от корпоративной сети, изолируя ее от промышленной.
Дополнительно следует отметить, что данное решение позволяет защитить сеть от вредоносного программного обеспечения, подобного Stuxnet [8]. Безопасность обеспечивается тем, что поток данных, передаваемых в производственную сеть, полностью ограничен PLC сбора данных вследствие физического разделения сетей.
Дополнительное преимущество применения рассмотренной системы состоит в наличии удобного доступа к данным - все данные размещены в контроллере по заранее обозначенным адресам.
Надежность топологий
Для оценки надежности представленных структур сбора данных необходимо рассмотреть и проанализировать упрощённые модели отказов оборудования (рисунок 4).
Нормальное функционирование показано окружностью. Некритические отказы, отказы, не вызывающие потенциального сбоя в работе производственной линии, обозначены параллелограммами. Критическое состоя-
ние показано шестигранником. Состояния и переходы для системы без принятия дополнительных мер обеспечения безопасности показаны на рисунке 5. На рисунке 6 показаны состояния и переходы для топологии от CISCO и состояния и переходы для предложенной модели. Все модели отказов разработаны с учетом опасности возникновения критического (опасного для производственной линии) состояния производства.
Из данных рисунка 4 видно, что система сбора данных может переходить из нормального состояния в аварийные по следующим причинам:
• отказ корпоративной сети, который приводит к невозможности сбора данных системами верхнего уровня. При этом риск возникновения угрозы через корпоративную сеть отсутствует, так как отсутствует соединение;
• отказ шлюза сбора данных (например, OPC сервера), сбор данных не производится. При этом сохраняется риск возникновения угрозы через корпоративную сеть.
В случае первых двух отказов возможно самовосстановление системы, например, путем перезапуска сервиса или перезапуска оборудования.
Опасность для производственной линии создают ошибки в наладке системы сбора данных, а также уязвимость в оборудовании и программном обеспечении, а также вирусная угроза.
Рисунок 4. Состояния и переходы для системы без дополнительных мер по обеспечению безопасности
Рисунок 5. Состояния и переходы для топологии от CISCO
По сравнению с первым случаем присутствуют отличия. Из рисунка 5 видно, что при добавлении брандмауэра в систему появляется возможность отказа брандмауэра, что приводит к аварийному, но безопасному состоянию производственной линии.
Ошибка при настройке фильтрации пакетов является трудно отслеживаемой во время интеграции и приводит к потенциальной угрозе производственной линии. Аналогичный результат вызывают уязвимости в самих брандмауэрах [12, 13].
Рисунок 6. Состояния и переходы для нашей модели
Для системы, представленной на рисунке 6, в отличие от модели представленной CISCO, ошибка, обусловленная человеческим фактором, легко определяется на стадии ввода в эксплуатацию, так как ее результатом является недостаточность сбора данных. Эта ошибка приводит не к уязвимости в работе производственного оборудования, а всего лишь к неполноте работы системы сбора данных.
В векторе состояний (1) представлены конечные возможные состояния системы в обобщенном виде с точки зрения безопасности производственной линии. Предполагается, что данная модель представляет собой случайный процесс с дискретным состоянием и дискретным
S fail2 S fail\ 2 S
(1)
где: Snorm - нормальная работа, Sfаill - отказ корпоративной сети, Sfail2 - отказ производственной сети, отказ шлюза, Sfaill2 - одновременный отказ обоих уровней, Sеrш-ca! - отказ, приводящий к потенциальной угрозе для производственной линии.
Матрица перехода для этого вектора состояний в общем случае представлена выражением (2). Эта матрица дает описание системы, исходя из предположения, что для фармацевтической промышленности пребывание оборудования в состоянии 5 является неприемлемым и требует создания новой структуры. Поэтому переход из состояния 5 в другие состояния отсутствует. Хотя на рисунках 4-6 может отсутствовать прямой переход между состояниями, Sfaill - Scritical или Sfail2 - Scritical такой переход возможен, так система принята дискретной по времени, и в один временной интервал может произойти одновременно выход из строя корпоративной сети и сети нижнего уровня.
(2)
На рисунке 7 составлен граф, показывающий переходы между состояниями системы.
Рисунок. 7 Граф переходов между состояниями системы в целом
Данный граф может быть описан с помощью неоднородной конечной цепи Маркова, так как описывает случайный процесс с дискретным состоянием и време-
нем. Однако, эта задача выходит за рамки данной работы. Поэтому в первом приближении будем считать далее, что цепь Маркова однородна.
Из выражения (2) следует, что для вероятности возникновения состояния 5 наиболее важными являются вероятности: Р^т Рот. Рт.
Значения параметров Р^т Рот РШ2 приведены в таблице.
Таблица. Вероятности для различных топологий
Без учетов аспектов безопасности
Pmallware + P human
Pmallware + P human
CISCO
P firewall + P human
Предлагаемая топология
i + Pg
Здесь:
Pmaiiware - возможность появления вирусов в корпоративной сети, способных повредить производственное оборудование;
• Phuman - возможность ошибки, вызванной человеческим фактором при разработке и эксплуатации сети;
• Pfirewaii - вероятность уязвимости брандмауэра;
• Pint ernaii - вероятность внутренней уязвимости в корпоративной сети;
• Pint ernaii - вероятность внутренней уязвимости в производственной сети;
• PplcvuI - вероятность уязвимости в PLC.
Рассмотрим вероятность перехода системы из
нормального состояния в критическое. Для такого перехода справедливо выражение (3), так как возникновение критического состояния 5 при нормальном функционировании системы для топологии по CISCO определяется вероятностью возникновения одного из двух независимых событий Pfirewaii и Phuman. Для предлагаемой системы возникновение состояния 5 определяется вероятностью одновременного возникновения двух независимых событий
Pgateway и PpLCvul.
ГpCISCO _ р + р
crit firewall human
pOUR _ р
gateway
■ P
(3)
PLCvul
Будем считать, что для брандмауэра и шлюза вероятности возникновения уязвимости при нормальном функционировании системы примерно одинаковы, т.е. справедливо утверждение:
P « P
firewall gateway
(4)
Для PLC системы положим, что вероятность нахождения уязвимости составляет менее 100 %. Тогда можно записать:
P
PLCvul
< 1
(5)
Из (5) следует, что предлагаемая система в общем случае более надежна, чем система по CISCO вида (6):
P
OUR
< P
. CISCO
(6)
Заключение
Сравнивая вероятности перехода в критическое состояние для системы, по CISCO и системы, рассмотренной в данной работе, в общем случае можно сделать вывод о большей надежности последней.
Таким образом, мы рассмотрели задачу подключения оборудования промышленной сети к корпоративной сети. Ее результатом является повышение на-
P
P
P
P
P
P
P
P
P
дежности системы подключения промышленной сети к сети предприятия. Предложена также модель, описывающая вероятность перехода представленных систем в аварийное состояние, опасное для производства.
В качестве дальнейшего развития данной работы предполагается рассмотрение практической реализации структур сбора данных второго и третьего типа с количественной оценкой вероятности отказов на базе информации, собранной при эксплуатации фармацевтического завода ООО «НТФФ «ПОЛИСАН». Планируется разработка неоднородной модели, на основе которой будет возможен более точный расчет вероятности отказов.
Литература
1. Manufacturing & Logistics IT. ERP spreads its wings - ERP report March 2013 // www.logisticsit.com : [2013]. URL: www.logisticsit.com/articles/2013/05/02/erp-spreads-its-wings / (дата обращения: 15.September.2014).
2. ASINCOM, "GOST R 52249-2009 GMP Guide to Good Manufacturing Practice for Medicinal Products for Human and Veterenary Use," 2009.
3. Industry Mota, "Russian Federation Ministry of trading and industry order," 2013.
4. ISPE, "GAMP® 5: A Risk-Based Approach to Compliant GxP Computerized Systems".
5. Williams T.J. The Purdue Enterprise Reference Architecture. 1990.
6. A.P.Kozletsov I.S.R. Modern methods of data exchange in control systems // ITPP. 2010.
7. OPC Foundation. OPC Unified Architecture. Scott-sdale: pdf.
8. Symantec Corporation, "W32 Stuxnet dossier," Cupertino, CA, 2011.
9. ICS-Cert, "Rockwell Allen-Bradley MicroLogix, SLC 500, and PLC-5 Fault Generation Vulnerability (Update B)," 2014.
10. Walder B. "Siemens PLC Vulnerabilities," Austin, TX.
11. Cisco Systems and Rockwell Automation. Eth-ernet-to-the-Factory 1.2 Design and Implementation Guide. San Jose, Milwaukee. 2008.
12. Cisco Security Responce, "Der Spiegel Article on Networking Equipment Infiltration," 2014.
13. Taneja B.P.A.G. Reliability and Profit Evaluation of a PLC Hot Standby System Based on a Master-Slave Concept and Two Types of Repair Facilities // Reliability, IEEE Transaction. 2007.
