CC BY
44
УДК 004054 А.С. Лысунец, Б.А. Позин
ВАК 05.13.06 3
РИНЦ 50.49.37
Методика планирования контроля целостности автоматизированной системы в процессе эксплуатации и сопровождения
В статье изложены проблемы контроля целостности сложных автоматизированных банковских систем при сопровождении. Дано понятие уровня целостности автоматизированной системы, описана использующая оценку уровня целостности методика планирования тестирования автоматизированной банковской системы. Результаты работы могут быть использованы в курсах «Программная инженерия», «Автоматизация банковской деятельности».
Ключевые слова: сопровождение автоматизированной системы, целостность автоматизированной системы, уровень целостности, планирование контроля целостности.
METHOD OF PLANNING CONTROL AUTOMATED SYSTEM INTEGRITY IN THE OPERATION AND SUPPORT
The article describes the problems of monitoring the integrity of sophisticated banking systems in the accompaniment. The understanding of the level of integrity of the automated system is described using estimates of the integrity level of the planning methodology of testing the automated banking system. Results of the article would be used in courses on Software Engineering and Banking Systems Automation.
Keywords: maintenance of the automated system, integrity of the automated system, integrity level, planning integrity control.
Введение
В статье рассматриваются автоматизированные банковские системы (далее - АБС), принадлежащие к классу транзакционных систем, архитектурно представляющие собой сложный аппаратно-программный комплекс, функционирующий в режиме 24*7. В соответствии с [1] АБС уже в течение ряда лет находятся в процессе эксплуатации и сопровождения. Целью процесса сопровождения является изменение программного обеспечения АБС при сохранении его целостности [2].
Для рассматриваемых АБС характерно значительное (от 80 до 100) количество выпусков (релизов) прикладного программного обеспечения (далее - ППО) АБС в год. Количество изменений, вклю-
чаемых в каждый выпуск АБС, может варьироваться от 200 до 1500. Часть изменений могут носить глобальный характер, когда модификации подвергаются основные, системообразующие функции АБС. По статистике в течение года может возникать несколько (в пределе до 2-4) изменений такого типа. На контроль целостности системы после внесения изменений отводится не более 5-7 дней.
Целью контроля является обнаружение несоответствия поведения модифицированной АБС предъявляемым к ней требованиям, поэтому основным методом является регрессионное тестирование. Тестирование проводится как для выявления нарушений при выполнении функциональных требований (регрессионное функциональное тестирование), так и для выявления
деградации ожидаемых эксплуатационных характеристик АБС (регрессионное нагрузочное тестирование).
Регрессионное тестирование всегда проводится по заранее подготовленным тестам. Для рассматриваемого класса систем количество тестов, необходимых для проверки работоспособности АБС в целом, составляет несколько тысяч. Из-за существенной сложности АБС и ограничения ресурсов календарного времени возникает необходимость планирования и создания методики работ по контролю целостности системы методами функционального и нагрузочного тестирования. Методика должна быть унифицированной для обоих видов тестирования и эффективной как при незначительных изменениях, так и при значимых модификациях АБС.
Антон Сергеевич Лысунец,
начальник отдела Главного управления Центрального банка Российской Федерации по Санкт-Петербургу Тел.: (812) 320-36-04 Эл. почта: las366@spb.cbr.ru
Anton S. Lysunets,
Division head of the Bank of Russia Regional Branch for St.Petersburg Tel.: (812) 320-36-04 E-mail: las366@spb.cbr.ru http://www.cbr.ru/
Борис Аронович Позин,
технический директор ЗАО «ЕС-лизинг», д.т.н., профессор МИЭМНИУВШЭ Тел.: (495) 319-21-36 Эл. почта: bpozin@ec-leasing.ru
Boris A. Pozin,
Technical Director of EC-leasing Company, Dr. Sci. (Tech.), professor of MIEM NRUHSE Tel.: (495) 319-21-36 E-mail: bpozin@ec-leasing.ru http://ec-leasing.ru/
Вопросам планирования тестирования при сопровождении программного обеспечения посвящено весьма ограниченное количество публикаций. Практически во всех работах рассматриваются аспекты подготовки к проведению комплексных и системных испытаний, которые являются частью этапа разработки в жизненном цикле программного обеспечения [3-5]. Имеются работы по планированию испытаний программных средств защиты информации [6]. При анализе литературы выявлены только две работы, посвященные методикам тестирования, применяемым на этапах эксплуатации и сопровождения. Однако в них речь идет об экспертных системах [7] и об информационной системе управления вузом [8]. В одной работе [9] подходы к проведению тестирования при сопровождении только обозначены и требуют дальнейшей проработки.
1. Понятие уровня целостности автоматизированной банковской системы
Определим объект контроля, деятельность по оценке которого предполагается планировать. Согласно [10] под уровнем целостности понимается «указание диапазона значений свойства объекта, необходимых для удержания системного риска в допустимых границах. Для объектов, отказ которых может привести к угрозе для системы, таким свойством является ограничение частоты подобного отказа».
Представленное выше определение полностью подходит для случая АБС. Для того чтобы сделать уровень целостности измеримым, рассмотрим следующую модель. Пусть система представляет собой структуру, состоящую из нескольких взаимодействующих элементов (подсистем), для каждого из которых можно задать или измерить вероятность р, выполнения подлежащей контролю функции или значение соответствующей эксплуатационной характеристики. Тогда можно оценить интегральную вероятность выполнения
Рх заданного комплекса функций, например методами теории надежности. Величина Рх отражает свойство системы выполнять возложенные на нее задачи в процессе эксплуатации, или, согласно упомянутому определению, текущий уровень ее целостности.
Может существовать заданный уровень целостности, означающий, что в любой момент времени система выполняет возложенные на нее задачи с определенной вероятностью и риски нарушения бизнес-процессов устраивают заказчика или эксплуатирующую организацию. Не всегда при эксплуатации системы необходимо достижение заданного уровня целостности. Причиной этого, например, может быть разная степень востребованности функций системы в течение некоторого периода времени. Может быть установлен допустимый уровень целостности, свидетельствующий о том, что использование системы еще возможно, т.е. угрозы производственному процессу при этом еще приемлемы, однако они максимальны.
Внесение модификаций в систему в процессе сопровождения изменяет уровень ее целостности в зависимости от количества и качества этих модификаций. С этих позиций контроль целостности системы представляет собой оценку уровня целостности модифицированной программной системы на соответствие заданному или допустимому уровню её целостности [11].
2. Методика планирования контроля целостности АБС и оценки адекватности его результатов
Процесс планирования контроля целостности АБС при ее сопровождении заключается в разработке программы тестовых испытаний, включающей перечень планов проверки требований, предъявляемых к АБС, и последовательность выполнения этих планов. Программа тестовых испытаний должна соответствовать следующим требованиям (стратегии):
• должна позволять при имеющихся ресурсах сопроводителя
Таблица 1
Уровни риска бизнес-процессов для АБС
Вероятность использования бизнес-сценария Опасность последствий при нарушении бизнес-сценария
фатальная высокая допустимая незначительная
Обычная Критичный Критичный Высокий Средний
Возможная Критичный Высокий Средний Низкий
Маловероятная Высокий Высокий Средний Несущественный
(тестировщика) максимизировать достижимый уровень целостности модифицированной системы методами функционального и нагрузочного тестирования, постоянно сохраняя его не ниже допустимого, по возможности обеспечивая при этом более хорошее приближение к заданному уровню целостности;
• одна и та же программа тестирования с минимальными корректировками должна позволять эффективно контролировать целостность практически для любого выпуска АБС, независимо от объемов и характера изменений [11].
3. Разработка программы тестовых испытаний
При контроле целостности в процессе сопровождения проверке подвергаются так называемые бизнес-сценарии - последовательности действий по использованию АБС, описывающие, как правило, реализацию одного функционального требования, с точки зрения пользователя или заказчика.
Бизнес-сценарии являются объектами проверки как при функциональном, так и при нагрузочном тестировании. Разница состоит в целях тестирования. При функциональном тестировании необходимо проверить сам факт выполнения бизнес-сценария. Целями проверки при нагрузочном тестировании могут быть: проверка того, что бизнес-сценарий выполняется в установленные регламентом сроки; или оценка деградации эксплуатационных характеристик, например среднего времени выполнения бизнес-сценария.
Разным бизнес-сценариям соответствуют различные уровни риска нарушения при эксплуатации АБС. Эти уровни риска могут характеризоваться следующими показателями:
• критичность бизнес-сценария - степень опасности последствий, которые могут наступить в случае отказа в работе АБС при выполнении бизнес-сценария;
• вероятность использования бизнес-сценария - частота выполнения бизнес-сценария при эксплуатации АБС.
Риск неблагоприятного исхода бизнес-сценария (далее более коротко - риск) определяется с использованием матрицы рисков, связывающей вероятность использования бизнес-процесса с опасностью его неблагоприятных последствий. Матрица риска устанавливает уровни риска, такие как критичный, высокий, средний, низкий, несущественный. В табл. приведены уровни риска бизнес-процессов для АБС [11].
Числу установленных уровней риска соответствует число уровней целостности АБС. Ответственный за контроль целостности совместно с заказчиком или эксплуатирующей организацией должен определить, каким уровням риска соответствует допустимый и заданный уровни целостности.
В случае с АБС модифицированная система соответствует допустимому уровню целостности, если выполняются бизнес-сценарии с критичным и высоким уровнем риска. Для того чтобы модифицированная АБС соответствовала заданному уровню целостности, необходимо проверить выполнение всех бизнес-сценариев с уровнем риска от критичного до низкого включительно.
Автоматизируемым в АБС бизнес-процессам свойственна цикличность применения. Одни из них используются в течение всего рабочего дня или только в определенные часы, другие - по завершении декады, месяца, квартала, года. Критичность бизнес-сценариев остается неизменной на всем периоде эксплуатации АБС, тогда как вероятность использования может варьироваться в зависимости от периода календарного времени, в течение которого АБС эксплуатируется. Бизнес-сценарии, имеющие в одни
и те же периоды эксплуатации АБС одинаковые уровни риска, группируются в типовые наборы. Использование наборов, определяющих стандартную программу тестовых испытаний для каждого уровня целостности в зависимости от периода эксплуатации АБС, позволяет оценивать количество необходимых для тестирования ресурсов. Практика показывает, что внесение изменений в типовые наборы бизнес-сценариев необходимо только при глобальных изменениях в АБС. А такие изменения происходят не чаще 2-4 раз в год.
С целью качественного внесения изменений в АБС при её сопровождении организован процесс управления выпусками, в ходе которого на основе поступивших заданий на доработку и заявок пользователей определяется расписание выхода выпусков АБС. Процесс управления выпусками позволяет определять период времени, в течение которого будет эксплуатироваться каждый выпуск АБС. В результате заранее известна программа тестовых испытаний, способная имеющимися ресурсами оценить уровень целостности практически любой версии АБС на соответствие максимально возможному уровню, но не ниже допустимого.
Заключение
Понятие целостности автоматизированной системы становится ключевым, когда после создания система передается в эксплуатацию и начинается процесс ее сопровождения. Для обеспечения целостности необходима соответствующая организация всех этапов сопровождения, должны быть разработаны не только качественные, но и количественные метрики и критерии всего процесса, включая отдельные
методы и методики (например, автоматизированного тестирования). В данной работе сделан один из первых шагов в этом направлении для прикладного программного обеспечения автоматизированных банковских систем. При сопровождении качество функционирования автоматизированной системы во многом определяется способнос-
тью эффективно планировать контроль целостности системы после внесения в нее изменений.
Разработанная методика планирования контроля целостности АБС в совокупности с процессом планирования выпусков АБС обеспечивают удовлетворяющие заказчика результаты эксплуатации АБС не только при незначительных
изменениях, но и при значимых модификациях системы. На практике удается достигнуть средней эффективности планирования контроля целостности не ниже 96-98% в условиях появления новых выпусков АБС через каждые 5-7 дней и выполнения тестирования коллективом специалистов не более 10 человек.
Литература
1. ГОСТ 12207-99. Информационная технология. Процессы жизненного цикла программных средств.
2. ГОСТ 14764-2002. Информационная технология. Сопровождение программных средств.
3. Chari Kaushal, Hevner Alan. System test planning of software: An optimization approach // IEEE Trans. Software Eng. - 2006. - Vol. 32, № 7. - P. 503-509.
4. Тырва А.В., Хомоненко А.Д. Метод планирования тестирования сложных программных комплексов на этапе проектирования и разработки // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление. - 2009. - Т. 4, № 82. -С. 125-131.
5. Волков В.Г. Модели и алгоритмы тестирования программных средств на основе их стратифицированного описания: автореф. дис. ... канд. техн. наук. - Н. Новгород, 2009. - 20 с.
6. Марков А.С., Ларионцева Е.А., Стельмашук Н.Н. Многофакторные модели планирования сертификационных испытаний программных средств защиты информации // Вопросы радиоэлектроники. - 2013. - № 2. -С. 76-83.
7. Фатхи Д.В. Методика оперативного тестирования экспертных систем на этапах эксплуатации и сопровождения // Международная конференция «Математические методы в технике и технологиях»: сб. тр. (Казань, 31 мая - 2 июня 2005 г.). - Казань, 2005. - Т. 6. Секция 6, 8.
8. Сергеева Н.А. Стратегия тестирования информационной системы управления вузом на основе документов с теговой разметкой // Вестник Российского университета дружбы народов. Серия: Информатизация образования. - 2012. - № 3. - С. 31-37.
9. Позин Б.А. Ввод в действие информационных систем и сопровождение их программного обеспечения // Новые технологии. Информационные технологии. - М., 2010. - № 4. Приложение. - 36 с.
10. ГОСТ 15026-2002. Информационная технология. Уровни целостности систем и программных средств.
11. Лысунец А.С., Позин Б.А. Планирование контроля целостности сложной автоматизированной банковской системы методами функционального и нагрузочного тестирования // Программная инженерия. - 2013. -№ 3. - С. 8-14.
