CC BY
43
УДК: 004.428 + 004.051 А.В.ПОБЕДЁННЫЙ
ИНФОРМАЦИОННАЯ СИСТЕМА ДЛЯ ОЦЕНКИ ПРОИЗВОДИТЕЛЬНОСТИ ПРОГРАММНЫХ ПРОДУКТОВ
Наличие на рынке большого числа однотипных информационных систем приводит к появлению проблемы выбора оптимального программного продукта, который бы наиболее полно соответствовал запросам организации или пользователя. Имеющиеся методики выбора оптимального продукта используют субъективную оценку либо требуют большого количества измерений и вычислений. В данной статье описан один из способов сравнения несколько информационных систем по интересующим пользователя показателям.
Ключевые слова: информационные системы, оценка, потребительское качество, производительность.
Для определения степени соответствия программного продукта (ПП) требованиям конкретного пользователя, как правило, необходимо располагать данными о значениях различных показателей, характеризующих процессы функционирования ПП в заданных условиях. Эти данные могут служить входной информацией для прогнозирования характеристик качества ПП. Информацию, описывающую процессы функционирования ПП, обычно делят на четыре типа [1]:
- Данные о рабочей нагрузке: количество обращений к системе в единицу времени, количество одновременно обрабатываемых запросов, величина очереди и т.д.
- Характеристики данных: объем данных, которыми оперирует система, объем данных, передаваемых по каналам связи в единицу времени и т.д.
- Данные, характеризующие уровень использования элементов вычислительной системы, например, коэффициент использования ресурсов процессора, оперативной памяти, сетевого интерфейса и т.д.
Однако конечного пользователя интересуют, в первую очередь, характеристики потребительского качества ПП: качество интерфейса, удобство работы, скорость выполнения операций. В литературе описаны методики для оценки некоторых из этих показателей. Так, осуществить оценку и выбор оптимальной ПП по критерию функциональной полноты позволяет методика [2], по качеству интерфейса [3], а по скорости реализации базовых функциональных операций [4]. Последняя методика предполагает измерение производительности системы, т.е. проведение серии замеров времени отклика ИС при изменении различных факторов: объемов справочников и рабочих таблиц, количества одновременно работающих пользователей, состава и характеристик технических средств. Для того чтобы количественно и с минимальными трудозатратами оценивать характеристики потребительского качества программной системы, необходим специальный инструментарий, обеспечивающий автоматизированное получение такой оценки.
Особенности предлагаемого подхода. Оценка значений характеристик качества ИС связана с наблюдением (мониторингом) за функционированием исследуемой программной системы в заданных условиях и, в частности, с замером времени реализации каждой функции.
Средства мониторинга предполагают проведение замеров при реальной нагрузке информационную систему, что часто не представляется возможным. Например, если данный программный продукт (ПП) должен обеспечить одновременную работу 60 пользователей, то для проведения измерений необходимо иметь 60 копий этого ПП, 60 компьютеров и 60 обученных пользователей, которые будут выполнять определенные действия с некоторой периодичностью. Затраты на проведение такого измерения очень высоки, а достоверность полученных данных будет существенно зависеть от действий конкретного пользователя. Для решения этих задач в последнее время используются различные инструменты для автоматизации процессов тестирования ЭИС, в частности, стресс-тестирование, которое позволяет анализировать поведение исследуемой программной системы при возрастающей нагрузке. Эти инструменты имеют встроенные средства замера и анализа определенных параметров системы, таких как время отклика, объем используемой памяти, процент использования пропускной способности сети и т.д.
При проведении стресс-тестирования выполняется имитация работы с программным продуктом большого числа пользователей. В процессе имитации может осуществляться запись действий пользователя в системе, запись и отсылка управляющих пакетов программы, запрос определенных ресурсов, заполнение БД случайными данными и т.д. Однако в большинстве случаев для проведения тестирования необходимо знание тонкостей программной реализации исследуемого ПП. Подготовка тестового сценария также требует значительных трудозатрат. Кроме того, стресс-тестирование не позволяет отследить динамику показателей производительности, степень влияния различных факторов и составить прогноз изменения показателей качества при изменении значений внешних факторов.
Поэтому представляется целесообразным создание информационной системы, базирующейся на интеграции инструментов стресс-тестирования и методики, описанной в [4]. Разработанная информационная система использует результаты стресс-тестирования в качестве исходной информации для построения системы моделей, позволяющих прогнозировать производительность ПП при реализации каждой функции и обеспечивает автоматизацию процессов построения регрессионных моделей, варьирования значения факторов и проведения замеров.
Примеры оценки производительности ПП. Пример 1. Использование созданной информационной системы рассмотрим на примере оценки времени выполнения функциональной операции «Получение ведомости остатков на складе» системой «1С Торговля и склад». В качестве факторов, влияющих на время выполнения операции, выбраны следующие: Х1 - документ «Ввод остатков по складу»; Х2 -- документ «Поступление материальных ресурсов»; Хз - документ «Списание материальных ресурсов»; Х4 - справочник «Номенклатура»; Х5 - справочник «Единицы измерения».
В процессе исследования варьировалось число записей (документов) по каждому фактору в пределах между минимальным и максимальным уровнем. В соответствии с планом эксперимента проведено 32 группы измерений. После обработки результатов опытов для функциональной операции «Ведомость остатков на складе» было получено следующее уравнение: у = 2,52 + 2,21x1 + 2,38x2 + 1,94хз + 0,22x4 + 0,14x5.
Проверка однородности дисперсий производилась по критерию Кохрена. Расчетное значение критерия составило 0,042, а табличное 0,1131, следовательно, гипотеза об однородности дисперсий подтверждается. Для проверки адекватности уравнения применялся критерий Фишера. Расчетное значение критерия Фишера составило 1,14, а табличное 1,43, следовательно, модель адекватна.
Расчетные значения ^критериев Стьюдента для коэффициентов Ь1, Ь2, Ь3, Ь4, Ь5 составили соответственно 2,23; 2,11; 3,05; 0,54; 0,78, а табличное значение равно 1,645 при уровне значимости 5%. Таким образом, окончательное уравнение регрессии для функциональной операции «Ведомость остатков на складе» приняло вид:
у= 2,52+ 2,21x1 + 2,38x2 + 1,94x3.
Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость остатков на складе», рассчитанные по этой модели, представлены на рис.1.
С
СЕ
— Ф акт.
■■Прогноз.
5 9 13 17 21 25 29 33 37 41 45 49 53 57 61
Номер этапа
Рис.1. Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость остатков на складе»
Полученные данные могут быть использованы для построения имитационных моделей, что позволит получать гистограммы распределения времени выполнения функциональной операции в конкретных условиях и оценку полных затрат времени на реализацию любых подмножеств функциональных операций.
Пример 2. Описанная система позволяет осуществлять сравнение различных ПП по производительности при выполнении заданного набора функциональных операций. Сравнение производительности ПП проведем на примере двух программных систем: системы «1С» версии 7.7 и системы «Ана-
нас», в которой была проанализирована аналогичная функциональная операция «Ведомость движения товаров по складу».
В качестве входных факторов при проведении дробного факторного эксперимента были выбраны системные таблицы се129 (Х1), се310(х2), се828(хз), сд129(х4), dh1002(x5), dt101_126(x6), га296(ху) и ra296_d304(x8).
Планирование эксперимента проводилось на двух уровнях. Число параллельных опытов при проведении эксперимента было равно трем. На основании результатов опытов получено уравнение, позволяющее делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональной операции «Ведомость движения товаров по складу»:
у= 3,24+ 0,45x1 + 1,58x2 + 0,2хз + 2,44x4 +1,8x5+ 3,74x6+ 1,2x7+ 0,73x8.
Проверка однородности дисперсий производилась по критерию Кохрена. Расчетное значение критерия составило 0,023, а табличное
0,1131, следовательно, гипотеза об однородности дисперсий подтверждается. Для проверки адекватности уравнения применялся критерий Фишера. Расчетное значение критерия Фишера составило 1,36, а табличное 1,43, следовательно, мы можем принять гипотезу об адекватности модели при уровне значимости 5%. Расчетные значения ^критериев Стьюдента для коэффициентов Ь1, Ь2, Ь3, Ь4, Ьб, Ьб , Ь7, Ь8 составили соответственно 2,78; 1,92;
0,03; 0,76; 3,24; 1,04; 0,12; 0,36, а табличное значение равно 1,645 при уровне значимости 5%.. Таким образом, окончательное уравнение регрессии для функциональной операции «Ведомость движения товаров по складу» приняло вид:
у= 3,24+ 2,51x1 + 1,49x2 + 1,8x5 .
Анализ построенной модели показывает, что при увеличении каждого из факторов значение времени выполнения функциональной операции также будет увеличиваться.
Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость движения товаров по складу», рассчитанные по этой модели, представлены на рис.2.
1 5 9 1 3 1 7 21 25 29 33 37 41 45 49 53 57 61
Номер этапа
Ф а кт .
““ Прогноз.
Рис.2. Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость движения товаров по складу»
Из приведенных на рис.1, 2 данных видно, что, хотя время выполнения только одной конкретной операции исследуемыми программными системами отличается незначительно, но если в течение года пользователю необходимо реализовать эту операцию, например, 10 тыс. раз, то в этом случае разница в общих затратах времени может оказаться весьма значительной.
Выводы:
1. Разработанная система позволяет сминимальными трудозатратами проводить количественную оценку производительности ЭИС в конкретных условиях их применения. При этом эксперименты с исследуемым системой осуществляются в автоматизированном режиме.
2. По результатам экспериментов строятся регрессионные модели, позволяющие прогнозировать время реализации каждой функции в зависимости от значений факторов, характеризующих среду, в которой функционирует анализируемая эИс (от объемов баз данных, количества одновременно работающих пользователей и др.).
Библиографический список
1. Эффективные решения: практическое руководство по созданию гибкого и масштабируемого программного обеспечения; пер. с англ. - М.: Издательский дом «Вильямс», 2003.
2. Хубаев Г.Н. Сравнение сложных программных систем по критерию функциональной полноты / Г.Н. Хубаев // Программные продукты и системы (SOFTWARE&SYSTEMS). - 1998. - №2. - С.6-9.
3. Хубаев Г.Н. Сложные системы: экспертные методы сравнения // Приложение к журналу «Известия высших учебных заведений. СевероКавказский регион». Серия «Общественные науки». - 1999. - №3. - С.7-24.
4. Хубаев Г.Н. Сравнение программных продуктов по критерию «производительность» / Г.Н.Хубаев // Программные продукты и системы.
- 2008. - №4.
Материал поступил в редакцию 25.03.09.
A.V.POBEDYONNY INFORMATIONAL SYSTEM FOR PROGRAM PERFORMANCE ESTIMATION
Huge amount of similar informational systems available today inevitably causes the problem of 'the right choice'. There are plenty of ways to estimate product quality today, however most of them either gives subjective results or requires plenty of computations to be made by user. An alternate way of comparing two or more infromational systems by user-defined quality factors is described in the following article.
ПОБЕДЁННЫЙ Алексей Владимирович (р.1983), начальник группы разработки производственного центра «Регион-Сервис». Окончил РГЭУ (2005). Область научных интересов: система поддержки принятия решений; автоматизация управления.
Автор 3 научных публикаций.
alexey.pobedyonny@gmail.com
