CC BY
17
А.В Победённый
ОЦЕНКА ПРОИЗВОДИТЕЛЬНОСТИ ПРОГРАММНЫХ ПРОДУКТОВ ЭКОНОМИЧЕСКОГО НАЗНАЧЕНИЯ
Аннотация
Наличие на рынке большого числа однотипных информационных систем приводит к появлению проблемы выбора оптимального программного продукта, который бы наиболее полно соответствовал запросам организации или пользователя. Имеющиеся методики выбора оптимального продукта используют субъективную оценку либо требуют большого количества измерений и вычислений. В данной статье описан один из способов сравнения нескольких экономических информационных систем по интересующим пользователя показателям.
Annotation
Vast amount of similar informational systems available today inevitably causes the problem of 'the right choice'. There are plenty of ways to estimate product quality today, however most of them either gives subjective results or requires plenty of computations to be made by user. An alternate way of comparing two or more informational systems by user-defined quality factors is described in an article below.
Ключевые слова
Экономические информационные системы, оценка, потребительское качество, производительность.
Keywords
Economical information systems, estimation, consumer quality, performance.
Важнейшим показателем любого программного продукта является его потребительское качество, другими словами, степень соответствия продукта предъявляемым потребителем требованиям. Для определения степени соответствия информационной системы (ИС) требованиям конкретного
пользователя, как правило, необходимо располагать данными о значениях различных показателей, характеризующих процессы функционирования ИС в заданных условиях. Набор
показателей напрямую зависит от назначения программного продукта, так, если говорить об офисных системах (таких как текстовые процессоры, редакторы изображений и т.д.), то тут пользователя в первую очередь будет интересовать такой субъективный показатель, как удобство работы
системой. Различные учетные системы, системы поддержки принятия решений и прочие системы автоматизирующие различные аспекты экономических отношений (экономические информационные системы - ЭИС), определяют принципиально другой состав
показателей - скорость выполнения функциональных операций и объем обрабатываемых данных и другие.
Данные по показателям качества служат входной информацией для различных моделей прогнозирования характеристик качества ЭИС.
Информацию, описывающую процессы функционирования ЭИС, можно разделить на следующие типы:
- Характеристики данных — объем данных, которыми оперирует система, объем данных, передаваемых по каналам связи в единицу времени и
3G8
т.д.;
- Данные о рабочей нагрузке
— количество обращений к системе в единицу времени, количество одновременно обрабатываемых
запросов, величина очереди и т.д.;
- Данные, характеризующие уровень использования элементов вычислительной системы, например, коэффициент использования ресурсов процессора, оперативной памяти, сетевого интерфейса и т.д.
В литературе описаны методики для оценки некоторых из этих показателей. Так, осуществить оценку и выбор оптимальной ЭИС можно по критерию функциональной полноты [1], или по качеству интерфейса [2], или по скорости реализации базовых функциональных операций [3]. Последняя методика предполагает измерение производительности
системы, то есть проведение серии замеров времени отклика ИС при изменении различных факторов: объемов справочников и рабочих таблиц, количества одновременно работающих пользователей, состава и характеристик технических средств.
Постановка задачи: Для того чтобы количественно и с минимальными трудозатратами оценивать
характеристики потребительского
качества программной системы необходим специальный инструментарий, обеспечивающий автоматизированное получение такой оценки. Этот инструментарий должен обеспечивать не только автоматизацию расчета показателей качества, но и давать возможность в автоматизированном режиме производить хронометраж.
Особенности предлагаемого подхода. Оценка значений
характеристик качества ИС связана с наблюдением (мониторингом) за функционированием исследуемой
программной системы в заданных
условиях и, в частности, с замером времени реализации каждой функции.
Средства мониторинга предполагают проведение замеров при реальной нагрузке информационной системы, что часто не представляется возможным. Например, если данный программный продукт (1111) должен обеспечить одновременную работу 60 пользователей, то для проведения измерений необходимо иметь 60 копий этого 11 , 60 компьютеров и 60
обученных пользователей, которые
будут выполнять определенные
действия с некоторой периодичностью. Затраты на проведение такого измерения очень высоки, а
достоверность полученных данных будет существенно зависеть от
действий конкретного пользователя. Для решения этих задач в последнее время используются различные
инструменты для автоматизации
процессов тестирования ЭИС, в частности, стресс-тестирование,
которое позволяет анализировать поведение исследуемой программной системы при возрастающей нагрузке. Эти инструменты имеют встроенные средства замера и анализа
определенных параметров системы,
таких как: время отклика, объем
используемой памяти, процент использования пропускной способности сети и т. д.
При проведении стресс-
тестирования выполняется имитация
работы с программным продуктом большого числа пользователей. В процессе имитации может
осуществляться запись действий пользователя в системе, запись и отсылка управляющих пакетов программы, запрос определенных ресурсов, заполнение БД случайными данными и т.д. Однако в большинстве случаев для проведения тестирования необходимо знание тонкостей программной реализации исследуемого
ПП. Подготовка тестового сценария также требует значительных
трудозатрат. Кроме того, стресс-тестирование не позволяет отследить динамику показателей
производительности, степень влияния различных факторов и составить прогноз изменения показателей
качества при изменении значений
внешних факторов.
Поэтому представляется
целесообразным создание информационной системы, базирующейся на интеграции инструментов стресс-тестирования и методики, описанной в [3]. Разработанные автором
информационные системы «Ер.БВ» [4] и «Ер.РР» [5] используют результаты стресс-тестирования в качестве
исходной информации для построения системы моделей, позволяющих прогнозировать производительность ПП при реализации каждой функции, и обеспечивают автоматизацию
процессов построения регрессионных моделей, варьирования значения
факторов и проведения замеров.
Рассмотрим примеры оценки
производительности ЭИС с
использованием инструментария
«Ер.БВ» и «Ер.РР». Все тесты проводились на компьютерах с идентичной программно-аппаратной конфигурацией, что позволило
повысить объективность оценки.
Примеры оценки
производительности ПП. Пример 1. Использование созданной информации-онной системы рассмотрим на примере оценки времени выполнения
функциональной операции «Получение ведомости остатков на складе» системой «1 С Торговля и склад». В качестве факторов, влияющих на время выполнения операции, выбраны
следующие: х1 - документ «Ввод
остатков по складу», х2 - документ «Поступление материальных ресурсов», х3 - документ «Списание материальных ресурсов», х4 - справочник
«Номенклатура», х5 - справочник
«Единицы измерения».
В процессе исследования варьировалось число записей (документов) по каждому фактору в пределах между минимальным и максимальным уровнем. В соответствии с планом эксперимента проведено 32 группы измерений.
После обработки результатов опытов для функциональной операции «Ведомость остатков на складе» было получено следующее уравнение:
у = 2,52 + 2,21х1 + 2,38х2 + 1,94х3 + 0,22х4 + 0,14х5 .
Проверка однородности
дисперсий производилась по критерию Кохрена. Расчетное значение критерия составило 0,042, а табличное 0,1131, следовательно, гипотеза об
однородности дисперсий подтверждается. Для проверки адекватности уравнения применялся критерий Фишера. Расчетное значение критерия Фишера составило 1,14, а табличное
1,43, следовательно, модель адекватна.
Расчетные значения 1-критериев Стьюдента для коэффициентов Ь1, Ь2, Ь3, Ь4, Ь5 составили соответственно 2,23; 2,11; 3,05; 0,54; 0,78, а табличное значение равно 1,645 при уровне значимости 5%. Таким образом, окончательное уравнение регрессии для функциональной операции «Ведомость остатков на складе» приняло вид:
у= 2,52+ 2,21х1 + 2,38х2 + 1,94х3 . Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость остатков на складе», рассчитанные по этой модели, представлены на рис. 1.
1 5 9 ІЗ 17 21 25 29 ЗЗ З7 41 45 49 5З 57 61
№ эта па
— Ф а кт .
- - Прогноз.
Рис. 1. Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость остатков на складе»
Полученные данные могут быть использованы для построения имитационных моделей, что позволит получать гистограммы распределения времени выполнения функциональной операции в конкретных условиях и оценку полных затрат времени на реализацию любых подмножеств функциональных операций.
Пример 2. Описанная система позволяет осуществлять сравнение различных ПП по производительности при выполнении заданного набора функциональных операций. Сравнение производительности ПП проведем на примере 2-х программных систем: системы «1 С» версии 7.7 и системы «Ананас», в которой была
проанализирована аналогичная функциональная операция «Ведомость движения товаров по складу».
В качестве входных факторов при проведении дробного факторного эксперимента были выбраны системные таблицы се129 (х1), се310(х2), се828(х3), с§129(х4), ёЬ1002(х5), ёИ01_12б(хб),
га296(х7) и га296_ё304(х8) .
Планирование эксперимента проводилось на двух уровнях. Число параллельных опытов при проведении эксперимента было равно трем. На основании результатов опытов
получено уравнение, позволяющее делать обоснованные выводы о влиянии анализируемых факторов на время выполнения функциональной операции
«Ведомость движения товаров по складу»:
у= 3,24+ 0,45х1 + 1,58х2 + 0,2х3 + 2,44х +1,8х5+ 3,74х6+ 1,2х7+ 0,73х8 . Проверка однородности дисперсий производилась по критерию Кохрена. Расчетное значение критерия составило 0,023, а табличное 0,1131, следовательно, гипотеза об
однородности дисперсий подтверждается. Для проверки адекватности уравнения применялся критерий Фишера. Расчетное значение критерия Фишера составило 1,36, а табличное
1,43, следовательно, мы можем принять гипотезу об адекватности модели при уровне значимости 5%. Расчетные значения 1-критериев Стьюдента для коэффициентов Ь1, Ь2, Ь3, Ь4, Ь5, Ь6 , Ь7, Ь8 составили соответственно 2,78;’ 1,92;’ 0,03; 0,76; 3,24; 1,04; 0,12;
0,36, а табличное значение равно 1,645 при уровне значимости 5%.. Таким
образом, окончательное уравнение регрессии для функциональной
операции «Ведомость движения
товаров по складу» приняло вид:
у= 3,24+ 2,51х1 + 1,49х2 + 1,8х5 . Анализ построенной модели показывает, что при увеличении
каждого из факторов значение времени выполнения функциональной операции также будет увеличиваться.
Фактические и прогнозные значения времени выполнения
функцииональной операции «Ведомость
движения товаров по складу», рассчитанные по этой модели, представлены на рис. 2.
Из приведенных на рисунках 1 и 2 данных видно, что, хотя время выполнения только одной конкретной операции исследуемыми программными системами отличается незначительно, но если в течение года пользователю необходимо реализовать эту операцию, например, 10 тыс. раз, то в этом случае разница в общих затратах времени может оказаться весьма значительной.
ВЫВОДЫ.
1. Разработанная система позволяет с минимальными трудозатратами
проводить количественную оценку производительности ЭИС в конкретных условиях их применения. При этом
эксперименты с исследуемой системой осуществляются в автоматизированном режиме.
2.По результатам экспериментов строятся регрессионные модели, позволяющие прогнозировать время реализации каждой функции в зависимости от значений факторов, характеризующих среду, в которой функционирует анализируемая ЭИС (от объемов баз данных, количества одновременно работающих
пользователей и др.).
1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61
Эта п №
Факт .
""Прогноз.
Рис. 2. Фактические и прогнозные значения времени выполнения функциональной операции «Ведомость движения товаров по складу»
Библиографический список
1. Хубаев Г.Н. Сравнение сложных
программных систем по критерию функциональной полноты
//ПРОГРАММНЫЕ ПРОДУКТЫ И СИСТЕМЫ (80БТ1№АЕЕ&8У8ТЕМ8).
- 1998.- №2.- с.6-9.
2. Хубаев Г.Н. Сложные системы:
экспертные методы сравнения// Приложение к журналу «Известия высших учебных заведений. СевероКавказский регион». Серия
«Общественные науки».- 1999.- №3.-с.7-24.
3. Хубаев Г.Н. Сравнение программных
продуктов по критерию
«производительность»//ПРОГРАММН ЫЕ ПРОДУКТЫ и СИСТЕМЫ. - 2008.
- №4.
4. Хубаев Г.Н., Победенный А.В.
Информационная система оценки производительности программных
продуктов «Ер.БВ» //
СВИДЕТЕЛЬСТВО ОБ
ОФИЦИАЛЬНОЙ РЕГИСТРАЦИИ ПРОГРАММЫ для ЭВМ. №
2009610147. - М.: РОСПАТЕНТ, 2009.
5. Хубаев Г.Н., Победенный А.В. Информационная система для автоматизированной оценки качества программных продуктов «Ер.РР» //
СВИДЕТЕЛЬСТВО ОБ
ОФИЦИАЛЬНОЙ РЕГИСТРАЦИИ ПРОГРАММЫ для ЭВМ. №
2009610148. - М.: РОСПАТЕНТ, 2009.
Bibliographical list
1. Hubaev G.N. Comparing complex programms using functional completeness approach//SOFTWARE& SYSTEMS. -1998.- #2.- p.6-9.
2. Hubaev G.N. Complex systems: comparinsion with expert methods// Annex to the magazine «Universities' news. North-caucasian region». Series «Social sciences».- 1999.- #3.- p.7-24.
3. Hubaev G.N. Comparing programm products «using» performance criterion//SOFTWARE&SYTEMS. -2008. - #4.
4. Hubaev G.N., Pobedyonny A.V. Informational system for estimation of program products' performance «Ep.DB» // CERTIFICATE OF OFFICIAL PC PROGRAMM REGISTRATION. #
2009610147. - M.: ROSPATENT, 2009.
5. Hubaev G.N., Pobedyonny A.V. Informational system for estimation of program products' performance «Ep.PP» // CERTIFICATE OF OFFICIAL PC PROGRAMM REGISTRATION. #
2009610148. - M.: ROSPATENT, 2009.
