CC BY
55ОСНОВНЫЕ ЭТАПЫ И МЕТОДЫ ПРОВЕДЕНИЯ ЭКСПЕРТНОЙ ИНТЕГРАЛЬНОЙ ОЦЕНКИ КАЧЕСТВА ИННОВАЦИОННЫХ ПРОГРАММНЫХ ПРОДУКТОВ
© Стебеняева Т.В.*, Лазарева Л.Ю.*
Институт международных стандартов учета и управления, г. Москва
В статье раскрываются проблемы проведения экспертизы качества разработки инновационных программных продуктов (ИПП). Уточнено определение самого понятия «экспертиза» применительно к оценке ИПП и определены ее основные цели. Раскрыта сущность экспертной оценки качества ИПП, представлены основные этапы проведения этой процедуры, а так же определены применяемые методы и используемый инструментарий. Предложен подход к формированию системы экспертной интегральной оценки качества ИПП. Полученные авторами результаты будут интересны как для разработчиков, так и для пользователей ИПП, практикующих их применение для автоматизации обработки массивов информации в ходе решения вопросов управления производственно-хозяйственной деятельностью.
Ключевые слова: развитие информатизация, производственно-хозяйственная деятельность, инновационный программный продукт, экспертиза, качество, методы, система показателей, интегральная оценка.
Стремительное развитие информатизации практически всех сфер отечественной экономики, стремительный рост числа разработанных инновационный программный продукт (ИПП) и их применение для решения вопросов управления практикой производственно-хозяйственной деятельности на многих предприятиях вызывает необходимость проведения экспертной оценки качества их разработки. В ходе процедуры экспертной оценки качества определяется пригодность уже разработанных ИПП к использованию в целях управления процессом производства продукции (оказания услуг) и принятия соответствующих решений. Применительно к случаю, когда предметом экспертной оценки качества становится ИПП, формулировка понятия «экспертиза» может быть представлена следующим образом: комплексная целенаправленная информационно-аналитическая деятельность группы экспертов по оценке полноты содержания и качества программного обеспечения (ПО) и информационного наполнения, методических приемов структурирования и представления информации в конкретной предметной области производственно-хозяйственной деятельности, используемых технологий обработки информации, дизайна и соответствия требованиям эргономики, а также технологичности применения ИПП для решения задач управления в конкретной сфере производственно-хозяйственной деятельности [4].
* Ведущий специалист, кандидат экономических наук.
* Ведущий специалист, кандидат технических наук.
С учетом данного определения к основным целям экспертной оценки качества ИПП следует отнести:
1) повышение качественных характеристик ИПП, его эффективности и удобства для практического использования по основному назначению;
2) обеспечение защиты и сохранности информации размещенной в ИПП независимо от числа его пользователей;
3) повышение возможностей ИПП для генерирования больших объемов информации и обеспечение оперативного доступа к ним для всех пользователей ИПП;
4) совершенствование форм и методов коммуникации органов управления производственными структурами с пользователями ИПП;
5) формирование у пользователей ИПП позитивного мнения о продукте и его возможностях на основе расширения практики постоянного совершенствования отдельных модулей или версий конкретного продукта;
6) обеспечение реализации единства и взаимосвязи принципов разработки и практического использования ИПП с требованиями современных стандартов и спецификаций, регламентирующих реализацию этих процессов.
В ходе экспертной оценки качества ИПП необходимо определить его основные диагностические параметры (показатели и характеристики инновационного программного продукта), выявить наличие возможных критических точек в ПО исследуемого ИПП, установить соответствие представленного в нем информационного наполнения правилам и / или требованиям современных стандартов и спецификаций. На основе собранной информации формируется система оценочных показателей для определения экспертной интегральной оценки качества ИПП и разрабатываются рекомендации для его применения в конкретной сфере производственно-хозяйственной деятельности и возможного дальнейшего развития и совершенствования отдельных модулей или версий.
Сущность процедуры экспертной оценки качества ИПП заключается в выявлении возможных проблем и получении их качественной оценки на основе группового мнения специалистов (экспертов). Экспертный подход вполне применим и для получения качественных оценок разработки ИПП. Основные этапы экспертной оценки качества ИПП приведены ниже:
1. Постановка целей экспертной оценки.
2. Выбор форм и направлений экспертизы, определение затрат на ее проведение.
3. Подготовка экспертных анкет и определение последовательности проведения экспертизы.
4. Подбор экспертов.
5. Проведение экспертизы по выбранным направлениям.
6. Статистический анализ полученных результатов экспертизы по каждому направлению.
7. Получение интегральной экспертной оценки качества ИПП на основе математической обработки результатов экспертизы, полученных по каждому направлению.
8. Подготовка отчета итогового отчета по проведенной экспертизе [2].
Основные цели использования предлагаемой системы интегральной
экспертной оценки качества ИПП заключаются в следующем:
- оптимизация информационного воздействия экспертов;
- повышение эффективности процесса интегральной экспертной оценки ИПП;
- частичная автоматизация процесса интегральной экспертной оценки ИПП (снижение количества операций, выполняемых экспертом вручную, уменьшение дублирующих операций и др.);
- повышение уровня качества ИПП при помощи эффективного использования информационно-коммуникационных технологий и методов веб-аналитики.
Экспертную интегральную оценку качества любого ИПП целесообразно осуществлять с помощью методов веб-аналитики. Применение этих методов позволяет проводить измерения, сбор и интерпретацию информации о пользователях ИПП, а так же выполнять ее анализ и представление в различных ракурсах с целью оптимизации процесса экспертной интегральной оценки качества. Основная задача использования методов веб-аналитики заключается в получении экспертной интегральной оценки качества работы ИПП, на основании которой определяется целесообразность его применения в конкретной сфере производственно-хозяйственной деятельности и возможного дальнейшего развития и совершенствования отдельных модулей или версий. На основании полученных результатов принимаются решения либо по развитию и расширению функциональных возможностей ИПП, либо по необходимости разработки принципиально нового ИПП.
Методы веб-аналитики применяются для исследования функциональных возможностей ИПП, а именно:
- повышение функциональности ИПП в соответствии с выявленными тенденциями работы с ними пользователей;
- оценка эффективности работы пользователей с ИПП в в различных функциональных режимах;
- выявление проблемных точек в архитектуре модулей ПО, дизайне и структуре информационного наполнения ИПП;
- разработка рекомендаций по совершенствованию отдельных модулей ПО и выявление необходимости дальнейшей оптимизации отдельных версий ИПП.
К основным методам веб-аналитики относятся следующие.
1. Анализ работоспособности ИПП.
Цель анализа работоспособности ИПП заключается в выявлении возможностей для оптимизации отдельных модулей ПО или отдельных версий самого продукта. В ходе анализа работоспособности ИПП рассматриваются следующие вопросы:
- выбор ключевых показателей для экспертной оценки качества ИПП;
- формирование представления об основном контингенте пользователей и тенденциях их поведения в процессе работы с ИПП;
- выявление части наиболее активных пользователей ИПП;
- выявление и анализ отказов в ПО ИПП.
2. Анализ удобства использования ИПП.
Основная цель этого метода заключается в получении экспертных оценок таких параметров как время загрузки отдельных разделов ИПП, поиск путей для нахождения нужной пользователям информации, оптимальность структуры и содержания информационного наполнения ИПП, удобство навигации и т.д. К основным показателям, которые подлежат экспертной оценке на данном этапе, относятся следующие:
- корректное отображение структуры и содержания информационного наполнения ИПП в различных средах и при различных настройках режимов его работы;
- актуальность содержания информационного наполнения ИПП;
- удобство навигации по ИПП;
- простота осуществления поиска и просмотра необходимой пользователям информации;
- анализ функциональных возможностей ИПП и степени удовлетворенности ими пользователей.
3. Выявление и анализ основных тенденций поведения пользователей ИПП.
Базовый принцип использования этого метода заключается в необходимости определения действий, которые должны совершать пользователи ИПП, и с помощью системы веб-аналитики определить, совершают они эти действия на самом деле или нет. Если пользователи совершают набор определенных действий, то функциональные возможности ИПП соответствуют запросам пользователей. В противном случае справедливо обратное утверждение и необходимо найти конкретные причины этого. Примерные рекомендации для поиска таких причин приведены ниже:
- поиск наличия «слепых зон» на страницах ИПП и выбор мероприятий для их устранения;
- анализ проблем взаимодействия пользователей с информационным наполнением ИПП и формами его представления на экране монитора;
- анализ сложности восприятия пользователем текстовой, звуковой, видео- и других интерпретаций информационного наполнения ИПП;
- выявление и фиксация трудностей, с которыми сталкиваются пользователи ИПП в процессе работы с ним и разработка комплекса мер, направленных на их устранение.
В качестве основного инструментария веб-аналитики приведенные выше методы обычно используют в разном сочетании: инструменты анализа технической реализации ИПП; инструменты тестирования надежности функционирования ИПП; карты кликов и карты ссылок; веб-визоры; счетчики; лог-анализаторы и ряд других комплексных инструментов. Более подробно практика их применения раскрыта в работах [1, 3].
Для получения интегральной оценки качества ИПП могут использоваться следующие группы критериев и показателей.
1. Для оценки качества информационного наполнения ИПП: соответствие требованиям спецификаций и стандартов; актуальность представленного информационного наполнения; логичность его структуры; наличие контекстных взаимосвязей между отдельными частями (модулями) информационного наполнения; грамотность представления информационного наполнения; наличие элементов графического представления информационного наполнения; наличие медиа-фрагментов представления информационного наполнения.
2. Для оценки качества удобства использования ИПП: наличие схемы навигации; наличие системы поиска (сквозное меню, смысловая топография, кликабельность, система перекрестных ссылок, идентификаторы положения, правило «трех кликов», правило «первого экрана»); соответствие требованиям стандартизации; наглядное выделение разделов и подразделов.
3. Для оценки качества дизайна ИПП: идентификационные элементы; оправданность и уместность решений; масштабируемость дизайн-решений; гибкость дизайн-решений; качество графики; средства и свойства композиции (сомасштабность элементов, пропорции, цветовая палитра, симметрия и асимметрия, контраст и нюанс, соблюдение модульной сетки, светотень, текстура, рельеф, стилевое единство и др.).
4. Для оценки качества коммуникативности ИПП: взаимодействие с контактной информацией; использование системы вопрос / ответ; форма обратной связи; работа в режиме on-line; интеграция ИПП с сетями других производственных структур; авторизация пользователей; наличие опции «личный кабинет»; профилирование пользователей.
5. Для оценки качества технических характеристик ИПП: наличие домена; хостинг; кроссбраузерность верстки; расширяемость функционала ПО ИПП, его адаптивность и гибкость; время загрузки отдельных разделов и подразделов; корректность работы всех функциональных элементов ИПП; обработка появления возможных ошибок; статистика работы польхователей; режимы безопасной работы.
Для получения экспертной интегральной оценки качества ИПП наряду с указанными выше критериями и показателями оценки качества необходимо использовать установленные для них экспертами значения весовых коэффициентов. В результате формируется система для получения экспертной интегральной оценки качества ИПП, которая представлена ниже (см. табл. 1).
Таблица 1
Система экспертной интегральной оценки качества ИПП
Критерии, показатели Оценка степени влияния критерия (показателя) Вес критерия
ИПП-1 ИПП-2 ИПП-3 ИПП-п
к1 ¿1
к2 ¿2
кп ¿п
Интегральная оценка, И] Ящ
Результат, место №1 №2 №3 №п
В таблице использованы следующие условные обозначения:
кь к2,... ,кп - критерии и показатели оценки качества;
¿2,...,ап - весовые коэффициенты критериев оценки (назначаются экспертом);
Я - экспертная интегральная оценка качества ИПП.
Экспертная интегральная оценка качества ИПП (Я] определяется как сумма баллов по формуле (1):
И = £(М1 + к2а2 + ... + кА) (1)
В зависимости от суммы баллов, полученной каждым ИПП, их можно проранжировать, разбить или объединить в группы, с тем, чтобы в последующем совершенствовать ИПП с наиболее высокими оценками и перерабатывать ИПП, получившие минимальные оценки, или разрабатывать вместо них принципиально новые ИПП.
В ходе проведенных исследований нами были получены следующие результаты:
- обоснована необходимость проведения экспертной оценки качества ИПП;
- определена целесообразность использования методов и инструментария веб-аналитики для проведения экспертной оценки качества ИПП;
- выявлены предпосылки для формирования системы экспертной интегральной оценки качества ИПП.
Такая система содержит несколько десятков распределенных по группам критериев и показателей, а так же позволяет проводить сравнения ИПП между собой и формировать рекомендации относительно перспектив их развития. Данная система в перспективе может стать основным инструментом экспертов, проводящих оценку качества ИПП.
Исследование выполнено при финансовой поддержке Российского фонда фундаментальных исследований, проект № 15-06-00044а «Развитие методологии экспертизы результатов поисковых научных исследований для проектов создания инновационной продукции, услуг и технологий: экономические методы, модели, инструментарий и алгоритмы обработки информации».
Список литературы:
1. Авинаш Кошик. Веб-аналитика 2.0 на практике. Тонкости и лучшие методики / Кошик Авинаш. - М.: «Диалектика», 2011. - 528 с.
2. Липаев В.В. Качество программных средств. - М.: Янус-К, 2002. -400 с.
3. Марк Хасслер. Веб-аналитика / Хасслер Марк. - М.: Эксмо, 2010. -432 с.
4. Нестеров А.В. Основы экспертно-исследовательской деятельности. -М.: Изд. дом ВШЭ, 2009. - 163 с.
