CC BY
151
6. Sain A.K. Tests for relativistic gravitation effects of charged particles // Phys. Rev. Lett. -1987. - V. 58. - № 3. - P. 1165-1168.
7. Kautz R.L., Lloyd F. L. Precision on series array Josephson voltage standard // Appl. Phys. Lett. - 1987. - V. 51. - № 12. -P. 2043-2045.
8. Ройтман М.С. Квантовая метрология. - Томск: Изд-во ТПУ, 2004. - 187 с.
9. ЦАП 427ПА3. 2011. URL: http//www.pnzgu.ru (дата обращения: 05.02.2011).
10. Analog Devices AD5791. 2011.URL: http//www.rlockman.ru/news (дата обращения: 05.02.2011).
11. Новая звезда Texas Instruments в созвездии дельта-сигма АЦП. 2011. URL: http//wwwrussianelectronics.ru (дата обращения: 05.02.2011).
12. Новые резистивные сборки производства Vishay. 2011. URL: http//www.radiant.ru (дата обращения: 05.02.2011).
13. Ким В.Л. Методы и средства повышения точности индуктивных делителей напряжения: дис. ... док. техн. наук: 05.11.01. -Томск, 2009. - 213 с.
14. Darren K.B. RSFQ Technology. Circuits and Systems. HYPRES/Inc/175 Clerbrook Road, Elmford. N.Y. 10523-1101, USA. Preprint.
Поступила 02.03.2011 г.
УДК 681.2.08
ОБОБЩЕННАЯ МОДЕЛЬ ПРОЦЕДУРЫ ИСПЫТАНИЙ ИЗМЕРИТЕЛЬНОГО ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ
Г.В. Злыгостева, С.В. Муравьев
Томский политехнический университет E-mail: [email protected]; [email protected]
Предложена обобщенная модель процедуры испытаний измерительного программного обеспечения. Выявлены типы процедур: испытания программного обеспечения при утверждении типа средства измерений, аттестация и сертификация. В соответствии сэлементами предложенной обобщенной модели дано систематизированное описание каждого типа процедуры.
Ключевые слова:
Измерительное программное обеспечение, испытания, аттестация, сертификация.
Key words:
Measurement software, testing, validation, certification.
Введение
Современные технические средства, предназначенные для измерений, невозможно представить без применения в них измерительного программного обеспечения (ПО). Использование программных продуктов в средствах измерений обеспечивает выполнение их основных функций. Под измерительным программным обеспечением (ИПО) будем понимать программы (совокупность программ) средств измерений, реализующие сбор, передачу, обработку, хранение и представление измерительной информации, а также программную документацию, необходимую для эксплуатации этих программ [1, 2].
Предоставляя большие возможности и преимущества, использование измерительного программного обеспечения может привести к появлению дополнительных погрешностей, связанных, например, с неадекватностью, нестабильностью (необусловленностью) и неправильной реализацией алгоритмов, положенных в основу программы, конечной разрядностью и т. д.
В последнее время актуальны вопросы защищенности ПО и информации (в том числе измерительной) от искажения, неавторизованного доступа, взаимного влияния приложений друг на друга, что для программных средств метрологического
назначения является крайне важным [3]. Таким образом, применение измерительного программного обеспечения связано с рисками, обусловленными как внутренними свойствами программы, так и внешними воздействиями на нее [2].
В статье на основе обобщенной модели процедуры испытаний измерительного программного обеспечения описаны основные особенности трех типов процедур: испытания ИПО при утверждении типа средства измерений (СИ), аттестация и сертификация.
1. Процедуры испытаний измерительного
программного обеспечения
Разработчики и пользователи измерительной техники должны быть уверены: использование программного обеспечения сопровождается минимальным риском появления ошибок и недостоверных результатов измерений, что должно документально подтверждаться проверкой (проведением испытаний) независимой организацией. О возможности проявления таких рисков говорится и в статье 9 Федерального закона «Об обеспечении единства измерений» [4].
Это даёт основание говорить о необходимости проведения независимой оценки используемого ИПО. Анализ нормативной документации и опыт
1. Подача заявки на проведение испытаний
2. Рассмотрение материалов заявки на соответствие установленным требованиям
- _ ИПО уже было испытано? ——
3. Разработка и утверждение программы и методики испытаний 6. Согласование (дополнение) существующей программы и методики испытаний
4. Метрологическая экспертиза документации и измерительного программного обеспечения
7. Проверка соответствия измерительного программного обеспечения ранее испытанному
5. Проведение испытаний согласно утвержденной программе и методике испытаний
8. Оформление и утверждение протокола и акта испытаний
9. Экспертиза материалов испытаний и выдача Заявителю документа (свидетельства или сертификата)
Рис. 1. Общая схема проведения испытаний ИПО
проведения испытаний программного обеспечения позволяет выделить три типа таких процедур:
• испытания ИПО при утверждении типа средства измерений;
• аттестация;
• сертификация.
В результате любого из трёх типов процедур испытаний должно быть установлено соответствие измерительного ПО определенным требованиям. Следуя идее алгоритма контроля программного обеспечения средств измерений [5], можно предложить общую схему проведения испытаний (рис. 1), применимую для случаев как впервые испытываемого ПО, так и ранее испытанного, но подвергнутого изменениям (модернизации).
Этапы 1-2 и 8-9 на рис. 1 являются одинаковыми для обоих случаев испытаний. Этапы 3-5 содержат проверку соответствия документации и ИПО требованиям нормативных документов и проведение испытаний. Этапы 6-7 содержат
проверку соответствия заявленного программного обеспечения ранее испытанному.
При проведении практических испытаний разрабатываемого и эксплуатируемого измерительного программного обеспечения, объем которых в масштабе страны может быть достаточно велик, общая схема (рис. 1) не обеспечивает требуемую детализацию. Поэтому существует необходимость в обобщенной модели процедуры испытаний ИПО, которая содержала бы элементы, позволяющие определять тип процедуры (аттестация, сертификация или испытания ИПО при утверждении типа СИ) и анализировать ее особенности с единых позиций процессного подхода.
Такая модель разработана авторами и представлена на рис. 2. Она охватывает необходимый и достаточный набор элементов процесса испытаний ИПО. Заявитель при составлении заявки выбирает тип процедуры испытаний в зависимости от конкретного объекта испытаний, области его примене-
Объект испытаний
Средство
измерений
Программное
обеспечение
Требования к ИПО
Методика
испытаний
Нормативные
документы
Рис. 2. Обобщенная модель процедуры испытаний ИПО
ния, выполняемых функций и т. д. Затем на основании выбранного типа процедуры, описания ИПО, реализованных в нем расчетных алгоритмов, методов идентификации и защиты определяют набор требований к программному обеспечению, перечень нормативных и иных документов, соответствие которым необходимо проверить, а также порядок проведения испытаний. Руководствуясь требованиями к ИПО и нормативными документами разрабатывают и утверждают методику испытаний. Сами испытания реализует конкретная организация-исполнитель, результатом которых является документ, выдаваемый в соответствии с принятым порядком и соответствующий выбранному типу процедуры испытаний ИПО.
Выбор той или иной процедуры испытаний определяется требованиями законодательных и нормативных документов, а также желанием разработчика (пользователя) измерительного программного обеспечения подтвердить его соответствие установленным требованиям. Далее в статье описаны типы процедур испытаний измерительного программного обеспечения в соответствии с предложенной обобщенной моделью испытаний.
2. Испытания измерительного ПО при утверждении
типа средств измерений
Первые испытания измерительного программного обеспечения были проведены именно в рамках испытаний средств измерений в целях утверждения типа (табл. 1). Необходимость проведения испытаний программного обеспечения средств измерений определяется рядом законодательных и нормативных документов [4, 6, 7].
Программа испытаний в целях утверждения типа в части проверки ИПО должна предусматривать: идентификацию и оценку влияния программы на меТаблица 1. Испытания ИПО при утверждении типа СИ
трологические характеристики СИ, а также анализ конструкции с целью предотвращения несанкционированной настройки ИПО и вмешательства, которые могут привести к искажению результатов измерений.
Разработанный по результатам испытаний проект описания типа средства измерений, кроме характеристик СИ, должен содержать также описание программного обеспечения, идентификационные данные, количественные характеристики оценки влияния на метрологические характеристики СИ и уровень защиты от непреднамеренных и преднамеренных изменений. Свидетельство об утверждении типа средства измерений выдаётся Федеральным агентством по техническому регулированию и метрологии на срок не более пяти лет [7].
3. Аттестация измерительного ПО
Аттестация ИПО - это исследование программного обеспечения с целью определения его характеристик, свойств и идентификационных данных (признаков) и подтверждения соответствия предъявляемым к нему требованиям (табл. 2). Аттестацию проводят органы (организации), уполномоченные на проведение аттестации программного обеспечения средств измерений федеральным органом исполнительной власти, осуществляющим функции по оказанию государственных услуг в области обеспечения единства измерений [8].
В методике аттестации, разрабатываемой с учетом назначения и функциональных особенностей ИПО и СИ, определяют:
• перечень исследуемых характеристик, свойств и параметров ИПО, необходимых исходных данных и опорных («эталонных») программных продуктов, а также критерии, позволяющие производить оценку характеристик аттестуемого программного обеспечения;
1
в
Требования к ИПО.
Идентификационные данные (признаки).
Степень влияния ИПО на метрологические характеристики СИ.
Уровень защиты от непреднамеренных и преднамеренных изменений.
Методика испытаний. Программа испытаний в целях утверждения типа средства измерений.
Нормативные
документы.
Законодательные и нормативные документы [4, 6, 7].
Испытания ИПО при утверждении типа средства измерений
Порядок проведения испытаний.
1. Подача заявки на проведение испытаний в целях утверждения типа СИ.
2. Рассмотрение заявки и принятие решения о возможности проведения испытаний.
3. Разработка и согласование программы испытаний в целях утверждения типа СИ.
4. Проведение испытаний ИПО в составе СИ.
5. Разработка по результатам испытаний проекта описания типа и утверждение методики поверки.
6. Оформление результатов испытаний в виде протокола и акта испытаний СИ.
7. Направление материалов испытаний и документации на СИ для проведения метрологической экспертизы.
8. Проведение экспертизы и оформление свидетельства об утверждение типа СИ.
Испытатель.
Аккредитованный в установленном порядке Государственный центр испытаний средств измерений.______________
Результат испытаний.
Свидетельство об утверждении типа средства измерений.
Таблица 2. Аттестация ИПО
1
и
в ф
мро
Требования к ИПО.
Степень соответствия ИПО сопровождающей документации. Разделение ИПО на метрологически значимую и незначимую части. Идентификационные данные (признаки).
Степень влияния ИПО на метрологические характеристики СИ. Наличие или отсутствие защищенных интерфейсов.
Уровень защиты от непреднамеренных и преднамеренных изменений.
Другие характеристики, согласованные с Заявителем аттестации.
Международные и отечественные правила и рекомендации [8-14].
Методика
испытаний.
Методика аттестации.
Нормативные
документы.
Аттестация ИПО
Порядок проведения испытаний.
1. Подача заявки на проведение аттестации и документации согласно требованиям [8].
2. Рассмотрение заявки и принятие решение о возможности проведения аттестации.
3. Проведение экспертизы технической документации и ИПО.
4. Проведение испытаний.
5. Оценка уровня защиты ИПО и данных от изменений.
6. Оформление результатов испытаний в виде протокола и акта аттестации.
7. Принятие решения о выдаче свидетельства об аттестации.
9. Выдача свидетельства об аттестации; занесение аттестованного ИПО в банк данных ПО СИ.
Испытатель.
Органы (организации), уполномоченные на проведение аттестации ПО СИ.
Результат испытаний. Свидетельство об аттестации измерительного программного обеспечения.
• последовательность действий при проведении аттестации;
• методы аттестации, которые должны обеспечить проверку всех основных функций, а также соответствие ИПО требованиям [8].
Следует различать два вида аттестации: общую и метрологическую [11]. Несмотря на то, что в настоящее время специалисты, как правило, не рассматривают метрологическую аттестацию в каче-
Таблица 3. Виды аттестации
стве особого вида испытаний ИПО, необходимо помнить о ее существовании, так как некоторые нормативные документы содержат требование проведения именно метрологической аттестации. В табл. 3 приведены основные отличия общей и метрологической аттестации.
При аттестации программного обеспечения проводят его тестирование с целью определения одной или нескольких характеристик в соответствии с ме-
Общая (исследовательская) Метрологическая
Объект аттестации, алгоритм (программа), который является
Самостоятельным объектом. Составной частью прикладного программного обеспечения конкретных измерительных устройств, измерительно-вычислительных комплексов, измерительных систем.
Цель аттестации.
Последующее обоснование применения алгоритма (программы) в конкретных задачах. Оценивание характеристик, составляющих погрешность получаемых результатов измерений.
Исходные данные.
Может применяться для обработки исходных данных с различными свойствами. Необходима значительная априорная информация об исходных данных.
Объект исследования.
Внутренние свойства алгоритма (программы). Точностные свойства алгоритма в рамках конкретной измерительной задачи.
Результат аттестации, свидетельство об аттестации с указанием
Характеристик точности, устойчивости и сложности алгоритма (программы) при различных моделях исходных данных. Характеристик, составляющих погрешность результатов обработки (оценка влияния программного обеспечения на метрологические характеристики СИ).
Аттестацию проводят.
На заключительном этапе разработки алгоритма (программы), прежде, чем рекомендовать его для практического применения. При выборе алгоритма для решения конкретной измерительной задачи при проектировании измерительно-вычислительных комплексов, измерительных систем.
тодикой аттестации (анализ документации, функциональные проверки программы при контролируемых условиях, анализ исходного кода и т. д.).
Свидетельство об аттестации ИПО выдается сроком не более пяти лет организацией, уполномоченной на проведение аттестации ПО СИ федеральным органом исполнительной власти, осуществляющим функции по оказанию государственных услуг в области обеспечения единства измерений. Сведения об аттестованном ИПО включают в федеральный информационный фонд, ведение которого обеспечивает ФГУП «ВНИИМС», г. Москва.
4. Сертификация измерительного ПО
Система добровольной сертификации программного обеспечения средств измерений и информационно-измерительных систем и аппаратно-программных комплексов была создана ФГУП «ВНИИМС» в 2006 г.
Сертификация ИПО - это форма осуществляемого органом по сертификации или аккредитованными испытательными лабораториями подтверждения соответствия программного обеспечения и аппаратно-программных комплексов требованиям технических регламентов, положениям стандартов (табл. 4).
В течение срока действия сертификата орган по сертификации осуществляет инспекционный
Таблица 4. Сертификация ИПО
контроль за соответствием сертифицированного ПО установленным требованиям. По результатам испытаний органом выдается сертификат соответствия на срок не более трёх лет, а на документацию наносится знак соответствия «ПП». К настоящему моменту в добровольной системе сертификации сертифицировано более пятидесяти программных продуктов средств измерений и измерительных систем.
Разработчиков измерительного программного обеспечения обычно интересует вопрос об обязательности проведения испытаний (аттестации, сертификации, испытаний ПО при утверждении типа СИ). Проведение аттестации регламентируется в основном требованиями отечественных законодательных и нормативных документов, а также рядом специальных документов на средства измерений, применяемые в различных областях.
Сертификация имеет добровольный характер и определяется в основном желанием разработчиков (пользователей) ИПО подтвердить его соответствие современным требованиям. Для средств измерений, применяемых в сферах государственного регулирования обеспечения единства измерений, при испытаниях с целью утверждения их типа необходимо оценивать влияние ИПО на метрологические характеристики СИ, устанавливать уровень защиты и идентификационные данные программного обеспечения.
I
!
$
г
0 0 4
о
Требования к ИПО.
Структура.
Наличие и правильность функционирования интерфейсов. Идентификация.
Защита измерительной и иной информации.
Соответствие характеристик тем, которые были установлены и приписаны ИПО в результате проведенных испытаний.
Степень воздействия влияющих факторов на технические и информационные характеристики СИ. Доступность и целостность и передаваемой и обрабатываемой информации.__________________________
Методика
испытаний.
Методика сертификационных испытаний.
Нормативные документы.
Технические и нормативные документы по выбору заявителя.
Сертификация ИПО
Порядок проведения испытаний. Испытатель.
1. Подача заявки на Орган по
сертификацию. сертификации
2. Принятие решения по и/или
заявке и назначение испытательные
экспертов. лаборатории,
3. Проведение уполномоченные
сертификационных на проведение
испытаний и оформление испытаний ИПО.
их результатов в виде
протокола испытаний.
4. Проверка соответствия ИПО
органом по сертификации сведений, изложенных в
Результат испытаний.
приложениях к заявке. 5. Принятие решения о выдаче сертификата
Сертификат соответствия ИПО.
соответствия и разрешения
использования знака
соответствия.
6. Выдача сертификата
соответствия.
7. Занесение заявителя и ИПО
в Реестр.
Модель успешно апробирована при проведении
аттестации программного обеспечения «Визард
СИКН» (ООО НПП «ТЭК», г. Томск) и сертификации программного обеспечения теплосчётчиков
ТСШ-1М-02 (ООО «Конто-сервис», г. Томск).
Выводы
1. Предложена обобщенная модель процедуры испытаний измерительного программного обеспечения, включающая элементы, позволяющие определять тип процедуры испытаний, анализировать ее особенности с единых позиций процессного подхода.
СПИСОК ЛИТЕРАТУРЫ
1. Муравьев С.В., Токарев С.В. Новый стиль в измерительном программировании // Приборы и системы управления. -1997. - № 10. - С. 40-47.
2. Кудеяров Ю.А. Аттестация программного обеспечения средств измерений. - М.: АНО «РСК-Консалтинг», 2006. - 97 с.
3. Greif N. Software testing and preventive quality assurance for metrology // Computer Standards & Interfaces. - 2006. - V. 28. -№ 4. - P. 286-296.
4. Российская Федерация. Федеральный Закон № 102-ФЗ «Об обеспечении единства измерений». - М.: Изд-во стандартов, 2009. - 14 с.
5. Величко О.Н. Основные критерии, этапы и особенности контроля программного обеспечения средств измерений // Измерительная техника. - 2009. - № 6. - С. 11-12.
6. ПР 50.2.104-09 ГСИ. Порядок проведения испытаний стандартных образцов или средств измерений в целях утверждения типа. - М.: Изд-во стандартов, 2010. - 12 с.
7. ПР 50.2.106-09 ГСИ. Порядок выдачи свидетельств обутвер-ждении типа стандартных образцов или средств измерений. -М.: Изд-во стандартов, 2010. - 9 с.
8. ГОСТ Р 8.654-2009 ГСИ. Требования к программному обеспечению средств измерений. Основные положения. - М.: Изд-во стандартов, 2009. - 19 с.
9. МИ 2955-2010 ГСИ. Типовая методика аттестации программного обеспечения средств измерений. - М.: Изд-во стандартов, 2010. - 22 с.
2. Модель позволяет разработчикам (пользователям) измерительного программного обеспечения на этапах создания технического задания и модернизации определить тип процедуры испытаний, сформировать требования к программному обеспечению и разработке необходимой документации.
3. Организации, уполномоченные на проведение испытаний, в соответствии с элементами обобщенной модели, типом и особенностями выбранной процедуры могут установить перечень нормативных документов и методов, применяемых при испытаниях программного обеспечения, а также порядок их проведения.
10. ГОСТ Р 8.596-2002 ГСИ. Метрологическое обеспечение измерительных систем. Общие положения. - М.: Изд-во стандартов, 2002. - 10 с.
11. МИ 2174-91 ГСИ. Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения. - М.: Изд-во стандартов, 1993. - 27 с.
12. МИ 2891-2004 ГСИ. Общие требования к программному обеспечению средств измерений. - М.: Изд-во стандартов, 2004. -13 с.
13. OIML D 31 Edition 2008 (E) General requirements for software controlled measuring instruments. 2010. URL: http://www.oiml.Org/publications/D/D031-e08.pdf (дата обращения: 21.10.2010).
14. WELMEC 7.2. Руководство по программному обеспечению (основано на Директиве по измерительным приборам 2004/22/EC). - М.: АНО «РСК-Консалтинг», 2009. - 183 с.
15. Система добровольной сертификации программного обеспечения средств измерений и информационно-измерительных систем. Правила функционирования. 2010. URL: http://www.gametest.ru/doc/sw/sds.pdf (дата обращения: 26.08.2010).
Поступила 01.03.2011 г.
