Процедура аттестации программного обеспечения (ПО) при испытаниях с целью утверждения типа процессорных средств измерений (СИ) должна идти в ногу с развитием технологий, в частности, необходимо учитывать широкое распространение случаев использования встроенного ПО в измерительных системах.
Аттестация алгоритма (программы) обработки данных — это исследование свойств алгоритма на моделях исходных данных, в результате которого определяют свойства и оценивают количественные характеристики алгоритма (программы). Различают общую и метрологическую аттестации алгоритма (программы). Вследствие общей аттестации алгоритма (программы) получают оценки характеристик точности, устойчивости и сложности алгоритма (программы) при различных моделях входных данных.
При метрологической аттестации получают оценки характеристик составляющих погрешности (неопределенности) результатов обработки в конкретных условиях применения этого алгоритма. Основным содержанием процедуры аттестации программы является аттестация алгоритма обработки данных, реализуемого данной программой. «Хорошая» программа не должна вносить значимых погрешностей в суммарную погрешность результата измерения.
Предоставляя большие возможности и преимущества, использование измерительного ПО может привести к появлению дополнительных погрешностей, связанных, например, с неадекватностью, нестабильностью (необусловленностью) и неправильной реализацией алгоритмов, положенных в основу программы, конечной разрядностью и т. д.
Аттестация ПО СИ должна устанавливать соответствие программного обеспечения указанным требованиям. В связи с этим приобретают особую важность методы аттестации.
Аттестация ПО. Объекты аттестации
Все СИ с целью обеспечения единства измерений подвергаются оценке соответствия определенным требованиям либо в виде испытаний для утверждения их типа и поверки, если они используются в сфере действия государственного метрологического контроля и надзора, либо в виде калибровки, если они в этой сфере не используются. В настоящее время программное обеспечение, входящее в их состав, как правило, не аттестуется отдельно, а проходит аттестацию в составе средства измерений, т.е. в процессе испытаний не учитывается выбор алгоритма и способ его реализации программным средством, а также другие важные характеристики ПО.
Аттестация может распространяться на следующие виды ПО СИ:
ПО, являющееся частью измерительной системы и функционирующее на базе персонального компьютера;
ПО, являющееся самостоятельным программным продуктом, который может применяться для сбора, обработки, хранения и представления измерительной информации;
ПО, являющееся неотъемлемой частью СИ (встроенное ПО);
ПО для контроллеров и вычислительных блоков.
Объектами аттестации, в соответствии с рекомендацией МИ 2174-91, могут быть:
алгоритмы обработки данных, представляющие собой самостоятельные объекты использования;
программы обработки данных, реализующие выбранный алгоритм обработки и представляющие собой самостоятельный программный продукт;
алгоритмы и программы обработки данных в составе прикладного программного обеспечения конкретных измерительных устройств,
информационно-вычислительных комплексов, информационно-измерительных систем, методик выполнения измерений [4].
МИ 2174-91 различает общую (исследовательскую) и метрологическую аттестацию ПО.
Общая аттестация алгоритма (программы) заключается в исследовании их внутренних свойств с целью последующего обоснования их применения в конкретных задачах. В результате такой аттестации получают характеристики точности, устойчивости и сложности алгоритмов (программ) по отношению к различным моделям исходных данных.
Метрологическая аттестация – исследование точностных свойств алгоритма (программы) в рамках конкретной измерительной задачи или методики выполнения измерений с целью оценивания характеристик составляющих погрешности результатов измерений. В результате аттестации получают оценки характеристик составляющих погрешностей результатов обработки [2].
В таблице 2 приведены основные отличия общей и метрологической аттестации.
Таблица 2. Виды аттестации
Общая (исследовательская) |
Метрологическая |
Объект аттестации, алгоритм (программа), который является |
|
Самостоятельным объектом |
Составной частью прикладного программного обеспечения конкретных измерительных устройств, измерительно-вычислительных комплексов, измерительных систем |
Цель аттестации |
|
Последующее обоснование применения алгоритма (программы) в конкретных задачах |
Оценивание характеристик, составляющих погрешность получаемых результатов измерений |
Исходные данные |
|
Может применяться для обработки исходных данных с различными свойствами |
Необходима значительная априорная информация об исходных данных |
Объект исследования |
|
Внутренние свойства алгоритма (программы) |
Точностные свойства алгоритма в рамках конкретной измерительной задачи |
Результат аттестации, свидетельство об аттестации с указанием |
|
Характеристик точности, устойчивости и сложности алгоритма (программы) при различных моделях исходных данных |
Характеристик, составляющих погрешность результатов обработки (оценка влияния программного обеспечения на метрологические характеристики СИ) |
Аттестацию проводят |
|
На заключительном этапе разработки алгоритма (программы), прежде, чем рекомендовать его для практического применения |
При выборе алгоритма для решения конкретной измерительной задачи при проектировании измерительно-вычислительных комплексов, измерительных систем |
Методы аттестации программного обеспечения средств измерений
При аттестации ПО СИ необходимо выполнить весь тот набор испытаний и проверок, который нужен для подтверждения свойств ПО требованиям нормативной документации, например, требованиям ГОСТ Р 8.654-2009. Этот набор включает в себя:
- проверку документации, сопровождающей ПО;
- проверку разделения программного обеспечения и его идентификации;
- проверку структуры программного обеспечения;
- оценку погрешности программного обеспечения;
- проверку защищенности программного обеспечения и данных[3].
Аттестация программного обеспечения в соответствии с МИ 2174
Аттестация ПОсредств измерений представляет собой достаточно сложную исследовательскую задачу, решение которой определяется конкретной программной и аппаратной реализацией соответствующего средства измерений.
Методика аттестации включает в себя следующие обязательные процедуры:
Устанавливается набор основных характеристик алгоритмов П1,…,Пn , которые следует оценивать. В частности, такими характеристиками для алгоритмов, используемых при обработке данных многократных прямых измерений, могут быть:
П1 = СКО случайной погрешности результатов измерения;
П2 = граница систематической погрешности результата измерения.
Иногда указанные характеристики удобно представлять в приведенной форме, отнесенными к соответствующим погрешностям среднего арифметического.
В качестве показателя устойчивости алгоритма принимают точку срыва Пср, т.е. допустимую долю выбросов в данных, наличие которых не приводит к нарушению работоспособности алгоритма.
Устанавливается набор моделей исходных данных u1,…,um, поступающих на обработку. В качестве моделей данных могут приниматься, например, независимые случайные величины со средним и дисперсией , имеющие гауссовские распределения; независимые случайные величины, имеющие равномерные распределения на интервале ; линейно изменяющаяся последовательность с интерсептоми наклоном и т.д.
Вычисляются (оцениваются) значения характеристик алгоритмов (программ) на выбранных типовых моделях. Результаты таких оценок могут быть представлены в виде таблиц значений характеристик алгоритма в зависимости от используемых моделей исходных данных.
Оформляется свидетельство об аттестации алгоритма (программы), включающее указанные таблицы.
Аттестация ПО в соответствии с МИ 2174 сводится к оценке искажений, вносимых тестируемым ПО в модели исходных данных. В принципе, такая процедура аттестации не требует наличия так называемого эталонного ПО и позволяет оценить свойства ПО, а также степень его влияния на метрологические характеристики средств измерений. Проблема заключается в удачном выборе характеристик алгоритма и таких моделей исходных данных, которые в максимальной степени соответствовали бы той реальной измерительной задаче, которая решается конкретным ПО[5].
Аттестация программного обеспечения по методике МИ 2955
Методика аттестации ПО, как правило, является составной частью программы испытаний СИ в целях утверждения типа и должна включать следующие основные этапы:
- определение перечня исследуемых характеристик и параметров, исходных данных и критериев, которым должны удовлетворять результаты, полученные аттестуемым ПО;
- проведение аттестации в соответствии с методикой аттестации и получение результатов анализа документации и функциональных проверок аттестуемого ПО;
- обработка результатов аттестации и их оформление в виде протокола аттестации.
Методика аттестации разрабатывается для каждого отдельного ПО СИ с учетом его назначения и функциональных особенностей.
В методике аттестации:
- приводится перечень исследуемых характеристик, свойств и параметров ПО, необходимых исходных данных и опорных («эталонных») ПО, а также критерии, позволяющие производить оценку характеристик аттестуемого ПО;
- определяются и описываются методы аттестации, которые должны обеспечить проверку всех основных функций аттестуемого ПО, а также его соответствие требованиям к ПО СИ;
- описывается последовательность действий при проведении процедуры аттестации ПО.
Результаты аттестации ПО признаются положительными, если при анализе документации и проведении функциональных проверок, предусмотренных методикой аттестации, устанавливается соответствие аттестуемого ПО требованиям ГОСТ Р 8.654 и другой нормативной документации.
По результатам аттестации и установления идентификационных данных (признаков), степени влияния ПО на МХ СИ и уровня защиты ПО СИ составляется протокол аттестации, подписанный непосредственными исполнителями аттестации и утвержденный руководителем уполномоченного органа[1].
Список использованных источников
МИ 2955-2010 ГСИ. Типовая методика аттестации программного обеспечения средств измерений. – М.: Изд-во стандартов, 2010. – 22 с.
МИ 2174-1991 ГСИ. Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения. – С.–Петербург.: ВНИИМС, 1993. – 14 с.
ГОСТ Р 8.654-2009 ГСИ. Требования к программному обеспечению средств измерений. Основные положения. – М.: Изд-во стандартов,2009.-19 с.
Кудеяров Ю.А., Стефанов Ю.В, Паньков А.Н. Аттестация программного обеспечения средств измерений //Компетентность 3/64/2009 . с.22-26
Кудеяров, Ю.А. Аттестация программного обеспечения средств измерений: Учебное пособие / Ю.А. Кудеяров. – М.,2006 – 80 с.