CC BY
38
Информационные, управляющие и измерительные системы
DOI: 10.5862/JCSTCS.224.8 УДК 519.812.4:681.2.082
С.В. Муравьев, И.А. Маринушкина обоснование вь1бора числа участников
межлабораторных сличений
S.V. Muravyov, I.A. Marinushkina
towards a justification of choosing the number of participants for interlaboratory comparisons
Исследована модель, основанная на геометрическом распределении, связывающая вероятность определения опорного значения измеряемой величины с числом m лабораторий — участников межлабораторных сличений. Проведен анализ зависимости вероятности определения опорного значения измеряемой величины от числа дополнительных лабораторий, введенных в состав группы участников сличений. Даны рекомендации по выбору рационального значения числа m при заданной элементарной вероятности определения опорного значения для одной лаборатории.
МЕЖЛАБОРАТОРНЫЕ СЛИЧЕНИЯ; ОПОРНОЕ ЗНАЧЕНИЕ; СХЕМА БЕРНУЛЛИ; ГЕОМЕТРИЧЕСКОЕ РАСПРЕДЕЛЕНИЕ; ВЕРОЯТНОСТЬ ОПРЕДЕЛЕНИЯ ОПОРНОГО ЗНАЧЕНИЯ.
The article has investigated a model based on the geometrical distribution and connecting a probability of determining the reference value of a measured quantity with m interlaboratory comparison participants. We have conducted an analysis of the dependency of the probability of determining the reference value of the measured quantity on the number of additional laboratories introduced into a group of comparison participants. On the base of this analysis, recommendations are given for a reasonable choice of the number m at a given elementary probability of determining the reference value for a single laboratory that are ranged from 4 to 10-15. As a rule, at this amount of participating laboratories, including new participants into the comparison group does not produce a positive effect.
INTERLABORATORY COMPARISONS; REFERENCE VALUE; BERNOULLI TRIAL; GEOMETRICAL DISTRIBUTION; PROBABILITY OF REFERENCE VALUE DETERMINATION.
Для обеспечения метрологической про-слеживаемости на разных уровнях метрологических работ [1], подтверждения и признания достоверности результатов испытаний и калибровки в соответствии с требованиями международных и национальных стандартов [2, 3] необходимо проведение сличений как эталонов различных уровней, так и средств и методик измере-
ний, используемых аккредитованными испытательными и калибровочными лабораториями.
В зависимости от целей сличений, требований к подготовке, проведению и представлению результатов процедуры сличений, различают ключевые сличения (национальных эталонов) и сличения на уровне поверочных, калибровочных и ис-
пытательных лабораторий, проводимые при процедурах проверки их квалификации.
В ключевых сличениях Международного комитета по мерам и весам (МКМВ) и региональных метрологических организаций (РМО) принимают участие хранители национальных эталонов: национальные метрологические институты, обладающие наивысшей технической компетенцией и опытом в соответствующем виде измерений [4]. Для мониторинга качества выполнения испытаний или измерений испытательными, поверочными, калибровочными лабораториями применяется проверка квалификации лабораторий посредством проведения межлабораторных сличений [5]. Как показала международная и национальная практика [6], проверка квалификации лабораторий посредством межлабораторных сличений является надежным инструментом оценивания компетентности аккредитованных лабораторий в определенных областях испытаний и измерений.
Процедура межлабораторных сличений заключается в организации и проведении оценивания заданного номинального значения измеряемой величины хном транспортируемого эталона несколькими различными лабораториями в соответствии с заранее установленными условиями. Например, в работе [7] при оценивании компетентности 12 лабораторий в области измерений микроволнового излучения в качестве эталона использован датчик мощности с номинальным калибровочным коэффициентом х = 1,0 на частоте 1 ГГц.
ном
Для реализации программы проверки квалификации лабораторий провайдер осуществляет рассылку участникам сличений характеризующегося номинальным значением хном транспортируемого эталона для проведения измерений. Лаборатории-участники направляют провайдеру результаты измерений в форме оценок х. номинального значения и соответствующих стандартных неопределенностей и(х.). Провайдер проводит обработку полученных результатов и формирует заключение для каждой лаборатории-участника.
Основной задачей провайдера (организатора) сличений является установле-
ние опорного значения измеряемой величины хгеГ и его интервала неопределенности и(хге1). Под опорным значением понимается оценка, наилучшим образом характеризующая номинальное значение измеряемой величины, полученная по результатам всех участников сличений. В РМГ 29-2013 [8] указано, что опорное значение величины используют в качестве основы для сопоставления со значениями величин того же рода.
Существуют различные алгоритмы нахождения опорного значения измеряемой величины хгеР которым посвящено много публикаций, см., например, [9, 10]. Традиционно в качестве хгеГ принимают средневзвешенное значение у и соответствующую неопределенность и(у), рассчитываемые по формулам [9]:
У = £ хи2 (х. )/ X и ^
1=1 1=1
т
и2(у) = 1/ X и-2(х;),
(1)
где т — количество участвующих в сличениях лабораторий.
Во введенном в действие с 01.03.2015 г. ГОСТ КОДБС 17043-2013 «Оценка соответствия. Основные требования к проведению проверки квалификации» (п. 4.4.4.3) рекомендуется при разработке методов обработки данных сличений «тщательно рассмотреть» вопрос о «минимальном количестве участников в программе проверки квалификации, необходимом для достижения целей статистического расчета» [5]. Однако проблеме обоснования рационального выбора числа участников межлабораторных сличений в научно-технической литературе уделено мало внимания.
Действительно, в том случае, когда целью сличений является определение опорного значения измеряемой величины, привлечение к этой процедуре каждого нового участника требует значительных затрат финансовых и временных ресурсов. С другой стороны, количества лабораторий может быть недостаточно для обеспечения заданной достоверности результата. Поэтому число участников сличений, как правило, не должно превышать некоторой мини-
¡=1
мальной верхней границы и определение обоснованного количества m участников сличений представляет собой актуальную задачу.
Для этой цели далее в настоящей статье используются простые вероятностные соображения, позволяющие получить оценку верхней границы для числа m в явном аналитическом виде.
Схема Бернулли и геометрическое распределение
Рассмотрим классическую схему Бернулли (см, например, [11, 12]) для последовательности независимых испытаний, каждое из которых может иметь один из двух исходов — «успех» или «неудачу». Пусть p — вероятность успеха (назовем ее элементарной вероятностью), тогда вероятность неудачи в каждом испытании равна q = p — 1. Вероятности исходов p и q остаются неизменными во всех испытаниях.
Пусть X обозначает число испытаний до первого успеха. Тогда вероятность P(X = m) того, что успех случится во время m-го испытания, равна вероятности (1 — p)m — 1 того, что он не случится во время m — 1 испытаний, умноженной на вероятность p того, что успех произойдет во время m-го испытания, то есть:
P(X = m) = p(1 - p)m — 1 = pqm — 1, m = 1, 2, ...
(2)
В этом случае говорят, что случайная величина X имеет дискретное геометрическое распределение с параметром p [11].
Вероятность того, что успех не наступает при испытании m или до него, равна вероятности (1 — p)m последовательных m неудач. Это значит, что вероятность того, что успех наступит после m испытаний, имеет вид:
P(X < m) = 1 — (1 — p)m = 1 — qm. (3)
Для геометрического распределения выражения (2) и (3) представляют собой функцию (плотности) вероятности и функцию распределения соответственно.
В терминах геометрического распределения можно ставить и решать много практически полезных задач, таких как выбор
числа экспертов для оценивания удобства и простоты использования пользовательского интерфейса [13, 14] или для оценивания качества продукции [15]. В работе [16] с использованием геометрического распределения дан анализ времени, необходимого для того, чтобы при наборе на печатной машинке произвольных символов получился связный литературный текст. В учебнике Е.С. Вентцель и Л.А. Овчарова [12] рассмотрена следующая задача: «При одном цикле обзора радиолокационной станции, следящей за космическим объектом, объект обнаруживается с вероятностью p. Обнаружение объекта в каждом цикле происходит независимо от других. Найти вероятность того, что при m циклах объект будет обнаружен». В качестве решения задачи в [12] использована формула (3).
Воспользуемся геометрическим распределением для определения необходимого и достаточного количества m лабораторий, участвующих в межлабораторных сличениях.
Вероятностная модель обнаружения опорного значения
Пусть p — вероятность обнаружения опорного значения после предоставления результата его измерения одной лабораторией. Считаем, что каждая из участвующих в сличениях лабораторий получает свой результат независимо от других. Тогда по формуле (3) можно рассчитать вероятность F того, что опорное значение определено по результатам m лабораторий:
F = 1 — (1 — p)m. (4)
Из формулы (4) следует выражение для числа участвующих в сличениях лабораторий:
m =
1п(1 -1п(1 -
(5)
Из табл. 1 и графика на рис. 1, построенного по формуле (4), видно, что существует некоторое критическое значение mкр числа m такое, что при m > mкр не происходит существенного увеличения вероятности обнаружения опорного значения. Например, при p = 0,6 нет необходимости
иметь более пяти лабораторий, т. к. вероятность нахождения опорного значения при т > ткр = 5 практически равна единице.
Рассмотрим, как изменится вероятность Е после привлечения одной новой лаборатории к участию в сличениях. Выражение, показывающее, во сколько раз вероятность Е1 = Е(т + 1) превосходит вероятность Е = Е(т), имеет следующий вид:
Е = 1 - (1 - р) т+1 = 1 + Р(1 - Р) т (6)
Е 1 - (1 - р)т 1 - (1 - р)т .
Из табл. 2 и рис. 2 видно, что увеличение числа лабораторий-участников на единицу приводит к незначительному росту вероятности Е. Это увеличение становится еще более несущественным для всех
Таблица 1
Значения вероятности Ж, рассчитанные по формуле (4) для различных т и р
т Элементарная вероятность р
0,05 0,1 0,2 0,6
2 0,10 0,19 0,36 0,84
4 0,19 0,34 0,59 0,97
6 0,26 0,47 0,74 1,00
8 0,34 0,57 0,83 1,00
10 0,40 0,65 0,89 1,00
12 0,46 0,72 0,93 1,00
14 0,51 0,77 0,96 1,00
16 0,56 0,81 0,97 1,00
18 0,60 0,85 0,98 1,00
20 0,64 0,88 0,99 1,00
1,0 0,8
й.
£ 0,6 о о
н 0,4 о
& 0,2 со
0
0 4 8 12 16 20
Число лабораторий т
Рис. 1. Зависимость вероятности Е от т для различных значений р, см. формулу (4)
т > ткр = 4. И чем больше элементарная вероятность р, тем более несущественным становится вклад новой лаборатории.
Анализ роста вероятности Е при добавлении к дополнительных лабораторий в группу участников сличений
Описанное в предыдущем разделе изменение вероятности Е стоит оценить в более явном и общем виде. Обозначим через у относительный рост вероятности Е в результате добавления к дополнительных лабораторий в группу т участников сличений, то есть:
^ = Е(т + к) - Е(т) = Ек - Е (7) Е(т) Е '
где
Таблица 2
Значения отношения рассчитанные по формуле (6) для различных т и р
m Элементарная вероятность р
0,05 0,2 0,6
1 1,95 1,80 1,40
2 1,46 1,36 1,11
4 1,22 1,14 1,02
6 1,14 1,07 1,00
8 1,10 1,04 1,00
10 1,07 1,02 1,00
12 1,06 1,01 1,00
14 1,05 1,01 1,00
16 1,04 1,01 1,00
18 1,03 1,00 1,00
20 1,03 1,00 1,00
2,0
1,8
^ 1,6
ф
ш 1.4
1,2
1,0
р= с ,05
Л \
V
\ 0,6 0,2 N
1
8
12
16
20
Число лабораторий т Рис. 2. Зависимость отношения F1/F от m для различных значений р, см. формулу (6)
Fk = 1 — (1 — р)-(1 — р)к. (8) Из выражений (4), (7) и (8) получаем:
1 - (1 - р)к
1 = (1 - Р)"
1 - (1 - р)"
(9)
В табл. 3 представлены значения относительного роста вероятности у(к) для различных чисел m, рассчитанные по выражению (9), а на рис. 3 показаны соответствующие графики.
Как видно из данных табл. 3 и рис. 3, существенное увеличение вероятности определения опорного значения, благодаря привлечению дополнительных к лабораторий-участников, происходит толь-
ко в том случае, если элементарная вероятность р мала (см. график для р = 0,05 на рис. 3). В этом случае зависимость у(к) имеет почти линейный характер. Видно, что при m = 1 удвоение шансов найти опорное значение (т. е. когда у увеличивается на 1 или на 100 %) происходит при каждом увеличении к на 1, особенно при малых к. Однако уже при m = 7 такое удвоение шансов происходит только при к = 10.
При р = 0,5 можно видеть, что если группа участников сличений состоит из четырех лабораторий, добавление в группу нового участника бесполезно, т. к. оно не увеличивает вероятность нахождения опорного значения.
р - 0,05
У
У
У
1.0 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 0,1 О
0,25 0,20 0,15 0,10 0,05 О
2 4 6 8 10
Число дополнительных лабораторий к
Р - 0,5
——■—
т- -- 1
2
4
7
2 4 6 8 10
Число дополнительных лабораторий к
Р = 0,8
— т = 1
/
/
/ 2
1<
4 -^
2 4 6 8
Число дополнительных лабораторий к
10
Рис. 3. Зависимости (для р = 0,05; 0,5 и 0,8) относительного роста вероятности у от числа к дополнительных лабораторий при различных т, см. формулу (9)
мнений экспертов. Следует также использовать малейшую возможность оценивания этой вероятности. Ясно, что р является параметром не только геометрического, но и биномиального распределения. Известны различные методы оценивания параметра р биномиального распределения на основе метода максимального правдоподобия и метода моментов [17]. Например, оценка р максимального правдоподобия имеет простейший вид: р = т / п, где п — общее число испытаний, т. е. может быть основана на имеющемся опыте проведенных ранее испытаний [18].
При задании значения р (случай, который нередко имеет место при практических расчетах [19]) следует учитывать факт, что часть участников сличений могут предоставлять ненадежные результаты [7, 9, 10, 20], несмотря на то, что они декларируют высокий уровень доверительной вероятности при предоставлении результата <х,, и(х.)>. Тогда значение р следует снижать на некоторый согласованный уровень.
Несмотря на простоту, рассмотренная в статье основанная на геометрическом распределении модель, связывающая в явном
Таблица 3
Значения относительного роста вероятности у(к) для различных чисел т, см. выражение (9)
к Элементарная вероятность р
0,05 0,5 0,8
т т т
1 2 4 7 1 2 4 7 1 2 4 7
1 0,95 0,46 0,21 0,11 0,5 0,17 0,03 0,004 0,2 0,03 0,0013 0
2 1,85 0,90 0,42 0,22 0,75 0,25 0,05 0,006 0,24 0,04 0,0015 0
3 2,71 1,32 0,63 0,33 0,87 0,29 0,06 0,007 0,25 0,04 0,0016 0
4 3,52 1,72 0,81 0,42 0,94 0,31 0,06 0,007 0,25 0,04 0,0016 0
5 4,30 2,09 0,99 0,52 0,97 0,32 0,06 0,008 0,25 0,04 0,0016 0
6 5,03 2,45 1,16 0,61 0,98 0,33 0,07 0,008 0,25 0,04 0,0016 0
7 5,73 2,79 1,32 0,70 0,99 0,33 0,07 0,008 0,25 0,04 0,0016 0
8 6,39 3,11 1,48 0,78 1,0 0,33 0,07 0,008 0,25 0,04 0,0016 0
9 7,02 3,42 1,62 0,86 1,0 0,33 0,07 0,008 0,25 0,04 0,0016 0
10 7,62 3,71 1,76 0,93 1,0 0,33 0,07 0,008 0,25 0,04 0,0016 0
В случае р = 0,8 можно убедиться, что нет необходимости в добавлении новых участников уже при к = 3, хотя в группу участников сличений входит лишь одна лаборатория.
Анализ данных табл. 3 и рис. 3 позволяет сделать вывод о важности способа формирования группы участников сличений. Действительно, значения параметров р = 0,05, т = 2 и к = 8 дают относительный рост вероятности у = 3,11, в то время как у = 1,16 при т = 4 и к = 6; причем в том и в другом случаях общее число участников т + к = 10. Следовательно, комбинация различных т и к при их одинаковой сумме обеспечивает больший выигрыш у, если т < к.
Число к может быть легко определено в явном виде, используя выражение (7):
к = М!-^) _ т = т Ш - Рк) _ т. (ю) 1п(1 - р) 1п(1 - Е)
На практике число к может быть рассчитано, исходя из известного желательного или критического значения Ек.
Конечно, элементарная вероятность р должна быть заранее задана или оценена. Задать ее значение можно, исходя из соображений приемлемого риска с учетом
аналитическом виде вероятность определения опорного значения измеряемой величины с числом т лабораторий-участников межлабораторных сличений, позволила провести достаточно глубокий анализ зависимости вероятности определения опорного значения измеряемой величины от числа дополнительных лабораторий, введенных в состав группы участников сличений. На основе этого анализа можно рекомендовать назначать число участников сличений от четырех до 10—15. Как правило, при таком
количестве участников привлечение к сличениям новых лабораторий не дает положительного эффекта.
В ситуациях, когда необходимо выявлять опорное значение с помощью группы экспертных лабораторий, за счет минимизации числа лабораторий в такой группе можно избежать значительных материальных затрат.
Базовая часть государственного задания «Наука» Министерства образования и науки РФ, проект № 2078.
СПИСОК ЛИТЕРАТУРЫ
1. ILAC P10:01/2013. ILAC Policy on Traceability of Measurement Results [электронный ресурс] / URL: http://www.ilac.org/ (дата обращения: 02.07.2015).
2. CIPM MRA-D-05. Measurement comparisons in the CIPM MRA [электронный ресурс]/ URL: http://www.bipm.org (дата обращения: 02.07.2015).
3. ГОСТ ИСО/МЭК 17025-2009. Общие требования к компетентности испытательных и калибровочных лабораторий.
4. BIPM 1999. Mutual Recognition of National Measurement Standards and of Calibration and Measurement Certificates issued by National Metrology Institutes (MRA) [электронный ресурс]/ URL: http://www.bipm.org (дата обращения: 05.05.2015).
5. ГОСТ ISO/IEC 17043-2013. Оценка соответствия. Основные требования к проведению проверки квалификации.
6. ГОСТ Р ИСО 13528-2010. Статистические методы. Применение при экспериментальной проверке компетентности посредством межлабораторных сравнительных испытаний.
7. Brunetti L., Oberto L., Sellone M., Terzi P. Establishing reference value in high frequency power comparisons // Measurement. 2009. Vol. 42. Pp. 1318-1323.
8. РМГ 29-2013. ГСИ. Метрология. Основные термины и определения.
9. Cox M.G. The evaluation of key comparison data // Metrologia. 2002. Vol. 39. Pp. 589-595.
10. Muravyov S.V. Ordinal measurement, preference aggregation and interlaboratory comparisons // Measurement. 2013. Vol. 46. Iss. 8. Pp. 2927-2935.
11. Прохоров Ю.В. Вероятность и математическая статистика: Энциклопедия. М.: Большая Российская энциклопедия, 2003. 912 с.
12. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения. М.: Высшая школа, 2000. 480 с.
13. Nielsen J., Landauer T.K. A mathematical model of the finding of usability problems // Proc. of the ACM/IFIP INTERCHI'93 Conf. Amsterdam: IOS Press, 1993. Pp. 206-213.
14. Nielsen J., Mack R.L. (Eds.) Heuristic evaluation // Usability Inspection Methods. New York: John Wiley & Sons, 1994. Pp. 55-62.
15. Muravyov S.V. About reasonable number of rankings in preference profile when measuring quality // Proc. of the 9th IMEKO Symp. on Measurement and Quality Control. Chennai: Indian Institute of Technology Madras, 2007. Pp. 331-334.
16. Spiegelhalter D., Smith O. Understanding uncertainty: Infinite monkey business // Plus Magazine, University of Cambridge. 2010. Iss. 54 [электронный ресурс]/ URL: https://plus.maths. org/content/infinite-monkey-business. (дата обращения: 02.07.2015).
17. Blumenthal S., Dahiya R.C. Estimating the Binomial Parameter n // J. of the American Statistical Association. 1981. Vol. 76. No. 376. Pp. 903-909.
18. NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.6.18. Binomial Distribution [электронный ресурс]/ URL: http://www.itl.nist. gov/div898/handbook/eda/section3/eda366i.htm (дата обращения 02.07.2015).
19. Bich W., Pennecchi F. Uncertainty in measurements by counting // Metrologia. 2012. Vol. 49. Pp. 15-19.
20. Чуновкина А.Г., Бурмистрова Н.А., Звягин Н.Д. Об одном подходе к оцениванию результатов ключевых сличений эталонов при несогласованных данных // Измерительная техника. 2013. № 6. С. 3-6.
REFERENCES
1. ILAC P10:01/2013. ILACPolicy on Traceability of Measurement Results. Available: http://www.ilac. org/ (Accessed: 02.07.2015).
2. CIPM MRA-D-05. Measurement comparisons in the CIPM MRA. Available: http://www.bipm.org (Accessed: 02.07.2015).
3. ISO/IEC 17025:2005. Obschie trebovaniya k kompetentnosti ispyitatelnyih i kalibrovochnyih laboratoriy [ General requirements for the competence of testing and calibration laboratories]. (rus)
4. BIPM 1999. Mutual Recognition of National Measurement Standards and of Calibration and Measurement Certificates issued by National Metrology Institutes (MRA). Available: http://www.bipm.org (Accessed: 05.05.2015).
5. ISO/IEC 17043:2010. Otsenka sootvetstviya. Osnovnyie trebovaniya k provedeniyu proverki kvalifikatsii [Conformity assessment — General requirements for proficiency testing]. (rus)
6. ISO 13528:2005. Statisticheskie metodyi. Primenenie pri eksperimentalnoy proverke kompetentnosti posredstvom mezhlaboratornyih sravnitelnyih ispyitaniy [Statistical methods for use in proficiency testing by interlaboratory comparisons]. (rus)
7. Brunetti L., Oberto L., Sellone M., Terzi P.
Establishing reference value in high frequency power comparisons, Measurement, 2009, Vol. 42, Pp. 1318-1323.
8. ISO/IEC Guide 99:2007. Metrologiya. Osnovnyie terminyi i opredeleniya [International vocabulary of metrology — Basic and general concepts and associated terms (VIM 3)]. (rus)
9. Cox M.G. The evaluation of key comparison data. Metrologia, 2002, Vol. 39, Pp. 589-595.
10. Muravyov S.V. Ordinal measurement, preference aggregation and interlaboratory comparisons. Measurement, 2013, Vol. 46, Iss. 8, Pp. 2927-2935.
11. Prokhorov Yu.V. Veroyatnost i matemati-cheskaya statistika [Probability and Mathematical Statistics]. Moscow: Bolshaya Rossiyskaya
entsiklopediya Publ., 2003, 912 p. (rus)
12. Venttsel Ye.S., Ovcharov L.A. Teoriya veroyatnostey i yeye inzhenernyye prilozheniya [Probability theory and its engineering applications]. Moscow: Vysshaya shkola Publ., 2000, 480 p. (rus)
13. Nielsen J., Landauer T.K. A mathematical model of the finding of usability problems. Proceedings of the ACM/IFIP INTERCHIP Conference. Amsterdam: IOS Press, 1993, Pp. 206-213.
14. Nielsen J., Mack R.L. (Eds.) Heuristic evaluation. Usability Inspection Methods. New York: John Wiley & Sons, 1994, Pp. 55-62.
15. Muravyov S.V. About reasonable number of rankings in preference profile when measuring quality. Proceedings of the 9th IMEKO Symposium on Measurement and Quality Control. Chennai: Indian Institute of Technology Madras, 2007, Pp. 331-334.
16. Spiegelhalter D., Smith O. Understanding uncertainty: Infinite monkey business. Plus Magazine, University of Cambridge, 2010, Iss. 54. Available: http://plus.maths.org/content/infinite-monkey-business. (Accessed: 02.07.2015).
17. Blumenthal S., Dahiya R.C. Estimating the Binomial Parameter n. Journal of the American Statistical Association, 1981, Vol. 76, No. 376, Pp. 903-909.
18. NIST/SEMATECH e-Handbook of Statistical Methods, 1.3.6.6.18. Binomial Distribution. Available: http://www.itl.nist.gov/div898/handbook/eda/ section3/eda366i.htm (Accessed: 02.07.2015).
19. Bich W., Pennecchi F. Uncertainty in measurements by counting. Metrologia, 2012, Vol. 49, Pp. 15-19.
20. Chunovkina A.G., Burmistrova N.A., Zvyagin N.D. Ob odnom podkhode k otsenivaniyu rezultatov klyuchevykh slicheniy etalonov pri nesoglasovannykh dannykh [An approach to the evaluation of the results of key comparisons of standards when inconsistent data]. Izmeritelnaya tekhnika [Measurement techniques], 2013, No. 6, Pp. 3-6. (rus)
МУРАВЬЕВ Сергей Васильевич — профессор кафедры компьютерных измерительных систем и метрологии Института кибернетики Национального исследовательского Томского политехнического университета, доктор технических наук.
634050, Россия, г. Томск, пр. Ленина, д. 30. E-mail: muravyov@tpu.ru
MURAVYOV Sergey V. National Research Tomsk Polytechnic University. 634050, Lenina Ave. 30, Tomsk, Russia. E-mail: muravyov@tpu.ru
4
МАРИНУШКИНА Ирина Александровна — аспирант кафедры компьютерных измерительных систем и метрологии Института кибернетики Национального исследовательского Томского политехнического университета.
634050, Россия, г. Томск, пр. Ленина, д. 30. E-mail: irinamar@tpu.ru
MARINUSHKINA Irina A. National Research Tomsk Polytechnic University. 634050, Lenina Ave. 30, Tomsk, Russia. E-mail: irinamar@tpu.ru
© Санкт-Петербургский политехнический университет Петра Великого, 2015
