CC BY
38
УДК 519.8
С.И. Жилин
Эксперименты по оцениванию параметров эмпирической зависимости методом наименьших квадратов и методом центра неопределенности
Введение
Для оценивания коэффициентов эмпирических зависимостей, конструируемых по результатам экспериментальных наблюдений, широко применяется метод наименьших квадратов (МНК). Известно [1], что оценки МНК являются наилучшими при соблюдении гипотез о независимости и нормальности ошибок измерений. Для многих измерительных инструментов ошибка измерения, действительно, нормально распределена, однако на практике довольно часто встречаются ситуации, когда распределение ошибки близко к нормальному, но не является таковым [2; 3]. Тем не менее при построении эмпирических зависимостей довольно часто прибегают к использованию МНК, полагая при этом, как правило, распределение ошибок усеченным нормальным. Использование усеченного нормального распределения обосновывается тем, что значения нормально распределенной случайной величины с достаточно большой вероятностью сосредоточены на конечном интервале.
В условиях ограниченности ошибок и отсутствия достоверной информации об их распределении открывается возможность использования нестатистического подхода к обработке наблюдений, восходящего к работе [4] и развитого в работах [5-10] под названием метода центра неопределенности (МЦН).
В определенных ситуациях МЦН обеспечивает оценки, не уступающие по своим свойствам оценкам, полученным традиционными методами параметрической статистики. Так, в [10] предпринята попытка экспериментально сравнить описательные свойства МЦН и метода максимума правдоподобия при решении задачи прогноза в случае, когда распределение ошибки приближается к равномерному. Результатом этих исследований стал вывод о некоторых преимуществах использования МЦН над методом максимума правдоподобия при распределении ошибки, близком к равномерному. В частности, среднеквадратичное отклонение прогнозных значений от истинных величин по мере приближения к равномерному распределению снижается для оценок, полу-
ченных МЦН, и не убывает для оценок метода максимального правдоподобия.
Настоящая работа продолжает ряд сравнительных исследований МЦН и методов параметрической статистики и посвящена экспериментальному изучению поведения оценок прогнозных значений эмпирической зависимости, полученных МНК и МЦН при ошибке, имеющей нормальное распределение, усеченное на разных уровнях.
Постановка задачи и метод исследования
Рассмотрим задачу оценивания вектора параметров Р = (Р1,...,Р4) функциональной зависимости у = :Е(х, Р) и построения оценки прогнозного значения в некоторой точке х* по таблице экспериментальных данных вида Т = {(х, у)}. Предполагается, что конструируемая зависимость линейна по параметрам р., а ошибка измерения выходной переменной является случайной величиной с усеченным нормальным распределением ^(а, о2), т.е. принимающей значения из интервала [а - ко, а + ко], где а -математическое ожидание; о - среднеквадратическое отклонение; к - некоторая константа, определяющая уровень отсечения. Таким образом, у представимо в виде у = у0 + е, где у0 - точное значение функции, а е - ошибка измерения. Используя метод статистических испытаний, выясним соотношение оценок прогнозных значений, получаемых методом наименьших квадратов и методом центра неопределенности при фиксированных значениях факторов х*.
Схема статистических испытаний состоит в следующем. Для заданной функции у = :Е(х, р0) с известными параметрами р0 предварительно формируется совокупность пар значений
Т0= {Ц,уг°) | уг0 = /Ц,Р°), г = 1,...,Р}. Далее, в каждом п-м испытании (п = 1,..., Щ в каждой точке х. имитируется Q «наблюдений» за значением выходной переменной у с ошибкой е с М"к(а, о), т.е. генерируется таблица экспериментальных данных Т(п)= {(хг,уг.(п)) | уг.(п) =уг0+ег., г = 1,...,Р, ]= 1,...^}, где е.. - значение ошибки .-го наблюдения за значением у в точке х. Таким образом, полная
таблица наблюдений Т(п) содержит Р • Q строк.
По сгенерированной таблице экспериментальных данных Т(п) в каждом п-м испытании производится оценивание параметров функциональной зависимости I двумя методами: методом наименьших квадратов и методом центра неопределенностей. Оценки, полученные методом наименьших квадратов и методом центра неопределенности, обозначим соответственно и рг На основе этих оценок параметров вычисляются прогнозные значения функциональной зависимости ,
т = 1,2.
По результатам N испытаний вычисляются среднеквадратичные отклонения прогнозных значений от истинного значения
у* = Г( х* (3): ^ ^
Сравнение значений ^ и d2 позволяет выяснить «качество» прогнозных значений, обеспечиваемое различными методами при заданном уровне отсечения к нормального распределении ошибки наблюдений ^(а, о2).
I-’ Численные результаты
Изложенная схема статистических испытаний была реализована в виде сценария (т-фай-ла) системы МАТЪАБ. В качестве исследуе-
Таблица 1
Среднеквадратическое отклонение МНК-прогноза (^) при различных уровнях усечения нормального распределения (к) и кратности измерений ^)
\0 к X 1 2 3 5 7 9
0.2 0.036 0.025 0.021 0.016 0.014 0.012
0.4 0.072 0.051 0.044 0.033 0.028 0.024
0.6 0.11 0 0.075 0.060 0.047 0.039 0.036
0.8 0.145 0.099 0.080 0.063 0.053 0.046
1.0 0.172 0.11 9 0.103 0.077 0.063 0.060
1.2 0.204 0.144 0.11 6 0.088 0.075 0.067
1.4 0.226 0.156 0.128 0.101 0.085 0.074
1.6 0.242 0.173 0.145 0.112 0.092 0.080
1.8 0.258 0.186 0.149 0.11 8 0.101 0.087
2.0 0.286 0.193 0.161 0.120 0.106 0.093
2 2 0.288 0.203 0.168 0.136 0.11 6 0.097
2.4 0.303 0.213 0.172 0.132 0.116 0.101
2.6 0.295 0.218 0.176 0.139 0.113 0.100
2.8 0.303 0.221 0.183 0.137 0.11 6 0.103
3.0 0.318 0.214 0.181 0.134 0.117 0.104
мой зависимости рассматривалась функция у = х + 1, т.е. вектор параметро Р = (1, 1).
Значение уровня усечения к нормального распределения, описывающего ошибку измерения, на практике выбирают из интервала [1,5; 2,5] (см., например: [3]). Это эмпирическое правило недавно получило и теоретическое обоснование [11; 12]. В проведенной серии экспериментов уровень отсечения выбирался из более широкого интервала [0,2; 3] с шагом
0,2. По мере роста уровня отсечения получаемые распределения принимали вид от почти равномерного, при к = 0,2, до почти нормального, при к = 3. Это позволило смоделировать качественно различающиеся распределения с целью изучения поведения оценок для каждого из методов: МНК и МЦН. Датчик случайных чисел с распределением заданного вида был реализован на основе стандартной функции randn.
Для каждого из видов распределения ошибки, а также одного из значений кратности «измерений» Q = 1, 2, 3, 5, 7, 9 осуществлялось N = 1000 испытаний, состоящих в генерировании экспериментальных данных, имитирующих результаты измерений и построения по этим данным МНК- и МЦН-прогнозов значений зависимости. Таблица экспериментальных данных формировалась на основе таблицы значений исследуемой зависимости на равномерной сетке Т0= {(х., у.0) | у.0 = х.+ 1, х. = г, г = 1,...,10} путем
Таблица 2
Среднеквадратическое отклонение МЦН-прогноза (й2) при различных уровнях усечения нормального распределения (к) и кратности измерений (ф)
\0 * \ 1 2 3 5 7 9
0.2 0.038 0.023 0.016 0.011 0.008 0.006
0.4 0.077 0.047 0.033 0.021 0.015 0.012
0.6 0.117 0.074 0.053 0.033 0.023 0.020
0.8 0.161 0.099 0.074 0.047 0.035 0.027
1.0 0.196 0.129 0.098 0.067 0.048 0.040
1.2 0.233 0.162 0.126 0.081 0.060 0.061
1.4 0.266 0.175 0.146 0.107 0.081 0.066
1.6 0.303 0.206 0.177 0.125 0.105 0.085
1.8 0.362 0.234 0.200 0.151 0.130 0.110
2.0 0.416 0.279 0.235 0.178 0.159 0.137
2.2 0.461 0.311 0.258 0.222 0.177 0.166
2.4 0.501 0.346 0.300 0.244 0.213 0.194
2.6 0.537 0.403 0.318 0.270 0.240 0.225
2.8 0.561 0.456 0.352 0.295 0.266 0.247
3.0 0.596 0.639 0.447 0.312 0 285 0.269
и,в
0,5 0=1 0=2 0=3
0,4 - 0=5 0 = 7
0,3 0,2 0=3
0,1 ■
0 п
0,2 0,4 0,6 0,8 1,0 1,2 1,4 1,6 1,8 2,0 2,2 2,4 2,6 2,8 3,0
к
Рис. 1. Зависимость среднеквадратического отклонения прогнозных значений, полученных МНК (^), от уровня отсечения нормального распределения (к) и кратности наблюдений ^)
0,5 0=1 0=2 0=3
0,4 ■ 0=5 0 = 7 /
0,3 ■ 0=3
0,2
0,1 ■
0 0 ■ VI- \\;
0.2 0.4 0.6 0.8 1,0 1.2 1.4 1.6 1,8 2.0 2,2 2.4 2,6 2.8 3,0
к
Рис. 2. Зависимость среднеквадратического отклонения прогнозных значений, полученных
МЦН (й2), от уровня отсечения нормального распределения (к) и кратности наблюдений ^)
добавления ошибки с усеченным стандартным нормальным распределением N^0,1):
Т(п)= {Ц,уг.(п)) | . =уг°+£г.,I = 1,...,10, j=1,...,Q}.
Результаты проведенных вычислительных экспериментов приведены в таблицах 1 и 2, а также графически представлены на рисунках 1-3.
Качественный анализ взаимосвязей среднеквадратичного отклонений МНК- и МЦН-про-гнозов с уровнем усечения нормального распределения ошибки и кратностью измерений позволяет сделать следующие наблюдения:
1. По мере уменьшения уровня усечения нормального распределения ошибки измерений к среднеквадратичные отклонения и МНК-, и МЦН-прогнозов также убывают. При этом для МНК-прогноза скорость убывания можно качественно охарактеризовать как логарифмическую или линейно-логарифмическую, в то время как для МЦН-прогноза - как полиномиальную.
Рис 3. Зависимость среднеквадратического отклонения прогнозных значений, полученных МНК (й) и МЦН (й2), от уровня усечения нормального распределения (к) и кратности наблюдений ^)
2. При больших значениях к оценки МНК-прогноза более устойчивы. Однако с уменьшением к их преимущество значительно утрачивается. Более того, с увеличением кратности измерений Q картина меняется на противоположную. Объяснение этому факту состоит в уменьшении степени соответствия распределения ошибки измерения гипотезе о нормальности, в рамках которой МНК дает качественные результаты. В то же время приближение распределения ошибки к равномерному все более соответствует одному из базовых предположений МЦН о равноценности всех элементов множества неопределенности.
3. С увеличением кратности измерений Q устойчивость МЦН-оценок растет заметно быстрее. Тенденция усиливается по мере уменьшения уровня усечения нормального распределения ошибки измерений, т.е. по мере приближения распределения к равномерному. Этот факт свидетельствует о способности МЦН неявно накапливать информацию о распределении ошибки, не задействуемую им явным образом в отличие от статистических процедур оценивания, и подтверждает теоретический вывод В.А. Суханова о высокой скорости сходимости МЦН-оценок с ростом числа наблюдений.
Заключение
Экспериментально выявленные в настоящей работе качественные характеристики МНК- и МЦН-оценок свидетельствуют о более высокой эффективности МНК при оценивании параметров эмпирической зависимости при соблюдении гипотез о нормальности и независимости ошибок измерений, хотя при отсутствии достоверной информации о распределении ошибок и увеличении кратности наблюдений МЦН
не уступает в качестве оценок. Более того, при распределении ошибки, близком к равномерному, преимущество МЦН становится явным. Полученные результаты дополняют выводы работы [10] о характеристиках МЦН и
метода максимума правдоподобия при оценивании параметров эмпирической зависимости и позволяют осуществить выбор процедуры оценивания в зависимости от условий наблюдений.
Литература
1. Математическая энциклопедия / Гл. ред. И.М. Виноградов. М., 1982. Т. 3.
2 Orlov A.I. How often are the observations normal? // Industrial Laboratory. Vol. 57. №7. 1991.
3. Новицкий П. В., Зограф И. А. Оценка погрешностей результатов измерений. Л., 1991.
4. Канторович Л.В. О некоторых новых подходах к вычислительным методам и обработке наблюдений // Сиб. мат. журнал. 1962. Т. 3. №5.
5. Оскорбин Н.М. Некоторые задачи обработки информации в управляемых системах // Синтез и проектирование многоуровневых иерархических систем. Барнаул, 1983.
6. Вощинин А.П., Сотиров Г.Р. Оптимизация в условиях неопределенности. М.; София, 1989.
7. Вощинин А.П., Бочков А.Ф., Сотиров Г.Р. Метод анализа данных при интервальной нестатистической ошибке // Заводская лаборатория. 1990. Т. 56. №7.
8. Белов В.М., Суханов В.А., Унгер Ф.Г. Теорети-
ческие и прикладные аспекты метода центра неопределенности. Новосибирск, 1995.
9. Оскорбин Н.М., Максимов А.В., Жилин С.И. Построение и анализ эмпирических зависимостей методом центра неопределенности // Известия АГУ. 1998. №1.
10. Оскорбин Н.М., Жилин С.И., Дронов С.В. Сравнение статистической и нестатистической оценок параметров эмпирической зависимости // Известия АГУ. 1998. №4.
11. Nguyen H.T., Kreinovich V., Tao C.-W. Why 95% and Two Sigma? A Theoretical Justification for an Empirical Measurement Practice // Proc. International Workshop on Intelligent Systems Resolutions. Taipei, 2000.
12. Nguyen H. T., Kreinovich V., Solopchenko G. N., Tao C.-W., Why Two Sigma? A Theoretical Justification, In: L. Reznik and V. Kreinovich (eds.), Soft Computing in Measurements and Information Acquisition. Springer-Verlag, 2002.
