CC BY
0
УДК 519.245+519.254
ОЦЕНКА АДЕКВАТНОСТИ ЭМПИРИЧЕСКОЙ ФУНКЦИИ РАСПРЕДЕЛЕНИЯ СМЕСЬЮ ТЕОРЕТИЧЕСКИХ РАСПРЕДЕЛЕНИЙ
К. А. Сергеева, М.А. Шалянинов Научный руководитель - С.В. Ушанов
Сибирский государственный университет науки и технологий имени академика М. Ф. Решетнева Российская Федерация, 660037, г. Красноярск, просп. им. газ. «Красноярский рабочий», 31
E-mail: ushanov_sv@mail.ru
Рассмотрена задача параметрической идентификации эмпирических функции распределений смесью теоретических распределений. Адекватность эмпирической и теоретической функций оценивается по критериям согласия. Статистика этих критериев оценивается методом статистических испытаний.
Ключевые слова: смеси распределений, критерии согласия, метод статистических испытаний.
ASSESSMENT OF THE ADEQUACY OF THE EMPIRICAL DISTRIBUTION FUNCTION BY A MIXTURE OF THEORETICAL DISTRIBUTIONS
K.A. Sergeeva, M.A. Shalyaninov Scientific Supervisor - S.V. Ushanov
Reshetnev Siberian State University of Science and Technology 31, Krasnoyarskii rabochii prospekt, Krasnoyarsk, 660037, Russian Federation
E-mail: ushanov_sv@mail.ru
The problem of parametric identification of empirical distribution functions by a mixture of theoretical distributions is considered. The adequacy of the empirical and theoretical functions is assessed according to the criteria of agreement. The statistics of these criteria are evaluated by the method of statistical tests.
Keywords: mixtures of distributions, criteria of agreement, method of statistical tests.
Одна из важнейших задач обработки экспериментальных данных - оценка адекватности выбранной теоретической функции распределения эмпирического распределению случайной величины. В прикладном плане эта задача не менее значима, чем задача оценки адекватности полученной модели экспериментальным данным. Важность решения задачи возрастает в связи с созданием объектов цифровой виртуальной реальности, при формировании которых необходимо знание теоретических функций распределения, адекватных эмпирическим функциям распределения отдельных элементов [1, 2].
При выборе теоретической функции распределения кроме классических распределений используются распределения Джонсона, семейства кривых распределения Пирсона, ряды Грама-Шарлье, ряды специальных функций, смеси распределений [3].
Основным методом оценки параметров распределений является метод максимального правдоподобия (ММП) [4]. В качестве альтернативных методов используются методы, основанные на минимизации расчетных значений статистических критериев согласия (Фроцини, омега-квадрат, Колмогорова [5]).
Секция «Прикладная математика»
Задачи оценки параметров распределения являются задачами безусловной оптимизации, для решения которых можно использовать как общие методы многомерной оптимизации, так и специальные методы, учитывающие специфику критериев согласия [5]: для оценки параметров смесей распределений методом ММП разработаны ЕМ-алгоритмы [6], при минимизации расчетных значений критерия Фроцини, можно использовать вычислительные методы наименьших модулей [7], при минимизации расчетных значений критерия омега-квадрат - алгоритмами методов наименьших квадратов [4], минимизацией расчетных значений критерия Колмогорова - алгоритмами минимаксной оптимизации [8]. Решение соответствующих задач проводилось в системе МаШСаё стандартными функциями решения задач безусловной оптимизации.
После оценки параметров теоретической функции распределения необходимо проверить гипотезу ее соответствия (адекватности) эмпирической функции распределения. Решение этой задачи проводится сравнением расчетных значений критериев согласия с критическими значениями этих критериев, полученными при выбранном уровне значимости. При решении инженерных задач обычно выбирается 5% уровень значимости или 95% уровень достоверности вывода.
Для основных классических законов распределения получены оценки статистик распределения основных критериев согласия. Для специальных распределений, в том числе для смесей распределений, оценки этих статистик отсутствуют. Их оценка может быть получена методом статистических испытаний [9, 10]. Расчеты показали, что для оценки критических значений критериев согласия с приемлемой точностью для уровней значимости от 0.01 до 0.99 достаточно проведения около 10 тысяч вычислительных экспериментов. В практическом плане важно, что статистика критериев может быть получена для проверки сложных гипотез при различных ограничениях, связанных с получением и обработкой экспериментальных данных (например, когда данные известны с определенной степенью округления, что достаточно часто распространено на практике [11]).
Примеры решения задач адекватного описания эмпирических данных смесями нормальных распределений реальных случайных процессов в химической промышленности, лесном деле рассмотрены в [1, 12, 13].
На рис. 1 представлены эмпирическая и теоретическая 4-х компонентная смесь нормальных распределений (СНР) температур воздуха в Канске и Ачинске в годовом цикле за 1948 - 2021 годы, а в табл. 1 - оценки параметров СНР, полученные методом максимального правдоподобия. Сравнение эмпирической и теоретической функций распределения по критериям Фроцини, омега-квадрат, Колмогорова показало их адекватность на 5% уровне значимости.
Среднемесячная температура Среднемесячная температура
Канск Ачинск
Рис. 1. Теоретические (4-х компонентные смеси нормальных распределений) и эмпирические функции распределений температур воздуха в Канске и Ачинске за 1948-2021 годы
Таблица 1
ММП-оценки параметров 4-х компонентной смеси нормальных распределений_
Компонента смеси Канск Ачинск
M S X M S X
Первая (зимняя) -13.79 7.15 0.448 -11.07 6.00 0.445
Вторая (весенняя) 1.52 1.77 0.135 1.72 2.20 0.136
Третья(осенняя) 8.78 1.21 0.158 9.14 1.62 0.161
Четвертая (летняя) 16.85 2.14 0.259 16.71 2.16 0.259
М, 8 - оценки математического ожидания и стандартного отклонения; X - оценка доли в смеси
Библиографические ссылки
1. Ushanov S.V, Shevelev S.L., Kulakova N.N., Vais A.A., Nemitch V.N. Simulation of forest ecosystems dynamic processes message /В сб.: IOP Conference Series: Materials Science and Engineering. Reshetnev Readings 2018. 2020. С. 012019.
2. Пашков А.И., Пестряков В.А., Семачкин М.С., Тагильцев С.Ю., Ушанов С.В. Многомерный генератор коррелируемых биометрических показателей (длина хвои 2011 и 2012 годов) деревьев сосны кедровой сибирской //Лесной и химический комплексы -проблемы и решения. Красноярск, 2022. С. 511 - 514.
3. Кобзарь А.И. Прикладная математическая статистика. М., 2006. 816 с.
4. Ушанов С.В., Огурцов Л.А. Оценка методом статистических испытаний статистики критериев Фроцини и омега-квадрат для смеси нормальных распределений //Сибирский журнал науки и технологий. 2019. Т 20, № 1. С. 28-34. Doi: 10.31772/|2587-6066-2019-20-1-28-34.
5. Огурцов Д. А. Оценка параметров смеси распределений методом максимального правдоподобия и минимизации расчетных значений критериев согласия Фроцини, омега-квадрат, Колмогорова-Смирнова //В сб.: Математические модели техники, технологий и экономики. Материалы Всероссийской научно-практической студенческой конференции. 2019. С. 51-53
6. Celeux G., Chauveau D., Diebolt J. On Stochastic Versions of the EM algorithm: An Experimental study in the Mixture Case, Journal of Statis. Comput. Simul., 1996, Vol 55, P. 287-314.
7. Мудров В.И., Кушко В.Л. Метод наименьших модулей. М.: Знание, 1971. 64 с.
8. Моисеев Н.Н. Математические задачи системного анализа. М.: Наука, 1981. 488 с.
9. Лемешко Б.Ю. Непараметрические критерии согласия. Руководство по применению. -М.: ИНФРА-М. 2014. 163 с.
10. Степень Р.А., Ушанова В.М., Ушанов С.В. Моделирование содержания эфирного масла в древесной зелени и коре Abies Sibirica различного возраста //Системы. Методы. Технологии. 2017. №3 (35). С. 127-130.
11. Ушанов С. В., Ушанова В. М. Оценка статистики критериев Фроцини, «омега-квадрат», Колмогорова-Смирнова для проверки гипотезы нормальности распределения содержания эфирного масла в охвоенных побегах молодняка AbiesSibiricaLed., измеренного с округлением //Системы. Методы. Технологии. 2019, № 11 (19). С. 118-119.
12. Ушанова В.М., Ушанов С.В. Экстрагирование древесной зелени и коры пихты сибирской сжиженным диоксидом углерода и водно-спиртовыми растворами. Красноярск, 2009. 191 с.
13. Павлов И. Н., Ушанов С.В. Исследование распределения деревьев сосны по диаметру методами анализа смесей распределений //Вестник СибГТУ. 2005. № 1. С. 38.
© Сергеева К. А., Шалянинов М. А., 2022
