CC BY
212
УДК 519.2:303.732.4
ОСНОВНЫЕ ИДЕИ СТАТИСТИКИ ИНТЕРВАЛЬНЫХ ДАННЫХ
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор
Московский государственный технический университет нм. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, рго/-ог1оу(сйта)1.ги
Рассмотрены основные идеи асимптотической математической статистики интервальных данных, в которой элементы выборки - не числа, а интервалы. Алгоритмы и выводы статистики интервальных данных принципиально отличаются от классических. Приведены результаты, связанные с основополагающими понятиями нотны и рационального объема выборки. Статистика интервальных данных является составной частью системной нечеткой интервальной математики.
Ключевые слова: МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ИНТЕРВАЛЬНЫЕ ДАННЫЕ, АСИМПТОТИЧЕСКИЕ МЕТОДЫ, НОТНА, РАЦИОНАЛЬНЫЙ ОБЪЕМ ВЫБОРКИ, ОЦЕНИВАНИЕ, СИСТЕМНАЯ НЕЧЕТКАЯ ИНТЕРВАЛЬНАЯ МАТЕМАТИКА
UDC 519.2:303.732.4
BASIC IDEAS OF INTERVAL DATA STATISTICS
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.ScL
professor
Bauman Moscow State Technical University, Moscow, Russia
In the article we have considered the basic idea of asymptotic mathematical statistics of interval data, in which the elements of a sample are not the numbers, but the intervals. Algorithms and conclusions of interval data statistics fundamentally different from the classical ones. The results related to the basic concepts of notna and rational sample sizes are listed. Interval data statistics as an integral part of the system of fuzzy interval mathematics is shown
Keywords: MATHEMATICAL STATISTICS, INTERVAL DATA, ASYMPTOTIC METHODS, NOTNA, RATIONAL SAMPLE SIZE, ESTIMATION, SYSTEM FUZZY INTERVAL MATHEMATICS
В статистике интервальных данных элементы выборки — не числа, а интервалы. Это приводит к алгоритмам и выводам, принципиально отличающимся от классических. Настоящая статья посвящена основным идеям и подходам асимптотической статистики интервальных данных. Приведены результаты, связанные с основополагающими в рассматриваемой области прикладной математической статистики понятиями нотны и рационального объема выборки.
1. Развитие статистики интервальных данных
Перспективная и быстро развивающаяся область статистических исследований последних десятилетий — математическая статистика интервальных данных. Речь идет о развитии методов прикладной математической статистики в ситуации, когда статистические данные — не числа, а интервалы, в частности, порожденные наложением ошибок измерения на значения случайных величин. Полученные результаты отражены в выступлениях на проведенной в «Заводской
лаборатории» дискуссии [1] и в докладах Международной конференции ИНТЕРВАЛ-92 [2]. Приведем основные идеи весьма перспективного для вероятностно-статистических методов и моделей принятия решений асимптотического направления в статистике интервальных данных.
В настоящее время признается необходимым изучение устойчивости (робастности) оценок параметров к малым отклонениям исходных данных и предпосылок модели. Однако популярная среди теоретиков модель засорения (Тьюки-Хьюбера) представляется не вполне адекватной. Эта модель нацелена на изучение влияния больших «выбросов». Поскольку любые реальные измерения лежат в некотором фиксированном диапазоне, а именно, заданном в техническом паспорте средства измерения, то зачастую выбросы не могут быть слишком большими. Поэтому представляются полезными иные, более общие схемы устойчивости, введенные в монографии [3], в которых, например, учитываются отклонения распределений результатов наблюдений от предположений модели.
В одной из таких схем изучается влияние интервальности исходных данных на статистические выводы. Необходимость такого изучения стала очевидной следующим образом. В государственных стандартах СССР по прикладной статистике в обязательном порядке давалось справочное приложение «Примеры применения правил стандарта». При подготовке ГОСТ 11.011-83 [4] разработчикам стандарта были переданы для анализа реальные данные о наработке резцов до предельного состояния (в часах). Оказалось, что все эти данные представляли собой либо целые числа, либо полуцелые (т.е. после умножения на 2 становящиеся целыми). Ясно, что исходная длительность наработок искажена. Необходимо учесть в статистических процедурах наличие такого искажения исходных данных. Как это сделать?
Первое, что приходит в голову — модель группировки данных, согласно которой для истинного значения X проводится замена на ближайшее число из множества {0,5и, п = 1, 2, 3, ...}. Однако эту модель целесообразно подвергнуть сомнению, а также рассмотреть иные модели. Так, возможно, что X надо приводить
к ближайшему сверху элементу указанного множества — если проверка качества поставленных на испытание резцов проводилась раз в полчаса. Другой вариант: если расстояния от А" до двух ближайших элементов множества {0,5/7, п = 1,2, 3, ...} примерно равны, то естественно ввести рандомизацию при выборе заменяющего числа, и т.д.
Целесообразно построить новую математико-статистическую модель, согласно которой результаты наблюдений — не числа, а интервалы. Например, если в таблице приведено значение 53,5, то это значит, что реальное значение — какое-то число от 53,0 до 54,0, т.е. какое-то число в интервале [53,5 - 0,5; 53,5 + 0,5], где 0,5 — максимально возможная погрешность. Принимая эту модель, мы попадаем в новую научную область — статистику интервальных данных [5,6]. Статистика интервальных данных идейно связана с интервальной математикой, в которой в роли чисел выступают интервалы (см., например, монографию [7]). Это направление математики является дальнейшим развитием всем известных правил приближенных вычислений, посвященных выражению погрешностей суммы, разности, произведения, частного через погрешности тех чисел, над которыми осуществляются перечисленные операции.
В интервальной математике сумма двух интервальных чисел [а, Ь] и [с, с!\ имеет вид [а, Ъ\ + [с, с1\ = [а + с, Ь + с1\, а разность определяется по формуле [а, Ъ] -[с, сЦ = [а - (3, Ь с]. Для положительных а, Ь, с, с] произведение определяется формулой [а, Ъ] ■ [с, (Ц = [ас, ЬсЦ, а частное имеет вид [а, Ьу[с, с1\ = = [а/с1, Ь/с]. Эти формулы получены при решении соответствующих оптимизационных задач. Пусть х лежит в отрезке [а, Ь], а у — в отрезке [с, сЦ. Каково минимальное и максимальное значение для х + у1 Очевидно, а + с и Ь + <3 соответственно. Минимальные и максимальные значения для х - у, ху, х/у указывают нижние и верхние границы для интервальных чисел, задающих результаты арифметических операций. А от арифметических операций можно перейти ко всем остальным математическим алгоритмам. Так строится интервальная математика.
Как видно из сборника трудов Международной конференции [2],
исследователям удалось решить ряд задач теории интервальных дифференциальных уравнений, в которых коэффициенты, начальные условия и решения описываются с помощью интервалов. По мнению ряда специалистов, статистика интервальных данных является частью интервальной математики [7]. Впрочем, распространена и другая точка зрения, согласно которой такое включение нецелесообразно, поскольку статистика интервальных данных использует несколько иные подходы к алгоритмам анализа реальных данных, чем сложившиеся в интервальной математике (подробнее см. ниже).
В настоящей статье развиваем асимптотические методы статистического анализа интервальных данных при больших объемах выборок и малых погрешностях измерений. В отличие от классической математической статистики, сначала устремляется к бесконечности объем выборки и только потом — уменьшаются до нуля погрешности (в классической математической статистике предельные переходы осуществляются в обратном порядке - сначала уменьшаются до нуля погрешности измерений, и только затем - устремляется к бесконечности объем выборки). В частности, еще в начале 1980-х годов с помощью такой асимптотики сформулированы правила выбора метода оценивания в ГОСТ
11.011-83 [4].
Нами разработана [8] общая схема исследования, включающая расчет ногны (максимально возможного отклонения статистики, вызванного интервальносгью исходных данных) и рационального объема выборки (превышение которого не даег существенного повышения точности оценивания). Она применена к оцениванию математического ожидания и дисперсии [1], медианы и коэффициента вариации [9], параметров гамма-распределения [4, 10] и характеристик аддитивных статистик [8], при проверке гипотез о параметрах нормального распределения, в т.ч. с помощью критерия Стъюденга, а также гипотезы однородности с помощью критерия Смирнова [9]. Изучено асимптотическое поведение оценок метода моментов и оценок максимального правдоподобия (а также более общих — оценок минимального контраста), проведено асимптотическое сравнение этих методов в случае интервальных данных, найдены общие условия, при которых, в
отличие от классической математической статистики, метод моментов дает более точные оценки, чем метод максимального правдоподобия [11].
Разработаны подходы к рассмотрению интервальных данных в основных постановках регрессионного, дискриминантного и кластерного анализов [12]. Изучено влияние погрешностей измерений и наблюдений на свойства алгоритмов регрессионного анализа, разработаны способы расчета нотн и рациональных объемов выборок, введены и исследованы новые понятия многомерных и асимптотических нотн, доказаны соответствующие предельные теоремы [12, 13]. Проведена первоначальная разработка интервального дискриминантного анализа, рассмотрено влияние интервальности данных на показатель качества классификации [12, 14]. Основные идеи и результаты рассматриваемого
направления в статистике интервальных данных приведены в публикациях обзорного характера [5, 6].
Как показала Международная конференция ИНТЕРВАЛ-92, в области асимптотической математической статистики интервальных данных мы имеем мировой приоритет. По нашему мнению, со временем во все виды статистического программного обеспечения должны быть включены алгоритмы интервальной статистики, «параллельные» обычно используемым алгоритмам прикладной математической статистики. Это позволит в явном виде учесть наличие погрешностей у результатов наблюдений, сблизить позиции метрологов и статистиков.
Многие из утверждений статистики интервальных данных весьма отличаются от аналогов из классической математической статистики. В частности, не существует состоятельных оценок; средний квадрат ошибки оценки, как правило, асимптотически равен сумме дисперсии оценки, рассчитанной согласно классической теории, и некоторого положительного числа (равного квадрату т.н. нотны — максимально возможного отклонения значения статистики из-за погрешностей исходных данных) — в результате, метод моментов оказывается иногда точнее метода максимального правдоподобия [11]; нецелесообразно увеличивать объем выборки сверх некоторого предела (называемого рациональным
объемом выборки) — вопреки классической теории, согласно которой чем больше объем выборки, тем точнее выводы.
В стандарт [4] включен раздел 5, посвященный выбору метода оценивания при неизвестных параметрах формы и масштаба и известном параметре сдвига и основанный на концепциях статистики интервальных данных. Теоретическое обоснование этого раздела стандарта опубликовано лишь через 5 лет в статье [10].
В 1982 г. при разработке стандарта [4] сформулированы основные идеи статистики интервальных данных. Однако из-за недостатка времени они не были полностью реализованы в ГОСТ 11.011-83, и этот стандарт написан в основном в классической манере. Развитие идей статистики интервальных данных продолжается уже в течение 25 лет, и еще многое необходимо сделать! Большое значение статистики интервальных данных для современной прикладной статистики обосновано в [15,16].
Вторая ведущая научная школа в области статистики интервальных данных — это школа проф. А.П. Вощинина (1937 - 2008), активно работающая с конца 70-х годов. Полученные результаты отражены в ряде монографий (см., прежде всего, [17, 18, 19]), статей [1, 20, 21], докладов, в частности, в трудах [2] Международной конференции ИНТЕРВАЛ-92, диссертациях [22, 23]. Изучены проблемы
регрессионного анализа, планирования эксперимента, сравнения альтернатив и принятия решений в условиях интервальной неопределенности.
Рассматриваемое ниже наше научное направление отличается нацеленностью на асимптотические результаты, полученные при больших объемах выборок и малых погрешностях измерений, поэтому его полное название таково: асимптотическая математическая статистика интервальных данных.
2. Основные идеи статистики интервальных данных
Сформулируем сначала основные идеи асимптотической математической статистики интервальных данных, а затем рассмотрим реализацию этих идей на перечисленных выше примерах. Основные идеи достаточно просты, в то время как
их проработка в конкретных ситуациях зачастую оказывается достаточно трудоемкой.
Пусть существо реального явления описывается выборкой Х\, х2, ..., х„. В вероятностной теории математической статистики, из которой мы исходим (см. справочник [24]), выборка — это набор независимых в совокупности одинаково распределенных случайных величин. Однако беспристрастный и тщательный анализ подавляющего большинства реальных задач показывает, что статистику известна отнюдь не выборка Х\, х2,..., хп, а величины
у] = х] + ъ]л = 1,2,
где 8ь 82, ..., 8И — некоторые погрешности измерений, наблюдений, анализов, опытов, исследований (например, инструментальные ошибки).
Одна из причин появления погрешностей — запись результатов наблюдений с конечным числом значащих цифр. Дело в том, что для случайных величин с непрерывными функциями распределения событие, состоящее в попадании хотя бы одного элемента выборки в множество рациональных чисел, согласно правилам теории вероятностей имеет вероятность 0, а такими событиями в теории вероятностей принято пренебрегать. Поэтому при рассуждениях о выборках из нормального, логарифмически нормального, экспоненциального, равномерного, гамма-распределений, распределения Вейбулла-Гнеденко и др. приходится ПрИНИМаТЬ, ЧТО ЭТИ распределения ИМеЮТ ЭЛемеНТЫ ИСХОДНОЙ Выборки Х\, х2, ..., хп, в то время как статистической обработке доступны лишь искаженные значения у^ = х}
+ еУ-
Введем обозначения
Х = (хих2, ...,Хп),у = (уиу2, ...,у„), 8 = (81 + 82+ ... + 8И).
Пусть статистические выводы основываются на статистике / : Яп —» К1, используемой для оценивания параметров и характеристик распределения, проверки гипотез и решения иных статистических задач. Принципиально важная для статистики интервальных данных идея такова: СТАТИСТИК ЗНАЕТ ТОЛЬКО
Ху), но не/(х).
Очевидно, в статистических выводах необходимо отразить различие между Лу) и /(х). Одним из двух основных понятий статистики интервальных данных является понятие нотны.
Определение. Величину максимально возможного (по абсолютной величине) отклонения, вызванного погрешностями наблюдений 8, известного статистику значения /(у) от истинного значения Дх), т.е.
ы/х) = Бир | /(у) -Xх) I, где супремум берется по множеству возможных значений вектора погрешностей 8 (см. ниже), будем называть НОТНОЙ.
Если функция / имеет частные производные второго порядка, а ограничения на погрешности имеют вид
I 8,-1 < А, / = 1, 2, (1)
причем А мало, то приращение функции / с точностью до бесконечно малых более высокого порядка описывается главным линейным членом, т.е.
т-т= Е^в,-+о( д3)-
1 <г<п
Чтобы получить асимптотическое (при А —» 0) выражение для нотны, достаточно найти максимум и минимум линейной функции (главного линейного члена) на кубе, заданном неравенствами (1). Легко видеть, что максимум достигается, если положить
д,
дхг
л аДх) п
-Д < о
а минимум, отличающийся от максимума только знаком, достигается при !:' = -8,. Следовательно, нотна с точностью до бесконечно малых более высокого порядка имеет вид
\Л<*<и иХг )
8, =
Это выражение назовем асимптотической нотной.
Условие (1) означает, что исходные данные представляются статистику в виде интервалов [у, - А; ух + А], I = 1, 2, ..., п (отсюда и название этого научного направления). Ограничения на погрешности могут задаваться разными способами
— кроме абсолютных ошибок используются относительные или иные показатели различия между хиу.
Если задана не предельная абсолютная погрешность А, а предельная относительная погрешность 8, т.е. ограничения на погрешности вошедших в выборку результатов измерений имеют вид
то аналогичным образом получаем, что нотна с точностью до бесконечно малых более высокого порядка, т.е. асимптотическая нотна, имеет вид
При практическом использовании рассматриваемой концепции необходимо провести тотальную замену символов х на символы у. В каждом конкретном случае удается показать, что в силу малости погрешностей разность Ы/у) - Л'Дх) является бесконечно малой более высокого порядка сравнительно с Ы/х) или Ы/у).
В классической вероятностной модели элементы ИСХОДНОЙ выборки Х\, х2, ..., хп рассматриваются как независимые одинаково распределенные случайные величины. Как правило, существует некоторая константа С > 0 такая, что в смысле сходимости по вероятности
Нт N г{х) = С А.
СО (2)
Соотношение (2) доказывается отдельно для каждой конкретной задачи.
При использовании классических статистических методов в большинстве случаев используемая статистика /(х) является асимптотически нормальной. Это означает,
8г-|<5|хг-|,/ = 1,2,
3. Основные результаты в вероятностной модели
Научный журнал КубГАУ, №94(10), 2013 года что существуют константы а и а2 такие, что
ton p(yfn ^(Х) ~а < х] = Ф(х),
И->со \ <3 )
где Ф(х) — функция стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1. При этом обычно оказывается, что
lim л/п (Mf(x) - а) = 0 lim nDf(x) = а2,
Я—»со я—» со
а потому в классической математической статистике средний квадрат ошибки статистической оценки равен
М(Дх) - а)2 = (Mf(x) - а)2 + Df(x) = —
п
с точностью до членов более высокого порядка.
В статистике интервальных данных ситуация совсем иная — обычно можно доказать, что средний квадрат ошибки равен
тахМ(/(х) - а)2 =——hNj{y) +о |д2 + — j
(3)
Из соотношения (3) вытекает ряд важных следствий. Правая часть этого равенства, в отличие от правой части соответствующего классического равенства, не стремится к 0 при безграничном возрастании объема выборки. Она остается больше некоторого положительного числа, а именно, квадрата нотны. Следовательно, статистика J{x) не является состоятельной оценкой параметра а. Более того, состоятельных оценок вообще не существует.
Пусть доверительным интервалом для параметра а, соответствующим заданной доверительной вероятности у, в классической математической статистике является интервал {сп{у); dn{у)). В статистике интервальных данных аналогичный доверительный интервал является более широким. Он имеет вид (си(у) - Nj(y); dn{у) + N/y)). Таким образом, его длина увеличивается на две нотны. Следовательно, при увеличении объема выборки длина доверительного интервала не может стать меньше, чем 2СА (см. формулу (2)).
В статистике интервальных данных методы оценивания параметров имеют
другие свойства по сравнению с классической математической статистикой. Так, при больших объемах выборок метод моментов может быть заметно лучше, чем метод максимального правдоподобия (т.е. иметь меньший средний квадрат ошибки
— см. формулу (3)), в то время как в классической математической статистике второй из названных методов всегда не хуже первого.
4. Рациональный объем выборки
Анализ формулы (3) показывает, что в отличие от классической математической статистики нецелесообразно безгранично увеличивать объем выборки, поскольку средний квадрат ошибки остается всегда большим квадрата нотны. Поэтому представляется полезным ввести понятие «рационального объема выборки» пгаЬ при достижении которого продолжать наблюдения нецелесообразно.
Как установить «рациональный объем выборки»? Можно воспользоваться идеей «принципа уравнивания погрешностей», выдвинутой в монографии [3]. Речь идет о том, что вклад погрешностей различной природы в обшую погрешность должен быть примерно одинаков. Этот принцип дает возможность выбирать необходимую точность оценивания тех или иных характеристик в тех случаях, когда это зависит от исследователя. В статистике интервальных данных в соответствии с «принципом уравнивания погрешностей» предлагается определять рациональный объем выборки птХ из условия равенства двух величин — метрологической составляющей, связанной с нотной, и статистической составляющей — в среднем квадрате ошибки (3), т.е. из условия
СТ лг2 / \ ®
---= Кг(у), пга1 =
/УУЬ пrat - ЛТ2 . ч • nrat Nf{y)
Для практического использования выражения для рационального объема выборки неизвестные теоретические характеристики необходимо заменить их оценками. Это делается в каждой конкретной задаче по-своему.
Исследовательскую программу в области статистики интервальных данных можно «в двух словах» сформулировать так: для любого алгоритма анализа данных (алгоритма
прикладной статистики) необходимо вычислить нотну и рациональный объем выборки. Или иные величины из того же понятийного ряда, возникающие в многомерном случае, при наличии нескольких выборок и при иных обобщениях описываемой здесь простейшей схемы. Затем проследить влияние погрешностей исходных данных на точность оценивания, доверительные интервалы, значения статистик критериев при проверке гипотез, уровни значимости и другие характеристики статистических выводов. Очевидно, классическая математическая статистика является частью статистики интервальных данных, выделяемой условием А = 0.
Поясним теоретические концепции статистики интервальных данных на простых примерах.
5. Оценивание математического ожидания
Пусть необходимо оценить математическое ожидание случайной величины с помощью обычной оценки—среднего арифметического результатов наблюдений, т.е.
Лх) = Х1+Х2+- + Х». п
Тогда при справедливости ограничений (1) на абсолютные погрешности имеем Щх) = А. Таким образом, ногна полностью известна и не зависит от многомерной точки, в которой берется. Вполне естественно: если каждый результат наблюдения известен с точностью до А, то и среднее арифметическое известно с той же точностью. Ведь возможна систематическая ошибка — если к каждому результату наблюдения добавить А, то и среднее арифметическое увеличится на А.
Поскольку
то в ранее введенных обозначениях
<52=1ХХ\).
Следовательно, рациональный объем выборки равен
п
пг<й .2 '
Для практического использования полученной формулы надо оценить дисперсию результатов наблюдений. Можно доказать, что, поскольку А мало, это можно сделать обычным способом, например, с помощью несмещенной выборочной оценки дисперсии
Здесь и далее рассуждения часто идут на двух уровнях. Первый — это уровень «истинных» случайных величин, обозначаемых «х», описывающих реальность, но неизвестных специалисту по анализу данных. Второй — уровень известных этому специалисту величин <<у.», отличающихся погрешностями от истинных. Погрешности малы, поэтому функции ОТ X отличаются от функций от у на некоторые бесконечно малые величины. Эти соображения и позволяют использовать л-2(у) как оценку 1Хх\).
Итак, выборочной оценкой рационального объема выборки является
Уже на этом первом рассматриваемом примере видим, что рациональный объем выборки находится не где-то вдали, а непосредственно рядом с теми объемами, с которыми имеет дело любой практически работающий статистик. Например, если статистик знает, что
то пт1 = 36. А именно такова погрешность контрольных шаблонов во многих технологических процессах! Поэтому, занимаясь управлением качеством, необходимо обращать внимание на действующую на предприятии систему измерений.
По сравнению с классической математической статистикой доверительный интервал для математического ожидания (для заданной доверительной вероятности у) имеет другой вид:
где и(у) — квантиль порядка (1 + у)/2 стандартного нормального распределения с математическим ожиданием 0 и дисперсией 1.
По поводу формулы (4) была довольно жаркая дискуссия среди специалистов. Отмечалось, что она получена на основе Центральной предельной теоремы теории
вероятностей и может быть использована при любом распределении результатов наблюдений (с конечной дисперсией). Если же имеется дополнительная информация, то, по мнению отдельных специалистов, формула (4) может быть уточнена. Например, если известно, что распределение х1 является нормальным, в качестве г/(у) целесообразно использовать квантиль распределения Стьюдента. К этому надо добавить, что по небольшому числу наблюдений нельзя надежно установить нормальность, а при росте объема выборки квантили распределения Стьюдента приближаются к квантилям нормального распределения.
Вопрос о том, часто ли результаты наблюдений имеют нормальное распределение, подробно обсуждался среди специалистов. Выяснилось, что распределения встречающихся в практических задачах результатов измерений почти всегда отличны от нормальных [25]. А также и от распределений из иных параметрических семейств, описываемых в учебниках.
Применительно к оцениванию математического ожидания (но не к оцениванию других характеристик или параметров распределения) факт существования границы возможной точности, определяемой точностью исходных данных, неоднократно отмечался в литературе ([26, с. 230-234], [27, с. 121] и др.).
6. Оценивание дисперсии
Для статистики /(у) = ^(у), где л2(у) — выборочная дисперсия (несмещенная оценка теоретической дисперсии), при справедливости ограничений (1) на абсолютные погрешности имеем
?Л п
МГ{У)=—^\У1-У\+0{А2).
и-1.=1
Можно показать, что нотна Ы/у) сходится к
2АМ\х\ -М(х\) |
по вероятности с точностью до о(А), когда п стремится к бесконечности. Это же предельное соотношение верно и для ногны Щх), вычисленной для исходных данных. Таким образом, в данном случае справедлива формула (2) с
С=2М\х\ -М(х\) |.
Известно [28], что случайная величина
4п
является асимптотически нормальной с математическим ожиданием 0 и дисперсией
Из сказанного вытекает: в статистике интервальных данных асимптотический доверительный интервал для дисперсии а2 (соответствующий доверительной вероятности у) имеет вид
Ш-А^+А),
где
А=-
( л п \2 2Д
Е у?--Цу) +^т11\уг-у\
,■=11 П}=1 ) П~1г=1
у1Ф~1) \
здесь ы(у) обозначает тот же самый квантиль стандартного нормального распределения, что и выше в случае оценивания математического ожидания.
Рациональный объем выборки при оценивании дисперсии равен
_ ^(х2)
4Д2(М | х1 -М(х1)\)2
а выборочную оценку рационального объема выборки пхт,р1е ш1 можно вычислить, заменяя теоретические моменты на соответствующие выборочные и используя доступные статистику результаты наблюдений, содержащие погрешности.
Что можно сказать о численной величине рационального объема выборки? Как и в случае оценивания математического ожидания, она отнюдь не выходит за пределы обычно используемых объемов выборок. Так, если распределение результатов наблюдений хг является нормальным с математическим ожиданием 0 и дисперсией а2, то в результате вычисления моментов случайных величин в предыдущей формуле получаем, что
ст2
^гсй 9~
7ГД
где п — отношение длины окружности к диаметру, п = = 3,141592... Например, если А = а/6, то пш = 11. Это меньше, чем при оценивании математического ожидания в предыдущем примере.
7. Статистика интервальных данных в прикладной статистике
Кратко рассмотрим положение статистики интервальных данных (СИД) среди других методов описания неопределенностей и анализа данных.
Нечеткость и СИД. С формальной точки зрения описание нечеткости интервалом — это частный случай описания ее нечетким множеством. В СИД функция принадлежности нечеткого множества имеет специфический вид — она равна 1 в некотором интервале и 0 вне его. Такая функция принадлежности описывается всего двумя параметрами (границами интервала). Эта простота описания делает математический аппарат СИД гораздо более прозрачным, чем аппарат теории нечеткости в общем случае. Это, в свою очередь, позволяет исследователю продвинуться дальше, чем при использовании функций принадлежности произвольного вида.
Интервальная математика и СИД. Можно было бы сказать, что СИД — часть интервальной математики, что СИД так соотносится с прикладной математической статистикой, как интервальная математика — с математикой в целом. Однако исторически сложилось так, что интервальная математика занимается прежде всего вычислительным погрешностями. С точки зрения интервальной математики две известные формулы для выборочной дисперсии, а именно
имеют разные погрешности. А с точки зрения СИД эти две формулы задают одну и ту же функцию, и поэтому им соответствуют совпадающие нотны и рациональные объемы выборок. Интервальная математика прослеживает процесс вычислений, СИД этим не занимается. Необходимо отметить, что типовые постановки СИД могут быть перенесены в другие области математики, и, наоборот, вычислительные алгоритмы прикладной математической статистики и СИД заслуживают изучения. Однако и то, и другое — скорее дело будущего. Из уже сделанного отметим применение методов СИД при анализе такой характеристики финансовых потоков, как ЫРУ— чистая текущая стоимость [29, гл.9].
Математическая статистика и СИД. Математическая статистика и СИД отличаются тем, в каком порядке делаются предельные переходы п —» оо и А —>0. При этом СИД переходит в математическую статистику при А = 0. Правда, тогда исчезают основные особенности СИД: нотна становится равной 0, а рациональный объем выборки — бесконечности. Рассмотренные выше методы СИД разработаны в предположении, что погрешности малы (но не исчезают), а объем выборки велик. СИД расширяет классическую математическую статистику тем, что в исходных статистических данных каждое число заменяет интервалом. С другой стороны, можно считать СИД новым этапом развития математической статистики.
Статистика объектов нечисловой природы и СИД. Статистика объектов нечисловой природы (СОНП) [30] расширяет область применения классической математической статистики путем включения в нее новых видов статистических данных. Естественно, при этом появляются новые виды алгоритмов анализа статистических данных и новый математический аппарат (в частности, происходит переход от методов суммирования к методам оптимизации). С точки зрения СОНП частному виду новых статистических данных — интервальным данным — соответствует СИД. Напомним, что одно из двух основных понятий СИД — нотна
— определяется как решение оптимизационной задачи. Однако СИД, изучая классические методы прикладной статистики применительно к интервальным данным, по математическому аппарату ближе к классической математической статистике, чем другие части СОНП, например, статистика бинарных отношений.
Робастные методы статистики и СИД. Если понимать робастность согласно [3] как теорию устойчивости статистических методов по отношению к допустимым отклонениям исходных данных и предпосылок модели, то в СИД рассматривается одна из естественных постановок робастности. Однако в массовом сознании специалистов термин «робастность» закрепился за моделью засорения
выборки большими выбросами (модель Тьюки-Хубера), хотя эта модель не имеет большого практического значения [31]. К этой модели СИД не имеет отношения.
Теория устойчивости и СИД. Общей схеме устойчивости [3, 32, 33] математических моделей социально-экономических явлений и процессов по отношению к допустимым отклонениям исходных данных и предпосылок моделей СИД полностью соответствует. Она посвящена математико-статистическим моделям, используемым при анализе статистических данных, а допустимые отклонения — это интервалы, заданные ограничениями на погрешности. СИД можно рассматривать как пример теории, в которой учет устойчивости позволил сделать нетривиальные выводы. Отметим, что с точки зрения общей схемы устойчивости [3] устойчивость по Ляпунову в теории дифференциальных уравнений — весьма частный случай, в котором из-за его конкретности удалось весьма далеко продвинуться.
Минимаксные методы, типовые отклонения и СИД. Постановки СИД относятся к минимаксным. За основу берется максимально возможное отклонение. Это — «подход пессимиста», применяемый, например, в теории антагонистических игр. Использование минимаксного подхода позволяет подозревать СИД в завышении роли погрешностей измерения. Однако примеры изучения вероятностно-статистических моделей погрешностей, проведенные, в частности, при разработке методов оценивания параметров гамма-распределения [4, 10], показали, что это подозрение не подтверждается. Влияние погрешностей измерений по порядку такое же, только вместо максимально возможного отклонения (нотны) приходится рассматривать математическое ожидание соответствующего отклонения. Подчеркнем, что применение в СИД вероятностно-статистических моделей погрешностей не менее перспективно, чем минимаксных.
Подход научной школы Л.П. Вощинина и СИД. Если в математической статистике неопределенность только статистическая, то в научной школе А.П. Вощинина — только интервальная. Можно сказать, что СИД лежит между классической прикладной математической статистикой и
областью исследований научной школы А.П. Вощинина. Другое отличие состоит в том, что в этой школе разрабатывают новые методы анализа интервальных данных, а в СИД в настоящее время изучается устойчивость классических статистических методов по отношению к малым погрешностям. Подход СИД оправдывается распространенностью этих методов, однако в дальнейшем следует переходить к разработке новых методов, специально предназначенных для анализа интервальных данных.
Анализ чувствительности и СИД. При анализе чувствительности, как и в СИД, рассчитывают производные по используемым переменным, или непосредственно находят изменения при отклонении переменной на ±10% от базового значения. Однако этот анализ делают по каждой переменной отдельно. В СИД все переменные рассматриваются совместно, и находится максимально возможное отклонение (нотна). При малых погрешностях удается на основе главного члена разложения функции в многомерный ряд Тейлора получить удобную формулу для нотны. Можно сказать, что СИД — это многомерный анализ чу в ствите льности.
8. Заключительные замечания
Асимптотической математической статистике интервальных данных посвящены главы в учебниках [31, 34, 35]. Развиваются научные исследования как в научной школе А.П. Вощинина [36, 37], так и в СИД [38, 39].
По нашему мнению, во все виды статистического программного обеспечения должны быть включены алгоритмы интервальной статистики, «параллельные» обычно используемым в настоящее время алгоритмам прикладной математической статистики. Это позволит в явном виде учесть наличие погрешностей у результатов наблюдений (измерений, испытаний, анализов, опытов).
Статистика интервальных данных является составной частью системной нечеткой интервальной математики [40, 41] - перспективного направления
Научный журнал КубГАУ, №94(10), 2013 года теоретической и вычислительной математики.
Литература
1.Дискуссия по анализу интервальных данных // Заводская лаборатория. 1990. Т. 56. №.7. С. 75-95.
2.Сборник трудов Международной конференции по интервальным и стохастическим методам в науке и технике (ИНТЕРВАЛ-92). Т. 1,2. — М.: МЭИ, 1992. — 216 с., 152 с.
3.Орлов А.И. Устойчивость в социально-экономических моделях. — М.: Наука, 1979. —
296 с.
4.ГОСТ 11.011-83. Прикладная статистика. Правила определения оценок и доверительных границ для параметров гамма-распределения. — М.: Изд-во стандартов, 1984. — 53 с.
5.Orlov A.I. Interval statistics // Interval Computations, 1992, №.1(3). P. 44-52.
6.Орлов А.И. Основные идеи интервальной математической статистики // Наука и технология в России. — 1994. №.4(6). С. 8-9.
7.Шокин Ю.И. Интервальный анализ. — Новосибирск: Наука, 1981. — 112 с.
8.Орлов А.И. О развитии реалистической статистики. — В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. Пермь: Изд-во Пермского государственного университета, 1990. С.89-99.
9.Орлов А.И. Некоторые алгоритмы реалистической статистики. — В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. — Пермь: Изд-во Пермского государственного университета, 1991. С.77-86.
10.Орлов А.И. О влиянии погрешностей наблюдений на свойства статистических процедур (на примере гамма-распределения). — В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. — Пермь: Изд-во Пермского государственного университета, 1988. С. 45-55.
11.Орлов А.И. Интервальная статистика: метод максимального правдоподобия и метод моментов. — В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. — Пермь: Изд-во Пермского государственного университета, 1995. С. 114-124.
12.Орлов А.И. Интервальный статистический анализ. — В сб.: Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. — Пермь: Пермский государственный университет, 1993. С.149-158.
13.Биттар А.Б. Метод наименьших квадратов для интервальных данных. Дипломная работа. — М.: МЭИ, 1994. — 38 с.
14.Пузикова Д.А. Об интервальных методах статистической классификации // Наука и технология в России. 1995. № 2(8). С. 12-13.
15.Орлов А.И. Пути развития статистических методов: непараметрика, робастность, бутстреп и реалистическая статистика // Надежность и контроль качества, 1991. № 8. С. 3-8.
16.Орлов А.И. Современная прикладная статистика // Заводская лаборатория. 1998. Т. 64. №3. С. 52-60.
17.Вощинин А.П. Метод оптимизации объектов по интервальным моделям целевой функции. — М.: МЭИ, 1987. —109 с.
18.Вощинин А.П., Сотиров Г.Р. Оптимизация в условиях неопределенности. — М.: МЭИ; София: Техника, 1989. — 224 с.
19.Вощинин А.П., Акматбеков Р.А. Оптимизация по регрессионным моделям и планирование эксперимента. — Бишкек: Илим, 1991. — 164 с.
20.Вощинин А.П. Метод анализа данных с интервальными ошибками в задачах проверки гипотез и оценивания параметров неявных и линейно параметризованных функций // Заводская
лаборатория, 2000. Т. 66, № 3. С. 51-65.
21.Вощинин А.П. Интервальный анализ данных: развитие и перспективы // Заводская лаборатория, 2002. Т. 68, № 1. С. 118-126.
22.Дывак Н.П. Разработка методов оптимального планирования эксперимента и анализа интервальных данных. Автореф. дисс. канд.. технич. наук. — М.: МЭИ, 1992. — 20 с.
23.Симов С.Ж. Разработка и исследование интервальных моделей при анализе данных и проектировании экспертных систем. Автореф. дисс. канд. технич. наук. — М.: МЭИ, 1992. — 20 с.
24.Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. - М.: КНОРУС, 2010.- 192 с.
25.Орлов А.И. Часто ли распределение результатов наблюдений является нормальным? // Заводская лаборатория, 1991. Т. 57. № 7. С. 64-66.
26.Новицкий П.В., Зограф И.А. Оценка погрешностей результатов измерений. — Л.: Энергоатомиздат, 1985. —248 с.
27.Гнеденко Б.В., Хинчин А.Я. Элементарное введение в теорию вероятностей. — М.: Наука, 1970.
28.Боровков А.А. Математическая статистика. — М.: Наука, 1984. — 472 с.
29.Орлов А.И. Эконометрика. Изд. 3-е, испр. и доп. — М.: Экзамен, 2004. — 576 с.
30.Орлов А.И. О развитии статистики объектов нечисловой природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№09(093). С. 273 - 309. - ША [article ГО]: 0931309019. - Режим доступа:
http://ej.kubagro.ru/2013/09/pdf/19.pdf.
31.Орлов А.И. Прикладная статистика. — М.: Экзамен, 2006.— 671 с.
32.Орлов А.И. Устойчивые экономико-математические методы и модели. Saarbriicken (Germany), Lambert Academic Publishing, 2011. 436 с.
33.Орлов А.И. Устойчивые математические методы и модели // Заводская лаборатория. Диагностика материалов. 2010. Т.76. №3. С.59-67.
34.Орлов А.И. Теория принятия решений. — М.: Экзамен, 2006. — 574 с.
35.Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч. 1. Нечисловая статистика. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. — 541 с.
36.Вощинин А.П., Бронз П.В. Построение аналитических моделей по данным вычислительного эксперимента в задачах анализа чувствительности и оценки экономических рисков // Заводская лаборатория. Диагностика материалов. 2007. Т.73. №1. С. 101-109.
37.Вощинин А.П., Скибицкий НВ. Интервальный подход к выражению неопределенности измерений и калибровке цифровых измерительных систем // Заводская лаборатория. Диагностика материалов. 2007. Т.73. №11. С.66-71.
38.Орлов А.И. Об оценивании параметров гамма-распределения. — Журнал «Обозрение прикладной и промышленной математики», 1997. Т. 4. Вып. 3. С. 471-482.
39.Гуськова Е.А., Орлов А.И. Интервальная линейная парная регрессия // Заводская лаборатория. Диагностика материалов. 2005. Т. 71. №3. С. 57-63.
40.Орлов А.И., Луценко Е.В. О развитии системной нечеткой интервальной математики // Философия математики: актуальные проблемы. Математика и реальность. Тезисы Третьей всероссийской научной конференции; 27-28 сентября 2013 г. / Редкол.: Бажанов В.А. и др. -Москва, Центр стратегической конъюнктуры, 2013. - С. 190-193.
41.Орлов А.И. Системная нечеткая интервальная математика (СНИМ) - перспективное направление теоретической и вычислительной математики / А.И. Орлов, Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№07(091). С. 255 - 308. - ГОА [article ГО]: 0911307015. - Режим доступа:
http://ei.kubagro.ru/2013/07/pdf/15.pdf.
References
1. Diskussija po analizu interval'nyh dannyh // Zavodskaja laboratorija. 1990. T. 56. №.7. S.
75-95.
2. Sbomik trudov Mezhdunarodnoj konferencii po interval'nym i stohasticheskim metodam v nauke i tehnike (INTERVAL-92). T. 1, 2. — M.: MJel, 1992. — 216 s., 152 s.
3. Orlov A.I. Ustojchivost' v social'no-jekonomicheskih modeljah. — M.: Nauka, 1979. —
296 s.
4. GOST 11.011-83. Prikladnaja statistika. Pravila opredelenija ocenok i doveritel'nyh granic dlja parametrov gamma-raspredelenija. — M.: Izd-vo standartov, 1984. — 53 s.
5. Orlov A.I. Interval statistics // Interval Computations, 1992, №.1(3). R. 44-52.
6. Orlov A.I. Osnovnye idei interval'noj matematicheskoj statistiki // Nauka i tehnologija v Rossii. — 1994. №.4(6). S. 8-9.
7. Shokin Ju.I. Interval'nyj analiz. — Novosibirsk: Nauka, 1981. — 112 s.
8. Orlov A.I. O razvitii realisticheskoj statistiki. — V sb.: Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbomik nauchnyh trudov. Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1990. S.89-99.
9. Orlov A.I. Nekotorye algoritmy realisticheskoj statistiki. — V sb.: Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbomik nauchnyh trudov. — Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1991. S.77-86.
10. Orlov A.I. O vlijanii pogreshnostej nabljudenij na svojstva statisticheskih procedur (na primere gamma-raspredelenija). — V sb.: Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbornik nauchnyh trudov. — Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1988. S. 45-55.
11. Orlov A.I. Interval'naja statistika: metod maksimal'nogo pravdopodobija i metod momentov. — V sb.: Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbomik nauchnyh trudov. —Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 1995. S. 114-124.
12. Orlov A.I. Interval'nyj statisticheskij analiz. — V sb.: Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbomik nauchnyh trudov. — Perm': Permskij gosudarstvennyj universitet, 1993. S. 149-158.
13. Bittar A.B. Metod naimen'shih kvadratov dlja interval'nyh dannyh. Diplomnaja rabota. — M.: MJel, 1994. — 38 s.
14. Puzikova D.A. Ob interval'nyh metodah statisticheskoj klassifikacii // Nauka i tehnologija v Rossii. 1995. №2(8). S. 12-13.
15. Orlov A.I. Puti razvitija statisticheskih metodov: neparametrika, robastnost', butstrep i realisticheskaja statistika //Nadezhnost' i kontrol' kachestva, 1991. № 8. S. 3-8.
16. Orlov A.I. Sovremennaja prikladnaja statistika // Zavodskaja laboratorija. 1998. T. 64. №
3. S. 52-60.
17. Voshhinin A.P. Metod optimizacii ob#ektov po interval'nym modeljam celevoj funkcii. — M.: MJel, 1987. —109 s.
18. Voshhinin A.P., Sotirov G.R. Optimizacija v uslovijah neopredelennosti. — M.: MJel; Sofija: Tehnika, 1989. —224 s.
19. Voshhinin A.P., Akmatbekov R.A. Optimizacija po regressionnym modeljam i planirovanie jeksperimenta. —Bishkek: Ilim, 1991. — 164 s.
20. Voshhinin A.P. Metod analiza dannyh s interval'nymi oshibkami v zadachah proverki gipotez i ocenivanija parametrov nejavnyh i linejno parametrizovannyh funkcij // Zavodskaja laboratorija, 2000. T. 66, №3. S. 51-65.
21. Voshhinin A.P. Interval'nyj analiz dannyh: razvitie i perspektivy // Zavodskaja laboratorija, 2002. T. 68, № 1. S. 118-126.
22. Dyvak N.P. Razrabotka metodov optimal'nogo planirovanija jeksperimenta i analiza interval'nyh dannyh. Avtoref. diss. kand.. tehnich. nauk. — М.: MJel, 1992. — 20 s.
23. Simov S.Zh. Razrabotka i issledovanie interval'nyh modelej pri analize dannyh i proektirovanii jekspertnyh sistem. Avtoref. diss. kand. tehnich. nauk. —М.: MJel, 1992. —20 s.
24. Orlov A.I. Verojatnost' i prikladnaja statistika: osnovnye fakty: spravochnik. - М.: KNORUS, 2010.- 192 s.
25. Orlov A.I. Chasto li raspredelenie rezul'tatov nabljudenij javljaetsja normal'nym? // Zavodskaja laboratorija, 1991. T. 57. № 7. S. 64-66.
26. Novickij P.V., Zograf I.A. Ocenka pogreshnostej rezul'tatov izmerenij. — L.: Jenergoatomizdat, 1985. —248 s.
27. Gnedenko B.V., Hinchin A.Ja. Jelementarnoe wedenie v teoriiu veroiatnostei. — М.: Nauka, 1970.
28. Borovkov A.A. Matematicheskaja statistika. — М.: Nauka, 1984. — 472 s.
29. Orlov A.I. Jekonometrika. Izd. 3-e, ispr. i dop. — М.: Jekzamen, 2004. — 576 s.
30. Orlov A.I. О razvitii statistiki ob#ektov nechislovoj prirody / A.I. Orlov //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agramogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs], - Krasnodar: KubGAU, 2013. -№09(093). S. 273 - 309. - ША [article ID]: 0931309019. - Rezhim dostupa:
http://ej.kubagro.ru/2013/09/pdf/19.pdf.
31. Orlov A.I. Prikladnaja statistika. — M.: Jekzamen, 2006.— 671 s.
32. Orlov A.I. Ustojchivye jekonomiko-matematicheskie metody i modeli. Saarbriicken (Germany), Lambert Academic Publishing, 2011. 436 s.
33. Orlov A.I. Ustojchivye matematicheskie metody i modeli // Zavodskaja laboratorija. Diagnostika materialov. 2010. T.76. №3. S.59-67.
34. Orlov A.I. Teorija prinjatija reshenij. — М.: Jekzamen, 2006. — 574 s.
35. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch. 1. Nechislovaja statistika. - М.: Izd-vo MGTU im. N.Je. Baumana, 2009. — 541 s.
36. Voshhinin A.P., Bronz P.V. Postroenie analiticheskih modelej po dannym vychislitel'nogo jeksperimenta v zadachah analiza chuvstvitel'nosti i ocenki jekonomicheskih riskov // Zavodskaja laboratorija. Diagnostika materialov. 2007. T.73. №1. S.101-109.
37. Voshhinin A.P., Skibickij N.V. Interval'nyj podhod к vyrazheniju neopredelennosti izmerenij i kalibrovke cifrovyh izmeritel'nyh sistem // Zavodskaja laboratorija. Diagnostika materialov. 2007. T.73. №11. S.66-71.
38. Orlov A.I. Ob ocenivanii parametrov gamma-raspredelenija. — Zhurnal «Obozrenie prikladnoj i promyshlennoj matematiki», 1997. T. 4. Vyp. 3. S. 471-482.
39. Gus'kova E.A., Orlov A.I. Interval'naja linejnaja pamaja regressija // Zavodskaja laboratorija. Diagnostika materialov. 2005. T. 71. №3. S. 57-63.
40. Orlov A.I., Lucenko E.V. О razvitii sistemnoj nechetkoj interval'noj matematiki // Filosofija matematiki: aktual'nye problemy. Matematika i real'nost'. Tezisy Tret'ej vserossijskoj nauchnoj konferencii; 27-28 sentjabrja 2013 g. / Redkol.: Bazhanov V.A. i dr. - Moskva, Centr strategicheskoj kon#junktury, 2013. - S. 190-193.
41. Orlov A.I. Sistemnaja nechetkaja interval'naja matematika (SNIM) - perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki / A.I. Orlov, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs], - Krasnodar: KubGAU, 2013. - №07(091). S. 255 - 308. - ША [article ID]: 0911307015. - Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/15.pdf.
