CC BY
189
Научный журнал КубГАУ, №103(09), 2014 года
1
УДК 519.2:303.732.4
КОМПЬЮТЕРНО-СТАТИСТИЧЕСКИЕ МЕТОДЫ: СОСТОЯНИЕ И ПЕРСПЕКТИВЫ
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail. ru
Проанализировано современное состояние основных компьютерно-статистических методов, выявлены достижения и имеющиеся проблемы, намечены перспективы дальнейшего движения, сформулированы задачи, которые следует решить. Обсуждаются методы статистических испытаний (Монте-Карло), датчики псевдослучайных чисел, имитационное моделирование, методы размножения выборок (бутстреп-методы), автоматизированный системно-когнитивный анализ. Рассмотрено применение компьютерной статистики в контроллинге и свойства статистических пакетов как инструментов исследователя
Ключевые слова: СТАТИСТИЧЕСКИЕ МЕТОДЫ, МАТЕМАТИЧЕСКАЯ СТАТИСТИКА, ПРИКЛАДНАЯ СТАТИСТИКА, КОМПЬЮТЕРНОСТАТИСТИЧЕСКИЕ МЕТОДЫ, МЕТОДЫ СТАТИСТИЧЕСКИХ ИСПЫТАНИЙ (МОНТЕ-КАРЛО), ИМИТАЦИОННОЕ МОДЕЛИРОВАНИЕ, РАЗМНОЖЕНИЕ ВЫБОРОК, БУТСТРЕП, АВТОМАТИЗИРОВАННЫЙ СИСТЕМНОКОГНИТИВНЫЙ АНАЛИЗ, КОНТРОЛЛИНГ, СТАТИСТИЧЕСКИЕ ПАКЕТЫ
UDC 519.2:303.732.4
COMPUTER-STATISTICAL METHODS: STATE AND PROSPECTS
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
We have analyzed the current state of the main computer-statistical methods, identified achievements and existing problems, outlined the prospects of further movement and formulated the problems to be solved. We have also discussed the Monte Carlo methods, pseudo-random numbers, simulation, bootstrap and resampling, the automated system-cognitive analysis. We have considered the applications of computer statistics in controlling and properties of statistical packages as the tools for researchers
Keywords: STATISTICAL METHODS, MATHEMATICAL STATISTICS, APPLIED STATISTICS, COMPUTER-STATISTICAL METHODS, MONTE-CARLO METHODS, PSEUDO-RANDOM NUMBERS, SIMULATION, BOOTSTRAP AND RESAMPLING, AUTOMATED SYSTEM-COGNITIVE ANALYSIS, CONTROLLING, STATISTICAL PACKAGES
1. Введение
Одним из отличительных признаков новой парадигмы математической [1] и прикладной [2] статистики, анализа данных и других статистических методов [3], математических методов экономики [4] является широкое применение компьютерно-статистических методов. В старой парадигме они применялись при расчете выборочных характеристик, а при разработке инструментов статистического анализа данных - только для расчета таблиц (т.е. информационные технологии фактически находились вне статистической теории). Согласно новой парадигме информационные технологии - эффективные инструменты получения выводов (имеются в виду датчики псевдослучайных чисел,
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
2
размножение выборок, в т.ч. бутстреп, автоматизированный системнокогнитивный анализ и др.). Наряду с математическими методами получения научных результатов, прежде всего с предельными теоремами теории вероятностей и математической статистики [5], компьютерностатистические технологии позволяют изучать скорость сходимости распределений статистик, применяемых при оценивании параметров и проверке гипотез в статистике случайных величин, многомерном статистическом анализе, анализе временных рядов и нечисловой статистике, решать другие теоретические и прикладные задачи. Поэтому для дальнейшего развития и широкого использования статистических методов необходимо проанализировать современное состояние основных компьютерно-статистических методов, выявить достижения и имеющиеся проблемы, наметить перспективы дальнейшего движения, сформулировать задачи, которые следует решить.
2. Методы статистических испытаний (Монте-Карло)
Многие информационные технологии в области прикладной статистики опираются на использование методов статистических испытаний. Этот термин применяется для обозначения компьютерных технологий, в которых в модель реального явления или процесса искусственно вводится большое число случайных элементов. Обычно моделируется последовательность независимых одинаково распределенных случайных величин или же последовательность, построенная на ее основе, например, последовательность накапливающихся (кумулятивных) сумм.
Необходимость в методе статистических испытаний возникает потому, что чисто теоретические методы дают точное решение, как правило, лишь в исключительных случаях. Либо тогда, когда исходные случайные величины имеют вполне определенные функции
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
3
распределения, например, нормальные, чего, как правило, не бывает. Либо когда объемы выборок очень велики (с практической точки зрения -бесконечны).
Не только в задачах обработки данных возникает необходимость в методе статистических испытаний. Она не менее актуальна и при экономико-математическом моделировании технических, социальноэкономических, медицинских и иных процессов. Представим себе всем знакомый объект - торговый зал самообслуживания по продаже продовольственных товаров. Сколько нужно работников в зале, сколько касс? Необходимо просчитать загрузку в разное время суток, в разные сезоны года, с учетом замены товаров и смены сотрудников. Нетрудно увидеть, что теоретическому анализу, например, с помощью теории массового обслуживания, подобная система не поддается, поскольку не выполнены необходимые для применения теории предположения, а компьютерному - вполне.
Методы статистических испытаний стали развиваться после второй мировой войны с появлением компьютеров. Второе название - методы Монте-Карло - они получили по наиболее известному игорному дому, а точнее, по его рулетке, поскольку исходный материал для получения случайных чисел с произвольным распределением - это случайные натуральные числа.
В методах статистических испытаний можно выделить две составляющие. Базой являются датчики псевдослучайных чисел. Результатом работы таких датчиков являются последовательности чисел, которые обладают некоторыми свойствами последовательностей
случайных величин (в смысле теории вероятностей). Надстройкой являются различные алгоритмы, использующие последовательности псевдослучайных чисел.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
4
Что же это могут быть за алгоритмы? Приведем примеры. Пусть мы изучаем распределение некоторой статистики при заданном объеме выборки. Тогда естественно много раз (например, 100000 раз) смоделировать выборку заданного объема (т.е. набор независимых одинаково распределенных случайных величин) и рассчитать значение статистики. Затем по 100000 значениям статистики можно достаточно точно построить функцию распределения изучаемой статистики, оценить ее характеристики. Однако эта схема годится лишь для так называемой «свободной от распределения» статистики, распределение которой не зависит от распределения элементов выборки. Если же такая зависимость есть, то одной точкой моделирования не обойдешься, придется много раз моделировать выборку, беря различные распределения, меняя параметры. Чтобы общее время моделирования было приемлемым, возможно, придется сократить число моделирований в одной точке, зато увеличив общее число точек. Точность моделирования может быть оценена по общим правилам выборочных обследований.
Второй пример - частично описанное выше моделирование работы торгового зала самообслуживания по продаже продовольственных товаров. Здесь одна последовательность псевдослучайных чисел описывает интервалы между появлениями покупателей, вторая, третья и т.д. связаны с выбором ими первого, второго и т.д. товаров в зале (например, число - номер в перечне товаров). Короче, все действия покупателей, продавцов, работников предприятия разбиты на операции, каждая операция, в продолжительности или иной характеристике которой имеется случайность, моделируется с помощью соответствующей последовательности псевдослучайных чисел. Затем итоги работы сотрудников торговой организации и зала в целом выражаются через характеристики случайных величин. Формулируется критерий
оптимальности, решается задача оптимизации и находятся оптимальные
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
5
значения параметров. В частности, оптимальные планы статистического контроля строятся на основе вероятностно-статистических моделей [6].
3. Датчики псевдослучайных чисел
Теперь обсудим свойства датчиков псевдослучайных чисел. Здесь стоит слово «псевдослучайные», а не «случайные». Это весьма важно. Дело в том, что за последние 50 лет обсуждались в основном три принципиально разных варианта получения последовательностей чисел, которые в дальнейшем использовались в методах статистических испытаний.
Первый - таблица случайных чисел. К сожалению, объем любой таблицы конечен, и сколько-нибудь сложные расчеты с ее помощью невозможны. Через некоторое время приходится повторять уже использованные числа. Кроме того, обычно обнаруживались те или иные отклонения от случайности.
Второй - физические датчики случайных чисел, в которых в качестве случайного числа рассматривается результат измерения некоторой физической величины. Основной недостаток - нестабильность, непредсказуемые отклонения от заданного распределения (обычно -равномерного).
Третий - расчетный. В простейшем случае каждый следующий член последовательности рассчитывается по предыдущему. Например, так:
zn+1 ° Mzn (m°d P)
где z0 - начальное значение (заданное целое положительное число), M -параметр алгоритма (заданное целое положительное число), P=2m, где m -число двоичных разрядов представления чисел, с которыми манипулирует компьютер. Знак = здесь означает теоретико-числовую операцию
сравнения, т.е. взятие дробной части от
Mzn
p
и отбрасывание целой части.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
6
В настоящее время обычно применяется именно третий вариант. Совершенно ясно, что он не соответствует интуитивному представлению о случайности. Например, интуитивно очевидно, что по предыдущему элементу случайной последовательности с независимыми элементами нельзя предсказать значение следующего элемента. А приведенная выше формула как раз и дает способ такого предсказания. Расчетный путь получения последовательности псевдослучайных чисел противоречит не только интуиции, но и подходу к определению случайности на основе теории алгоритмов, развитому акад. А.Н. Колмогоровым и его учениками в 1960-х гг. [7]. Однако во многих прикладных задачах он работает, и это основное.
Методу статистических испытаний посвящена обширная литература (см., например, монографии [8 - 10]). Время от времени обнаруживаются недостатки у популярных датчиков псевдослучайных чисел. Так, например, в середине 1980-х гг. выяснилось, что для одного из наиболее известных датчиков три последовательных значения связаны линейной зависимостью
Z n+2 = aZn+1 + bZn , П = 1A...
После этого в 1985 г. в журнале «Заводская лаборатория» началась дискуссия о качестве датчиков псевдослучайных чисел, которая продолжалась до 1993 г. и закончилась статьей проф. С.М. Ермакова [11] и нашим комментарием [12].
Итоги можно подвести так. Во многих случаях решаемая методом статистических испытаний задача сводится к оценке вероятности попадания в некоторую область в многомерном пространстве фиксированной размерности. Тогда из чисто математических соображений теории чисел следует, что с помощью датчиков псевдослучайных чисел поставленная задача решается корректно. Сводка соответствующих
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
7
математических обоснований приведена, например, в работе С.М. Ермакова [11].
В других случаях приходится рассматривать вероятности попадания в области в пространствах переменной размерности. Типичным примером является ситуация, когда на каждом шагу проводится проверка соответствующей статистической гипотезы, и по ее результатам либо остаемся в данном пространстве, либо переходим в пространство большей размерности. Например, в регрессионном анализе при оценивании степени многочлена либо останавливаемся на данной степени, либо увеличиваем степень, переходя в параметрическое пространство большей размерности
[13]. Так вот, вопрос об обоснованности применения метода статистических испытаний (а точнее, о свойствах датчиков псевдослучайных чисел) в случае пространств переменной размерности остается в настоящее время открытым. О важности этой проблемы вдохновенно говорил академик РАН Ю.В. Прохоров на Первом Всемирном Конгрессе Общества математической статистики и теории вероятностей им. Бернулли (Ташкент, 1986 г.), как было отмечено в отчетах о Конгрессе [14 - 16].
4. Имитационное моделирование
Поскольку постоянно обсуждаем проблемы моделирования, приведем несколько общих формулировок.
«Модель в общем смысле (обобщенная модель) - это создаваемый с целью получения и (или) хранения информации специфический объект (в форме мысленного образа, описания знаковыми средствами либо материальной системы), отражающей свойства, характеристики и связи объекта-оригинала произвольной природы, существенные для задачи, решаемой субъектом» (это определение взято из монографии [17, с.44]).
Например, в менеджменте производственных систем используют:
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
8
- модели технологических процессов (контроль и управление по технико-экономическим критериям, АСУ ТП - автоматизированные системы управления технологическими процессами);
- модели управления качеством продукции (в частности, модели оценки и контроля надежности);
- модели массового обслуживания (теории очередей);
- модели управления запасами (в современной терминологии -модели логистики, т.е. теории и практики управления материальными, финансовыми и информационными потоками);
- имитационные и эконометрические модели деятельности предприятия (как единого целого) и управления им (АСУ предприятием) и др.
Согласно академику РАН Н.Н. Моисееву [18, с.213], имитационная система - это совокупность моделей, имитирующих протекание изучаемого процесса, объединенная со специальной системой вспомогательных программ и информационной базой, позволяющих достаточно просто и оперативно реализовать вариантные расчеты. Другими словами, имитационная система - это совокупность имитационных моделей. А имитационная модель предназначена для ответов на вопросы типа: «Что будет, если...» Что будет, если параметры примут те или иные значения? Что будет с ценой на продукцию, если спрос будет падать, а число конкурентов расти? Что будет, если государство резко усилит вмешательство в экономику? Что будет, если остановку общественного транспорта перенесут на 100 м дальше от входа в торговый зал, о котором шла речь выше, и поток покупателей резко упадет? Кроме компьютерных моделей, на вопросы подобного типа часто отвечают эксперты при использовании метода сценариев [19 - 21].
При имитационном моделировании часто используется метод статистических испытаний (Монте-Карло). Теорию и практику машинных
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
9
имитационных экспериментов с моделями экономических систем еще 40 лет назад подробно разобрал Т. Нейлор в обширной классической монографии [22]. Вернемся к внутристатистическому применению датчиков псевдослучайных чисел.
5. Методы размножения выборок (бутстреп-методы)
Прикладная статистика бурно развивается последние десятилетия. Серьезным (хотя, разумеется, не единственным и не главным) стимулом является стремительно растущая производительность вычислительных средств. Поэтому понятен острый интерес к статистическим методам, интенсивно использующим компьютеры. Одним из таких методов является так называемый «бутстреп», предложенный в 1977 г. Б. Эфроном из Станфордского университета (США).
Сам термин «бутстреп» - это английское слово «bootstrap», записанное русскими буквами. Оно буквально означает что-то вроде: «вытягивание себя (из болота) за шнурки от ботинок». Термин специально придуман и заставляет вспомнить о подвигах барона Мюнхгаузена.
В истории прикладной статистики было несколько более или менее успешно осуществленных рекламных кампаний. В каждой из них «раскручивался» тот или иной метод, который, как правило, отвечал нескольким условиям:
- по мнению его пропагандистов, полностью решал актуальную научную задачу;
- был понятен (при постановке задачи, при ее решении и при
интерпретации результатов) широким массам потенциальных
пользователей;
- использовал современные возможности вычислительной техники.
Пропагандисты метода, как правило, избегали беспристрастного
сравнения его возможностей с возможностями иных статистических
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
10
методов. Если сравнения и проводились, то с заведомо слабым «противником».
В нашей стране в условиях отсутствия массового систематического образования в области прикладной статистики подобные рекламные кампании находили особо благоприятную почву, поскольку у большинства затронутых ими специалистов не было достаточных знаний в области методологии построения моделей прикладной статистики для того, чтобы составить самостоятельное квалифицированное мнение.
Речь идет о таких методах и постановках, как бутстреп, нейронные сети, генетические алгоритмы, метод группового учета аргументов, робастные оценки по Тьюки-Хуберу, асимптотика пропорционального роста числа параметров и объема данных и др. Бывали локальные всплески неоправданного энтузиазма. Например, московские социологи в 1980-х гг. весьма активно пропагандировали так называемый «детерминационный анализ» - простой эвристический метод анализа таблиц сопряженности. Хотя в Новосибирске в это время давно уже было разработано (под руководством Г.С. Лбова) продвинутое математическое и программное обеспечение анализа векторов разнотипных признаков, включающее в себя «детерминационный анализ» как весьма частный случай.
Однако даже на фоне всех остальных рекламных кампаний судьба бутстрепа исключительна. Во-первых, признанный его автор Б. Эфрон с самого начала признавался, что он ничего принципиально нового не сделал. Его исходная статья (первая в сборнике [23]) называлась: «Бутстреп-методы: новый взгляд на методы складного ножа». Тем самым Б. Эфрон честно признавал первенство за М. Кенуем - автором методов «складного ножа». Во вторых, сразу появились статьи и дискуссии в научных изданиях, публикации рекламного характера, и даже в научнопопулярных журналах. Бурные обсуждения на конференциях, спешный выпуск книг. В 1980-е гг. финансовая подоплека всей этой активности,
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
11
связанная с добыванием грантов на научную деятельность, содержание учебных заведений и т.п., была мало понятна отечественным специалистам, для которых упомянутые реалии науки и образования в капиталистических странах были практически незнакомы.
В чем основная идея группы методов «размножения выборок», наиболее известным представителем которых является бутстреп?
Пусть дана выборка xt,x2,x3,...xk_х,xk,xk+1,..., xn_x,xn.
В
вероятностно-статистической теории предполагаем, что это - набор независимых одинаково распределенных случайных величин. Пусть эконометрика интересует некоторая статистика fn (xx, x2,..., xn). Как изучить ее свойства? Подобными проблемами мы занимались на протяжении всей книги и знаем, насколько это непросто. Идея, которую предложил в 1949 г. М. Кенуй (это и есть «метод складного ножа») состоит в том, чтобы из одной выборки сделать много, исключая из нее по одному наблюдению (и возвращая ранее исключенные). Перечислим выборки, которые получаются из исходной:
x2 , x3,...xkxk , xk+1,..., xn_1, xn .;
xl, x3,...xk-l, xk, xk+l,..., xn-l, xn.;
X1, x2 , x4,...xk-1, xk , xk Uv-xn-1, xn.;
X1, x2 , x3,...xk-1, xk+1,..., xn-1, xn .;
X1, x2 , x3,...xk-1, xk , xk+1,..., Xn-2, xn .; x^ x2 , x3,...xk-1, xk , xk+1,..., xn-1.
Всего n новых (размноженных) выборок объемом (n-1) каждая. По каждой из них можно рассчитать значение интересующей эконометрика статистики (с уменьшенным на 1 объемом выборки):
fn-1,1 W) = fn-1 (x2 , x3v. .xk-1 , xk , xk+1,..., xn-1 , xn );
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
12
Л-1,2(w) = Л-1(^ X3v X-і, Xk, Xk+1 х„-1, xn);
/„-1,3 (w) = fn-1 (X^ X2 , X4 ,'' X-1 , Xk , Xk+1 v. Xn-1 , xn );
fn-1,k (w) = fn-1 (^ X2 , X3v X-1 , Xk+1 ,•••, Xn-1 , Xn );
fn-1,n-1 (w) = fn-1 (X1, X2 , X3,•• -Xk-1, fn-1,n (w) = fn-1( X^ X 2 , X3vXk-1
xk, Xk+l,•••, xn-2, x„ ); , Xk , Xk+1 ,•••, Xn-1 )•
Полученные значения статистики позволяют судить о ее распределении и о характеристиках распределения - о математическом ожидании, медиане, квантилях, разбросе и др. Значения статистики, построенные по размноженным подвыборкам, не являются независимыми. Однако, как показано, например, в [24, гл.6] на примере ряда статистик, возникающих в методе наименьших квадратов и в кластер-анализе (при обсуждении возможности объединения двух кластеров), при росте объема выборки влияние зависимости может ослабевать, а потому со значениями статистик типа fn-1k (w), k = 1,2,..., n, можно обращаться как с независимыми
случайными величинами.
Однако и без всякой вероятностно-статистической теории разброс величин fn-1k(w), k = 1,2,...,n, дает наглядное представление о том, какую
точность может дать рассматриваемая статистическая оценка.
Сам М. Кенуй и его последователи использовали размножение выборок в основном для построения оценок с уменьшенным смещением. А вот Б. Эфрон предложил новый способ размножения выборок, существенно использующий датчики псевдослучайных чисел. А именно, он предложил строить новые выборки, моделируя выборки из эмпирического распределения. Другими словами, Б. Эфрон предложил взять конечную совокупность из n элементов исходной выборки
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
13
х,, х
1 > Л2 ’ •Л'3 ’•
х
.. х
к-1 , Хк , Хк + 1,..., Хп-1 ,
х
х
хп. и с помощью датчика псевдослучайных
чисел сформировать из нее любое число размноженных выборок. Процедура, хотя и нереальна без ЭВМ, проста с точки зрения программирования. По сравнению с описанной выше процедурой Кенуя появляются новые недостатки - неизбежные совпадения элементов размноженных выборок и зависимость от качества датчиков псевдослучайных чисел. Однако существует математическая теория, позволяющая (при некоторых предположениях и безграничном росте объема выборки) обосновать процедуры бутстрепа (см. сборник статей
Есть много способов развития идеи размножения выборок (см., например, статью [25]). Можно по исходной выборке построить эмпирическую функцию распределения, а затем каким-либо образом от кусочно-постоянной функции перейти к непрерывной функции
прямых. Другой вариант - перейти к непрерывному распределению, построив непараметрическую оценку плотности [26]. После этого рекомендуется брать размноженные выборки из этого непрерывного распределения (являющегося состоятельной оценкой исходного),
непрерывность защитит от совпадений элементов в этих выборках.
Другой вариант построения размноженных выборок - более прямой. Исходные данные не могут быть определены совершенно точно и однозначно. Поэтому предлагается к исходным данным добавлять малые независимые одинаково распределенные погрешности. При таком подходе соединяем вместе идеи устойчивости и бутстрепа. При внимательном анализе многие идеи прикладной статистики тесно друг с другом связаны (см. статью [25]).
[23]).
распределения, например, соединив точки
отрезками
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
14
В каких случаях целесообразно применять бутстреп, а в каких -другие методы прикладной статистики? В период рекламной кампании встречались, в том числе в научно-популярных журналах, утверждения о том, что и для оценивания математического ожидания полезен бутстреп. Как показано в статье [25], это совершенно не так. При росте числа испытаний методом Монте-Карло бутстреп-оценка приближается к классической оценке - среднему арифметическому результатов наблюдений. Другими словами, бутстреп-оценка отличается от
классической оценки только шумом псевдослучайных чисел.
Аналогичной является ситуация и в ряде других случаев. Там, где эконометрическая теория хорошо развита, где найдены методы анализа данных, в том или иной смысле близкие к оптимальным, бутстрепу делать нечего. А вот в новых областях со сложными алгоритмами, свойства которых недостаточно ясны, он представляет собой ценный инструмент для изучения ситуации.
6. Автоматизированный системно-когнитивный анализ
В предисловии к переводу на русский язык книги С. Кульбака «Теория информации и статистика» [27] А.Н. Колмогоров писал: «... навыки мысли и аналитический аппарат теории информации должны, по-видимому, привести к заметной перестройке здания математической статистики» (с. 5 - 6). Однако этого не произошло, поскольку, несмотря на рекомендацию А.Н. Колмогорова, поток исследований, имеющих целью указанную перестройку, в СССР и мире не возник. Работы Е.В. Луценко по разработке и применению автоматизированного системно-когнитивного анализа (см., например [28 - 31]) можно рассматривать как развитие указанного А.Н. Колмогоровым направления прикладной математической статистики, не только и не столько в чисто-математическом плане, сколько в прагматически-прикладном. Реализуется рекомендация А.Н.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
15
Колмогорова: «По-видимому, внедрение предлагаемых методов в
практическую статистику будет облегчено, если тот же материал будет изложен более доступно и проиллюстрирован на подробно разобранных содержательных примерах». Отметим оригинальность подхода и результатов Е.В. Луценко (по сравнению с книгой C. Кульбака), так что речь выше идет об идейных связях, а не о конкретике. Математический метод автоматизированного системно-когнитивного анализа (АСК-анализ) реализован в его программном инструментарии - универсальной когнитивной аналитической системе Эйдос-Х++. АСК-анализ основан на системной теории информации, которая создана в рамках реализации программной идеи обобщения всех понятий математики, в частности теории информации, базирующихся на теории множеств, путем тотальной замены понятия множества на более общее понятие системы и тщательного отслеживания всех последствий этой замены (см., например, [32]). Благодаря математическим основам АСК-анализа этот метод является непараметрическим и позволяет сопоставимо обрабатывать десятки и сотни тысяч градаций факторов и будущих состояний объекта управления (классов) при неполных (фрагментированных), зашумленных данных числовой и нечисловой природы, измеряемых в различных единицах измерения. За дальнейшей информацией - теоретическими разработками и многочисленными примерами успешного практического использования АСК-анализа отошлем к публикациям проф. Е.В. Луценко и его сотрудников, прежде всего в «Научном журнале КубГАУ».
7. Компьютерная статистика в контроллинге
В качестве примера применения компьютерной статистики рассмотрим конкретную прикладную область - контроллинг, т.е. современный подход к управлению организацией [33 - 39]. Контроллеру и сотрудничающему с ним статистику нужна разнообразная экономическая
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
16
и управленческая информация, не менее необходимы удобные инструменты ее анализа. Следовательно, информационная поддержка контроллинга необходима для успешной работы контроллера. Без современных компьютерных инструментов анализа и управления, основанных на продвинутых эконометрических и экономикоматематических методах и моделях, невозможно эффективно принимать управленческие решения. Недаром специалисты по контроллингу большое внимание уделяют проблемам создания, развития и применения компьютерных систем поддержки принятия решений. Высокие
статистические технологии и эконометрика - неотъемлемые части любой современной системы поддержки принятия экономических и
управленческих решений.
Важная часть прикладной статистики - применение высоких статистических технологий к анализу конкретных экономических данных. Такие исследования зачастую требуют дополнительной теоретической работы по «доводке» статистических технологий применительно к конкретной ситуации. Большое значение для контроллинга имеют не только общие методы, но и конкретные эконометрические модели, например, вероятностно-статистические модели тех или иных процедур экспертных оценок или эконометрики качества, имитационные модели деятельности организации, прогнозирования в условиях риска. И конечно, такие конкретные применения, как расчет и прогнозирование индекса инфляции. Сейчас уже многим специалистам ясно, что годовой, квартальный или месячный бухгалтерский баланс предприятия может быть использован для оценки его финансово-хозяйственной деятельности только с привлечением данных об инфляции. Различные области экономической теории и практики в настоящее время еще далеко не согласованы. При оценке и сравнении инвестиционных проектов принято использовать такие характеристики, как чистая текущая стоимость,
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
17
внутренняя норма доходности, основанные на введении в рассмотрение изменения стоимости денежной единицы во времени (это осуществляется с помощью дисконтирования). А вот при анализе финансово-хозяйственной деятельности организации на основе данных бухгалтерской отчетности изменение стоимости денежной единицы во времени по традиции не учитывают.
Специалисты по контроллингу должны быть вооружены современными средствами информационной поддержки, в том числе средствами на основе высоких статистических технологий и эконометрики. Очевидно, преподавание должно идти впереди практического применения. Ведь как применять то, чего не знаешь?
Статистические технологии применяют для анализа данных двух принципиально различных типов. Один из них - это результаты измерений (наблюдений, испытаний, анализов, опытов и др.) различных видов, например, результаты управленческого или бухгалтерского учета, данные Госкомстата и др. Короче, речь идет об объективной информации. Другой - это оценки экспертов, на основе своего опыта и интуиции делающих заключения относительно экономических явлений и процессов. Очевидно, это - субъективная информация. В стабильной экономической ситуации, позволяющей рассматривать длинные временные ряды тех или иных экономических величин, полученных в сопоставимых условиях, данные первого типа вполне адекватны. В быстро меняющихся условиях приходятся опираться на экспертные оценки. Такая новейшая часть прикладной статистики, как статистика нечисловых данных, была создана как ответ на запросы теории и практики экспертных оценок.
Для решения каких экономических задач могут быть полезны статистические методы? Практически для всех, использующих
конкретную информацию о реальном мире. Только чисто абстрактные, отвлеченные от реальности исследования могут обойтись без нее. В
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
18
частности, статистические методы необходима для прогнозирования, в том числе поведения потребителей, а потому и для планирования. Выборочные исследования, в том числе выборочный контроль, основаны на статистические методы. Но планирование и контроль - основа контроллинга. Поэтому статистические методы - важная составляющая инструментария контроллера, воплощенного в компьютерной системе поддержки принятия решений. Прежде всего оптимальных решений, которые предполагают опору на адекватные модели прикладной статистики. В производственном менеджменте это может означать, например, использование моделей экстремального планирования эксперимента (судя по накопленному опыту их практического использования, такие модели позволяют повысить выход полезного продукта на 30-300%).
Высокие статистические технологии предполагают адаптацию применяемых методов к меняющейся ситуации. Например, параметры прогностического индекса меняются вслед за изменением характеристик используемых для прогнозирования величин. Таков метод
экспоненциального сглаживания. В соответствующем алгоритме расчетов значения временного ряда используются с весами. Веса уменьшаются по мере удаления в прошлое. Многие методы дискриминантного анализа основаны на применении обучающих выборок. Например, для построения рейтинга надежности банков можно с помощью экспертов составить две обучающие выборки - надежных и ненадежных банков. А затем с их помощью решать для вновь рассматриваемого банка, каков он - надежный или ненадежный, а также оценивать его надежность численно, т.е. вычислять значение рейтинга.
Автоматизированный системно-когнитивный анализ является перспективным инструментом контроллинга и менеджмента [37 - 39].
Один из способов построения адаптивных статистических моделей -
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
19
нейронные сети (см., например, монографию [40]). При использовании нейронных сетей упор делается не на формулировку адаптивных алгоритмов анализа данных, а - в большинстве случаев - на построение виртуальной адаптивной структуры. Термин «виртуальная» означает, что «нейронная сеть» - это специализированная компьютерная программа, «нейроны» используются лишь при общении человека с компьютером. Методология нейронных сетей идет от начальных идей кибернетики 194050-х гг. В компьютере создается модель мозга человека (весьма примитивная с точки зрения физиолога). Основа модели - весьма простые базовые элементы, называемые нейронами. Они соединены между собой, так что нейронные сети можно сравнить с хорошо знакомыми экономистам и инженерам блок-схемами. Каждый нейрон находится в одном из заданного множества состояний. Он получает импульсы от соседей по сети, изменяет свое состояние и сам рассылает импульсы. В результате состояние множества нейтронов изменяется, что соответствует проведению статистических вычислений.
Нейроны обычно объединяются в слои (как правило, два-три). Среди них выделяются входной и выходной слои. Перед началом решения той или иной задачи производится настройка. Во-первых, устанавливаются связи между нейронами, соответствующие решаемой задаче. Во-вторых, проводится обучение, т.е. через нейронную сеть пропускаются обучающие выборки, для элементов которых требуемые результаты расчетов известны. Затем параметры сети модифицируются так, чтобы получить максимальное соответствие выходных значений заданным величинам.
С точки зрения точности расчетов (и оптимальности в том или ином статистическом смысле) нейронные сети не имеют преимуществ перед другими адаптивными системами прикладной статистики. Однако они более просты для восприятия, поэтому привлекательны для тех, кто плохо знаком с математико-статистической теорией.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
20
Надо отметить, что в прикладной статистике используются и модели, промежуточные между нейронными сетями и «обычными» системами регрессионных уравнений (одновременных и с лагами). Они тоже используют блок-схемы, как, например, универсальный метод
моделирования связей социально-экономических факторов ЖОК (этот метод подробно разработан в [24, 41, 42]).
Профессионалу в области контроллинга полезны многочисленные интеллектуальные инструменты анализа данных, относящиеся к высоким статистическим технологиям [43] и эконометрике [6]. В частности, заметное место в математико-компьютерном обеспечении принятия решений в контроллинге занимают методы теории нечеткости [44], входящие в системную нечеткую интервальную математику [32, 45].
8. Статистические пакеты - инструменты исследователя
Рассмотрим проблемы разработки, внедрения и использования статистических пакетов (статистических программных продуктов) в России за последние 25 лет, дадим критический анализ популярных в настоящее время пакетов в сопоставлении с результатами современных научных исследований, наметим перспективы развития работ в области статистического программного обеспечения (ср. [46]).
Очевидно, что математические методы исследования, в том числе методы статистического анализа данных, требуют больших вычислений и зачастую невозможны без компьютеров. Продвинутое применение высоких статистических технологий [43] предполагает использование соответствующих программных продуктов. Статистические пакеты -постоянно используемые интеллектуальные инструменты исследователей, инженеров, управленцев, занимающихся анализом больших массивов данных.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
21
В разделе «Математические методы исследования» журнала «Заводская лаборатория» (основном отечественном издании по
статистическим методам) неоднократно рассматривались вопросы разработки и применения статистических пакетов. Так, более 20 статистических пакетов, разработанных Всесоюзным центром
статистических метолов и информатики (директор - А.И. Орлов), в том числе пакеты СПК, АТСТАТ-ПРП, СТАТКОН, АВРОРА-РС, ЭКСПЛАН, ПАСЭК, НАДИС, проанализированы в [47, 48]. Перечисленные семь пакетов рассмотрены также в [49]. Сравнительному анализу четырех диалоговых систем по статистическому контролю посвящена статья [50], и т.д.
Однако наряду с очевидной пользой статистические пакеты могут приносить вред неискушенному пользователю. Например, в них зачастую пропагандируется применение двухвыборочного критерия Стьюдента (много раз этот критерий упомянут в статье [51], посвященной программному обеспечению статистического анализа данных), когда условия его применимости не проверены, а зачастую и не выполнены. Между тем хорошо известно, каковы последствия использования критерия Стьюдента вне сферы его применимости, а также и то, что применять его нет необходимости поскольку разработаны более адекватные критерии [52].
Другой пример. Малограмотность переводчиков в русифицированной версии MS Excel (по крайней мере, в разделе «Анализ данных») шокирует специалиста по прикладной статистике: например, «объем выборки» именуется «счет». С сожалением приходится констатировать, что не соответствует современным требованиям и электронный учебник - обзор методов, реализованных в пакете STATISTICA6, о котором идет речь в статье [51].
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
22
К сожалению, анализ допущенных в документации к пакету недочетов занял бы не меньше места, чем сама документация. В [47] продемонстрировано, насколько трудоемким оказался критический анализ всего лишь нескольких десятков ГОСТов по статистическим методам управления качеством. Это замечание касается, конечно, не только пакетов. Из одной публикации в другую кочуют одни и те же ошибки. Для разоблачения каждой нужна развернутая публикация. Например, распространенная ошибка при использовании критериев Колмогорова и омега-квадрат разобрана в [53, 54], ошибочные утверждения о том, какие гипотезы можно проверять с помощью двухвыборочного критерия Вилкоксона, разоблачены в [55].
Основное противоречие в области разработки статистических пакетов таково. Те, кто программирует, не являются специалистами по прикладной статистике, поскольку это не входит в их профессиональные обязанности. С другой стороны, специалисты по статистическим методам не берутся реализовывать их в пакетах, поскольку такая работа, весьма трудоемкая и ответственная, обычно не соответствует их
профессиональным устремлениям. Судя по опыту Всесоюзного центра статистических методов и информатики, стоимость разработки (на профессиональном уровне) пакета среднего уровня сложности - порядка 70 тыс. руб. (в ценах 1990 г.), что соответствует порядка 10 млн. руб. в ценах 2014 г. (индекс инфляции за 25 лет равен примерно 150 при расчете по методике [6, гл.7]). Это означает, что разработкой, распространением и сопровождением статистических пакетов должны заниматься специализированные в этой области организации или подразделения.
В нашей стране активная работа по созданию развернутой системы отечественных статистических пакетов развернулась в 80-х годах [48, 49]. Как уже отмечалось, только Всесоюзным центром статистических метолов и информатики было разработано более 20 программных продуктов по
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
23
прикладной статистике и другим статистическим методам. Эта работа проводилась в рамках более широкого проекта, нацеленного на объединение усилий специалистов по статистическим методам с целью повышения эффективности теоретических и прикладных исследований. Важным промежуточным итогом было создание в 1990 г. Всесоюзной организации по статистическим методам и их применениям и Всесоюзной статистической ассоциации [56, 57]. Планы тех лет отражены в статье [58]. Итогом виделось создание (развертывание, организационное оформление) новой отрасли прикладной науки по образцу метрологии.
Развал СССР, либерализация цен и гиперинфляция начала 90-х положили конец рассматриваемому проекту. Из плана работ реализована только подготовка современных учебников ([6, 19, 41, 42] и др., см. также перечни в [1 - 4]), составленных на основе статей, опубликованных в «Заводской лаборатории» (учебники выложены в свободном доступе на сайте «Высокие статистические технологии» http://orlovs.pp.ru и на странице Лаборатории экономико-математических методов в контроллинге http://ibm.bmstu.ru/ni1/bibho .html ). Предприятия и
организации, лишившись оборотных средств из-за инфляции, перестали покупать статистические программные продукты, коллективы разработчиков распались, перестали поддерживать статистические пакеты в условиях быстрого обновления технических средств и базового программного обеспечения. В результате многообразие продуктов на отечественном рынке статистических пакетов резко сократилось, и монополистами оказались SPSS, STATISTICA, SNATGRAPHICS (и немногие другие), о которых идет речь в статье О.С. Смирновой [51].
На опасность бездумного применения статистических пакетов В.В. Налимов обращал внимание более 40 лет назад [59]. Он имел в виду прежде всего склонность к проведению расчетов без знакомства с сутью применяемых методов. Необходимо обратить внимание также на научно-
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
24
технический уровень самих пакетов и сопровождающей документации. Дополнительно к сказанному в начале этого раздела статьи приходится констатировать, что в популярных в настоящее время в России статистических пакетах нет примерно половины того, что разработано представителями отечественной вероятностно-статистической научной школы и включено в современные учебники [6, 19, 41, 42],
подготовленные в соответствии с рекомендациями Всесоюзной статистической ассоциации и - позже - Российской ассоциации статистических методов. Сказанное легко проверить, сопоставив содержание указанных учебников и перечень методов, включенных в распространенные пакеты. Поэтому в МГТУ им. Н.Э. Баумана мы сознательно избегаем использования в учебном процессе пакетов SPSS, STATISTICA, SNATGRAPHICS, чтобы не приучать студентов к статистике 60-70-х годов прошлого века. Однако, поскольку нет современных пакетов, приходится для практических расчетов
использовать устаревшие программные продукты.
Тиражи пакетов и учебников сопоставимы. Пакет STATGRAPHICS имеет более 40 тыс. зарегистрированных пользователей, учебник «Прикладная статистика» [41] выпущен тиражом 3 тыс. экземпляров, электронную версию с сайта «Высокие статистические технологии» скачали 44,6 тыс. пользователей (по состоянию на 26.07.2014). Поэтому состав пакетов и качество документации имеют большое значение. Они во многом определяют качество прикладных научных работ и обоснованность хозяйственных решений.
Отметим, что по сравнению с 80-ми годами к настоящему времени наметился рост внимания к статистическим технологиям [43], а не только к их составляющим - конкретным методам обработки данных. В этом суть популярного ныне подхода Data Mining (на русском - «добыча данных», «интеллектуальный анализ данных»). Термин Data Mining введен
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
25
эмигрантом из СССР Г. Пятецким-Шапиро в 1989 г. Задачи, решаемые Data Mining, - классификация, кластеризация, регрессия, ассоциация (поиск повторяющихся паттернов, например, поиск устойчивых связей) -это типичные задачи прикладной статистики. Новизна состоит в разработке технологий добычи полезных для практики выводов из данных путем решения ряда таких задач.
Еще более выражена отмеченная тенденция в технологии «Шесть сигм» [60]. Эта технология, первоначально позиционированная как «революционный метод управления качеством», основана на применении теории принятия решений [42] и прикладной статистики [41]. Мы ее рассматриваем как подход к совершенствованию бизнеса [61] и как новую систему внедрения математических методов исследования [62].
Итак, статистические пакеты - интеллектуальные инструменты, необходимые широким кругам научных работников, инженеров, менеджеров. Однако распространенные в настоящее время статистические программные продукты отстают от современного уровня научных исследований примерно на 30 лет. Весьма актуальна задача разработки статистических пакетов нового поколения, соответствующих современному научному уровню и одновременно обеспечивающих удобства пользователей, достигнутые в популярных ныне пакетах. Эта задача должна решаться одновременно с созданием систем обучения, сопровождения и внедрения пакетов нового поколения, в частности, в соответствии с технологиями типа «Шесть сигм».
Литература
1. Орлов А.И. Основные черты новой парадигмы математической статистики / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №06(090). С. 187 - 213. - IDA [article ID]: 0901306013. - Режим доступа: http://ei.kubagro.ru/2013/06/pdf/13.pdf
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
26
2. Орлов А.И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. Том 78. №1, часть I. С. 87 - 93.
3. Орлов А. И. Новая парадигма анализа статистических и экспертных данных в задачах экономики и управления / А. И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. -№04(098). С. 105 - 125. - IDA [article ID]: 0981404008. - Режим доступа: http://ei.kubagro.ru/2014/04/pdf/08.pdf
4. Орлов А.И. Новая парадигма математических методов экономики // Экономический анализ: теория и практика. - 2013. - № 36 (339). - С.25-30.
5. Орлов А.И. Теоретические инструменты статистических методов / А. И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №07(101). С. 253 - 274. - IDA [article ID]: 1011407014. - Режим доступа: http://ei.kubagro.ru/2014/07/pdf/14.pdf
6. Орлов А.И. Эконометрика. Учебник для вузов. Изд. 3-е, исправленное и дополненное. - М.: Изд-во «Экзамен», 2004. - 576 с.
7. Колмогоров А.Н. Теория информации и теория алгоритмов. - М.: Наука, 1987. - 304 с.
8. Ермаков С.М. Метод Монте-Карло и смежные вопросы. - М.: Наука,
1975. - 471 с.
9. Ермаков С.М., Михайлов Г.А. Статистическое моделирование. - М.: Наука, 1982. - 296 с.
10. Иванова И.М. Случайные числа и их применения. - М.: Финансы и статистика, 1984. - 111 с.
11. Ермаков С.М. О датчиках случайных чисел // Заводская лаборатория. Диагностика материалов. 1993. Т.59. № 7. С. 48 - 50.
12. Орлов А.И. Комментарий к статье С.М. Ермакова «О датчиках случайных чисел» // Заводская лаборатория. Диагностика материалов. 1993. Т.59. № 7. С. 51 - 52.
13. Орлов А. И. Об оценивании регрессионного полинома // Заводская лаборатория. Диагностика материалов. 1994. Т.60. № 5. С. 43 - 47.
14. Орлов А.И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Заводская лаборатория. Диагностика материалов. 1987. Т.53. № 3. С .90 - 91.
15. Орлов А.И. Всемирный Конгресс Общества им. Бернулли // Стандарты и качество. 1987. № 5. С. 105 - 106.
16. Орлов А. И. Первый Всемирный конгресс Общества математической статистики и теории вероятностей им. Бернулли // Надежность и контроль качества. 1987. № 6. С. 54 - 59.
17. Неуймин Я.Г. Модели в науке и технике. История, теория, практика. - Л.: Наука, 1984. - 190 с.
18. Моисеев Н.Н. Математические задачи системного анализа. - М.: Наука,
1981. - 488 с.
19. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.2. Экспертные оценки. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. - 486 с.
20. Модели и методы анализа и синтеза сценариев развития социальноэкономических систем / Под ред. В.В. Шульца, В.В. Кульбы; Центр исследования. проблем безопасности РАН, Ин-т проблем управления им. В.А. Трапезникова РАН. В двух книгах. Кн. 1. - М.: Наука, 2012. - 304 с.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
27
21. Модели и методы анализа и синтеза сценариев развития социальноэкономических систем / Под ред. В.В. Шульца, В.В. Кульбы; Центр исследования проблем безопасности РАН, Ин-т проблем управления им. В.А. Трапезникова РАН. В двух книгах. Кн. 2. - М.: Наука, 2012. - 358 с.
22. Нейлор Т. Машинные имитационные эксперименты с моделями экономических систем. - М.: Мир, 1975. - 500 с.
23. Эфрон Б. Нетрадиционные методы многомерного статистического анализа. - М.: Финансы и статистика, 1988. - 263 с.
24. Орлов А.И. Организационно-экономическое моделирование : учебник : в 3 ч. Ч.3. Статистические методы анализа данных. - М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. - 624 с.
25. Орлов А.И. О реальных возможностях бутстрепа как статистического метода // Заводская лаборатория. 1987. Т.53. № 10. С. 82 - 85.
26. Орлов А. И. Оценки плотности распределения вероятностей в пространствах произвольной природы / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. -№05(099). С. 33 - 49. - IDA [article ID]: 0991405003. - Режим доступа: http://ei.kubagro.ru/2014/05/pdf/03.pdf
27. Кульбак С. Теория информации и статистика. - M.: Наука, 1967. - 408 с.
28. Луценко Е.В. Автоматизированный системно-когнитивный анализ в
управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). -
Краснодар: КубГАУ. 2002. - 605 с.
29. Луценко Е.В. Метризация измерительных шкал различных типов и
совместная сопоставимая количественная обработка разнородных факторов в
системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ei.kubagro.ru/2013/08/pdf/58.pdf.
30. Луценко Е.В. Теоретические основы, технология и инструментарий автоматизированного системно-когнитивного анализа и возможности его применения для сопоставимой оценки эффективности вузов / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №04(088). С. 340 - 359. - IDA [article ID]: 0881304022. - Режим доступа: http://ei.kubagro.ru/2013/04/pdf/22.pdf,
31. Луценко Е. В. Системно-когнитивный анализ и система «Эйдос» и их применение для построения интеллектуальных измерительных систем // Заводская лаборатория. Диагностика материалов. 2014. Т.80. №5. С. 64 - 74.
32. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.
33. Контроллинг: 10 лет (Интервью подготовлено Ивановой Н.Ю.) // Контроллинг. 2013. №4 (50). С.88-95.
34. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 272 с.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
28
35. Контроллинг / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова; под ред. А.М. Карминского, С.Г. Фалько. - 3-е изд., дораб. - М.: ИД «ФОРУМ»: ИНФРА-М, 2013. - 336 с.
36. Орлов А.И. Новая область контроллинга - контроллинг организационно-
экономических методов / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №05(099). С. 50 - 72. - IDA [article ID]: 0991405004. - Режим доступа:
http://ei.kubagro.ru/2014/05/pdf/04.pdf
37. Коржаков В.Е., Луценко Е.В. АСК-анализ как адекватный инструмент контроллинга и менеджмента для средней и малой фирмы // Научный журнал КубГАУ [Электронный ресурс]. - Краснодар: КубГАУ, 2010. - №09(63). - Режим доступа: http://ei.kubagro.ru/2010/09/pdf/02.pdf
38. Луценко Е.В., Коржаков В.Е. Автоматизированный системно-
когнитивный анализ как перспективный инструмент контроллинга и менеджмента в российской корпорации экономики знаний // В сб. Актуальные проблемы управления корпорацией и человеческим капиталом в экономике знаний: сб. науч. тр. / под ред.
С.Г. Фалько. Краснодар: Кубанский гос. ун-т, 2011. - С. 141-161.
39. Ермоленко В. В., Луценко Е. В., Коржаков В. Е. Интеллектуальные системы в контроллинге и менеджменте средних и малых фирм Монография (научное издание). Под науч. ред. д.э.н., проф. Е.В. Луценко.- Майкоп: АГУ. 2011. - 392 с.
40. Хайкин С. Нейронные сети: полный курс. 2-е изд. — М.: Вильямс, 2006. — 1104 с.
41. Орлов А.И. Прикладная статистика. - М.: Экзамен, 2006. - 671 с.
42. Орлов А.И. Теория принятия решений. - М.: Экзамен, 2006. - 576 с.
43. Орлов А.И. Высокие статистические технологии // Заводская лаборатория. Диагностика материалов. 2003. Т.69. № 11. С. 55 - 60.
44. Орлов А. И. Теория нечетких множеств - часть теории вероятностей / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №08(092). С. 589 - 617. - IDA [article ID]: 0921308039. - Режим доступа: http://ei.kubagro.ru/2013/08/pdf/39.pdf
45. Орлов А.И. Системная нечеткая интервальная математика (СНИМ) -перспективное направление теоретической и вычислительной математики / А. И. Орлов, Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №07(091). С. 255 - 308. - IDA [article ID]: 0911307015. - Режим доступа: http://ei.kubagro.ru/2013/07/pdf/15.pdf
46. Орлов А.И. Статистические пакеты - инструменты исследователя // Заводская лаборатория. Диагностика материалов. 2008. Т.74. № 5. С. 76 - 78.
47. Орлов А.И. Сертификация и статистические методы (обобщающая статья) // Заводская лаборатория. Диагностика материалов. 1997. Т.63. № 3. С. 55 - 62.
48. Орлов А.И. Внедрение современных статистических методов с помощью персональных компьютеров // Качество и надежность изделий. № 5 (21). - М.: Знание, 1992. - С. 51 - 78.
49. Жалис Э.А., Статулявичюс В.В., Хохлов В.И. Две выставки // Теория вероятностей и ее применения. 1990. Т.35. № 1. С. 189 - 196.
50. Орлов А. И. Математическое обеспечение сертификации: сравнительный анализ диалоговых систем по статистическому контролю // Заводская лаборатория. 1996. Т.62. № 7. С. 46 - 49.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
29
51. Смирнова О.С. Программное обеспечение для статистического анализа // Заводская лаборатория. Диагностика материалов. 2008. Т.74. № 5. С. 68 - 75.
52. Орлов А.И. О проверке однородности двух независимых выборок // Заводская лаборатория. Диагностика материалов. 2003. Т.69. № 1. С.55 - 60.
53. Орлов А.И. Распространенная ошибка при использовании критериев Колмогорова и омега-квадрат // Заводская лаборатория. Диагностика материалов. 1985. Т.51. № 1. С. 60 - 62.
54. Орлов А. И. Непараметрические критерии согласия Колмогорова,
Смирнова, Омега-квадрат и ошибки при их применении / А.И. Орлов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №03(097). С. 647 - 675. - IDA [article ID]: 0971403047. - Режим доступа: http://ei.kubagro.ru/2014/03/pdf/47.pdf
55. Орлов А.И. Какие гипотезы можно проверять с помощью
двухвыборочного критерия Вилкоксона? / Заводская лаборатория. Диагностика материалов. 1999. Т.65. № 1. С. 51 - 55.
56. Орлов А.И. О создании Статистической федерации СССР и Московской статистической федерации // Заводская лаборатория. Диагностика материалов. 1990. Т.56. № 5. С.100 - 101.
57. Орлов А.И. Создана единая статистическая ассоциация // Вестник Академии наук СССР. 1991. № 7. С. 152 - 153.
58. Орлов А. И. О современных проблемах внедрения прикладной статистики и других статистических методов // Заводская лаборатория. Диагностика материалов. 1992. Т.58. № 1. С. 67 - 74.
59. Налимов В. В. О преподавании математики экспериментаторам // О
преподавании математической статистики экспериментаторам. Препринт Межфакультетской лаборатории статистических методов № 17. - М.: Изд-во
Московского университета им. М.В. Ломоносова, 1971. - С.5 - 39.
60. Панде П., Холп Л. Что такое «Шесть сигм»? Революционный метод управления качеством / Пер. с англ. - М.: Альпина Бизнес Букс, 2004. - 158 с.
61. Фалько С.Г., Орлов А.И. «Шесть сигм» как подход к совершенствованию бизнеса // Контроллинг. 2004. № 4 (12). С. 42 - 46.
62. Орлов А.И. «Шесть сигм» - новая система внедрения математических методов исследования // Заводская лаборатория. Диагностика материалов. 2006. Т.72. № 5. С. 50 - 53.
References
1. Orlov A.I. Osnovnye cherty novoj paradigmy matematicheskoj statistiki / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №06(090). S. 187 - 213. - IDA [article ID]: 0901306013. - Rezhim dostupa: http://ej.kubagro.ru/2013/06/pdf/13.pdf
2. Orlov A.I. Novaja paradigma prikladnoj statistiki // Zavodskaja laboratorija. Diagnostika materialov. 2012. Tom 78. №1, chast' I. S. 87 - 93.
3. Orlov A.I. Novaja paradigma analiza statisticheskih i jekspertnyh dannyh v zadachah jekonomiki i upravlenija / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №04(098). S. 105 -
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
30
125. - IDA [article ID]: 0981404008. - Rezhim dostupa:
http://ej.kubagro.ru/2014/04/pdf/08.pdf
4. Orlov A.I. Novaja paradigma matematicheskih metodov jekonomiki // Jekonomicheskij analiz: teorija i praktika. - 2013. - № 36 (339). - S.25-30.
5. Orlov A.I. Teoreticheskie instrumenty statisticheskih metodov / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №07(101). S. 253 - 274. - IDA [article ID]: 1011407014. - Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/14.pdf
6. Orlov A.I. Jekonometrika. Uchebnik dlja vuzov. Izd. 3-e, ispravlennoe i dopolnennoe. -M.: Izd-vo «Jekzamen», 2004. - 576 s.
7. Kolmogorov A.N. Teorija informacii i teorija algoritmov. - M.: Nauka, 1987. - 304 s.
8. Ermakov S.M. Metod Monte-Karlo i smezhnye voprosy. - M.: Nauka, 1975. - 471 s.
9. Ermakov S.M., Mihajlov G.A. Statisticheskoe modelirovanie. - M.: Nauka, 1982. - 296 s.
10. Ivanova I.M. Sluchajnye chisla i ih primenenija. - M.: Finansy i statistika, 1984. - 111 s.
11. Ermakov S.M. O datchikah sluchajnyh chisel // Zavodskaja laboratorija. Diagnostika materialov. 1993. T.59. № 7. S. 48 - 50.
12. Orlov A.I. Kommentarij k stat'e S.M. Ermakova «O datchikah sluchajnyh chisel» // Zavodskaja laboratorija. Diagnostika materialov. 1993. T.59. № 7. S. 51 - 52.
13. Orlov A.I. Ob ocenivanii regressionnogo polinoma // Zavodskaja laboratorija. Diagnostika materialov. 1994. T.60. № 5. S. 43 - 47.
14. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Zavodskaja laboratorija. Diagnostika materialov. 1987. T.53. № 3. S .90 - 91.
15. Orlov A.I. Vsemirnyj Kongress Obshhestva im. Bernulli // Standarty i kachestvo. 1987. № 5. S. 105 - 106.
16. Orlov A.I. Pervyj Vsemirnyj kongress Obshhestva matematicheskoj statistiki i teorii verojatnostej im. Bernulli // Nadezhnost' i kontrol' kachestva. 1987. № 6. S. 54 - 59.
17. Neujmin Ja.G. Modeli v nauke i tehnike. Istorija, teorija, praktika. - L.: Nauka, 1984. -190 s.
18. Moiseev N.N. Matematicheskie zadachi sistemnogo analiza. - M.: Nauka, 1981. - 488 s.
19. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch.2. Jekspertnye ocenki. - M.: Izd-vo MGTU im. N.Je. Baumana, 2011. - 486 s.
20. Modeli i metody analiza i sinteza scenariev razvitija social'no-jekonomicheskih sistem / Pod red. V.V. Shul'ca, V.V. Kul'by; Centr issledovanija. problem bezopasnosti RAN, In-t problem upravlenija im. V.A. Trapeznikova RAN. V dvuh knigah. Kn. 1. - M.: Nauka, 2012. - 304 s.
21. Modeli i metody analiza i sinteza scenariev razvitija social'no-jekonomicheskih sistem / Pod red. V.V. Shul'ca, V.V. Kul'by; Centr issledovanija problem bezopasnosti RAN, In-t problem upravlenija im. V.A. Trapeznikova RAN. V dvuh knigah. Kn. 2. - M.: Nauka, 2012. - 358 s.
22. Nejlor T. Mashinnye imitacionnye jeksperimenty s modeljami jekonomicheskih sistem. -M.: Mir, 1975. - 500 s.
23. Jefron B. Netradicionnye metody mnogomernogo statisticheskogo analiza. - M.: Finansy i statistika, 1988. - 263 s.
24. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie : uchebnik : v 3 ch. Ch.3. Statisticheskie metody analiza dannyh. - M.: Izd-vo MGTU im. N.Je. Baumana, 2012. -624 s.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
31
25. Orlov A.I. O real'nyh vozmozhnostjah butstrepa kak statisticheskogo metoda // Zavodskaja laboratorija. 1987. T.53. № 10. S. 82 - 85.
26. Orlov A.I. Ocenki plotnosti raspredelenija verojatnostej v prostranstvah proizvol'noj prirody / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №05(099). S. 33 - 49. - IDA [article ID]: 0991405003. - Rezhim dostupa: http://ej.kubagro.ru/2014/05/pdf/03.pdf
27. Kul'bak S. Teorija informacii i statistika. - M.: Nauka, 1967. - 408 s.
28. Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz v upravlenii aktivnymi ob#ektami (sistemnaja teorija informacii i ee primenenie v issledovanii jekonomicheskih, social'no-psihologicheskih, tehnologicheskih i organizacionno-tehnicheskih sistem): Monografija (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605 s.
29. Lucenko E.V. Metrizacija izmeritel'nyh shkal razlichnyh tipov i sovmestnaja
sopostavimaja kolichestvennaja obrabotka raznorodnyh faktorov v sistemno-kognitivnom analize i sisteme «Jejdos» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa:
http://ej.kubagro.ru/2013/08/pdf/58.pdf,
30. Lucenko E.V. Teoreticheskie osnovy, tehnologija i instrumentarij avtomatizirovannogo sistemno-kognitivnogo analiza i vozmozhnosti ego primenenija dlja sopostavimoj ocenki jeffektivnosti vuzov / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. -№04(088). S. 340 - 359. - IDA [article ID]: 0881304022. - Rezhim dostupa: http://ej.kubagro.ru/2013/04/pdf/22.pdf,
31. Lucenko E.V. Sistemno-kognitivnyj analiz i sistema «Jejdos» i ih primenenie dlja postroenija intellektual'nyh izmeritel'nyh sistem // Zavodskaja laboratorija. Diagnostika materialov. 2014. T.80. №5. S. 64 - 74.
32. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika. Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s.
33. Kontrolling: 10 let (Interv'ju podgotovleno Ivanovoj N.Ju.) // Kontrolling. 2013. №4 (50). S.88-95.
34. Fal'ko S.G. Kontrolling dlja rukovoditelej i specialistov. - M.: Finansy i statistika, 2008. - 272 s.
35. Kontrolling / A.M. Karminskij, S.G. Fal'ko, A.A. Zhevaga, N.Ju. Ivanova; pod red. A.M. Karminskogo, S.G. Fal'ko. - 3-e izd., dorab. - M.: ID «FORUM»: INFRA-M, 2013. -336 s.
36. Orlov A.I. Novaja oblast' kontrollinga - kontrolling organizacionno-jekonomicheskih metodov / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №05(099). S. 50 - 72. - IDA [article ID]: 0991405004. - Rezhim dostupa: http://ej.kubagro.ru/2014/05/pdf/04.pdf
37. Korzhakov V.E., Lucenko E.V. ASK-analiz kak adekvatnyj instrument kontrollinga i
menedzhmenta dlja srednej i maloj firmy // Nauchnyj zhurnal KubGAU [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2010. - №09(63). - Rezhim dostupa:
http://ej.kubagro.ru/2010/09/pdf/02.pdf
38. Korzhakov V.E., Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz kak perspektivnyj instrument kontrollinga i menedzhmenta v rossijskoj korporacii jekonomiki znanij // V sb. Aktual'nye problemy upravlenija korporaciej i chelovecheskim kapitalom
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
32
v jekonomike znanij: sb. nauch. tr. / pod red. S.G. Fal'ko. Krasnodar: Kubanskij gos. un-t,
2011. - S.141-161.
39. Ermolenko V.V., Lucenko E.V., Korzhakov V.E. Intellektual'nye sistemy v kontrollinge i menedzhmente srednih i malyh firm Monografija (nauchnoe izdanie). Pod nauch. red. d.je.n., prof. E.V. Lucenko.- Majkop: AGU. 2011. - 392 s.
40. Hajkin S. Nejronnye seti: polnyj kurs. 2-e izd. — M.: Vil'jams, 2006. — 1104 s.
41. Orlov A.I. Prikladnaja statistika. - M.: Jekzamen, 2006. - 671 s.
42. Orlov A.I. Teorija prinjatija reshenij. - M.: Jekzamen, 2006. - 576 s.
43. Orlov A.I. Vysokie statisticheskie tehnologii // Zavodskaja laboratorija. Diagnostika materialov. 2003. T.69. № 11. S. 55 - 60.
44. Orlov A.I. Teorija nechetkih mnozhestv - chast' teorii verojatnostej / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 589 - 617. - IDA [article ID]: 0921308039. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/39.pdf
45. Orlov A.I. Sistemnaja nechetkaja interval'naja matematika (SNIM) - perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki / A.I. Orlov, E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №07(091). S. 255 - 308. - IDA [article ID]: 0911307015. - Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/15.pdf
46. Orlov A.I. Statisticheskie pakety - instrumenty issledovatelja // Zavodskaja laboratorija. Diagnostika materialov. 2008. T.74. № 5. S. 76 - 78.
47. Orlov A.I. Sertifikacija i statisticheskie metody (obobshhajushhaja stat'ja) // Zavodskaja laboratorija. Diagnostika materialov. 1997. T.63. № 3. S. 55 - 62.
48. Orlov A.I. Vnedrenie sovremennyh statisticheskih metodov s pomoshh'ju personal'nyh komp'juterov // Kachestvo i nadezhnost' izdelij. № 5 (21). - M.: Znanie, 1992. - S. 51 -78.
49. Zhalis Je.A., Statuljavichjus V.V., Hohlov V.I. Dve vystavki // Teorija verojatnostej i ee primenenija. 1990. T.35. № 1. S. 189 - 196.
50. Orlov A.I. Matematicheskoe obespechenie sertifikacii: sravnitel'nyj analiz dialogovyh sistem po statisticheskomu kontrolju // Zavodskaja laboratorija. 1996. T.62. № 7. S. 46 -49.
51. Smirnova O.S. Programmnoe obespechenie dlja statisticheskogo analiza // Zavodskaja laboratorija. Diagnostika materialov. 2008. T.74. № 5. S. 68 - 75.
52. Orlov A.I. O proverke odnorodnosti dvuh nezavisimyh vyborok // Zavodskaja laboratorija. Diagnostika materialov. 2003. T.69. № 1. S.55 - 60.
53. Orlov A.I. Rasprostranennaja oshibka pri ispol'zovanii kriteriev Kolmogorova i omega-kvadrat // Zavodskaja laboratorija. Diagnostika materialov. 1985. T.51. № 1. S. 60 - 62.
54. Orlov A.I. Neparametricheskie kriterii soglasija Kolmogorova, Smirnova, Omega-
kvadrat i oshibki pri ih primenenii / A.I. Orlov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №03(097). S. 647 - 675. - IDA [article ID]: 0971403047. - Rezhim dostupa:
http://ej.kubagro.ru/2014/03/pdf/47.pdf
55. Orlov A.I. Kakie gipotezy mozhno proverjat' s pomoshh'ju dvuhvyborochnogo kriterija Vilkoksona? / Zavodskaja laboratorija. Diagnostika materialov. 1999. T.65. № 1. S. 51 -55.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
Научный журнал КубГАУ, №103(09), 2014 года
33
56. Orlov A.I. O sozdanii Statisticheskoj federacii SSSR i Moskovskoj statisticheskoj federacii // Zavodskaja laboratorija. Diagnostika materialov. 1990. T.56. № 5. S.100 -101.
57. Orlov A.I. Sozdana edinaja statisticheskaja associacija // Vestnik Akademii nauk SSSR. 1991. № 7. S. 152 - 153.
58. Orlov A.I. O sovremennyh problemah vnedrenija prikladnoj statistiki i drugih statisticheskih metodov // Zavodskaja laboratorija. Diagnostika materialov. 1992. T.58. № 1. S. 67 - 74.
59. Nalimov V.V. O prepodavanii matematiki jeksperimentatoram // O prepodavanii matematicheskoj statistiki jeksperimentatoram. Preprint Mezhfakul'tetskoj laboratorii statisticheskih metodov № 17. - M.: Izd-vo Moskovskogo universiteta im. M.V. Lomonosova, 1971. - S.5 - 39.
60. Pande P., Holp L. Chto takoe «Shest' sigm»? Revoljucionnyj metod upravlenija kachestvom / Per. s angl. - M.: Al'pina Biznes Buks, 2004. - 158 s.
61. Fal'ko S.G., Orlov A.I. «Shest' sigm» kak podhod k sovershenstvovaniju biznesa // Kontrolling. 2004. № 4 (12). S. 42 - 46.
62. Orlov A.I. «Shest' sigm» - novaja sistema vnedrenija matematicheskih metodov issledovanija // Zavodskaja laboratorija. Diagnostika materialov. 2006. T.72. № 5. S. 50 -53.
http://ej.kubagro.ru/2014/09/pdf/12.pdf
