CC BY
201
УДК 330.4:519.2
НОВАЯ ПАРАДИГМА АНАЛИЗА СТАТИСТИЧЕСКИХ И ЭКСПЕРТНЫХ ДАННЫХ В ЗАДАЧАХ ЭКОНОМИКИ И УПРАВЛЕНИЯ
UDC 330.4:519.2
NEW PARADIGM OF ANALYSIS OF STATISTICAL AND EXPERT DATA IN PROBLEMS OF ECONOMICS AND MANAGEMENT
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н., профессор
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5, prof-orlov@mail.т
Статья посвящена методам анализа статистических и экспертных данных в задачах экономики и управления, рассматриваемых в рамках научной специальности «Математические методы экономики», включающей организационноэкономическое и экономико-математическое моделирование, эконометрику и статистику, а также экономические аспекты теории принятия решений, системного анализа, кибернетики, исследования операций. Рассмотрены основные положения новой парадигмы этой научнопрактической области, разработанной автором настоящей статьи в 1980-х годах в процессе создания Всесоюзной статистической ассоциации. Новая парадигма сопоставлена со старой (соответствующей середине XX века). Дана сводка монографий, учебников и учебных пособий, подготовленных под руководством автора настоящей статьи в XXI в. в соответствии с новой парадигмой
Ключевые слова: НОВАЯ ПАРАДИГМА, АНАЛИЗ ДАННЫХ, ПРИКЛАДНАЯ СТАТИСТИКА, ЭКСПЕРТНЫЕ ОЦЕНКИ, ЭКОНОМИКА, УПРАВЛЕНИЕ, МАТЕМАТИЧЕСКИЕ МЕТОДЫ, ОРГАНИЗАЦИОННО-ЭКОНОМИЧЕСКОЕ МОДЕЛИРОВАНИЕ, ЭКОНОМЕТРИКА, ТЕОРИЯ ПРИНЯТИЯ РЕШЕНИЙ
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
Bauman Moscow State Technical University, Moscow, Russia
The article is devoted to the methods of analysis of statistical and expert data in problems of economics and management that are discussed in the framework of scientific specialization "Mathematical methods of economy", including organizational-economic and economic-mathematical modeling, econometrics and statistics, as well as economic aspects of decision theory, systems analysis, cybernetics, operations research. The main provisions of the new paradigm of this scientific and practical field are developed by the author of this article in the 1980s during the creation of the All-Union Statistical Association. The new paradigm is compared with the old (corresponding to the middle of XX century). Is summarized monographs, textbooks and manuals prepared under the leadership of the author of this paper in the XXI century according to the new paradigm
Keywords: NEW PARADIGM, DATA ANALYSIS, APPLIED STATISTICS, EXPERT ESTIMATES, ECONOMICS, MANAGEMENT, MATHEMATICAL METHODS, ORGANIZATIONAL-ECONOMIC MODELING, ECONOMETRICS, DECISION THEORY
1. Введение
Методы анализа статистических и экспертных данных в задачах экономики и управления (менеджмента) рассматриваем в рамках математических и инструментальных методов экономики - одной из специальностей научных работников, относящейся к экономическим наукам. Она посвящена разработке интеллектуальных инструментов для решения задач теории и практики экономического анализа, прежде всего
тех, в которых необходимо проводить сбор и обработку статистических и экспертных данных.
Так, конкретные модели и методы экономики предприятия и организации производства основаны, в частности, на научных результатах таких научных областей, как организационно-экономическое и экономикоматематическое моделирование, эконометрика и статистика. Эти научные области относятся к математическим методам экономики. Они предоставляют интеллектуальные инструменты для решения различных задач стратегического планирования и развития предприятий, организации производства и управления хозяйствующими субъектами,
конструкторской и технологической подготовки производства. В монографии [1] на с.395-424 выделено 195 групп задач управления промышленными предприятиями (в несколько иной терминологии, задач организации производства) и для них указаны базовые группы экономикоматематических методов и моделей.
Развитие методов анализа статистических и экспертных данных в задачах управления (менеджмента) и других математических методов экономики привело к формированию новой парадигмы в этой области, существенно отличающейся от послевоенной парадигмы, созданной в 1950-1970 гг. и используемой многими преподавателями и научными работниками и в настоящее время. Настоящая статья посвящена основным идеям новой парадигмы анализа статистических и экспертных данных в задачах экономики и управления (менеджмента), в более общих терминах - новой парадигмы математических методов экономики.
2. Основные понятия
Целесообразно начать с определений используемых понятий.
Термин «парадигма» происходит от греческого «paradeigma» — пример, образец и означает совокупность явных и неявных (и часто не
осознаваемых) предпосылок, определяющих научные исследования и прикладные разработки и признанных на определенном этапе развития науки [2].
Организационно-экономическое моделирование - научная, практическая и учебная дисциплина, посвященная разработке, изучению и применению математических и статистических методов и моделей в экономике и управлении народным хозяйством, прежде всего такими составляющими народного хозяйства, как промышленные предприятия и их объединения [3].
Экономико-математическое моделирование — описание экономических процессов и явлений в виде экономико-математических моделей. При этом под экономико-математической моделью понимаем математическое описание экономического процесса или объекта, произведенное в целях их исследования и управления ими, т.е. математическую запись решаемой экономической задачи (поэтому часто термины «модель» и «задача» употребляются как синонимы). В самой общей форме модель — условный образ объекта исследования, сконструированный для упрощения этого исследования. При построении модели предполагается, что ее непосредственное изучение дает новые знания о моделируемом объекте [4].
Эконометрика - это наука, изучающая конкретные количественные и качественные взаимосвязи экономических объектов и процессов с помощью математических и статистических методов и моделей [5]. Обычно используют несколько более узкое определение: эконометрика -это статистические методы в экономике [6].
Статистика исходит прежде всего из опыта; недаром ее зачастую определяют как науку об общих способах обработки результатов эксперимента [7]. Прикладная статистика - это наука о том, как обрабатывать данные [8].
Очевидна близость, переплетение, зачастую совпадение всех научных, практических и учебных дисциплин, рассмотренных выше. К ним можно прибавить еще несколько: теорию принятия решений, системный анализ, кибернетику, исследование операций... Исходя из нашего профессионального опыта, попытки искусственно ввести границы между этими дисциплинами не являются плодотворными.
На Вторых Чарновских чтениях (Второй международной научной конференции по организации производства) [9] работала секция
«Организационно-экономическое и экономико-математическое
моделирование, эконометрика и статистика». Это название было получено путем объединения названий учебных дисциплин «Организационноэкономическое моделирование», «Эконометрика», «Прикладная
статистика», «Статистика», которые изучаются студентами Научноучебного комплекса «Инженерный бизнес и менеджмент», а также названия Лаборатории экономико-математических методов в контроллинге Научно-образовательного центра «Контроллинг и управленческие инновации» Московского государственного технического университета им. Н.Э. Баумана. На заседании секции была проведена дискуссия по выбору наиболее адекватного названия научной области, к которой относились представленные работы. Приведенное выше название признано слишком длинным. Название «Организационно-математическое моделирование» отклонено как малоизвестное и неоправданно сужающее рассматриваемую тематику. Одобрено название «Математическое
моделирование в организации производства», а при проведении
конференций по более широкой тематике - «Математическое
моделирование экономики и управления». Заметная доля исследований в этой области относятся к научной специальности «Математические и инструментальные методы экономики», практически все используют те
или иные математические методы экономики или посвящены их теоретическому исследованию.
3. Разработка новой парадигмы
Организационно-экономическое и экономико-математическое моделирование, эконометрика и статистика предоставляют интеллектуальные инструменты для решения различных задач организации производства и управления предприятиями и организациями. Например, в учебнике по организации и планированию машиностроительного производства (производственному менеджменту) [10] более 20 раз используются эконометрические (если угодно, математические и статистические) методы и модели [11].
Рассматриваемые методы широко используются для решения различных задач теории и практики экономического анализа. В частности, проводится когнитивное моделирование [12] развития наукоемкой промышленности (на примере оборонно-промышленного комплекса), модельное обоснование инновационного развития наукоемкого сектора российской экономики [13]. Моделируют организационные изменения [14], применяют информационные технологии [15]. Все шире используются экспертные оценки [16], в том числе для построения обобщенных показателей (рейтингов) [17].
Во второй половине 1980-х гг. в нашей стране развернулось общественное движение по созданию профессионального объединения специалистов в области организационно-экономического и экономикоматематического моделирования, эконометрики и статистики (кратко -статистиков). Аналоги такого объединения - британское Королевское статистическое общество (основано в 1834 г.) и Американская статистическая ассоциация (создана в 1839 г.). К сожалению, деятельность учрежденной в 1990 г. Всесоюзной статистической ассоциации (ВСА) [18]
оказалась парализованной в результате развала СССР. Наиболее полезным результатом деятельности созданных позже Российской ассоциации статистических методов (1992) и Российской академии статистических методов (1996) оказался цикл монографий и учебников, выполненных в рамках новой парадигмы анализа статистических и экспертных данных. Этот цикл монографий и учебников описан в разделе 5 настоящей статьи.
В ходе организации ВСА коллективными усилиями проанализировано состояние и перспективы развития рассматриваемой области научно-прикладных исследований и осознаны (сформулированы, выделены) основы уже сложившейся к концу 1980-х гг. новой парадигмы анализа статистических и экспертных данных, другими словами, новой парадигмы организационно-экономического моделирования, эконометрики и статистики, новой парадигмы математических методов экономики..
В течение дальнейших лет новая парадигма развивалась и к настоящему времени оформлена в виде серии монографий и учебников для вузов, состоящей более чем из 10 книг.
4. Сравнение старой и новой парадигм
Типовые исходные данные в новой парадигме - объекты нечисловой природы (элементы нелинейных пространств, которые нельзя складывать и умножать на число, например, множества, бинарные отношения), а в старой - числа, конечномерные векторы, функции. Ранее (в старой парадигме) для расчетов использовались разнообразные суммы, однако объекты нечисловой природы нельзя складывать, поэтому в новой парадигме применяется другой математический аппарат, основанный на расстояниях между объектами нечисловой природы и решении задач оптимизации.
Изменились постановки задач анализа данных и экономикоматематического моделирования. Старая парадигма математической статистики исходит из идей начала ХХ в., когда К. Пирсон предложил четырехпараметрическое семейство распределений для описания распределений реальных данных. В это семейство как частные случаи входят, в частности, подсемейства нормальных, экспоненциальных, Вейбулла-Гнеденко, гамма-распределений. Сразу было ясно, что распределения реальных данных, как правило, не входят в семейство распределений Пирсона (об этом говорил, например, академик С.Н. Бернштейн в 1927 г. в докладе на Всероссийском съезде математиков [19]). Однако математическая теория параметрических семейств распределений (методы оценивание параметров и проверки гипотез) оказалась достаточно интересной, и именно на ней до сих пор основано преподавание во многих вузах. Итак, в старой парадигме основной подход к описанию данных -распределения из параметрических семейств, а оцениваемые величины -их параметры, в новой парадигме рассматривают произвольные распределения, а оценивают - характеристики и плотности распределений, зависимости, правила диагностики и др. Центральная часть теории - уже не статистика числовых случайных величин, а статистика в пространствах произвольной природы, т.е. нечисловая статистика [3].
В старой парадигме источники постановок новых задач -выраженные в устоявшихся математических формулировках традиции, сформировавшиеся к середине ХХ века, а в новой - современные потребности математического моделирования и анализа данных (XXI век), т.е. запросы практики. Конкретизируем это общее различие. В старой парадигме типовые результаты - предельные теоремы, в новой -рекомендации для конкретных значений параметров, в частности, объемов выборок. Изменилась роль информационных технологий - ранее они использовались в основном для расчета таблиц (в частности, информатика
находилась вне математической статистики), теперь же они - инструменты получения выводов (имитационное моделирование, датчики псевдослучайных чисел, методы размножение выборок, в т.ч. бутстреп, и др.). Вид постановок задач приблизился к потребностям практики - при анализе данных от отдельных задач оценивания и проверки гипотез перешли к статистическим технологиям (технологическим процессам анализа данных). Выявилась важность проблемы «стыковки алгоритмов» -влияния выполнения предыдущих алгоритмов в технологической цепочке на условия применимости последующих алгоритмов. В старой парадигме эта проблема не рассматривалась, для новой - весьма важна.
Если в старой парадигме вопросы методологии моделирования практически не обсуждались, достаточными признавались схемы начала ХХ в., то в новой парадигме роль методологии (учения об организации деятельности) [20] является основополагающей. Резко повысилась роль моделирования - от отдельных систем аксиом произошел переход к системам моделей. Сама возможность применения вероятностного подхода теперь - не «наличие повторяющегося комплекса условий» (реликт физического определения вероятности, использовавшегося до аксиоматизации теории вероятностей А.Н. Колмогоровым в 1930-х гг.), а наличие обоснованной вероятностно-статистической модели. Если раньше данные считались полностью известными, то для новой парадигмы характерен учет свойств данных, в частности, интервальных и нечетких. Изменилось отношение к вопросам устойчивости выводов - в старой парадигме практически отсутствовал интерес к этой тематике, в новой разработана развитая теория устойчивости (робастности) выводов по отношению к допустимым отклонениям исходных данных и предпосылок моделей.
Приведенные выше результаты сравнения парадигм удобно представить в виде таблицы 1.
Таблица 1. Сравнение основных характеристик старой и новой парадигм
Характеристика Старая парадигма Новая парадигма
Типовые исходные данные Числа, конечномерные вектора, функции Объекты нечисловой природы [3]
Основной подход к моделированию данных Распределения из параметрических семейств Произвольные функции распределения
Основной математический аппарат Суммы и функции от сумм Расстояния и алгоритмы оптимизации [3]
Источники постановок новых задач Традиции, сформировавшиеся к середине ХХ века Современные прикладные потребности анализа данных (XXI век)
Отношение к вопросам устойчивости выводов Практически отсутствует интерес к устойчивости выводов Развитая теория устойчивости (робастности) выводов [1]
Оцениваемые величины Параметры распределений Характеристики, функции и плотности распределений, зависимости, правила диагностики и др.
Возможность применения Наличие повторяющегося комплекса условий Наличие обоснованной вероятностно-статистической модели
Центральная часть теории Статистика числовых случайных величин Нечисловая статистика [3]
Роль информационных технологий Только для расчета таблиц (информатика находится вне статистики) Инструменты получения выводов (датчики псевдослучайных чисел, размножение выборок, в т.ч. бутстреп, и др.)
Точность данных Данные полностью известны Учет неопределенности данных, в частности, интервальности и нечеткости [3]
Типовые результаты Предельные теоремы (при росте объемов выборок) Рекомендации для конкретных объемов выборок
Вид постановок задач Отдельные задачи оценивания параметров и проверки гипотез Высокие статистические технологии (технологические процессы анализа данных) [21]
Стыковка алгоритмов Не рассматривается Весьма важна при разработке процессов анализа данных
Роль моделирования Мала (отдельные системы аксиом) Системы моделей - основа анализа данных
Анализ экспертных оценок Отдельные алгоритмы Прикладное «зеркало» общей теории [22]
Роль методологии Практически отсутствует Основополагающая [1, 23]
5. Публикации по новой парадигме
В 1992 г. на базе секции статистических методов Всесоюзной статистической ассоциации была организована Российская ассоциация статистических методов, а в 1996 г. - Российская академия статистических методов. В соответствии с новой парадигмой проводились научные исследования, публиковались статьи, по рассматриваемой тематике (в частности, по эконометрике) были организованы семинары и конференции. Однако размах работ постепенно сокращался, как и число участвующих в них исследователей. Поэтому на рубеже тысячелетий нами было принято решение сосредоточить усилия на подготовке учебной литературы, соответствующей новой парадигме.
Первым был учебник по эконометрике [6], переизданный в 2003 г. и в 2004 г. Четвертое издание «Эконометрики» [24] существенно
переработано. Оно соответствует первому семестру курса, в отличие от первых трех изданий, содержащих материалы для годового курса. В [24] включены новые разделы, полностью обновлена глава про индекс инфляции, добавлено методическое обеспечение.
В фундаментальном курсе по прикладной статистике [8] в рамках новой парадигмы рассмотрены как нечисловая статистика, так и классические разделы прикладной статистики, посвященные методам обработки данных, являющихся элементами линейных пространств -чисел, векторов и функций (временных рядов).
В том же году в рамках новой парадигмы был выпущен курс теории принятия решений [25]. Его сокращенный (в 1,5 раза) вариант вышел годом раньше [26].
В соответствии с потребностями практики в России в 2005 г. введена новая учебная специальность 220701 «Менеджмент высоких технологий», относящаяся к тогда же введенному направлению подготовки 220700 «Организация и управление наукоемкими производствами»,
предназначенному для обеспечения инженерами-менеджерами
высокотехнологичных предприятий. Большинство студентов научноучебного комплекса «Инженерный бизнес и менеджмент» МГТУ им. Н.Э. Баумана обучаются по этой специальности. Общий взгляд на нее представлен в учебнике [27].
Государственным образовательным стандартом по специальности «Менеджмент высоких технологий» предусмотрено изучение дисциплины «Организационно-экономическое моделирование». Одноименный учебник выпущен в трех частях (томах). Первая из них [3] посвящена сердцевине новой парадигмы - нечисловой статистике. Ее прикладное «зеркало» -вторая часть [22], современный учебник по экспертным оценкам. В третьей части [28] наряду с основными постановками задач анализа данных (чисел, векторов, временных радов) и конкретными статистическими методами анализа данных классических видов (чисел, векторов, временных рядов) рассмотрены вероятностно-статистические модели в технических и экономических исследованиях, медицине, социологии, истории, демографии, а также метод когнитивных карт (статистические модели динамики).
В названиях еще двух учебников есть термин «организационноэкономическое моделирование». Это книги по менеджменту [29] и по теории принятия решений [30], в которых содержание соответствует новой парадигме, в частности, подходам организационно-экономического моделирования. Отметим, что, в учебнике [30] значительно большее внимание по сравнению с [25] уделено теории и практике экспертных оценок, в то время как главы, посвященные обсуждению проблем менеджмента, выделены для обсуждения в отдельное издание [29].
К рассмотренному выше корпусу учебников примыкают справочник по минимально необходимым для решения прикладных задач экономики и управления понятиям теории вероятностей и прикладной математической
статистики [31] и книги по промышленной и экологической безопасности [32] и [33], в которых большое место занимает изложение научных результатов в соответствии с новой парадигмой, в частности, активно используются современные статистические и экспертные методы, математическое моделирование. Опубликовано еще несколько изданий, но от их рассмотрения воздержимся.
Публикация учебной литературы на основе новой парадигмы шла непросто. Зачастую издать удавалось с третьего - четвертого раза. Неоценима поддержка Научно-учебного комплекса ««Инженерный бизнес и менеджмент» и МГТУ им. Н.Э. Баумана в целом, Учебно-методического объединения вузов по университетскому политехническому образованию.
Все перечисленные монографии, учебники, учебные пособия размещены в Интернете в свободном доступе. Соответствующие ссылки приведены на персональной странице автора настоящей статьи на сайте МГТУ им. Н.Э. Баумана http://www.bmstu.ru/ps/~orlov/ и на аналогичной странице форума http://forum.orlovs.pp.ru/viewtopic.php?f=1&t=1370 сайта «Высокие статистические технологии», общего с форумом сайта Лаборатории экономико-математических методов в контроллинге Научнообразовательного центра «Контроллинг и управленческие инновации» МГТУ им. Н. Э. Баумана. Однако иногда различны названия книг в бумажном и электронном вариантах, изменения были произведены по предложению издательств.
5. Заключительные замечания
Информация о новой парадигме появилась в печати недавно - в 2012 г. (см. ссылки на соответствующие публикации в [34]). Мы не без оснований опасались, что нам могут помешать довести работу до конца. В своей тактике публикаций мы следовали Гауссу, который воздерживался
от публикации работ по неевклидовой геометрии, опасаясь «криков беотийцев» [35, с.91].
На основе сказанного выше полагаем, что к настоящему моменту рекомендация Учредительного съезда ВСА по созданию комплекта учебной литературы на основе новой парадигмы выполнена. Предстоит большая работа по внедрению новой парадигмы организационноэкономического моделирования, эконометрики и статистики в научные исследования и преподавание, прежде всего новой парадигмы анализа статистических и экспертных данных в задачах экономики и управления.
Обратим внимание на новые аспекты сопоставления методов анализа статистических и экспертных данных в задачах управления, выявившиеся в дискуссии 2013 г. «Наукометрия и экспертиза в управлении наукой» [36]. Для оценки научной продуктивности отдельных исследователей, подразделений (отделов, лабораторий), научных организаций, стран можно использовать как наукометрические показатели (т.е. применять статистические методы анализа данных о научных публикациях), так и экспертные процедуры. В 1990-е годы мы применяли статистику объектов нечисловой природы для анализа данных о научном потенциале [37]. В 2012 г. в связи с дискуссией по вопросам управления наукой мы проанализировали состояние научных исследований в этой области и с целью совершенствования процедур управления научной деятельностью в постановочных статьях [38, 39] выявили ряд проблем, требующих решения. Была организована упомянутая выше дискуссия. Высказанные ее участниками мнения были проанализированы в итоговой статье [40]. Материалы дискуссии составили специальный выпуск электронного сборника трудов «Управление большими системами» [41]. Он был выпущен также на бумажной основе [36]. Критерии выбора показателей эффективности научной деятельности рассмотрены в статьях [42, 43]. Было установлено, что наукометрические показатели могут применяться
лишь на предварительных этапах оценки (или для экспресс-оценки), поскольку они недостаточно информативны. Необходимо применять развернутые экспертные технологии. Как отмечает Б.Г. Миркин [44], представляется полезным опыт Великобритании, где каждый университетский департамент (в отечественной терминологии - кафедра) проходит всестороннюю оценку каждые 5-6 лет в рамках т.н. Упражнения по оценке научных исследований (Research Assessment Exercise). При этом департамент отчитывается, прежде всего, в разрезе: (1) защищённых диссертаций, (2) научных публикаций, (3) полученных грантов, а также (4) уровня признания и (5) условий труда. С этой целью создаётся порядка 6070 комиссий национального уровня, каждая из которых обслуживает соответствующий раздел науки (см., например, http://www.rae.ac.uk/ ), которым приходится интенсивно работать над упорядочением научных результатов департаментов по своему профилю в течение месяца-двух.
Различные аспекты новой парадигмы анализа статистических и экспертных данных в задачах экономики и управления отражены в статьях [34, 45 - 49]. В соответствии с новой парадигмой развивается центральная область современной прикладной статистики - статистика объектов нечисловой природы [50], ее важная составная часть - статистика интервальных данных [51], а также математические методы теории классификации [52], теория и практика экспертных оценок [53].
К публикациям по новой парадигме математических методов экономики (варианты - анализа статистических и экспертных данных в задачах экономики и управления, математического моделирования, прикладной статистики, математической статистики и др.) примыкают работы по новому перспективному направлению теоретической и вычислительной математики - системной нечеткой интервальной математике [54, 55], в которых раскрывается одна из сторон новой парадигмы. Большой интерес представляют когнитивные функции как
обобщение классического понятия функциональной зависимости на основе теории информации в системной нечеткой интервальной математике [56].
Литература
1. Орлов А.И. Устойчивые экономико-математические методы и модели. Разработка и развитие устойчивых экономико-математических методов и моделей для модернизации управления предприятиями. Saarbrucken: Lambert Academic Publishing,
2011. 436 с.
2. Кун Т. Структура научных революций. М.: АСТ, 2009. 320 с.
3. Орлов А.И. Организационно-экономическое моделирование. Ч.1. Нечисловая статистика. М.: Изд-во МГТУ им. Н.Э. Баумана, 2009. 541 с.
4. Лопатников Л.И. Экономико-математический словарь: Словарь
современной экономической науки. 5-е изд., перераб. и доп. М.: Дело, 2003. 520 с.
5. Большой Энциклопедический Словарь. М.: Большая Российская
Энциклопедия, 1997. 1600 с.
6. Орлов А.И. Эконометрика. М.: Экзамен, 2002 (1-е изд.), 2003 (2-е изд.),
2004 (3-е изд.). 576 с.
7. Новая философская энциклопедия. В 4-х томах. Под редакцией В. С.
Стёпина. М.: Мысль, 2009.
8. Орлов А.И. Прикладная статистика. М.: Экзамен, 2006. 671 с.
9. Вторые Чарновские чтения. Сборник трудов. Материалы II международной научной конференции по организации производства. Москва, 7 - 8 декабря 2012 г. М.: НП «Объединение контроллеров», 2013. 201 c.
10. Организация и планирование машиностроительного производства (производственный менеджмент) / Под ред. Ю.В. Скворцова, Л.А. Некрасова. М.: Высшая школа, 2003. 470 с.
11. Орлов А.И., Орлова Л.А. Применение эконометрических методов при решении задач контроллинга // Контроллинг. 2003. № 4(8). С. 50-54.
12. Хрусталёв Е.Ю., Хрусталёв О.Е. Когнитивное моделирование развития наукоемкой промышленности (на примере оборонно-промышленного комплекса) // Экономический анализ: теория и практика. 2013. № 10 (313). С. 2-10.
13. Хрусталёв Е.Ю., Хрусталёв О.Е. Модельное обоснование инновационного развития наукоемкого сектора российской экономики // Экономический анализ: теория и практика. 2013. № 9 (312). С. 2-13.
14. Михненко П. А. Методология математического моделирования организационных изменений // Экономический анализ: теория и практика. 2013. № 26 (329). С. 40-48.
15. Карпычев В.Ю. Информационные технологии в экономических исследованиях // Экономический анализ: теория и практика. 2013. №20 (323). С. 2 - 11.
16. Рощин А.В., Тихонов И.П., Проничкин С.В. Методический подход к оценке эффективности результатов научно-технических программ // Экономический анализ: теория и практика. 2013. № 21 (324). С. 10-18.
17. Демидов ЯП. Теория и практика современного рейтингования: критические заметки // Экономический анализ: теория и практика. 2013. № 8 (311). С. 14-19.
18. Орлов А.И. Создана единая статистическая ассоциация // Вестник Академии наук СССР. 1991. №7. С. 152-153.
19. Бернштейн С.Н. Современное состояние теории вероятностей и ее приложений // Труды Всероссийского съезда математиков в Москве 27 апреля - 4 мая 1927 г. М.-Л.: ГИЗ, 1928. С. 50-б3.
20. Новиков А.М., Новиков Д. А. Методология. М.: СИНТЕГ, 2007. бб8 с.
21. Орлов А. И. Высокие статистические технологии // Заводская лаборатория. 2003. Т.б9. №11. С. 55- б0.
22. Орлов А.И. Организационно-экономическое моделирование. Ч.2. Экспертные оценки. М.: Изд-во МГТУ им. Н.Э. Баумана, 2011. 48б с.
23. Орлов А.И. О развитии методологии статистических методов // Статистические методы оценивания и проверки гипотез. Межвузовский сборник научных трудов. Пермь: Изд-во Пермского государственного университета, 2001. С. 118 - 131.
24. Орлов А.И. Эконометрика. Изд. 4-е, доп. и перераб. Ростов-на-Дону: Феникс, 2009. 572 с.
25. Орлов А.И. Теория принятия решений. М.: Экзамен, 200б. 57б с.
26. Орлов А.И. Принятие решений. Теория и методы разработки управленческих решений. М.: ИКЦ «МарТ»; Ростов н/Д: Издательский центр «МарТ», 2005. 49б с.
27. Колобов А.А., Омельченко И.Н., Орлов А.И. Менеджмент высоких
технологий. Интегрированные производственно-корпоративные структуры:
организация, экономика, управление, проектирование, эффективность, устойчивость. М.: Экзамен, 2008. б21 с.
28. Орлов А.И. Организационно-экономическое моделирование. Ч.3. Статистические методы анализа данных. М.: Изд-во МГТУ им. Н.Э. Баумана, 2012. б24 с.
29. Орлов А. И. Менеджмент: организационно-экономическое
моделирование. Ростов-на-Дону: Феникс, 2009. 475 с.
30. Орлов А. И. Организационно-экономическое моделирование: теория принятия решений. М. : КноРус, 2011. 5б8 с.
31. Орлов А.И. Вероятность и прикладная статистика: основные факты: справочник. М.: КноРус, 2010. 192 с.
32. Орлов А.И., Федосеев В.Н. Менеджмент в техносфере. М.: Академия, 2003. 384 с.
33. Орлов А. И. Проблемы управления экологической безопасностью. Итоги двадцати лет научных исследований и преподавания. Saarbrucken: Palmarium Academic Publishing. 2012. 344 с.
34. Орлов А.И. Основные черты новой парадигмы математической статистики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ). - Краснодар: КубГАУ, 2013. - №0б(090). С. 188-214. http://ej .kubagro.ru/2013/06/pdf/13 .pdf.
35. Клейн Ф. Лекции о развитии математики в XIX столетии. Часть I. М.-Л.: Объединенное научно-техническое издательство НКТП СССР. Главная редакция технико-теоретической литературы, 1937. 432 с.
36. Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева. М.: ИПУ РАН, 2013. 572 с.
37. Орлов А. И., Нечаева Е. Г., Соколов А. В. Статистика объектов нечисловой природы и анализ данных о научном потенциале // Социология: методология, методы, математические модели. 1995. №5-б. С. 118-13б.
38. Орлов А. И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы
развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013. - Ч. 2. - С.528-533.
39. Орлов А. И. Два типа методологических ошибок при управлении научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.32-54.
40. Орлов А.И. Наукометрия и управление научной деятельностью // Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - С.538 - 568.
41. Управление большими системами / Сборник трудов. Специальный выпуск 44. Наукометрия и экспертиза в управлении наукой / [под ред. Д.А. Новикова, А.И. Орлова, П.Ю. Чеботарева]. М.: ИПУ РАН, 2013. - 568 с.
42. Орлов А.И. Критерии выбора показателей эффективности научной деятельности // Контроллинг. - 2013. - №3(49). - С.72-78.
43. Орлов А.И. О показателях эффективности научной деятельности // Экономический анализ: теория и практика. - 2014. - № 7 (358). - С.21-29.
44. Миркин Б.Г. О понятии научного вклада и его измерителях // Наукометрия и экспертиза в управлении наукой: сборник статей / Под ред. Д. А. Новикова, А.И. Орлова, П.Ю. Чеботарева. М.: ИПУ РАН, 2013. - С.292-307.
45. Орлов А.И. Новая парадигма разработки и преподавания организационно-экономического моделирования, эконометрики и статистики в техническом университете // Статистика и прикладные исследования: сборник трудов Всерос. научн. конф. - Краснодар: Издательство КубГАУ, 2011. - С.131-144.
46. Орлов А.И. Новая парадигма прикладной статистики // Статистика и
прикладные исследования: сборник трудов Всерос. научн. конф. - Краснодар:
Издательство КубГАУ, 2011. - С.206-217.
47. Орлов А.И. Новая парадигма прикладной статистики // Заводская лаборатория. Диагностика материалов. 2012. Том 78. №1, часть I. С.87-93.
48. Орлов А.И. Новая парадигма математических методов экономики // Экономический анализ: теория и практика. - 2013. - № 36 (339). - С.25-30.
49. Орлов А. И. О новой парадигме прикладной математической статистики // Статистические методы оценивания и проверки гипотез: межвуз. сб. науч. тр. / Перм. гос. нац. иссл. ун-т. - Пермь, 2013. - Вып. 25. -С.162-176.
50. Орлов А. И. О развитии статистики объектов нечисловой природы //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 273 - 309. -Режим доступа: http://ej.kubagro.ru/2013/09/pdf/19.pdf.
51. Орлов А. И. Основные идеи статистики интервальных данных //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №10(094). С. 867 - 892. Режим доступа: http://ej.kubagro.ru/2013/10/pdf/60.pdf.
52. Орлов А. И. Математические методы теории классификации //
Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №01(095). С. 423 - 459. - Режим доступа: http://ej.kubagro.ru/2014/01/pdf/23.pdf.
53. Орлов А.И. Теория экспертных оценок в нашей стране //
Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №09(093). С. 1652 - 1683. - Режим доступа: http://ej.kubagro.ru/2013/09/pdf/114.pdf.
54. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика (СНИМ) - перспективное направление теоретической и вычислительной математики // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №07(091). С. 255 - 308. - Режим доступа: http://ej.kubagro.ru/2013/07/pdf/15.pdf.
55. Орлов А. И., Луценко Е. В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с.
56. Луценко Е.В. , Орлов А.И. Когнитивные функции как обобщение классического понятия функциональной зависимости на основе теории информации в системной нечеткой интервальной математике // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. -№01(095). С. 122 - 183. - Режим доступа: http://ej.kubagro.ru/2014/01/pdf/07.pdf.
References
1. Orlov A.I. Ustojchivye jekonomiko-matematicheskie metody i modeli. Razrabotka i razvitie ustojchivyh jekonomiko-matematicheskih metodov i modelej dlja modernizacii upravlenija predprijatijami. Saarbrucken: Lambert Academic Publishing, 2011. 436 s.
2. Kun T. Struktura nauchnyh revoljucij. M.: AST, 2009. 320 s.
3. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch.1. Nechislovaja statistika. M.: Izd-vo MGTU im. N.Je. Baumana, 2009. 541 s.
4. Lopatnikov L.I. Jekonomiko-matematicheskij slovar': Slovar' sovremennoj jekonomicheskoj nauki. 5-e izd., pererab. i dop. M.: Delo, 2003. 520 s.
5. Bol'shoj Jenciklopedicheskij Slovar'. M.: Bol'shaja Rossijskaja Jenciklopedija, 1997. 1600 s.
6. Orlov A.I. Jekonometrika. M.: Jekzamen, 2002 (1-e izd.), 2003 (2-e izd.), 2004 (3-e izd.). 576 s.
7. Novaja filosofskaja jenciklopedija. V 4-h tomah. Pod redakciej V. S. Stjopina. M.: Mysl', 2009.
8. Orlov A.I. Prikladnaja statistika. M.: Jekzamen, 2006. 671 s.
9. Vtorye Charnovskie chtenija. Sbornik trudov. Materialy II mezhdunarodnoj nauchnoj konferencii po organizacii proizvodstva. Moskva, 7 - 8 dekabrja 2012 g. M.: NP «Ob#edinenie kontrollerov», 2013. 201 c.
10. Organizacija i planirovanie mashinostroitel'nogo proizvodstva (proizvodstvennyj menedzhment) / Pod red. Ju.V. Skvorcova, L.A. Nekrasova. M.: Vysshaja shkola, 2003. 470 s.
11. Orlov A.I., Orlova L.A. Primenenie jekonometricheskih metodov pri reshenii zadach kontrollinga // Kontrolling. 2003. № 4(8). S. 50-54.
12. Hrustaljov E.Ju., Hrustaljov O.E. Kognitivnoe modelirovanie razvitija
naukoemkoj promyshlennosti (na primere oboronno-promyshlennogo kompleksa) //
Jekonomicheskij analiz: teorija i praktika. 2013. № 10 (313). S. 2-10.
13. Hrustaljov E.Ju., Hrustaljov O.E. Model'noe obosnovanie innovacionnogo razvitija naukoemkogo sektora rossijskoj jekonomiki // Jekonomicheskij analiz: teorija i praktika. 2013. № 9 (312). S. 2-13.
14. Mihnenko P.A. Metodologija matematicheskogo modelirovanija organizacionnyh izmenenij // Jekonomicheskij analiz: teorija i praktika. 2013. № 26 (329). S. 40-48.
15. Karpychev V.Ju. Informacionnye tehnologii v jekonomicheskih issledovanijah // Jekonomicheskij analiz: teorija i praktika. 2013. №20 (323). S. 2 - 11.
16. Roshhin A.V., Tihonov I.P., Pronichkin S.V. Metodicheskij podhod k ocenke jeffektivnosti rezul'tatov nauchno-tehnicheskih programm // Jekonomicheskij analiz: teorija i praktika. 2013. № 21 (324). S. 10-18.
17. Demidov Ja.P. Teorija i praktika sovremennogo rejtingovanija: kriticheskie zametki // Jekonomicheskij analiz: teorija i praktika. 2013. № 8 (311). S. 14-19.
18. Orlov A.I. Sozdana edinaja statisticheskaja associacija // Vestnik Akademii nauk SSSR. 1991. №7. S. 152-153.
19. Bernshtejn S.N. Sovremennoe sostojanie teorii verojatnostej i ee prilozhenij // Trudy Vserossijskogo s#ezda matematikov v Moskve 27 aprelja - 4 maja 1927 g. M.-L.: GIZ, 1928. S. 50-63.
20. Novikov A.M., Novikov D.A. Metodologija. M.: SINTEG, 2007. 668 s.
21. Orlov A.I. Vysokie statisticheskie tehnologii // Zavodskaja laboratorija. 2003.
T.69. №11. S. 55- 60.
22. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch.2. Jekspertnye ocenki. M.: Izd-vo MGTU im. N.Je. Baumana, 2011. 486 s.
23. Orlov A.I. O razvitii metodologii statisticheskih metodov // Statisticheskie metody ocenivanija i proverki gipotez. Mezhvuzovskij sbornik nauchnyh trudov. Perm': Izd-vo Permskogo gosudarstvennogo universiteta, 2001. S. 118 - 131.
24. Orlov A.I. Jekonometrika. Izd. 4-e, dop. i pererab. Rostov-na-Donu: Feniks,
2009. 572 s.
25. Orlov A.I. Teorija prinjatija reshenij. M.: Jekzamen, 2006. 576 s.
26. Orlov A.I. Prinjatie reshenij. Teorija i metody razrabotki upravlencheskih reshenij. M.: IKC «MarT»; Rostov n/D: Izdatel'skij centr «MarT», 2005. 496 s.
27. Kolobov A.A., Omel'chenko I.N., Orlov A.I. Menedzhment vysokih
tehnologij. Integrirovannye proizvodstvenno-korporativnye struktury: organizacija,
jekonomika, upravlenie, proektirovanie, jeffektivnost', ustojchivost'. M.: Jekzamen, 2008. 621 s.
28. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie. Ch.3.
Statisticheskie metody analiza dannyh. M.: Izd-vo MGTU im. N.Je. Baumana, 2012. 624 s.
29. Orlov A.I. Menedzhment: organizacionno-jekonomicheskoe modelirovanie. Rostov-na-Donu: Feniks, 2009. 475 s.
30. Orlov A.I. Organizacionno-jekonomicheskoe modelirovanie: teorija prinjatija reshenij. M. : KnoRus, 2011. 568 s.
31. Orlov A.I. Verojatnost' i prikladnaja statistika: osnovnye fakty: spravochnik. M.: KnoRus, 2010. 192 s.
32. Orlov A.I., Fedoseev V.N. Menedzhment v tehnosfere. M.: Akademija, 2003.
384 s.
33. Orlov A.I. Problemy upravlenija jekologicheskoj bezopasnost'ju. Itogi dvadcati let nauchnyh issledovanij i prepodavanija. Saarbrucken: Palmarium Academic Publishing.
2012. 344 s.
34. Orlov A.I. Osnovnye cherty novoj paradigmy matematicheskoj statistiki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU). - Krasnodar: KubGAU, 2013. -№06(090). S. 188-214. http://ej.kubagro.ru/2013/06/pdf/13.pdf.
35. Klejn F. Lekcii o razvitii matematiki v XIX stoletii. Chast' I. M.-L.: Ob#edinennoe nauchno-tehnicheskoe izdatel'stvo NKTP SSSR. Glavnaja redakcija tehniko-teoreticheskoj literatury, 1937. 432 s.
36. Naukometrija i jekspertiza v upravlenii naukoj: sbornik statej / Pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva. M.: IPU RAN, 2013. 572 s.
37. Orlov A.I., Nechaeva E.G., Sokolov A.V. Statistika ob#ektov nechislovoj prirody i analiz dannyh o nauchnom potenciale // Sociologija: metodologija, metody, matematicheskie modeli. 1995. №5-6. S.118-136.
38. Orlov A.I. O nekotoryh metodologicheski oshibochnyh metodah analiza i ocenki rezul'tatov nauchnoj dejatel'nosti // Rossija: tendencii i perspektivy razvitija. Ezhegodnik. Vyp. 8. / RAN. INION. Otd. nauch. sotrudnichestva i mezhdunar. svjazej; Otv. red. Ju.S. Pivovarov. - M., 2013. - Ch. 2. - S.528-533.
39. Orlov A.I. Dva tipa metodologicheskih oshibok pri upravlenii nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - S.32-54.
40. Orlov A.I. Naukometrija i upravlenie nauchnoj dejatel'nost'ju // Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN,
2013. - S.538 - 568.
41. Upravlenie bol'shimi sistemami / Sbornik trudov. Special'nyj vypusk 44. Naukometrija i jekspertiza v upravlenii naukoj / [pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva]. M.: IPU RAN, 2013. - 568 s.
42. Orlov A.I. Kriterii vybora pokazatelej jeffektivnosti nauchnoj dejatel'nosti // Kontrolling. - 2013. - №3(49). - S.72-78.
43. Orlov A.I. O pokazateljah jeffektivnosti nauchnoj dejatel'nosti // Jekonomicheskij analiz: teorija i praktika. - 2014. - № 7 (358). - S.21-29.
44. Mirkin B.G. O ponjatii nauchnogo vklada i ego izmeriteljah // Naukometrija i jekspertiza v upravlenii naukoj: sbornik statej / Pod red. D.A. Novikova, A.I. Orlova, P.Ju. Chebotareva. M.: IPU RAN, 2013. - S.292-307.
45. Orlov A.I. Novaja paradigma razrabotki i prepodavanija organizacionno-
jekonomicheskogo modelirovanija, jekonometriki i statistiki v tehnicheskom universitete // Statistika i prikladnye issledovanija: sbornik trudov Vseros. nauchn. konf. - Krasnodar: Izdatel'stvo KubGAU, 2011. - S.131-144.
46. Orlov A.I. Novaja paradigma prikladnoj statistiki // Statistika i prikladnye
issledovanija: sbornik trudov Vseros. nauchn. konf. - Krasnodar: Izdatel'stvo KubGAU, 2011. - S.206-217.
47. Orlov A.I. Novaja paradigma prikladnoj statistiki // Zavodskaja laboratorija.
Diagnostika materialov. 2012. Tom 78. №1, chast' I. S.87-93.
48. Orlov A.I. Novaja paradigma matematicheskih metodov jekonomiki //
Jekonomicheskij analiz: teorija i praktika. - 2013. - № 36 (339). - S.25-30.
49. Orlov A.I. O novoj paradigme prikladnoj matematicheskoj statistiki //
Statisticheskie metody ocenivanija i proverki gipotez: mezhvuz. sb. nauch. tr. / Perm. gos. nac. issl. un-t. - Perm', 2013. - Vyp. 25. -S.162-176.
50. Orlov A.I. O razvitii statistiki ob#ektov nechislovoj prirody //
Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №09(093). S. 273 - 309. -Rezhim dostupa:
http://ej.kubagro.ru/2013/09/pdf/19.pdf.
51. Orlov A.I. Osnovnye idei statistiki interval'nyh dannyh // Politematicheskij
setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. -
№10(094). S. 867 - 892. Rezhim dostupa: http://ej.kubagro.ru/2013/10/pdf/60.pdf.
52. Orlov A.I. Matematicheskie metody teorii klassifikacii // Politematicheskij
setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. -
№01(095). S. 423 - 459. - Rezhim dostupa: http://ej.kubagro.ru/2014/01/pdf/23.pdf.
53. Orlov A.I. Teorija jekspertnyh ocenok v nashej strane // Politematicheskij
setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. -
№09(093). S. 1652 - 1683. - Rezhim dostupa: http://ej.kubagro.ru/2013/09/pdf/114.pdf.
54. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika
(SNIM) - perspektivnoe napravlenie teoreticheskoj i vychislitel'noj matematiki // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №07(091). S. 255 - 308. - Rezhim dostupa:
http://ej .kubagro.ru/2013/07/pdf/15 .pdf.
55. Orlov A.I., Lucenko E.V. Sistemnaja nechetkaja interval'naja matematika.
Monografija (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s.
56. Lucenko E.V. , Orlov A.I. Kognitivnye funkcii kak obobshhenie klassicheskogo ponjatija funkcional'noj zavisimosti na osnove teorii informacii v sistemnoj nechetkoj interval'noj matematike // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №01(095). S. 122 - 183. - Rezhim dostupa: http://ej.kubagro.ru/2014/01/pdf/07.pdf.
