CC BY
33
УДК 303.732.4 : 519.2
08.00.13 Математические и инструментальные методы экономики (экономические науки)
СМЕНА ТЕРМИНОЛОГИИ В РАЗВИТИИ НАУКИ
Орлов Александр Иванович д.э.н., д.т.н., к.ф.-м.н. профессор
РИНЦ SPIN-код: 4342-4994 prof-orlov@mail.ru
Московский государственный технический университет им. Н.Э. Баумана, Россия, 105005, Москва, 2-я Бауманская ул., 5
UDC 303.732.4 : 519.2
08.00.13 Mathematical and instrumental methods of Economics
CHANGE OF TERMINOLOGY IN THE DEVELOPMENT OF SCIENCE
Orlov Alexander Ivanovich
Dr.Sci.Econ., Dr.Sci.Tech., Cand.Phys-Math.Sci.,
professor
RSCI SPIN-code: 4342-4994 prof-orlov@mail.ru
Bauman Moscow State Technical University, Moscow, Russia
Области научной деятельности с течением времени зачастую меняют свои названия. В настоящей статье демонстрируем несколько примеров этого явления и обсуждаем его причины. Прослеживаем переход от кибернетики к информатике и автоматизированным системам управления, затем к информационно-коммуникационным технологиям и искусственному интеллекту. Под цифровой экономикой понимаем применение информационно-коммуникационных технологий в экономике и управлении. Автор статьи полвека занимается проблемами искусственного интеллекта, хотя и под разными названиями этой области научных исследований. Другой временной понятийный ряд - статистические методы, математическая статистика, анализ данных, прикладная статистика, интеллектуальный анализ данных. Третий - методы классификации на основе обучающих выборок, распознавание образов и нейросети. Как синонимы рассматриваем контроллинг и современные технологии управления. Обсуждаем смену терминологии в ходе развития научной области. Смена терминологии выступает как управленческая инновация. Введение в оборот новых терминов позволяет облегчить получение финансирования, решение разнообразных организационных задач. Новая терминология выделяет новый клан в науке - совокупность тех, кто ее придерживается. Информационный барьер отделяет членов этого клана от исследователей и литературных источников, использующих прежнюю терминологию. Отрицательной стороной управленческих инноваций, основанных на смене терминологии, является фактическое забвение научных результатов, сформулированных в прежней терминологии. В настоящей статье продемонстрировано (на многочисленных
Areas of scientific activity often change their names over time. In this article, we demonstrate several examples of this phenomenon and discuss its causes. We trace the transition from cybernetics to computer science and automated control systems, then to information and communication technologies and artificial intelligence. Under the digital economy we mean the use of information and communication technologies in the economy and management. The author of the article has been dealing with the problems of artificial intelligence for half a century, although under different names for this area of scientific research. Another time series is statistical methods, mathematical statistics, data analysis, applied statistics, data mining. The third one is classification methods based on training samples, pattern recognition and neural networks. We consider controlling and modern management technologies as synonyms. We discuss the change of terminology in the course of the development of the scientific field. The change of terminology acts as a managerial innovation. The introduction of new terms into circulation makes it easier to obtain funding and solve various organizational problems. The new terminology singles out a new clan in science - the totality of those who adhere to it. An information barrier separates the members of this clan from researchers and literary sources using the old terminology. The negative side of managerial innovations based on a change in terminology is the actual oblivion of scientific results formulated in the old terminology. This article demonstrates (using numerous examples) an important phenomenon for the management of science, which consists in replacing the old system of terms with new terminology while maintaining the actual content of the scientific discipline, and identifies (at a preliminary level) the benefits and harms of such managerial innovations. The article is devoted to the formulation
примерах) важное для управления наукой явление, состоящее в замене новой терминологией прежней системы терминов при сохранении фактического содержания научной дисциплины, выявлена (на предварительном уровне) польза и вред подобных управленческих инноваций. Статья посвящена постановке и предварительному решению исследовательской задачи в области науковедения и управления наукой. Обнаруженное явление заслуживает более тщательного и подробного изучения
and preliminary solution of a research problem in the field of science and science management. The discovered phenomenon deserves a more thorough and detailed study
Ключевые слова: РАЗВИТИЕ НАУКИ, ТЕРМИНОЛОГИЯ, УПРАВЛЕНИЕ, НАУЧНЫЕ КЛАНЫ, КИБЕРНЕТИКА, ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ, ПРИКЛАДНАЯ СТАТИСТИКА, ОБУЧАЮЩИЕ ВЫБОРКИ, НЕЙРОСЕТИ, УПРАВЛЕНЧЕСКИЕ ИННОВАЦИИ
http://dx.doi.org/10.21515/1990-4665-177-013
Keywords: DEVELOPMENT OF SCIENCE, TERMINOLOGY, MANAGEMENT, SCIENTIFIC CLANS, CYBERNETICS, ARTIFICIAL INTELLIGENCE, APPLIED STATISTICS, TRAINING SAMPLES, NEURAL NETWORKS, MANAGERIAL INNOVATIONS
Введение
Достаточно понаблюдать за развитием науки и техники, чтобы обнаружить, что одни и те же области деятельности с течением времени меняют свои названия. Наблюдаем перманентное изменение терминологии. В настоящей статье продемонстрируем несколько примеров этого явления и обсудим его причины.
Сразу констатируем, что здесь мы, как правило, не будем давать определения тем или иным терминам или же обсуждать определения, данные другими авторами. Дело в том, что обсуждение подобных определений требует подробных и развернутых обсуждений, причем любое конкретное определение порождает дискуссию с аргументами "за" и "против" и предложениями по изменению формулировок. Будем предполагать, что используемые термины знакомы читателям. В методологической статье по теории нечеткости мы констатировали, что "мы мыслим нечетко" и именно поэтому понимаем друг друга и не увязаем в обсуждениях смысла терминов [1]. Из этого положения исходим и здесь. Сказанное не означает, что мы отрицаем необходимость определения терминов. В многочисленных работах мы даем определения используемых
в них терминов. Однако эта статья - взгляд "с птичьего полета", и мы предполагаем, что используемые термины достаточно понятны и привычны читателям.
От кибернетики до искусственного интеллекта
В послевоенные годы бурно развивалась кибернетика. Обычно ссылаются на одноименную книгу Винера. Однако надо вспомнить и многих других - Шеннона, Бира, Тьюринга, Поста и др. В нашей стране организационным центром был Научный совет АН СССР по комплексной проблеме "Кибернетика", объединивший тысячи исследователей. Его председателем был адмирал флота академик А.И. Берг (1893 - 1979). Кроме основополагающих теоретических достижений в середине ХХ в. были созданы электронные вычислительные машины (сейчас вместо ЭВМ предпочитают использовать в том же значении термин "компьютер".
А вот в 80-е внезапно произошла смена терминологии. Вместо кибернетики стали говорить об информатике и об автоматизированных системах управления. Термин "информатика", казалось бы, намекает на анализ информации, однако основным ее содержанием являлась проблематика не теории информации, а кибернетики - кибернетические модели и использование компьютеров. Именно тогда в средней школе появилась дисциплина "Информатика", дающая основы компьютерной грамотности.
Далее в обращение вошел удачный термин "информационно-коммуникационные технологии". Электронная почта и интернет стали повседневными инструментами инженера, экономиста, менеджера, специалиста практически в любой области.
На современном этапе чаще других используют термины "цифровая экономика" и "искусственный интеллект". Как мы уже писали, цифровая экономика - это применение информационно-коммуникационных технологий в экономике и управлении [2]. Приведем актуальное на
современной этапе официальное определение искусственного интеллекта, данное в "Национальной стратегии развития искусственного интеллекта на период до 2030 года", В ней сказано: "... искусственный интеллект -комплекс технологических решений, позволяющий имитировать когнитивные функции человека (включая самообучение и поиск решений без заранее заданного алгоритма) и получать при выполнении конкретных задач результаты, сопоставимые, как минимум, с результатами интеллектуальной деятельности человека. Комплекс технологических решений включает в себя информационно-коммуникационную инфраструктуру, программное обеспечение (в том числе в котором используются методы машинного обучения), процессы и сервисы по обработке данных и поиску решений"1. В этом определении прямо не говорится про научную основу "комплекса технологических решений". По нашему мнению, в социально-экономической области в качестве такой основы можно использовать организационно-экономическое моделирование, включая высокие статистические технологии, в том числе нечисловую статистику, теорию и практику экспертных оценок, статистические методы анализа данных).
Автор занимается проблемами искусственного интеллекта около полвека (первые статьи напечатаны в 1972 г.). Хотя в те времена использовались другие термины.
Мода на термины меняется, а суть научного движения - одна и та же. В середине ХХ в. много говорили о кибернетике. К настоящему времени этот термин встречается редко. Зато появились новые слова: "Искусственный интеллект", "Цифровая экономика". Если же прочитать книги Н. Винера, основоположника кибернетики, то увидим, что он говорит про актуальные ныне проблемы искусственного интеллекта и цифровой экономики. Например, про заводы-автоматы и проблемы
1 https://www.garant.ru/products/ipo/prime/doc/72738946/ http://ej.kubagro.ru/2022/03/pdf/13.pdf
дальнейшей жизни работников, вытесненных роботами со своих рабочих мест.
Обсуждаемое единство и борьба сути и терминологии известно с древних времен. В Библии сказано: " Что было, то и будет; и что делалось, то и будет делаться, и нет ничего нового под солнцем. Бывает нечто, о чем говорят: "смотри, вот это новое"; но это было уже в веках, бывших прежде нас. Нет памяти о прежнем; да и о том, что будет, не останется памяти у тех, которые будут после" (Библия, Ветхий Завет, Книга Екклезиаста, гл.1, синодальный перевод (Еккл .1:9-11)).
Хотя термин "кибернетика" употребляется сейчас редко, научные и прикладные работы по кибернетике появляются в огромном количестве [3]. Любопытно, что сборник статей, с которого мы отсчитываем развертывание в нашей стране научной области под названием "прикладная статистика", назывался "Современные проблемы кибернетики (прикладная статистика)" [4].
Герой комедии Мольера «Мещанин в дворянстве», при помощи учителей натаскивающий себя на «образованность», удивляется: «Как!? Когда я говорю: Николь, принеси мне туфли и подай ночной колпак, — это проза? Скажите на милость! Сорок слишком лет говорю прозой — и невдомек!» Аналогично можно сказать, что автор этой работы более полувека занимается проблемами искусственного интеллекта и цифровой экономики.
Констатируем, что кибернетическое (в частности, организационно-экономическое) моделирование, в том числе теория принятия решений (включая экспертные процедуры), является научной основой технологий искусственного интеллекта. Это научное направление является всё более востребованным в ходе бурного развития цифровой экономики.
Статистические методы и анализ данных
Статистические методы с успехом применялись еще в древние времена. В Пятой книге Моисеевой "Числа" (Ветхий Завет, Библия) рассказано о процедуре и результатах переписи военнообязанных. Однако термин "Статистика" стал использоваться гораздо позже. Как указывает В.В. Налимов [5], впервые этот термин (точнее, его корень) появился в тексте пьесы Шекспира «Гамлет, принц датский» (1602). В следующем столетии под статистикой понимали государствоведение. Современная Федеральная служба государственной статистики России (Росстат) действует в рамках этой традиции.
Но в том же веке зародилась другая традиция статистических методов - анализ данных результатов экспериментов - измерений, наблюдений, анализов, испытаний, обследований. Уже в конце XVIII в. Гаусс, анализируя данные астрономических наблюдений, разработал один из наиболее известных статистических методов - метод наименьших квадратов (1794), который никак нельзя отнести к государствоведению. К этой традиции относятся наши научные работы и учебные курсы.
Дальнейшая история статистических методов отражена в [6]. Отметим здесь только, что на Всесоюзном совещании по статистике 1954 г. термин "статистика" отнесли исключительно к ведомственной науке ЦСУ (ныне - Росстат). В перечне научных специальностей осталась еще одна часть статистических методов - математическая статистика, т.е. математические методы статистики. Именно так называлась книга Г. Крамера [7], по которой учились поколения статистиков. А остальные области статистической науки - эконометрика, биометрика, статистические методы в технике (в том числе теория надежности) и др. - оказались вне официального перечня научных специальностей, можно сказать, в подполье. Приходилось выступать "под чужим флагом", например, эконометрические работы относили к экономической кибернетике или математическим методам в экономике.
Математическая статистика попала руки математиков, в рамках специальности "теория вероятностей и математическая статистика". А невероятностные математические методы статистики стали относить к якобы новому научному направлению - "анализу данных". Математики оторвались от реальных задач, стали доказывать теоремы о свойствах возникших в статистике математических структур. Такая направленность работ является вполне естественной для математики как давно сложившейся науки. Однако она не способствовала развитию методов анализа статистических данных. В ответ возникла прикладная статистика, сначала на Западе (applied statistics), а затем и в нашей стране. Как самостоятельное научное направление она была провозглашена в 1981 г. [4], хотя отдельные работы, например, по прикладному многомерному статистическому анализу, выходили и раньше.
Анализ данных входит в прикладную статистику. Однако появился новый термин "интеллектуальный анализ данных". Этот термин ввел в 1989 г. Г.И. Пятецкий-Шапиро, эмигрировавший из СССР в Израиль и США. По нашему мнению, этот термин обозначает ту же область знаний, что и термин "прикладная статистика".
В настоящее время статистические методы анализа данных (т.е. методы прикладной статистики) являются основой технологий искусственного интеллекта. Именно поэтому наши три учебника [7 - 9] имеют серийное название "Искусственный интеллект".
Отметим, что одновременное использование различных терминологических систем достаточно распространено. Например, основные понятия теории вероятностей могут быть выражены в терминах теории множеств. Так, пространство элементарных событий - это произвольное множество, случайное событие - его (измеримое) подмножество, случайная величина - функция от элементов этого множества. В традиционных терминах статистики признак - это функция,
определенная на статистических единицах, входящих в генеральную совокупность, а в качестве таковой можно рассматривать произвольное множество. Если это множество - конечное, то выборка - его подмножество, объем выборки - число элементов этого подмножества. Причина использования различных терминологических систем состоит в том, что теория вероятностей развивается с XVII в., с работ Джероламо Кардано, Блеза Паскаля, Пьера Ферма, Христиана Гюйгенса. Теория множеств была создана во второй половине XIX века Георгом Кантором и Рихардом Дедекиндом. В 30-х годах ХХ в. А.Н. Колмогоров выразил основные результаты теории вероятностей в терминах теории вероятностей и теории меры. Именно после этого теория вероятностей стала одной из математических дисциплин. Однако прежняя терминология продолжает использоваться, особенно в учебных курсах. Прежняя терминология удобна для обсуждения прикладных вопросов, в то время как теоретико-множественная - для математических работ.
Теория классификации, обучающие выборки и нейросети
Рассмотрим конкретную область прикладной статистики - теорию классификации. В ней выделяют три области - построение классификаций, изучение классификаций, применение классификаций [7]. Если изучение классификаций - это однозначно часть статистики нечисловых данных, то две другие области имеют в литературе самые разные названия.
Построение классификаций - это то же самое, что кластер-анализ (кластерный анализ), распознавание образов без учителя, типология, таксономия, группировка, классификация без учителя, дихотомия ...
Применение классификаций - это то же самое, что дискриминация (дискриминантный анализ), диагностика, распознавание образов с учителем, автоматическая классификация с учителем, статистическая классификация.
"Учитель", о котором здесь идет речь, - это использование обучающих выборок. В этом случае классы заданы обучающими выборками, и на их основе правила формируется правило принятия решений о том, к какому классу отнести вновь поступающий объект. Когда говорят об алгоритмах без учителя, то это значит, что речь идет о построении классификации на основе анализа данных единой обучающей выборки.
В настоящее время популярный термин - нейросети. Речь идет о математических моделях (и разработанных на их основе программной или аппаратной реализации), построенных по аналогии с сетями нервных клеток живого организма. Эти модели возникли в середине ХХ в. при изучении процессов, протекающих в мозге, и при попытке смоделировать эти процессы (на уровне знаний того времени). Если вникнуть в суть нейросетевых методов, то становится очевидным, что эти модели предназначены прежде всего для решения задач классификации на основе анализа обучающих выборок. При этом нейросетевые алгоритмы, как правило, не являются оптимальными. Например, доказано, что для отнесения вновь поступающего объекта в один из двух классов, заданных обучающими выборками, (асимптотически) оптимальным является решающее правило, основанное на непараметрических оценках плотностей распределений вероятностей, соответствующих классам [10]. Нейросетевые методы не могут дать лучшего результата, чем это решающее правило. Однако частое упоминание нейросетей в современной литературе приводит к забвению оптимальных методов и алгоритмов, что, естественно, снижает эффективность технологических решений искусственного интеллекта.
Констатируем, что нейросети, методы распознавания образов, и, например, генетические алгоритмы, - это разделы прикладной статистики (статистических методов анализа данных) [7, 8], вынесенные на передний
план по вненаучным причинам, о которых пойдет речь в заключительной части статьи.
Контроллинг и современные технологии управления
У термина "контроллинг" много определений. Мы исходим из того, что контроллинг - это разработка и применение методов информационно-аналитической поддержки процессов принятия решений при управлении предприятиями, организациями, регионами. Есть и другие определения термина "контроллинг" [11 - 13].
В нашей стране работы по контроллингу координирует Объединение контроллеров2. Решение о его создании было принято 9 ноября 2000 г. на симпозиуме "Контроллинг как философия и методология эффективного управления государственных организаций и частного бизнеса", посвященном 170-летию МГТУ им. Н.Э. Баумана. Базовой организацией Объединения является кафедра "Экономика и организация производства" МГТУ им. Н.Э. Баумана. Основными печатными органами Объединение контроллеров являются журналы "Контроллинг" и "Инновации в менеджменте". За более чем двадцать лет "под знаменем" контроллинга проведены десятки научных конференций, защищены сотни диссертаций и дипломных работ.
Констатируем, что журнал "Контроллинг" имеет подзаголовок "Технологии управления". Мы обратили внимание на то, что контроллинг бывает явным и бывает скрытым [14]. Явным - когда автор работы по вопросам технологии управления использует термин "контроллинг", и скрытым, когда он работает в той же научной области, но этот термин не использует. Например, на научных конференциях Объединения контроллеров постоянно звучит термин "контроллинг", а на конференциях по той же тематике, проводимых Институтом проблем управления РАН,
2 http://controlling.ru
Научный журнал КубГАУ, №177(03), 2022 год этот термин не используется.
Развитие науки и смена терминологии
Типовая схема развития научных исследований такова: для решения практических задач создаются математические модели и методы, которые в дальнейшем отрываются от практики и изучаются внутри математики, после чего некоторые из полученных результатов применяют для решения новых практических задач. Например, для счета предметов в древние времена была создана арифметика, затем свойства чисел изучались сами по себе, во вновь созданной области математики под названием "теории чисел", наконец, некоторые результаты теории числе нашли практическое применения, например, в методе Монте-Карло (статистических испытаний) для построения датчиков псевдослучайных чисел и изучения их свойств, в криптографии для создания и изучения шифров. В диалектической логике рассматривается триада - тезис, антитезис, синтез. Если описательную статистику XIX в. (и более раннюю) рассматривать как тезис, то антитезисом является математическая статистика, развиваемая с начала ХХ в., а синтезом - современная прикладная статистика.
Внутри прикладной статистики наблюдаем те же три стадии. Например, задачи анализа конкретных данных нечисловой природы привели к разработке нечисловой статистики (синонимы - статистика объектов нечисловой природы, статистика нечисловых данных), ядром которой является весьма абстрактная область - статистика в пространствах произвольной природы, а затем общие методы были применены к анализу данных конкретных типов, например, полученных от экспертов кластеризованных ранжировок (упорядочений), что позволило установить асимптотическое поведение медианы Кемени как способа получения коллективного мнения комиссии экспертов [7, 9].
Вполне естественно, что переход к новой развития научного направления сопровождается сменой используемой терминологии. Многочисленные примеры приведены ранее в настоящей статье.
Смена терминологии как управленческая инновация В чем причина постоянного появления новых терминов для обозначения давно известных сущностей?
Чтобы предложить предварительный ответ на этот вопрос, используем понятия информационного барьера и клановой структуры в науке, рассмотренные в работе [15]. Информационный барьер возникает из-за невозможности для исследователей овладеть всем массивом научной информации, накопленной в их научной области. Для частичного преодоления информационного барьера ученые объединяются сравнительно немногочисленные кланы (сотни и тысячи участников), внутри которых можно наладить освоение и обмен научной информацией, полученной членами клана.
Самое главное наше утверждение в этой статье: новая терминология выделяет новый клан в науке - совокупность тех, кто ее придерживается. Информационный барьер отделяет членов этого клана от исследователей и литературных источников, использующих прежнюю терминологию.
Изменения терминологии можно рассматривать как управленческие инновации. Введение в оборот новых терминов позволяет облегчить получение финансирования, решение разнообразных организационных задач. Гораздо легче решать такие насущные для бытия науки задачи, используя новые термины, чем при использовании уже привычной (и надоевшей лицам, принимающим решения) прежней терминологии. Под знаменем новых терминов создают новые институты, кафедры, журналы, проводят новые циклы конференции, вводят новые научные и учебные специальности, публикуют монографии и учебники ... Проще говоря, формируется инфраструктура нового научного клана.
Отрицательной стороной управленческих инноваций, основанных на смене терминологии, является фактическое забвение научных результатов, сформулированных в прежней терминологии.
Заключение
Подведем итоги.
В настоящей статье продемонстрировано (на многочисленных примерах) важное для управления наукой явление, состоящее в замене новой терминологией прежней системы терминов при сохранении фактического содержания научной дисциплины, выявлена (на предварительном уровне) польза и вред подобных управленческих инноваций.
Статья посвящена постановке и предварительному решению исследовательской задачи в области науковедения и управления наукой. Обнаруженное явление заслуживает более тщательного и подробного изучения.
Литература
1. Орлов А.И. Математика нечеткости // Наука и жизнь. 1982. №7. С. 60-67.
2. Лойко В.И., Луценко Е.В., Орлов А.И. Современная цифровая экономика. -Краснодар: КубГАУ, 2018. - 508 с.
3. Новиков Д.А. Кибернетика: Навигатор. История кибернетики, современное состояние, перспективы развития. - М.: ЛЕНАНД, 2016. -160 с.
4. Современные проблемы кибернетики (прикладная статистика). - М.: Знание, 1981. - 64 с.
5. Налимов В.В. Предисловие // Коллекция определений термина "Статистика" / Никитина Е.П., Фрейдлина В.Д., Ярхо А.В. - М.: Издательство Московского университета, 1972. - С. 3-4.
6. Лойко В.И., Луценко Е.В., Орлов А.И. Высокие статистические технологии и системно-когнитивное моделирование в экологии : монография. - Краснодар : КубГАУ, 2019. - 258 с.
7. Орлов А.И. Искусственный интеллект: нечисловая статистика : учебник. — М.: Ай Пи Ар Медиа, 2022. — 446 с.
8. Орлов А.И. Искусственный интеллект: статистические методы анализа данных : учебник. — М.: Ай Пи Ар Медиа, 2022. — 843 с.
9. Орлов А.И. Искусственный интеллект: экспертные оценки : учебник. — М.: Ай Пи Ар Медиа, 2022. — 436 с.
10. Орлов А.И. Базовые результаты математической теории классификации // Научный журнал КубГАУ. 2015. №110. С. 219-239.
11. Контроллинг / А.М. Карминский, С.Г. Фалько, А.А. Жевага, Н.Ю. Иванова; под ред. А.М. Карминского, С.Г. Фалько. - 3-е изд., дораб. - М.: ИД «ФОРУМ»: ИНФРА-М, 2013. - 336 с.
12. Фалько С.Г. Контроллинг для руководителей и специалистов. - М.: Финансы и статистика, 2008. - 270 с.
13. Чугунов В.С. Контроллинг: философия, теория, методология: монография. - М.: НП "Объединение контроллеров", 2017. - 140 с.
14. Орлов А. И. Контроллинг явный и контроллинг скрытый // Контроллинг. 2018. №3(69). С. 28-32.
15. Орлов А.И. Единство и борьба полюсов в развитии науки // Научный журнал КубГАУ. 2022. №176.
References
1. Orlov A.I. Matematika nechetkosti // Nauka i zhizn'. 1982. №7. S. 60-67.
2. Lojko V.I., Lucenko E.V., Orlov A.I. Sovremennaya cifrovaya ekonomika. -Krasnodar: KubGAU, 2018. - 508 s.
3. Novikov D.A. Kibernetika: Navigator. Istoriya kibernetiki, sovremennoe sostoyanie, perspektivy razvitiya. - M.: LENAND, 2016. -160 s.
4. Sovremennye problemy kibernetiki (prikladnaya statistika). - M.: Znanie, 1981.
- 64 s.
5. Nalimov V.V. Predislovie // Kollekciya opredelenij termina "Statistika" / Nikitina E.P., Frejdlina V.D., YArho A.V. - M.: Izdatel'stvo Moskovskogo universiteta, 1972.
- S. 3-4.
6. Lojko V.I., Lucenko E.V., Orlov A.I. Vysokie statisticheskie tekhnologii i sistemno-kognitivnoe modelirovanie v ekologii : monografiya. - Krasnodar : KubGAU, 2019.
- 258 s.
7. Orlov A.I. Iskusstvennyj intellekt: nechislovaya statistika : uchebnik. — M.: Aj Pi Ar Media, 2022. — 446 c.
8. Orlov A.I. Iskusstvennyj intellekt: statisticheskie metody analiza dannyh : uchebnik. — M.: Aj Pi Ar Media, 2022. — 843 c.
9. Orlov A.I. Iskusstvennyj intellekt: ekspertnye ocenki : uchebnik. — M.: Aj Pi Ar Media, 2022. — 436 c.
10. Orlov A.I. Bazovye rezul'taty matematicheskoj teorii klassifikacii // Nauchnyj zhurnal KubGAU. 2015. №110. S. 219-239.
11. Kontrolling / A.M. Karminskij, S.G. Fal'ko, A.A. ZHevaga, N.YU. Ivanova; pod red. A.M. Karminskogo, S.G. Fal'ko. - 3-e izd., dorab. - M.: ID «FORUM»: INFRA-M, 2013. - 336 s.
12. Fal'ko S.G. Kontrolling dlya rukovoditelej i specialistov. - M.: Finansy i statistika, 2008. - 270 s.
13. CHugunov V.S. Kontrolling: filosofiya, teoriya, metodologiya: monografiya. -M.: NP "Ob"edinenie kontrollerov", 2017. - 140 s.
14. Orlov A.I. Kontrolling yavnyj i kontrolling skrytyj // Kontrolling. 2018. №3(69). S. 28-32.
15. Orlov A.I. Edinstvo i bor'ba polyusov v razvitii nauki // Nauchnyj zhurnal KubGAU. 2022. №176.
