CC BY
18СОВЕТУЮЩАЯ ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА КАК ИНСТРУМЕНТ РЕШЕНИЯ МАРКЕТИНГОВЫХ ПРОБЛЕМ И ОБУЧЕНИЯ МАРКЕТОЛОГОВ-ПРАКТИКОВ
Павлов Николай Вячеславович,
кандидат технических наук, Эг Бе, доцент высшей школы управления бизнесом, Санкт-Петербургский политехнический университет Петра Великого; 195251, г. Санкт-Петербург, ул. Политехническая, 29 pavlov_nv@spbstu.ru
Показана актуальность использования разнообразных современных методов принятия решений в области управления продуктом на малых предприятиях, которые имеют большую гибкость, но ограниченные ресурсы. Для решения маркетинговых проблем важно не только внедрение интеллектуальных систем, но и повышение квалификации использующих их специалистов. Поэтому целесообразно строить подобные системы на основе рационального разделения функций между человеком и компьютером. Разработанная автором советующая нечеткая матричная экспертная система выбора метода решения маркетинговых задач в области управления продуктом имеет ряд возможностей для обучения специалистов в реальных условиях, так как содержит стабильные знания о предметной области. В результате становится возможным повышение квалификации аналитика с ориентацией на круг реальных проблем. Это повысит конкурентоспособность малых предприятий.
Ключевые слова: малые предприятия; конкурентоспособность; интеллектуальные системы; обучение; экспертные системы.
Для обеспечения конкурентоспособности производителям требуется постоянно внедрять новые продукты. В программе социально-экономического развития России до 2025 года* провозглашается курс на инновационную экономику, причем трансфер зарубежных технологий предусмотрен лишь на первом этапе. Это приводит к выводу о необходимости интенсификации инновационных усилий отечественных организаций, что, в свою очередь, повышает актуальность образования в этой области.
Междисциплинарность инновационной деятельности требует различных компетенций, причем круг их постоянно расширяется. Например, идут интенсивные работы в области «больших данных» [1], что требует новых компетенций также и в этой сфере.
Выпускники отечественных вузов традиционно имеют хорошую теоретическую подготовку, но значительная часть практического опыта накапливается уже в процессе работы. Воспользоваться достижениями мировой науки и практики оказывается сложно без обобщения и систематизации всего арсенала современных методов исследований и принятия решений и его адаптации к российским условиям.
Малые предприятия имеют достаточную гибкость для того, чтобы достойно встретить вызовы современного конкурентного мира. Однако в России их доля в ВВП ниже, чем в развитых странах**. В Российской Федерации в 2016 году доля валовой добавленной стоимости малых и средних предприятий в валовом внутреннем продукте составляет 21%, в то
время как в зарубежных развитых странах на сектор малого бизнеса приходится более половины валового внутреннего продукта.
Малые предприятия не всегда могут нанять специалистов требуемого для полноценной инновационной маркетинговой деятельности уровня квалификации. В отличие от крупных предприятий, имеющих отделы и службы маркетинга, на малых предприятиях штат маркетологов часто сводится к единственному специалисту, что сильно затрудняет повышение квалификации путем работы в коллективе и обмена опытом. Поэтому крайне важна задача обучения специалистов современным методам маркетинга в процессе их практической деятельности.
В последние годы большие надежды возлагаются на «умное» управление бизнесом, на так
* Среднесрочная программа социально-экономического развития России до 2025 года: Стратегия роста/Институт экономики роста им. Столыпина П.А. - URL http://stolypinsky.club/wp-content/uploads/2017/03/STRATEGIYA-ROSTA-2.pdf.
** Основные показатели деятельности малых предприятий (включая микропредприятий) / Федеральная служба государственной статистики. - URL: http://www.gks.ru/free_doc/ new_site/business/inst-preob/tab-mal_pr_m.htm.
называемую предписывающую аналитику [2]. В 2017 году это направление находилось на пике завышенных ожиданий [3]. В средствах массовой информации уже появляются предупреждения об опасности тотального перехода на принятие решения компьютером в области приема на работу, биржевой деятельности и других областях. В то же время технологии, уже ставшие классическими, далеко не исчерпали свой потенциал. Они могут принести большую пользу для решения поставленной проблемы. Главная их особенность — традиционное разделение функций между человеком и компьютером. Последнему поручается формализуемая часть работы, что облегчает решение сложных задач.
Данная статья посвящена рассмотрению возможностей нечеткой матричной экспертной системы [4] для принятия решений и обучения в области управления продуктом. Данная система позволяет повысить конкурентоспособность малых предприятий.
Для успеха в конкурентной борьбе требуется комплексная методологическая поддержка взаимосвязи производителя и потребителя по циклу маркетинговые исследования — формирование требований к продукту — производство — продажи — модификация с учетом мнений потребителей — снятие с производства. Это — сложный аспект маркетинговой деятельности организации, включающий целый ряд разнородных задач.
Разнообразие решаемых на каждой стадии задач обусловливает и большое разнообразие используемого инструментария. Более того, даже в рамках отдельно взятой задачи существует целый спектр методов и моделей, кото-
рые можно применить для ее решения [5]. Во-первых, используются методы наук, изучающих человеческое поведение: психологии, социологии. Во-вторых, используются разнообразные, подчас весьма сложные и специально разработанные для исследований в системе производитель-потребитель математические методы. К их числу можно отнести и факторный анализ, и методы измерения отношения, и метод кон-джойнт-анализа, и многомерное шкалирование, и метод структурных уравнений, и целый ряд других методов [6]. В-третьих, большое развитие получили методы искусственного интеллекта (деревья классификации, нейронные сети). Наконец, используются не-формализуемые креативные [7] и экспертные методы. Видно, что для того чтобы воспользоваться всеми возможностями и преимуществами данных методов, необходимы разносторонние глубокие знания в самых разнообразных областях науки и практики. Все эти методы требуют достаточно высокой квалификации исполнителей. Причем это обусловлено не только сложностью методов, но и, пожалуй, самым важным этапом — выбором метода, адекватного конкретной задаче в конкретной ситуации [8].
В литературе обычно сначала описывается некоторый метод, а потом его применение иллюстрируется примерами. А в обычной деятельности ситуация практически всегда обратная: имеется реальная ситуация, требующая принятия управленческого решения, для которой необходимо выбрать метод разработки этого решения.
При этом практически для каждой реальной задачи можно применить целый ряд различных ме-
тодов, а зачастую — даже различных подходов. Они различаются требуемыми для получения результата усилиями и близостью результата к оптимальному. Например, идею нового продукта можно создать
♦ интуитивно-творческими методами: мозгового штурма [9], методом шляп де Боно [10], методом У. Диснея, и т. п.,
♦ логико-систематическими методами: методом анкетирования потребителей о свойствах и характеристиках товара [11], методами, основанными на морфологическом подходе [12] и др. Описано множество примеров
удачного применения каждого из этих методов. В каждой реальной ситуации можно применить практически любой из них.
Помимо особенностей собственно метода, его применимость для решения конкретной проблемы зависит от субъективных факторов: опыта и квалификации, личных предпочтений. Наконец, применимость метода может определяться стратегическими направлениями развития организации. Достаточно привести один пример: если организация очень редко разрабатывает новые продукты, совершенно нецелесообразно внедрять для этой цели нейронную сеть, которая требует большого количества примеров для обучения.
Следует также отметить, что практически никогда информация о ситуации не бывает полной и точной. Более того, бывает неизвестно даже, какая информация нужна для выбора метода принятия решения.
Когда метод выбран, ситуация до некоторой степени проясняется, так как применение конкретных методов хорошо описано в литературе.
Таким образом, выбор метода принятия управленческих решений в системе производитель-потребитель — отдельная сложная задача. Она имеет следующие особенности:
♦ слабая структурированность
[13];
♦ отсутствие полной информации о ситуации;
♦ зачастую — неясность того, какая информация нужна;
♦ неединственность решения;
♦ различная степень сложности и результативности применения различных методов;
♦ динамичность объекта исследования: потребителя, производителя и их взаимоотношений;
♦ влияние субъективного фактора.
Сложность проблемы такова, что для ее решения требуется высокая квалификация (и, соответственно, высокая оплата) маркетологов, что не всегда могут себе позволить малые предприятия.
Решение данной проблемы имеет следующие аспекты.
Обучение. Эффективное обучение предполагает точную ориентацию на круг решаемых проблем.
Рекомендации. Рекомендации для реальных ситуаций позволяют сконцентрироваться на поиске информации по конкретному методу решения реальной задачи. Но при этом предполагается наличие эксперта или сохраненного в формализованном виде опыта эксперта.
Предлагаемый выход из создавшегося положения — использование средств искусственного интеллекта.
Множество работ последнихлет посвящено все более глубокой автоматизации процесса принятия решений, начиная от функционирования технических систем
(беспилотные поезда метро и автобусы) до систем менеджмента. В последней области можно отметить, помимо упоминавшейся выше предписывающей аналитики, так называемые Cognitive Expert Advisors (приложения по экспертному консультированию на основе анализа данных) [14].
Однако если речь идет об ориентации на обучение специалистов, обе эти проблемы могут быть эффективно решены с использованием классических интеллектуальных средств, а именно — экспертной системы [15]. Хотя в последнее время внимание к экспертным системам не столь высоко, они далеко еще не исчерпали свой потенциал.
Подобные системы позволяют целесообразно распределить функции между человеком и компьютерными средствами. На роль человека остается понимание ситуации; сбор данных; настройка параметров системы под субъективные предпочтения; интерпретация результатов; принятие решений. Компьютерные средства берут на себя формализованную часть: хранение информации, в особенности — формализованных знаний экспертов в виде правил; использование этих правил; реализацию адаптационных функций. В итоге менеджеры получают удобный инструмент по поддержке принятия решений.
В классическом варианте экспертная система представляет собой базу фактов — описаний ситуации — и правил, в которых собран и формализован опыт экспертов. Благодаря правилам из имеющихся фактов могут быть получены новые факты. Для рассматриваемого случая исходными фактами выступают значения параметров реальной ситуации, а результатом — рекомендации по
использованию различных методов для решения имеющейся проблемы.
Системы данного класса могут обладать множеством дополнительных функций. Это и обработка нечетких данных, и автоматическая настройка [16]. Кроме этого, они могут использоваться для обучения. Все это делает их полезным инструментом принятия решений.
Итак, советующая экспертная система способна, с учетом параметров ситуации, предпочтений исполнителей и выбранной стратегии развития организации, сформировать ранжирование методов решения задачи в системе производитель-потребитель по оценкам предпочтительности их применения для реальной ситуации. Это позволяет использовать для решения возникающих задач наиболее эффективные методы, что повысит результативность маркетинговой деятельности, улучшит конкурентное положение внедряющей данную систему организации.
ФУНКЦИИ ЭКСПЕРТНОЙ
СИСТЕМЫ
Экспертная система может выполнять ряд основных функций.
♦ Прямая цепочка рассуждений. На вход поступают известные факты, на выходе по имеющимся правилам формируются новые факты, неизвестные ранее.
♦ Обратная цепочка рассуждений. С помощью этой функции можно получить список возможных причин имеющегося результата или определить, какую информацию требуется получить, чтобы получить определенный результат.
♦ «Что-если» анализ. Подавая на вход различные значения параметров ситуации, можно определить возможный результат.
♦ Объяснение. Каждый шаг формализованных рассуждений можно раскрыть для пользователя, задавая вопросы «почему?». Система выведет соответствующие «если—то» правила.
♦ Обучение. С помощью двух предыдущих функций происходит обучение в определенной предметной области.
Таким образом, у данного типа систем имеется большой потенциал для обучения предпринимателей и персонала малых предприятий методам достижения конкурентных преимуществ.
Подробное описание разработанной советующей системы приведено в работе [17], где рассматривается также ее дальнейшее развитие для целей обучения.
Типизация проблем маркетинга и маркетинговых исследований, возникающих при управлении продуктом:
♦ Сложные математические методы (расчеты по аналитическим и численным моделям используются для оценки спроса при помощи тестового маркетинга на модельном рынке; дискриминантный анализ применяется для сегментирования; методы Data Mining, включая генетические алгоритмы, служат для поиска новых возможностей в конкурентной борьбе).
♦ Объект исследования ментальной природы, необходимость использования методов психологии и социологии (разработка моделей поведения потребителей).
♦ Многокритериальность выбора решения, требующая формирования набора критериев, оценки их значений и принятия решения (разработка технических и технологических параметров продукта).
♦ Большая размерность объекта исследования, сложные взаимосвязи между параметрами ситуации (прогноз реакции партнеров и конкурентов на вывод на рынок нового продукта).
♦ Информационная закрытость, требующая применения косвенных или экспертных оценок (сбор сведений о технологиях конкурентов).
♦ Слабая структуризация задачи, приводящая к необходимости действовать методом проб и ошибок (оценка привлекательности сегментов потребителей).
♦ Разнообразие методов, от формальных до творческих (разработка вариантов идей модификации продукта).
♦ Креативные методы, требующие организации творческого процесса (априорное сегментирование; генерация идей нового продукта).
♦ Сложные информационные технологии (мониторинг внешней среды; поиск полезной информации в социальных сетях).
Советующая система работает следующим образом:
1. Входами служат значения параметров из определенного набора. Этот набор параметров характеризует весь рассматриваемый класс ситуаций. В данном случае это круг проблем маркетинга и маркетинговых исследований, связанных с управлением продуктом.
1.1. Это могут быть строки нечетких переменных. Например, выделяются этапы процесса принятия решений: понять ситуацию, построить модель ситуации, сгенерировать альтернативы, получить их оценки и выбрать лучшую, получить решение, классифицировать ситуацию, понять решение. Лицо, принима-
ющее решение, может сомневаться в том, на каком именно этапе находится решение проблемы. Кроме этого, вводятся строки: задача принятия решения; цель решения; тип решения и некоторые другие.
1.2. Это может быть нечеткая величина, например, степень повторяемости задачи 0 — низкая, .... 1 — высокая.
1.3. Это может быть логическая переменная, например,наличие решений для типовых ситуаций.
Допускается ввод неполного набора параметров, а также ввод нечетких оценок параметров. Система работоспособна даже при полном отсутствии входной информации. В этом случае рекомендации выдаются на основе свойств самих методов, например, сложности их применения. При полном отсутствии информации о ситуации наибольшую предпочтительность получают когнитивные методы, маркетинговые исследования и методы экспертных оценок.
2. Далее с помощью нечетких матричных преобразований определяются промежуточные переменные, которые служат для согласования параметров ситуации и параметров методов [18]. Это, например, преобладающий тип параметров модели (количественные непрерывные, балльные и т. д.), вид модели (кибернетическая, морфологическая, динамического программирования и т. д.), способ определения параметров (вторичные данные, измерения, нормативы и т. д.). Особенности этих переменных состоят в том, что они важны для выбора метода, но не могут быть получены как параметры ситуации. Указанные преобразования
сформированы как нечеткие экспертные правила.
3. На следующем этапе определяется «чистая», то есть вытекающая только из особенностей собственно методов предпочтительность использования каждого из 44 изученных методов: аналитических расчетов, имитационного моделирования, описательного маркетингового исследования, нейронных сетей и пр. Правила преобразования аналогичны.
Видно, что ядро применяемых правил достаточно стабильно. Оно отражает структуру проблемы выбора метода. Это в большой степени переработанное содержание учебной литературы. Таким образом, они могут служить основой для обучающей функции системы.
4. Далее оценки предпочтительности корректируются в соответствии с конкретным применением, например, ориентацией на внедрение специализированной компьютерной программы или разовое решение. Эта часть правил более гибкая и может адаптироваться к конкретному применению.
Основные характеристики системы [19]: 145 нечетких входных переменных, используется 32 нечетких правила, рекомендации выдаются по 44 методам.
ВОЗМОЖНОСТИ СОВЕТУЮЩЕЙ
СИСТЕМЫ
Помимо упоминавшихся рекомендаций в виде уровней предпочтительности использования различных методов для решения реальной задачи, система обладает рядом дополнительных функций.
Возможно реализовать «что-если» анализ для определения того, какую дополнительную информацию следует получить
в первую очередь. Статья автора на эту тему в настоящее время принята к публикации в журнале «Конкурентоспособность в глобальном мире».
Работа системы может производиться в пошаговом режиме, с выводом каждого промежуточного результата. Это раскрывает механизм получения итоговых рекомендаций. Обычно промежуточный результат — строка возможностей. Например, это могут быть возможности использования различного вида моделей. На каждом шаге можно принять решение, например, задать определенный вид модели вручную. Это позволяет учесть неформализуемые особенности реальной ситуации. Если лицо принимающее решение сделает выбор на таком промежуточном шаге, веса связей могут быть соответственно скорректированы, чтобы в следующий раз выбранная модель стала более предпочтительной.
Параметры нечетких правил доступны для просмотра, что позволяет понять механизм их действия.
В перспективе предполагается объединить данную систему с системой помощи, что даст возможность получить исчерпывающую информацию об особенностях предметной области и используемых методах, причем эту информацию можно сделать полной, но не избыточной, так как ее тематика определена. Это позволит исследователям получать именно те новые знания, которые им необходимы.
Другое перспективное направление — объединение данной системы с инструментарием, реализующим выбранные методы. Многие из рассматриваемых методов реализуются в статистических пакетах, например, Statistica и SPSS. Существует и системы с более раз-
нообразным инструментарием, такие как Deductor [20]. Для них было бы целесообразно включить рассматриваемый советчик как составную часть.
ИСПОЛЬЗОВАНИЕ СИСТЕМЫ
Итак, система, внедренная на малом предприятии, работает в следующем режиме.
1. В нее вводятся известные параметры проблемной ситуации.
2. Формируется строка предпочтительности использования различных методов решения проблемы.
3. Даются рекомендации о том, какую дополнительную информацию целесообразно собрать для повышения качества рекомендаций.
4. Отследить работу системы можно в пошаговом режиме с выводом используемого на каждом шаге правила.
5. Для каждого метода имеется система помощи по его использованию для решения проблем в заданной области: решении маркетинговых задач и задач маркетинговых исследований при управлении продуктом (в процессе реализации).
ВЫВОДЫ
Разработанная экспертная система содержит:
♦ формализованную часть знаний о предметной области в виде структуры переменных (фактов) и правил их преобразования;
♦ значения параметров по умолчанию, которые предлагаются системой при отсутствии входной информации; они основываются на особенностях собственно методов;
♦ текущие значения параметров ситуации (возможно, не всех), в том числе нечеткие;
♦ текущие значения нечетких параметров правил, которые могут корректироваться по результатам принимаемых решений. Видно, что имеется стабильное ядро знаний, которое может быть использовано для обучающей функции экспертной системы.
Показано, что система имеет широкий спектр возможностей обучения.
Таким образом:
♦ система сможет помочь маркетологам малых предприятий в выборе методов решения возникающих задач;
♦ такой выбор ограничит поиск требуемой информации, что значительно повысит эффективность обучения современным методам благодаря тому, что точно формулируется задача
обучения и происходит решение реальной задачи; ♦ можно будет получать объяснения формализованных преобразований.
В заключение хотелось бы отметить, что в дальнейшем предполагается использовать системы подобного типа в других областях маркетинга, например, в маркетинговых коммуникациях и рекламе.
ИСТОЧНИКИ
1. Скорочкина Т.С. Big Data — новый подход формирования бизнес-знаний. — Стратегии бизнеса. — 2017. — № S (37). — С. 28—30.
2. Kumar U.D. Business Analytics: The Science of Data-driven Decision Making. — India: Wiley, 2017. — 73б p.
3. Schlegel K., Hare J. Hype Cycle and Business Intelligence, 2017. — Gartner. — URL https://www.gartner.com/doc/ 3772080/hype-cycle-analytics-business-intelligence.
4. Pavlov N. Product Lifecycle Management. — Turku, Finland: Abo Academi University Press, 201б. — 282 p.
5. ПавловН.В. Методы и модели маркетинго-ориентированного управления жизненным циклом продукта. — СПб.: Издательство СПбГПУ, 2011. — 20б с.
6. Галицкий Е.Б., Галицкая Е.Г. Маркетинговые исследования. Теория и практика. — Люберцы: Юрайт, 201б. — 570 c.
7. Микалко М. Взлом креатива. Как увидеть то, что не видят другие. — М.: «Манн», 201б. — 272 с.
8. Павлов Н. В. Содержание и этапы маркетингового управления продуктом / Научно-технические ведомости СПбГПУ. — 2009. № 3 — С. 319—325.
9. Лесков С.Л. Мозговой штурм: Интервью, очерки, эссе. — М.: Изд-во Московского университета, 2012. — бЗб с.
10. де Боно Э. Шесть фигур мышления. — СПб.: Питер, 2010. — 112 с.
11. Котлер Ф., Келлер К.Л. Маркетинг менеджмент. — СПб.: Питер, 2014. — 800 с.
12. РаковД.Л. Структурный анализ и синтез новых технических систем на базе морфологического подхода. — М.: Книжный дом ЛИБРОКОМ, 2011. — 1б0 с.
13. Хайниш С.В. Менеджмент и бизнес в слабоструктурированном мире: Актуальные сечения, парадоксы, решения (из опыта управленческого консультирования). — М.: URSS, 2017 — 704 с.
14. Schlegel K., Hare J. Указ. соч.
15. ЯсницкийЛ.Н. Интеллектуальные системы. — М. : Лаборатория знаний, 201б. — 221 с.
16. Павлов Н.В. Содержание и этапы маркетингового управления продуктом. Указ соч. С. 319—325.
17. Pavlov N. Указ. соч.
18. Там же.
19. Там же.
20. Яковлев В.Б. Анализ данных в Deductor Studio. — М.: ОнтоПринт, 2017. — 212 с.
Intelligent Consulting System as a Tool for Solving Marketing Problems and Training Marketing Practitioners Pavlov Nikolai Vyacheslavovich,
Doctor of Science (Technology), Associate Professor of Higher School of Business Management, Peter the Great Saint-Petersburg Polytechnic University; Polytechnicheskaya St., 29, St. Petersburg, 195251, Russian Federation (pavlov_nv@spbstu.ru).
The relevance of the use of a variety of modern decision-making methods in the field of product management in small enterprises, which have greater flexibility, but limited resources, is shown. To solve the marketing problems, it is important not only to introduce intelligent systems, but also to improve the skills of the specialists using them. Therefore, it is advisable to build such systems based on a rational division of functions between a person and a computer. The advising fuzzy matrix expert system developed by the author for choosing a method of the decision of marketing problems in the field of product management has a number of possibilities for training of analysts in real conditions. This is because it contains a stable knowledge about subject area. As a result, it becomes possible to improve the skills of the analyst focused on the range of real problems. This will increase the competitiveness of small businesses.
Keywords: small enterprises; competitiveness; intellectual systems; training; expert systems. REFERENCES
1. Skorochkina, T.S. (2017) Big Data — a new approach of business data formation. Business Strategies, 2017, No 5, pp. 28-30.
2. Kumar, U.D. (2017) Business Analytics: The Science of Data-driven Decision Making. India: Wiley, 2017, 736 p.
3. Schlegel, K.; Hare, J. (2017) Hype Cycle and Business Intelligence, 2017. Gartner. URL: https://www.gartner.com/ doc/3772080/hype-cycle-analytics-business-intelligence.
4. Pavlov, N. (2016) Product Lifecycle Management. Turku, Finland, Abo Academi University Press, 2016, 282 p.
5. Pavlov, N.V. (2011) Methods and Моdels of Marketing-oriented Product Lifecycle Management. Saint Petersburg, SPbSTU Publishing, 2011, 206 p.
6. Galitsky, E.B.; Galitskaya, E.G. (2016) Marketing Research. Theory and practice. Lubertsy, Jurait Publ., 2016, 570 p.
7. Mikhalko, M. (2016) Hacking of the creative. How to see what others do not see. Moscow, Mann Publ., 2016, 272 p.
8. Pavlov, N.V. (2009) The contents and stages of marketing product management. Nauchno-tekhnicheskie vedomosti SpbGPU [Scientific and Technical Proceedings of SPbSPU], 2009, No 3, pp. 319-325.
9. Leskov, S.L. (2012) Brainstorming: Interviews, Storyes, Essays. Moscow, Moscow University Publishing, 2012, 636 p.
10. Bono De, E. (2010) Six Figures of Thinking. (In Russian) Saint Petersburg, Piter Publ., 2010, 112 p.
11. Kotler, Ph.; Keller, K.L. (2014) Marketing Management. (In Russian) Saint Petersburg, Piter Publ., 2014, 800 p.
12. Rakov, D.L. (2011) Structural analysis and synthesis of new technical systems based on the morphological approach. Moscow, Book House LIBROKOM Publ., 2011, 160 p.
13. Hainish, S.V. (2017) Management and business in a semi-structured world: Topical sections, paradoxes, solutions (from the experience of management consulting). Moscow, URSS Publ., 2017, 704 p.
14. Schlegel, K.; Hare, J. (2017) Op. cit.
15. Yasnitsky, L.N. (2016) Intellectual systems. Moscow, Laboratory of Knowledge Publ., 2016, 221 p.
16. Pavlov, N.V. (2009) Op. cit. Pp. 319-325.
17. Pavlov, N. (2016) Op. cit.
18. Ibid.
19. Ibid.
20. Yakovlev, V.B. (2017) Data Analysis in Deductor Studio. Moscow, OntoPrint Publ., 2017, 212 p.
