Научная статья на тему 'МЕТОДЫ ОЦЕНКИ ТЕХНОЛОГИЧЕСКИХ СТАРТАПОВ'

МЕТОДЫ ОЦЕНКИ ТЕХНОЛОГИЧЕСКИХ СТАРТАПОВ Текст научной статьи по специальности «Компьютерные и информационные науки»

CC BY
115
27
i Надоели баннеры? Вы всегда можете отключить рекламу.
Ключевые слова
ВЕНЧУРНЫЕ ФОНДЫ / ТЕХНОЛОГИЧЕСКИЙ СТАРТАП / ИНФОРМАЦИОННЫЙ МОНИТОРИНГ / ОЦЕНКА / БИЗНЕС-ПРОЦЕСС / ИНФОРМАЦИОННАЯ НЕОПРЕДЕЛЕННОСТЬ / БАЗА ДАННЫХ И ЗНАНИЙ / ПОТЕРИ ИНФОРМАЦИИ / ИНФОРМАЦИОННЫЕ ШУМЫ / ПРОБЛЕМА / МЕТОДЫ

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Рыжов Александр Павлович

Цель работы: исследование возможности применения технологии оценки и информационного мониторинга сложных процессов для оценки технологических стартапов. Методы исследования: теория нечетких множеств, теория иерархических систем, методы выбора оптимального множества значений качественных признаков, поиска информации по нечетким описаниям и выбора адекватных операторов агрегирования информации в иерархических системах. Результаты исследования: рассмотрены возможности применения технологии оценки и информационного мониторинга сложных процессов для оценки технологических стартапов. Приведены: пример структуры оценки стартапов, сценарии использования системы в венчурном фонде; описан прототип системы.

i Надоели баннеры? Вы всегда можете отключить рекламу.
iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.
i Надоели баннеры? Вы всегда можете отключить рекламу.

METHODS FOR ASSESSING TECHNOLOGY STARTUPS

Purpose of the work: studying the possibilities for using the technology for assessing and information monitoring of complex processes for evaluating technology start-ups. Methods of study: fuzzy set theory, theory of hierarchical systems, methods for choosing the optimal set of values of qualitative attributes, information search based on fuzzy descriptions and choosing adequate information aggregation operators in hierarchical systems. Study findings: possibilities for using the technology for assessing and information monitoring of complex processes for evaluating technology start-ups are considered. An example of a startup assessment structure and scenarios for using the system in a venture fund are given, and a prototype of the system is described.

Текст научной работы на тему «МЕТОДЫ ОЦЕНКИ ТЕХНОЛОГИЧЕСКИХ СТАРТАПОВ»

МЕТОДЫ ОЦЕНКИ ТЕХНОЛОГИЧЕСКИХ СТАРТАПОВ

Рыжов А. П.'

Ключевые слова: венчурные фонды, технологический стартап, информационный мониторинг, оценка, бизнес-процесс, информационная неопределенность, база данных и знаний, потери информации, информационные шумы, проблема, методы.

Аннотация

Цель работы: исследование возможности применения технологии оценки и информационного мониторинга сложных процессов для оценки технологических стартапов.

Методы исследования: теория нечетких множеств, теория иерархических систем, методы выбора оптимального множества значений качественных признаков, поиска информации по нечетким описаниям и выбора адекватных операторов агрегирования информации в иерархических системах.

Результаты исследования: рассмотрены возможности применения технологии оценки и информационного мониторинга сложных процессов для оценки технологических стартапов. Приведены: пример структуры оценки стартапов, сценарии использования системы в венчурном фонде; описан прототип системы.

Р01: 10.21681/1994-1404-2022-3-23-30 Введение

Современную экономику и повседневную жизнь невозможно представить без венчурного финансирования. Практически все используемые компьютерные технологии, их аппаратная, программная и коммуникационная составляющие — это продукты компаний, развитие которых было бы невозможно без венчурного капитала.

Венчурный капитал как альтернативный источник финансирования частного бизнеса зародился в США в середине 50-х годов. Его история представлена, например, на интернет-сайте компании GLOBFIN2; особенности венчурного инвестирования в современной экономике Российской Федерации рассмотрены в [3]. Венчурное финансирование — это долгосрочные (5—7 лет) высокорисковые инвестиции частного капитала в акционерный капитал вновь создаваемых малых высокотехнологичных перспективных компаний, ориентированных на разработку и производство наукоемких продуктов, для их развития и расширения, с целью получения прибыли от прироста стоимости вложенных средств. Рынок венчурных инвестиций (см. рис. 1) сравним с бюджетами многих государств3.

2 История развития и особенности венчурного инвестирования в странах мира. URL: http://www.globfin.ru/articles/venture/ventinv.htm

3 Мировой рынок венчурных инвестиций. МНИАП, 20 декабря 2021 г. URL: http://мниап.рф/analytics/Mirovoj-rynok-vencurnyh-investicij

Традиционно выбор стартапов (от англ. start up — запускать) для инвестирования как временных организаций, направленных на поиск новой бизнес-модели, считается искусством, определяемым интуицией и даже везением партнеров венчурного фонда. Отчасти это справедливо. Обычно партнеры ведущих фондов — это высококвалифицированные специалисты с многолетним опытом работы в индустрии, и именно ими определяется успех фонда. Однако в последнее время появились и обсуждаются идеи «автоматизации» принятия инвестиционных решений (см., например, [14]), даже появились фонды, использующие в своей работе такие новые подходы45.

Автором разработана технология оценки и мониторинга сложных процессов [8], которая была успешно использована для разработки систем оценки и мониторинга способности стран к производству специальных технологий в ядерной области в интересах управления международных гарантий Международного агентства по атомной энергии (МАГАТЭ), оценки и мониторинга готовности команды разработчиков микроэлектроники к выполнению проекта для компании Cadence Design Systems и других систем [9]. В настоящей работе представлено видение автора по возможному решению задачи оценки технологических стартапов на базе технологии оценки и мониторинга сложных процессов.

4 Google Ventures Stresses Science of Deal, Not Art of the Deal. URL: http://www.nytimes.com/2013/06/24/technology/venture-capital-blends-more-data-crunching-into-choice-of-targets.html

5 The next generation in venture capital. URL: //www.venture-science.com

1 Рыжов Александр Павлович, доктор технических наук, профессор, профессор кафедры математической теории интеллектуальных систем механико-математического факультета МГУ имени М.В. Ломоносова, г. Москва, Российская Федерация.

E-mail: ryjov@mail.ru

490,0

420,0 РЧ

360,0 =т шш

320,0 Е=Э - -

270,0

230,0 . г-: : :

198,0 ' — — = [ |

- -1 - Е | - = :

- ___; ■ - ==

= ; = и 1 ■ : == :

И ы щ НИ

2020 г. 2021г. 2022 г. 2023 г. 2024 г. 2025 г. 2026 г.

Рис. 1. Прогноз динамики мирового рынка венчурных инвестиций (млрд долларов США)

1. Технология оценки и мониторинга: особенности разработки приложений

Технология оценки и мониторинга сложных процессов ориентирована на разработку человеко-компью-терных систем для оценки состояния и отслеживания развития процессов в бизнесе, экономике, социологии, политике и других областях, которые принято называть слабо или плохо формализуемыми. Для таких процессов почти всегда невозможно построить математическую модель в привычном понимании (в виде уравнений, автоматов и др.) либо модель является очень абстрактной и ее практическое использование невозможно. Трудности связаны не только со сложностью самих процессов, но и с неизмеримостью значений их параметров в привычном виде чисел; «измерительным

прибором» для таких параметров является человек. Однако есть аналитики, решающие задачу оценки и мониторинга на систематической основе. Разработка таких систем возможна, когда можно построить семантическую модель процесса в виде набора понятий и их взаимосвязей, а также поступает и анализируется реальная информация — возможны обучение и настройка. Схема работы систем оценки и мониторинга представлена на рис. 2.

Системы оценки и мониторинга являются одним из сценариев гибридного (человеко-компьютерного) интеллекта [10], имеющего приложения в аналитической обработке данных [14], кибербезопасности [15] и других областях, где невозможно исключить человека из процессов описания объектов и/или ситуаций в предметной области, обработки информации и ее интерпретации.

Рис. 2. Схема работы систем оценки и мониторинга

(а) (б)

Рис. 3. Соотношение реального объекта или процесса и его модели

При практической реализации систем оценки и мониторинга возникают следующие проблемы моделирования.

Проблема 1 (описание человеком объектов). Можно ли, учитывая некоторые особенности восприятия человеком объектов реального мира и их описания, сформулировать правило выбора оптимального множества значений признаков, по которым описываются эти объекты? Возможны два критерия оптимальности.

Критерий 1. Под оптимальными понимаются такие множества значений, используя которые человек испытывает минимальную информационную неопределенность при описании объектов.

Критерий 2. Если объект описывается некоторым количеством экспертов, то под оптимальными понимаются такие множества значений, которые обеспечивают минимальную степень рассогласования описаний.

Эта проблема носит фундаментальный характер для человеко-компьютерных систем и касается соотношения реального объекта или процесса и его модели. Мы всегда хотим, чтобы модель как можно более точно соответствовала объекту или процессу: то, что мы получим в модели, мы переносим в реальный мир (рис. 3, а). Для естественных наук (физика, химия) были разработаны измерительные приборы, обеспечивающие адекватность модели объекту (рис. 3, б). Для социальных процессов, социальных сетей, гибридного интеллекта и пр. таким измерительным прибором является человек. Таким образом, проблема 1 — это проблема разработки оптимального измерительного прибора для человеко-компьютерных систем. Такой прибор обеспечивает максимальную адекватность модели реальному объекту или процессу: количество

ситуаций, когда одному реальному объекту соответствует несколько объектов в модели или, наоборот, разным реальным объектам соответствует один объект в модели, минимально.

Можно сформулировать метод выбора оптимального множества значений качественных признаков на основе понятия степени нечеткости ц полных ортогональных семантических пространств [1, 11] (рис. 4).

Простейшая такая степень нечеткости описывается функционалом

где ^(и) = тах^-^Ди), ^(и) =

Интерпретация. Рассмотрим процесс описания объектов в рамках семантического пространства (рис. 5).

Для объектов их и и5 человек без всяких колебаний выбирает один из термов (а1 и а3 соответственно). При описании объекта и2 человек начинает выбирать между термами ах и а2. Такого рода колебания возрастают и достигают своего пика при описании объекта и4: для этой точки термы ах и а2 неразличимы.

Теперь рассмотрим подынтегральную функцию <:,($). Нетрудно видеть, что

О = ^Оз,^) = < Г](Б3>и2) <

< < = 1

Таким образом, действительно отража-

ет степень информационной неопределенности, которую испытывает человек при описании объектов в

Рис. 4. Полное ортогональное семантическое пространство для признака, имеющего I значений

Рис. 5. Интерпретация простейшей степени нечеткости

рамках семантического пространства, или степень рассогласования мнения экспертов при таком описании, а — усредненная степень трудности описания

реальных объектов (выбора того или иного значения) в рамках .

Функция ^как измеритель степени нечеткости обладает рядом прагматически полезных свойств7. В частности, она является устойчивой, т. е. возможные при построении функций принадлежности естественные маленькие ошибки не оказывают существенного влияния на выбор оптимального множества значений. Множества, оптимальные по критериям 1 и 2, совпадают. Это позволяет сформулировать следующий метод выбора оптимального (в смысле формулировки проблемы 1) множества значений качественного признака:

1. Генерируются все «разумные» множества значений качественного признака.

2. Каждое из таких множеств представляется в форме полного ортогонального семантического пространства.

3. Для каждого из них вычисляется мера неопределенности %(з^).

4. В качестве оптимального множества значений как с точки зрения минимизации неопределенности описания объектов, так и с точки зрения минимизации степени рассогласования мнений экспертов выбирается то множество, мера неопределенности которого минимальна, т. е.:

=

Следуя этому методу, можно описать объекты с минимально возможной неопределенностью, т. е. гарантировать оптимальность свойств человеко-ком-пьютерных систем с этой точки зрения. Устойчивость ^(Бс) позволяет использовать этот метод в практических задачах.

Возвращаясь к анализу проблемы 1 (см. рис. 3), можно сказать, что предложен оптимальный измерительный прибор для человеко-компьютерных систем, обеспечивающий максимальную адекватность модели реальному объекту или процессу: количество ситуаций, когда одному реальному объекту соответствует несколько объектов в модели или, наоборот, разным реальным объектам соответствует один объект в модели, минимально.

Проблема 2 (поиск информации, описанной человеком). Можно ли определить показатели качества поиска информации в нечетких (лингвистических) базах данных и знаний (БДЗ) [4, 5] и сформулировать правило выбора такого множества лингвистических значений, использование которого обеспечивало бы максимальные показатели качества поиска информации?

Методы и алгоритмы поиска информации в нечетких (лингвистических) БДЗ анализируются в работе [12]. Вводятся понятия потерь информации [5] и

информационных шумов (НЛ>-([/)), возникающих при поиске информации в лингвистических БДЗ. Смысл этих понятий следующий. При общении с системой

пользователь формулирует запрос, содержащий определенные значения лингвистических признаков, и получает ответ на запрос. Если бы он мог знать физические (не лингвистические) значения признаков, он, возможно, не принял бы некоторые записи из ответа на запрос (такие записи составляют информационный шум); если бы он имел возможность при этом «видеть» всю БДЗ, он, возможно, дополнил бы некоторыми записями ответ на свой запрос (эти записи составляют потери информации). Такого рода потери информации и информационные шумы порождаются нечеткостью лингвистических описаний объектов.

В [12] показано, что сформулированные понятия можно формализовать следующим образом:

Х 1 С") N (и) (1и

щеХ = — множество значений призна-

ка; соответствующий набор функций принадлежности {^(и),...,^!*)} образует ^ € С(Ц; \] — универсальное множество, в котором определен признак; ■р. (1 < у < Г) — веооятность запроса по ]-му значению признака; А/(и) — количество объектов в БДЗ, имеющих физическое значение признака, равное и.

Объемы потерь информации и информационных шумов, возникающие при поиске информации в нечетких (лингвистических) БДЗ, согласуются со степенью неопределенности описания объектов:

= вдо =

где С — константа, зависящая только от А/.

Метод выбора оптимального для поиска множества значений качественного признака можно сформулировать так:

1. Генерируются все «разумные» множества значений качественного признака.

2. Каждое из таких множеств представляется в форме полного ортогонального семантического пространства.

3. Для каждого из них вычисляется мера неопределенности

4. В качестве оптимального множества значений с точки зрения поиска информации выбирается то множество, отношение меры неопределенности которого к числу значений минимально, т. е.:

Проблема 3 (агрегирование информации). Можно ли предложить алгоритмы выбора операторов агрегирования информации в системах информационного мониторинга, обеспечивающие «настройку» системы на конкретную предметную область?

Выделяются следующие подходы к решению этой проблемы [13], базирующиеся на различных интерпретациях операторов агрегирования информации: геометрический, логический и «дидактический» (на основе обучения). Последний включает в себя обучение на

основе генетических алгоритмов и обучение на основе нейронных сетей [2].

Рассмотренные результаты решения проблем 1—3 подробно описаны в работе [13]. Они позволяют разрабатывать оптимальные (с точки зрения удобства использования) системы оценки и мониторинга сложных процессов.

Таким образом, основной задачей разработки приложения является построение модели процесса.

2. Модель оценки технологических стартапов

Укрупненно бизнес-процесс венчурного фонда можно представить следующим образом (рис. 6).

Поиск стартапов

Оценка стартапов

Ия вести ропание

Развитие

Выход

Рис. 6. Бизнес-процесс венчурного фонда

Рис. 7. Пример структуры оценки стартапов

Рис. 8. Интерфейс прототипа системы оценки и мониторинга стартапов

Каждый из перечисленных блоков имеет свои подпроцессы, которые могут отличаться у различных фондов в зависимости от размера, отраслевой специализации и многих других параметров. Наиболее важным является процесс оценки (due diligence). Оценка имеет следующие аспекты и характеристики верхнего уровня (см. рис. 7). Этот пример является достаточно общим и должен уточняться/модифицироваться в зависимости от принятой в конкретном фонде модели. Ряд представленных характеристик имеет дальнейшее деление (не отображено на рисунке ввиду сложности визуализации).

Автором разработан прототип системы оценки и мониторинга технологических стартапов на базе данной модели. Один из скриншотов прототипа представлен на рис. 8.

3. Возможное использование системы оценки технологических стартапов

В соответствии с бизнес-процессом (см. рис. 6) оценка новых стартапов как объектов для инвестирования является контролируемым (внутренним) процессом. Обычно фонд запрашивает необходимые документы, проводит интервью с владельцами бизнеса, использует все внутренние и внешние источники информации. Оценка признаков нижнего уровня может проводиться аналитиками, что не требует привлечения квалифицированных и дорогостоящих специалистов. Результат — скоринг стартапа — позволяет «упорядочить» их по привлекательности для инвестирования или отнести к одной из групп: «рассматривать дальше», «не рассма-

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

тривать», «не определено». Так как для дальнейшего инвестирования «проходят» проценты от количества стартапов, поступающих на вход, такое «сито» позволит значительно облегчить и удешевить данный этап.

Прошедшие этап оценки стартапы имеют оценки всех признаков модели. Это позволяет решать прямую и обратную задачи.

Прямая задача — выявление критических путей в модели [6] — позволяет оценить степень влияния изменения состояния каждого элемента на результат оценки. Это позволяет понять, что нам необходимо улучшить для получения максимального эффекта (максимального изменения общей оценки). Это задача блока «Развитие» (см. рис. 6). Ее результат — максимальное увеличение привлекательности стартапа для последующих раундов финансирования, что, собственно, и является главной задачей венчурного фонда.

Обратная задача — оптимальное распределение бюджета [7] — позволяет выделить те признаки стартапа, улучшение которых в рамках заданного бюджета даст максимальный эффект или определит минимальный бюджет, необходимый для получения заданного эффекта. Это задача блока «Инвестирование» (см. рис. 6). Использование системы оценки и мониторинга позволит значительно систематизировать и оптимизировать этот бизнес-процесс и тем самым повысить эффективность фонда.

Автор выражает свою глубокую признательность управляющему партнеру венчурного фонда Maxfield Capital Partners Кужикову Олегу Владиславовичу за мотивацию к подготовке данной работы, конструктивные идеи, доброжелательную критику результатов.

Рецензент: Сухов Андрей Владимирович, доктор технических наук, профессор, старший научный сотрудник научно-производственного объединения «Специальная техника и связь», г. Москва, Российская Федерация. E-mail: avs57@mail.ru

Литература

1. Королев В.Т., Ловцов Д.А., Радионов В.В. Системный анализ. Часть. 2. Логические методы / Под ред. Д.А. Ловцо-ва. М. : РГУП, 2017. 164 с. ISBN 978-5-93916-638-6.

2. Лапушкин А.Г., Гаврилов Д.А., Шелкунов Н.Н., Бакеев Н.Н. Основные подходы к подготовке визуальных данных для обучения нейросетевых алгоритмов // Искусственный интеллект и принятие решений. 2021. № 4. С. 62—74. DOI: 10.14357/20718594200404 .

3. Лебедев В.А., Авдеева А.И., Мамедов Т.Н. Венчурные инвестиции как фактор развития экономики России в условиях пандемии // Финансы и управление. 2022. № 1. С. 47—57. DOI: 10.25136/2409-7802.2022.1.37318 . URL: https://nbpublish.com/library_read_article.php?id=37318

4. Ловцов Д.А. Информационная теория эргасистем : тезаурус. М. : Наука, 2005. 248 c. ISBN 5-02-033779-Х.

5. Ловцов Д.А. Информационная теория эргасистем : монография. М. : РГУП, 2021. 314 с. ISBN 978-5-93916-887-8.

6. Ловцов Д.А. Системный анализ. Часть. 1. Теоретические основы. М. : РГУП, 2018. 224 с. ISBN 978-5-93916-701-7.

7. Ловцов Д.А., Сергеев Н.А. Управление безопасностью эргасистем : монография / Под ред. Д.А. Ловцова. 2-е изд., испр. и доп. М. : РАУ-Университет, 2001. 224 с.

8. Рыжов А.П. Информационный мониторинг сложных процессов: технологические и математические основы // Интеллектуальные системы. 2008. Т. 11. Вып. 1-4. С. 101—136.

9. Рыжов А.П. Оценка и мониторинг процессов в социотехнических системах и связанные с ними задачи // Интеллектуальные системы. Теория и приложения. 2018. Т. 22. Вып. 2. С. 129—139.

10. Рыжов А.П. Гибридный интеллект. Сценарии использования в бизнесе. Новосибирск : Академиздат, 2019. 116 с.

11. Рыжов А.П. Элементы теории нечетких множеств и измерения нечеткости. М. : Диалог-МГУ, 1998. 116 с. URL: http://intsys.msu.ru/staff/ryzhov/FuzzySetsTheoryApplications.htm

12. Рыжов А.П. Модели поиска информации в нечеткой среде. М. : Центр прикладных исследований МГУ, 2004. 96 с. URL: http://intsys.msu.ru/staff/ryzhov/FuzzyRetrieval2010.htm

13. Рыжов А.П. Об агрегировании информации в нечетких иерархических системах // Интеллектуальные системы. 2001. Т. 6. Вып. 1-4. С. 341—364.

14. Ryjov A. Hybrid Intelligence Framework for Augmented Analytics. In: Intelligent Analytics with Advanced Multi-Industry Applications, Zhaohao Sun (Ed.), IGI Global, 2022, pp. 22-45.

15. Ryjov, A. P., Mikhalevich, I. F. Hybrid Intelligence Framework for Improvement of Information Security of Critical Infrastructures. In: Handbook of Research on Cyber Crime and Information Privacy. Cruz-Cunha, M., & Mateus-Coelho, N. R. (Eds.). IGI Global, 2021, pp. 310-337.

METHODS FOR ASSESSING TECHNOLOGY START-UPS

Aleksandr Ryzhov6

Keywords: venture funds, technology start-up, information monitoring, assessment, business process, information uncertainty, data and knowledge base, information losses, information noises, problem, methods.

Abstract

Purpose of the work: studying the possibilities for using the technology for assessing and information monitoring of complex processes for evaluating technology start-ups.

Methods of study: fuzzy set theory, theory of hierarchical systems, methods for choosing the optimal set of values of qualitative attributes, information search based on fuzzy descriptions and choosing adequate information aggregation operators in hierarchical systems.

Study findings: possibilities for using the technology for assessing and information monitoring of complex processes for evaluating technology start-ups are considered. An example of a start-up assessment structure and scenarios for using the system in a venture fund are given, and a prototype of the system is described. References

1. Korolev V.T., Lovtsov D.A., Radionov V.V. Sistemnyi analiz. Chast'. 2. Logicheskie metody. Pod red. D.A. Lovtsova. M. : RGUP, 2017. 164 pp. ISBN 978-5-93916-638-6.

6 Aleksandr Ryzhov, Dr.Sc. (Technology), Professor at the Department of Mathematical Theory of Intelligent Systems of the Faculty of Mechanics and Mathematics of the Lomonosov Moscow State University, Moscow, Russian Federation. E-mail: ryjov@mail.ru

2. Lapushkin A.G., Gavrilov D.A., Shelkunov N.N., Bakeev N.N. Osnovnye podkhody k podgotovke vizual'nykh dannykh dlia obucheniia neirosetevykh algoritmov. Iskusstvennyi intellekt i priniatie reshenii, 2021, No. 4, pp. 62-74. DOI: 10.14357/20718594200404 .

3. Lebedev V.A., Avdeeva A.I., Mamedov T.N. Venchurnye investitsii kak faktor razvitiia ekonomiki Rossii v usloviiakh pandemii. Finansy i upravlenie, 2022, No. 1, pp. 47-57. DOI: 10.25136/2409-7802.2022.1.37318 . URL: https:// nbpublish.com/library_read_article.php?id=37318

4. Lovtsov D.A. Informatsionnaia teoriia ergasistem : tezaurus. M. : Nauka, 2005. 248 pp. ISBN 5-02-033779-X.

5. Lovtsov D.A. Informatsionnaia teoriia ergasistem : monografiia. M. : RGUP, 2021. 314 pp. ISBN 978-5-93916-887-8.

6. Lovtsov D.A. Sistemnyi analiz. Chast'. 1. Teoreticheskie osnovy. M. : RGUP, 2018. 224 pp. ISBN 978-5-93916-701-7.

7. Lovtsov D.A., Sergeev N.A. Upravlenie bezopasnost'iu ergasistem : monografiia. Pod red. D.A. Lovtsova. 2-e izd., ispr. i dop. M. : RAU-Universitet, 2001. 224 c.

8. Ryzhov A.P. Informatsionnyi monitoring slozhnykh protsessov: tekhnologicheskie i matematicheskie osnovy. Intellektual'nye sistemy, 2008, t. 11, vyp. 1-4, pp. 101-136.

9. Ryzhov A.P. Otsenka i monitoring protsessov v sotsiotekhnicheskikh sistemakh i sviazannye s nimi zadachi. Intellektual'nye sistemy. Teoriia i prilozheniia, 2018, t. 22, vyp. 2, pp. 129-139.

10. Ryzhov A.P. Gibridnyi intellekt. Stsenarii ispol'zovaniia v biznese. Novosibirsk : Akademizdat, 2019. 116 pp.

11. Ryzhov A.P. Elementy teorii nechetkikh mnozhestv i izmereniia nechetkosti. M. : Dialog-MGU, 1998. 116 pp. URL: http://intsys.msu.ru/staff/ryzhov/FuzzySetsTheoryApplications.htm

12. Ryzhov A.P. Modeli poiska informatsii v nechetkoi srede. M. : Tsentr prikladnykh issledovanii MGU, 2004. 96 pp. URL: http://intsys.msu.ru/staff/ryzhov/FuzzyRetrieval2010.htm

13. Ryzhov A.P. Ob agregirovanii informatsii v nechetkikh ierarkhicheskikh sistemakh. Intellektual'nye sistemy, 2001, t. 6, vyp. 1-4, pp. 341-364.

14. Ryjov A. Hybrid Intelligence Framework for Augmented Analytics. In: Intelligent Analytics with Advanced Multi-Industry Applications, Zhaohao Sun (Ed.), IGI Global, 2022, pp. 22-45.

15. Ryjov, A. P., Mikhalevich, I. F. Hybrid Intelligence Framework for Improvement of Information Security of Critical Infrastructures. In: Handbook of Research on Cyber Crime and Information Privacy. Cruz-Cunha, M., & Mateus-Coelho, N. R. (Eds.). IGI Global, 2021, pp. 310-337.

i Надоели баннеры? Вы всегда можете отключить рекламу.