CC BY
295
В.П. КАРЕЛИН, В.И. ПРОТАСОВ
ЭВОЛЮЦИОННО-ГЕНЕТИЧЕСКИЕ И БИОНИЧЕСКИЕ МЕТОДЫ МОДЕЛИРОВАНИЯ КОЛЛЕКТИВНОГО ИНТЕЛЛЕКТА В СИСТЕМАХ УПРАВЛЕНИЯ И ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ
Обосновывается необходимость использования для управления сложными системами интеллектуальных информационных технологий и систем поддержки принятия решений. Анализируются понятия «система гибридного интеллекта», «разумные управляющие системы», «генетический алгоритм». Рассмотрены методы и схемы эволюцион-
ных вычислении, основные положения направления «роевого интеллекта», способы организации коллективной работы специалистов в компьютерных сетях, особенности и преимущества метода генетического консилиума. Рассмотрены подходы к созданию теории сетевых систем коллективного интеллекта.
Информационные технологии, генетический алгоритм, генетический консилиум, гибридный интеллект, роевой интеллект, коллективный интеллект, кооперативное поведение, интеллектуальные технологии, интеллектуальная система, интеллектуальный агент, разумные системы, эволюционные вычисления, компьютерные сети, многоагентная система, согласование решений.
На современной стадии развития человечество достигло фантастической коммуникационной связности, а темпы роста информационных возможностей превосходят любое воображение. Одновременно происходит рост темпов новизны, объема и многообразия обозреваемой информации. Увеличение потока информации, зачастую избыточной, не всегда полной и достоверной, но требующей переработки в ограниченное время, существенно ус -ложняет управленческую ситуацию. Времени на принятие качественного и эффективного решения катастрофически не хватает. В результате все системы управления работают в условиях фатального отставания от развития ситуации [1; 2].
Удельный вес сложных систем в человеческой деятельности растет настолько быстро, что их создание и управление ими становятся едва ли не центральной проблемой современности. Вместе с тем именно от качества принимаемых управленческих решений существенно зависит эффективность их функционирования. Всё это вместе с растущей сложностью и масштабностью социальных институтов и организаций требует пересмотра неадекватных методов и принципов управления. Нужны новые интеллектуальные инструменты для создания и управления организациями (сложными системами), обеспечения их жизнеспособности и устойчивого функционирования. Возникает острая необходимость построения и внедрения эффективных методов и технологий разработки управленческих решений, основанных на ис-пользовании современных социальных и интеллектуальных информационных технологий и систем поддержки принятия решений.
Современная методология управления сложными системами основывается на принятии функциональных решений в среде новых информационных технологий, использующих принципы интерактивного взаимодействия человека и ЭВМ, коллектива экспертов и лиц, принимающих решения при поддержке
ЭВМ, распределенной обработки информации в компьютерных сетях.
При моделировании поведения и проектировании сложных систем обычно используют те или иные методы формализации. Однако для многих проблем, связанных с управлением социотехническими системами, включающими социально-экономические системы, системы связи, транс портные, промышленные, системы здравоохранения и т.п., наработанные традиционные методы и инструменты моделирования не могут быть использованы. Причинами этого являются сложность составления и отладки формальных моделей, большой рост вычислительной сложности, непреодолимые проблемы вычислительных ошибок и т.д. Поэтому в настоящее время для моделирования сложных слабоформализованных или неформализованных систем и управления ими интенсивно развиваются и используются новые подходы и методы, например, методы когнитивного моделирования и когнитивного ситуационного анализа, методы эволюционного моделирования, эволюционные вычисления и генетические алгоритмы, методы нечеткой математики и теории возможностей, нейронные сети и моделирование рассуждений, метод генетического консилиума, метод анализа иерархий и др. [3-7].
В данной статье кратко рассмотрим некоторые интересные, по мнению авторов, направления и методы построения систем гибридного интеллекта, модели коллективного интеллекта и коллективного поведения многоагентных (мультиагентных) систем.
Под системами гибридного интеллекта (СГИ) здесь (в отличие от расширенного понятия гибридных систем в работе [6]) понимаются человеко-машинные системы, где машина - это некая компьютерная интеллектуальная среда или экспертная система, аналогичная рассмотренной в работах [8; 9] и выступающая (как и человек) в роли полноправного интеллектуального агента (ИА).
Термин «гибридный интеллект» впервые был введен В.Ф. Вендой [10] как альтернативное направление
развития человеко-машинных систем, базирующееся на эволюционном взаимодействии естественных интеллектов в природе, обществе и технике при решении сложных интеллектуальных задач. По определению В.Ф. Венды, «гибридный интеллект» представ -ляет собой механизм совместного прогнозирования поведения и функционирования сложных систем, отличающийся тем, что каждая участвующая система располагает частной, фрагментарной и неполной информацией о состоянии и динамике внешней среды, а совместно они синтезируют адекватную интегральную модель среды, что позволяет реализовать поставленные цели оптимальным способом [9; 10].
Интересный подход к построению СГИ предложен и реализован практически профессором К. Бравым и его коллегами из Ашдодского центра науки и технологии [8; 11]. В основе этого подхода лежит сделанное К. Бравым открытие неизвестной ранее закономерности поведения эргатических систем, позволившее ему прийти к выводу, что процесс бес -сознательной деятельности мозга в области обеспечения жизнеспособности организма биологических систем - это образец для сознательной деятельности человека в области управления процессами жизнедеятельности технических, производственных, социально-экономических и общественно-политических сис-тем. Открытие относится к биокибернетике и посвящено исследованию информационных процессов бес -сознательной гомеостатической деятельности мозга. Практическое значение открытия состоит в том, что оно является основой для создания «разумных управляющих систем» (РУС), предназначенных для оперативного решения всевозможных гипотетических задач управления, возникающих в процессе обеспечения жизнеспособности сложных технических, организационных и организационно-технических систем.
Ранее были известны экспертные системы, которые функционируют на основе формализации сознательной деятельности экспертов в различных сферах, и нейронные системы, которые функционируют на основе формализации процесса адаптации биологической системы по отношению к условиям внешней среды. Здесь же в разработках искусственного разума и компьютерных моделей мышления ашдодские ученые используют именно феномен бессознательного. Разработанные ими РУС уже практически ис-пользуются для оперативного решения всевозможных задач управления, возникающих в процессе обслуживания и эксплуатации сложного оборудования. РУС распознают всевозможные скрытые дефекты оборудования до того, как они станут явными отказами, оперативно распознают аварийное состояние оборудования и формируют оптимальное решение каждой из всевозможных задач управления, возникающих в процессе обслуживания и эксплуатации этого оборудования. Проблема оптимального решения различных задач управления состоит в огромном множестве этих задач и в выборе оптимального решения каждой.
На основе создания РУС автор открытия со своими учениками разработал «Оптимальные Параметрические Системы Управления (ОПСУ) для обеспечения жизнеспособности современной индустрии». Техни-
ческая уникальность ОПСУ состоит в том, что они обладают всеми преимуществами как централизованных, так и децентрализованных систем управления и лишены недостатков этих систем. Экономическая уникальность ОПСУ состоит в том, что они обеспечивают значительное повышение производительности труда и нормы прибыли в различных отраслях реальной экономики [11].
Интересным и перспективным и для науки, и для практики является также исследование мультиагент-ных систем и методов интеллектуальной оптимизации, базирующихся на моделировании коллективного интеллекта. Это направление относится к эволюционному моделированию и методам эволюционных вычислений (ЭВ).
Методы ЭВ - это методы поиска, оптимизации или обучения, основанные на некоторых формализованных принципах естественного эволюционного процесса. ЭВ превратились в важный инструмент поиска субопгимальных решений тех задач, которые до последнего времени считались неразрешимыми. Методы ЭВ не гарантируют обнаружения глобального оптимума за полиномиальное время. Практичес -кий интерес к ним объясняется тем, что эти методы, как показывает практика, позволяют найти наиболее хорошие (или «достаточно хорошие») решения очень трудных задач поиска за меньшее время, чем другие, обычно применяемые в этих случаях, методы [3].
В последние десятилетия были разработаны и исследованы на практике разнообразные схемы ЭВ, инспирированных природными системами: генетичес-кие и эволюционные алгоритмы, эволюционное и генетическое программирование, модели поведения роя пчёл, стаи птиц и колонии Муравьёв, модели отжига или потока и другие конкурирующие эвристические алгоритмы бионического поиска [7].
Генетические алгоритмы - это поисковые алгоритмы, основанные на механизмах натуральной селекции и натуральной генетики. Генетический алгоритм, позаимствованный у природных аналогов, является ярким представителем эволюционных методов, он основан на процедуре «выживания сильнейших».
Коллективная система способна решать сложные динамические задачи по выполнению совместной работы, которая не могла бы выполняться каждым элементом системы в отдельности в разнообразных средах без внешнего управления, контроля или координации (т.е. обладает эмерджентностью). В таких случаях говорят о роевом интеллекте (Swarm Intelligence) как о замысловатых способах кооперативного поведения, о стратегиях выживания. Оптимизация с использованием роя частиц (Particle Swarm Optimization) - это метод поиска, который базируется на понятии популяции, и моделирует поведение птиц в стае и косяков рыб. Рой частиц может рассматриваться как многоагентная система, в которой каждый агент (частица) функционирует автономно по очень простым правилам. В противовес почти примитивному поведению агентов поведение всей системы получается на удивление разумным [12].
Сторонники направления «роевого интеллекта» опираются на следующие основные положения [13]:
> многоагентная система - это популяция простых и зависимых друг от друга агентов;
> каждый агент самостоятельно определяет свои реакции на события в локальной среде и взаимодействия с другими агентами;
> связи между агентами являются горизонтальными, т.е. не существует агента-супервизора, управляющего взаимодействием агентов;
> нет точных правил, определяющих глобальное поведение агентов;
> поведение, свойства и структура на коллективном уровне порождаются только локальными взаимодействиями агентов.
Таким образом, основу коллективного поведения многоагентной системы (будь то муравьиная колония, рой пчёл, стая птиц или иная популяция) составляет самоорганизация, обеспечивающая достижение общих целей системы на основе низкоуровневого взаимодействия агентов, благодаря которому в целом система демонстрирует разумное поведение.
Математические методы, в которых заложены принципы природных механизмов принятия решений и самоорганизации, в последние годы интенсивно разрабатываются и исследуются в рамках научного направления «Природные вычисления».
Важной отличительной чертой генетических и роевых моделей, методов и алгоритмов является то, что они обладают свойством параллелизма, что позволяет эффективно реализовать их на распределенных компьютерных системах.
Многолетние исследования моделей и алгоритмов эволюционных вычислений показали, что они применимы к решению трудных задач оптимизации, прогнозирования, управления и проектирования, то есть таких, где переменные могут быть лингвистическими и не иметь количественного выражения. Несмотря на свою простоту, ЭВ обладают мощными когнитивными возможностями и адаптивными механизмами поиска [7].
Для многокритериальных неформализованных задач, к которым относятся многие задачи выбора и принятия решений, зачастую не представляется возможным задавать многомерную цель при помощи критериальной функции (функции фитнеса). В таких задачах характеристикой цели может являться связанное с ней четкое или нечеткое отношение предпочтения [5]. Для эффективного решения подобных задач с помощью эволюционно-генетических методов в работах [14-16] была предложена модификация общепринятой схемы генетических алгоритмов (ГА). Главный смысл этого предложения состоит в замене автоматического вычисления функции фитнеса и автоматического выполнения мутаций, применяющихся в ГА, на реализацию этих действий человеком или множеством людей.
Принципиально новое, что дало это предложение, в том, что открылась возможность активного и практически неограниченного участия людей, т.е. естественного интеллекта (как индивидуального, так и коллективного), в ситуационном управлении эволюционными процессами самоорганизации. То есть человеческая среда приобретает возможность создания и непрерывного поддержания того критериаль-
ного поля, которое косвенным, но существенным образом направляет эволюционные процессы на «выращивание» предписываемых этим полем решений. Автор работы [14] Ю.С. Затуливетер отразил эту особенность в названии нового класса ГА: социо-субъект-ориентированные генетические алгоритмы (ССО ГА).
Таким образом, человеческая информационная среда в целом должна рассматриваться как глобальная среда внешних условий для бесчисленных поколений информационных организмов (инфоргов), местом обитания которых станет совершенная глобальная компьютерная среда - носитель единого поля компьютерной информации: универсального, высокоорганизованного, креативного. Структура инфоргов, смьел их эволюций определяются задачами, непрерывно индуцируемыми социальной средой. Такова возможная эволюционная основа симбиоза человеческой и компьютерной информационных сред [14].
Хорошо известно, что базовая структура, определяющая общую динамику ГА, не слишком меняется при настройке их на решение разных задач. Во многих случаях отличия, отражающие специфику решаемых задач, концентрируются в трех аспектах:
> информационная структура особи (хромосомы);
> подалгоритм мутации (связан с особенностями
структуры особи);
> функция фитнеса.
В новом классе ГА действия по непосредственной реализации мутаций и вычислению фитнеса выполняются не программой компьютера, а человеком (или группой людей) посредством внесения им (ими) информации через диалоговые интерфейсные формы, представляющие на экране монитора как мутируемую особь, так и случайно выбранные пары особей, или всю полученную в результате кроссинговера популяцию особей. Задачей человека-эксперта является субъективное сопоставление особей, оценка степени предпочтения одной особи другой, генерирование новых особей либо путем кроссинговера, либо на основе иных эвристик. Особенностью и достоинством предлагаемого подхода является и то, что поиск лучшего решения может выполнять как один человек, так и коллектив людей - специалистов в данной предметной области, работающих независимо над постав -ленной задачей, генерирующих возможные решения задачи (одно или несколько), обменивающихся решениями по правилам взаимодействия. Таким образом, предлагаемый подход, базирующийся на применении генетического алгоритма, позволяет оценить вклад каждого участника как генератора идей, «комбинатора» или эксперта, выставляя им соответствующие рейтинги, а функции генерирования, комбинирования и оценки добровольно и равноправно выбираются самими участниками процесса решения задачи (выбора лучшей альтернативы, разработки проекта и т.п.) [14-17]. Проведенные эксперименты показали принципиальную работоспособность предложенной модификации генетических алгоритмов.
Образованный таким образом генетический консилиум (ГК) обладает рядом преимуществ по сравнению с известными методами коллективного творчества. Работа ГК осуществляется в локальной компьютерной
сети. Можно сказать, что метод ГК - это способ организации идеального интерфейса включения человека в качестве естественного интеллектуального агента в информационную среду (ИС).
Очевидно, что метод ГК, заменив машинное вычисление функции фитнеса на принятие решений (ПР) о предпочтениях человеком, сразу лишается возможности решать задачи, требующие очень большого числа итераций, что, собственно, и является прерогативой классических ГА Однако метод ГК как раз и призван решать не тяжелые в вычислительном отношении многоитерационные задачи оптимизации, а совершенно другие классы задач, которые плохо формализуются, но играют важную роль при выборе и ПР в сложных ситуациях в ходе обеспечения жизнедеятельности и устойчивого развития социотехни-ческих систем [14; 16].
Метод ГК гармонично соединяет и использует возможности и преимущества естественного интеллекта с возможностями и преимуществами компьютера и компьютерных сетей. Предложенный метод организации коллективной работы специалистов естественно использует принципы синергизма, предлагая в качестве аттрактора необходимые для развития фирмы проблемы. При этом результаты совместной деятельности специалистов превышают совокупные результаты их работы поодиночке или по существующим ныне методам организации коллективного творческого труда (присутствует эффект эмерджент-ности более высокого порядка за счет синергизма, возникновения гибридного человеко-машинного «коллективного разума» в процессе самоорганизации).
Предложенный способ автоматической координации деятельности людей, коллегиально решающих разноплановые задачи, связанные с проектированием или управлением, может служить основой распределенных интеллектуальных систем поддержки ПР, а также использоваться в качестве основы эволюционного менеджмента в корпоративных системах [17]. Идеология распределенных компьютерных систем идеально подходит для реализации ГК как наиболее эффективной человеко-машинной процедуры отыскания коллективных решений сложных однокритериальных и многокритериальных задач. Важными преимуществами распределенных систем принятия коллективных решений являются следующие: исключается влияние авторитета одного или нескольких лиц, принимающих решение (ЛПР), на других ЛПР; равная возможность всем ЛПР ознакомиться с предложениями других и предоставить свой вариант решения задачи; исключается поспешное применение правила большинства, не позволяющее учесть мнения остальных ЛПР.
Метод ГК является идеальной демократической процедурой согласования решений коллектива экс -пертов. Фактически ГК - это своеобразный симбиоз, использующий достоинства метода Делфи и генетических алгоритмов. Здесь также решение осуществляется за несколько итераций. Итерации заканчиваются тогда, когда будет достигнуто «достаточное» согласие между оценками экспертов.
Несмотря на практическое использование и изучение различных групповых методов работы, универсальные принципы и методы организации коллективной работы в компьютерных сетях до сих пор окончательно не разработаны. В настоящее время работа по развитию теории и практики интеллектуальных компьютерных технологий продолжается и является одним из важных направлений исследований [1; 2; 18-21]. Наблюдается экспоненциальный рост числа научных публикаций, посвященных коллективному интеллекту. С использованием социального WEB-2 и социального компьютинга созданы и ис-пользуются новые сетевые инструменты, такие, например, как:
> краудсорсинг (англ. crowdsourcing, crowd - толпа и sourcing - использование ресурсов), применение которого подразумевает делегирование бизнес -задачи фирмы-организатора удаленному сетевому сообществу. Такой способ организации труда имеет существенные преимущества перед традиционным наймом сотрудников, поскольку позволяет быстро создавать глобальный продукт при использовании дешевой удаленной рабочей силы. При этом бизнес-риски разделяются с исполнителями, которые в большинстве случаев получают оплату своего труда после продажи продукта;
> граундсвелл (англ. groundswell) - «социальный тренд, при котором люди используют технологии для удовлетворения своих потребностей, не за счёт обращения к институциональным образованиям (например, корпорациям - производителям конкретных товаров или услуг), а путём общения и кооперации с другими людьми... Groundswell -особый феномен массовой потребности в коммуникативной деятельности, проявивший себя в условиях тотального сетевого контекста и осознанный как фундаментальное явление в начале XXI века»;
> рынки предсказаний (prediction markets) - «новый способ предвосхищать события и формировать динамичные опережающие модели, опирающийся на «коллективный разум» сетевой толпы». На таких рынках товаром является прогноз ожидаемых событий, за виртуальные деньги продаются и покупаются такие прогнозы. При правильной организации торгов и достаточной квалификации большого числа участников точность прогноза намного выше общепринятых методов вроде опросов института Гэллапа.
Эти инструменты эффективно используют коллективный интеллект большого количества рядовых пользователей Интернета, но отсутствие теории существенно тормозит развитие систем коллективного интеллекта.
Несмотря на отсутствие единой теории и основанных на ней систем коллективного интеллекта, в настоящее время наблюдается значительный рост практического использования интуитивно наработанных приемов и методов работы и ПР в группах.
В октябре 2010 г. в журнале Science (США) сотрудниками Центра изучения коллективного интеллекта Массачусетского института технологий, возглавляемого профессором Томасом В. Малоне, опуб-
ликована первая в англоязычной литературе статья о доказанном эффекте превышения количественно из -меренного коллективного интеллекта как над средним интеллектом группы, так и над максимальным значением индивидуального интеллекта. В экспериментах участвовали 699 человек, разбитых на группы от 2 до 5 человек. Выполнение каждого задания оценивалось количественно, с использованием психологических тестов Макграта для групп (McGrath Task Circum-plex). Установлено, что имеется значимая корреляция между успешностью прохождения разных заданий: если группа успешно справляется с одной из задач, то и с остальными задачами она тоже успешно справ -ляется. Был выявлен фактор, определяющий успешность решения заданий во всех группах. Он был назван фактором С (Collective factor). Факторный анализ указал на наличие единственной определяющей компоненты для всех результатов коллективных действий. Эта компонента С и была вычислена, исходя из факторной статистики. Из анализа этих экспериментов было сделано два вывода. Во-первых, было доказано существование коллективной составляющей интеллекта группы, определяющей ее потенциал, и, во-вторых, что ее можно оценивать объективно.
В работах [19-21] автором заложены основы теории сетевых систем коллективного интеллекта и представлены следующие результаты :
> предложена и обоснована новая информационная технология сетевого метода эволюционного согласования (МЭС) решений (улучшенный аналог рассмотренного выше метода генетического консилиума), повышающая качество формируемых решений и сокращающая время их получения;
> разработаны и исследованы компьютерная и математическая модели сетевого метода эволюционного согласования решений;
> найдена зависимость результативности метода от числа итераций, количества экспертов и их креативных характеристик;
> в процессе решения сложных задач с использованием МЭС обнаружены явление концентрации знаний при работе экспертов, синергетический эффект «усиления интеллекта» в группе экспертов и эффект диффузии знаний в экспертной среде;
> построены компьютерные модели виртуальных экспертов, заменяющих реальных экспертов при статистических испытаниях систем коллективного интеллекта с целью настройки их параметров на эффективное решение творческих задач;
> разработаны и исследованы метамодели оптимальной стратегии гибридных технологий, включающие модели виртуальных экспертов;
> разработаны алгоритмы и методы анализа и оценки качества найденных вариантов решений, получения количественных оценок результатов работы экспертов.
Сетевой метод эволюционного согласования решений основан на модифицированной для компьютер -ных сетей технологии Дельфи, генетических алгоритмах, на теории ме тасис тем ных переходов В. Турчина, на теореме Кондорсе о присяжных и на теории систем коллективного интеллекта.
Таким образом, МЭС - это способ организации коллективной работы экспертов над проектом с заранее заданной целью по правилам, основанным на принципах Г А.
Направлениями дальнейших исследований рассмотренных вопросов являются следующие: поиск новых и совершенствование существующих систем коллектив -ного творчества и принятия решений, создание основ теории систем коллективного интеллекта, исследование методов организации коллективной работы в компьютерных сетях с использованием системного анализа и компьютерных моделей, оптимизация и квалимет-рия методов, создание комплексов сетевых программ для решения сложных задач группами экспертов.
ЛИТЕРАТУРА
1. Рыжов ВА. Технологии виртуального ситуационного центра для принятия решений в кризис ных ситуациях. «РДР-ЦЕНТР» совместно с компанией RUSS-Inc. 2002.
2. Карелин В.П. Интеллектуальные информационные технологии и системы для поддержки принятия решений // Вестник ТИУиЭ. 2011. № 2(14).
3. Карелин В. П., Протасов В. И. Применение метода генетического консилиума для решения многокритериальных задач дискретной оптимизации в системах организационного управления и принятия решений // Вестник ТИУиЭ. 2005. № 2(2).
4. Трахтенгерц Э.А. Компьютерная поддержка принятия решений : научно-практическое издание. Серия « Информатизация России на пороге XXI века». М.: СИНТЕГ, 1998.
5. Берштейн Л.С., Карелин В.П., Целых А.Н. Модели и методы принятия решений в интегрированных интеллектуальных системах. Ростов н/Д: Изд-во РГУ, 1999.
6. Теория и практика нечетких гибридных систем / ИЗ. Батыршин, А А Недосекин, А А Стецко, В.Б. Тарасов, АВ. Язенин, Н.Г. Ярушкина М.: Физ-матлит, 2007.
7. Курейчик В.В., Курейчик В.М., Родзин С.И. Концепция эволюционных вычислений, инспирированных природными системами // Известия ЮФУ. Технические науки. 2009. №4.
8. Бравый К., Гершов В. Цивилизация будущего // Интеллект и творчество: материалы международной конференции. Ашдод: Институт интеллектуальных технологий, 2002.
9. Астанин С.В., Захаревич В.Г. Обработка и представление знаний в информационно-советующих комплексах систем гибридного интеллекта. Таганрог: ТРТУ, 1997.
10. Венда В.Ф. Системы гибридного интеллекта : эволюция, психология, информатика. М.: Машиностроение, 1990.
11. Бравый К. Биоинформационные технологии для обеспечения жизнеспособности современной индустрии и повышения личной безопаснэсти человека в постиндустриальном мире // Интеллект и творчество : материалы международной конференции. Ашдод: Институт интеллектуальных технологий, 2002.
12. Лебедев Б.К., Лебедев В.Б. Планирование на основе роевого интеллекта и генетической эволюции // Известия ЮФУ. Технические науки. 2009. №4.
13. Зайцев A.A., Курейчик В.В., Полупанов A.A. Обзор эволюционных методов оптимизации на основе роевого интеллекта // Известия ЮФУ. Техничес -кие науки. 2010. № 12 (113).
14. Затуливетер Ю.С. Информация и информационное моделирование // Идентификация систем и задачи управления: труды международной конференции SICPRO-2000. М., 2000.
15. Протасов В.И. Генерация новых знаний сетевым человеко-машинным интеллектом. Постановка проблемы //Нейрокомпьютеры. Разработка и применение. 2001. №7-8.
16. Протасов В.И., Карелин В.П. Новый метод коллективной разработки проектов в компьютерных сетях // Известия вузов Сев.-Кав. региона. Техн. науки. 2002. № 2.
17.Карелин В.П., Протасов В.П. О возможности применения метода генетического консилиума в эволюционном менеджменте // Проблемы формирования и оценки факторов экономического роста регионов: межвузовск. научн. с б-к. Таганрог: Изд-во ТИУиЭ, 2002. Вып. 1.
18. Рыжов В.А., Матвеев Е.В. Мобильные интеллектуальные группы и интеллектуальный конвейер в современном информационном пространстве. [Электронный ресурс] URL: http://window.edu.ru/ window/ library?p_rid=46001
19. Протасов В.П. Конструирование метасистемных переходов: монография. М.: Изд-во Института физико-технической информатики, 2009.
20. Протасов В.П. Применение сетевого метода эволюционного согласования решений в управлении проектами. Управление проектами и программами. М.: Изд-во Grebennikov, 2011. Т. 1 (25).
21. Протасов В.П. Метод эволюционного согласования решений. Компьютерная и математическая модели //Горный информационно-аналитический бюллетень. М.: Изд-во «Горная книга», 2011. Отдельный выпуск №1.
