CC BY
63
Конвергентный синтез когнитивной модели на основе глубокого обучения и квантовых семантик
А.Н. Райков
Аннотация — Когнитивное моделирование - это моделирование, обогащенное семантическими
интерпретациями. При этом учитываются как денотативные (формализованные: предметные,
вербальные), так и сигнификативные (неформализуемые: субъективные, когнитивные, мыслительные,
эмоциональные, трансцендентальные) семантики. В цифровых процессах обработки данных первые достаточно хорошо охватываются дискретными технологиями, например, анализа больших данных, а вторые в дискретных процессах пока не могут быть интерпретированы. Между тем, как показано в настоящей работе, субъективный фактор, хоть он явно и не формализуем, также может быть определенным образом учтен при когнитивном моделировании. Учет этот может быть осуществлен косвенно в контексте особенностей конкретного процесса обработки информации, например, принятия решений. Возможна также эмуляция сигнификативной семантики через использование эвристических алгоритмов, порождаемых, например, квантово-механическим или эволюционным подходом. В настоящей работе предлагается осуществлять автоматизированный синтез когнитивных моделей с углубленной сигнификативной интерпретацией компонентов модели. Это обеспечивается за счет применения авторского конвергентного подхода к поддержке решений. Экспериментально показаны достаточно высокие показатели качества автоматического распознавания и синтеза элементов когнитивных моделей (точность - 93%). Статья развивает междисциплинарное исследование, промежуточные результаты которого были представлены в докладе и материалах международной научной конференции «Интенрент и современное общество» (Internet and Modern Society, IMS-2018) в июне 2018 г. в Санкт-Петербурге.
Ключевые слова — Глубокое обучение, квантовая семантика, когнитивное моделирование, конвергентный подход, сигнификативная (когнитивная) семантика
I. Введение
Как правило, когнитивная модель привязана к конкретной ситуации, времени построения и группе людей (экспертов, команды, менеджеров). Она строится довольно быстро, в отличие от, скажем, модели, использующей дифференциальные или разностные уравнения. Она неотчуждаема от текущего момента. И
Статья получена 12.10.2018
Райков Александр Николаевич, Институт проблем управления РАН, Институт философии РАН, Московский государственный университет им. М.В.Ломоносова, Россия (e-mail: alexander.n.raikov@gmail.com).
такая модель позволяет команде всесторонне отразить особенности новой проблемы, удобна для поддержки социально-политических и экономических решений, оценки целесообразности поддержки или запуска инновационного проекта, формирования оригинальных идей и замыслов.
Когнитивное моделирование помогает ответить на вопросы типа «Почему?», «Что будет, если ...?» и «Что надо сделать, чтобы ...?» при большой неопределенности ситуации, как правило, порождаемой субъективным фактором или непрогнозируемыми флюктуациями рынка [1]. Для одного типа вопросов необходимо решение прямой задачи, для другого -обратной. Прямая задача на когнитивной модели решается обычно синхронным суммированием значений импульсов в узлах графа модели. Для решения обратной задачи, как показано в работе [2], удобно применять эволюционные вычисления, например, генетический алгоритм, менее удобно - классические подходы, например, градиентный метод. Генетический алгоритм помогает найти несколько адекватных локальных решений, из которых выбирается наиболее подходящее для конкретной ситуации.
Когнитивную модель можно построить за время проведения 2-3-часового совещания. Это вопрос качества. Однако практика показывает, что в такое время уложиться очень трудно. На самом деле требуется, как минимум, 2 -3 экспертные сессии, часа по 3-4. Если же совещание проводится в сетевой среде (телеконференция), то взаимопонимание участников и экспертов достигается несравнимо медленней.
Моделирование сопровождается риском упущения отдельных параметров ситуации, и, следовательно, риском получения неадекватной модели и решения. Эти риски порождаются недостатком и противоречивостью информации, и, главное, различием понимания -семантической интерпретации - участниками ситуации, предвзятостью суждений отдельных участников и пр. Встает вопрос синхронизации обсуждения проблемы не только через предоставление участникам формализованной информации, отражающей денотативные аспекты семантической интерпретации модели, например, в виде онтологий, но и неформализованной, отражающей, неявные аспекты понимания проблемы.
В нашей работе [3] для наиболее полного учета имеющегося объема информации, а также одновременного ускорения процесса моделирования и
роста адекватности моделей, предложено проводить автоматическую верификацию (проверку) когнитивной модели на специально подобранном релевантном массиве документов с применением методов анализа больших данных.
Однако такой подход, прежде всего, реализует идею денотативных семантик. При этом остается открытым вопрос учета семантик сигнификативных, ответ на который позволил бы повысить оперативность достижения согласия участников и построения целостной когнитивной модели с принятием оптимальных решений на их основе. В настоящей работе показывается, что этому может помочь метод глубокого обучения [4] в сочетании с подключением механизма построения квантовой семантики [5] и авторским конвергентным подходом [2].
II. Принятие решения с когнитивным
МОДЕЛИРОВАНИЕМ
Когнитивное моделирование является частью группового процесса обсуждения и принятия решения возникшей проблемы. Весь процесс принятия решения может быть проиллюстрирован рис. 1. Подразумевается наличие модератора-аналитика и экспертов (участников). Первый формирует запрос в виде открытой анкеты участникам, которые отвечают на вопросы, дают комментарии и формируют балльные оценки по заданным шкалам. Ответы используются для построения дерева целей и собственно когнитивной модели. На когнитивной модели решается прямая и обратная задачи, выбирается подходящий сценарий и план действий.
моделированием
Участникам может предоставляться дополнительная информация, может также подаваться некоторый поток данных, который необходимо читать и осмысливать. Однако, если ситуация требует срочных и неотложных мер, а этот поток очень интенсивный, то для его качественной обработки у участников, как правило, не хватает времени.
В настоящей работе показано, что выявление определенного (заранее сформулированного) набора факторов из потока данных для построения адекватной когнитивной модели можно осуществлять довольно точно на основе использования методов глубокого обучения в сочетании с применением конвергентной технологии поддержки решений и косвенным учетом
сигнификативных семантик. Обоснование этого вывода проведено в следующем порядке:
- определены особенности сигнификативных семантик для их косвенного автоматизированного учета при семантической интерпретации когнитивной модели;
- с применением теории категорий и когнитивного подхода к управлению определены аксиомы построения конвергентной монады для создания необходимых условий для обеспечения сходимости процессов принятия решений;
- построена схема (алгоритм) структурной обработки информации при принятии решений с учетом конвергентной монады;
- обоснован выбор метода глубокого обучения нейронной сети, создан тестовый корпус релевантных документов и макет программной среды для ее обучения;
- экспертно построена когнитивная модель для поддержки решения определенной проблемы, на примере темы развития туризма в мегаполисе;
- проведено обучение нейронной сети под факторы когнитивной модели на основе анализа некоторой части выбранного корпуса документов;
- разработан алгоритм по выделению из текстов потока документов (сообщений) факторов и взаимосвязей между ними для построения когнитивной модели;
- проведена апробация возможности распознавания факторов, то есть синтеза фрагментов когнитивной модели, на основе другой части корпуса документов.
Такая последовательность действий создает специальные «фильтры» для выявления определенного заранее набора факторов из потока информации по новой проблемной ситуации. Новым здесь является заданная конвергентным подходом совокупность правил структурирования информации при принятии коллективного решения. При этом приведенная в работе [2] конвергентная технология когнитивного моделирования с последующим решением обратной задачи на когнитивном графе потребовала ее дополнительной детализации, связанной с необходимостью нахождения решения в понятийном пространстве, характеризуемым:
- хаотичностью поведения участников и информационной среды;
- явной зависимостью устойчивости развития процесса обсуждения от замкнутости пространства решения задачи;
- квантованности появления новых состояний при переходе, например, через моменты (точки) инсайта в групповом процессе принятия решения [6].
Учет этих характеристик осуществлен через:
- выявление детерминированных особенностей сигнификативных семантик;
- определения возможного ущерба от замены непрерывного (аналогового) представления сигналов на дискретный (цифровой);
- попытку компенсации этого ущерба за счет проведения корректного обучения глубокой сети и использования конвергентной процедуры обсуждения и принятия решения.
III. Сигнификативная семантика
Большинство семантических школ исходят из того, что в содержании текстов изучается и описывается только то, что представлено самим текстом, по сути, представляющем собой формализованно-лингвистическую конструкцию. Формализованная суть интерпретации не меняется от замены текста картинкой, то есть записанной дискретным (цифровым) способом визуальным образом проблемной ситуации. Например, значению любого элемента (фактору, взаимосвязи факторов) когнитивной модели может быть сопоставлено его отображение на часть массива больших данных. Это соответствует денотативным семантикам. При этом не учитывается мышление, а если и учитывается, то только через вербальное, те есть денотативное, представление.
Хорошо известно логически-позитивистское утверждение (например, Рене Карнап), что интенсионал предиката есть класс всех мысленных денотатов, для которых этот предикат истинен. По всей видимости, эта позиция становится довольно уязвимой, если показать, что концептуальная (сигнификативная) часть пространства семантической интерпретации логики может быть на десятки порядков мощнее денотативной.
Акцент в современном подходе к искусственному интеллекту в основном делался на формализованном представлении знаний об объекте управления и способах управления на уровне логико-лингвистических моделей, онтологий, использовании дедуктивного и индуктивного вывода для построения многошаговых решений с выбором из множества альтернатив.
Вместе с тем, развитие методов общего искусственного интеллекта порождают вызовы, заставляющие преодолевать ограничения классического подхода. К ним относятся:
- потребность учета беспричинного (некаузального) субъективного фактора при осуществлении коллективного обсуждения проблем и принятия решения;
- необходимость формирования безальтернативного решения проблем без применения традиционного многокритериального выбора;
- необходимость все большего акцентирования внимания на задачах анализа вместо задач синтеза (причем, если первые носят дивергентный, расходящийся, характер, то вторые должны носить характер конвергентный - сходящийся);
- потребность в использовании схем и технологий поддержки когнитивных и бессознательных аспектов в процессах мышления и самоорганизации групп людей.
Учитывая потребность более полного охвата явно неподдающейся формализации сигнификативной (когнитивной, ментальной, мыслительной) семантики, нами сделаны сравнительные оценки отдельных параметров объемных характеристик мозга человека. Так, если число нейронов в мозге, как известно, порядка 1011, то число атомов, из которых состоят эти нейроны и их окружение, - порядка 1026.
Мыслительная деятельность связана с наличием много более сложных структур, чем нейроны, а именно -микротрубками и когерентными скоплениями, воздей-
ствием полей (электромагнитных, гравитационных, сильных и слабых), сцепленностью (запутанность [7], квантовая нелокальность, entanglement) с атомарными элементами вещества из внешнего, в том числе -дальнего, окружения [5].
При квантово-механических интерпретациях сигнификативных семантик атомы предопределяют возможность долговременного хранения знаний, а фотонные потоки и полевые эффекты позволяют учесть в процессах мышления удаленные на большие расстояния элементы различной природы. Тогда операционное представление процессов мышления и принятия решений можно представить в виде поведения составных квантовых систем. Например, сигнификативной семантике когнитивной модели может быть сопоставлена составная квантовая система в состоянии с полным спином, равным нулю. Тогда, отклонение от такого состояния будет характеризовать возможность снижения или повышения устойчивости и целенаправленности коллективного процесса обсуждения проблемы и принятия решения.
Такая атомарная репрезентация сигнификативных механизмов, участвующих в процессах мышления, может быть ассоциирована с поведением множества объектов термодинамического характера. В работе [1] такой учет проведен через интерпретацию процессов мышления в пространстве, отражающем переменные феноменологической и геометрической природы, использовании второго закона термодинамики, выводов теории устойчивости и пр.
Упрощенно термодинамическую интерпретацию сигнификативной семантики можно попробовать также ассоциировать с уравнением Больцмана, в котором функция распределения энергии задается действием сил, диффузии и столкновений при сложении всех возможных состояний энергии всех частиц (молекул, атомов). При попытке отразить сигнификативную интерпретацию когнитивной модели эта ассоциация может быть только подсказкой. Применение этой подсказки к сигнификативному случаю заставляет вместо механического движения и столкновения молекул объектами рассматривать:
- квантовые взаимодействия атомов, составляющих нейроны мозга, с другими - внешними - атомами, которые могут находиться на очень больших расстояниях (entanglement);
- воздействия на ситуацию различных внешних и внутренних полей (известны четыре вида полей);
- условную замкнутость пространства взаимодействия большого числа атомов;
- по новому определенную скорость изменения ситуации и др.
Учитывая, что приведенное упоминание о возможности термодинамической интерпретации сигнификативных семантик является только идеей, то этот аспект темы явно требует дополнительных исследований.
Таким образом, мыслительная деятельность человека может представляться не только логикой и динамикой взаимосвязи нейронов, как это делается обычно в системах узкого искусственного интеллекта. Ее можно также ассоциировать с огромным множеством атомов,
или функционированием особым образом настроенной антенной решетки, состоящей из вибраторов, волновых щелей, излучателей и пр.
Известно, что квантовое волновое поле синтезирует понятия электромагнитного поля и вероятностное поле квантовой механики. Оно является наиболее фундаментальным обобщением теории поля. Поэтому при сигнификативной семантической интерпретации когнитивной модели стоит, по-видимому, учитывать корпускулярно-волновой характер процессов мышления. Возможно, такая ассоциация поможет учесть и впоследствии более точно определить сигнификативный аспект семантики через оценку воздействия внешних полей на нейронные процессы и мышление.
Остановимся несколько подробней на ограничениях цифровых технологий для представления сигнификативных семантик.
IV. Цифровой коллапс субъективности
Итак, следуя квантовой парадигме, вырождение смыслов происходит при дискретизации, цифровизации сигналов, передающих информацию, данные. В квантовом подходе свойства объекта зависят от наблюдателя, от измерения и измерительных приборов. Приборная стрелка, если она одна, то она показывает обобщенный результат измерения события, которое может быть на самом деле очень сложным (редуцированная иллюстрация коллапса волновой функции). Так и текст, он сам по себе может для человека «ничего не значить» (например, человек не знает языка), разными людьми по-разному пониматься, за текстом стоят различные смыслы.
Если человек не знает, как назвать объект, то он его категоризирует, классифицирует ситуацию, пользуется отрицанием: не цветок, не велосипед, не разум и пр. В квантовой парадигме «язык - это частица, волна» [8], а скорее - «частица и волна». Как пример, в таком соотношении можно рассматривать фонему и фонетику - это одновременно и разные и одинаковые вещи.
Передача информации происходит с помощью сигналов и по каналам связи. Вместе с тем в настоящей работе исследован вопрос: насколько полно сигнификативная информация может быть передана с помощью дискретных сигналов? Источник информации может генерировать сигнал в виде совокупности, во-первых, как дискретных (символы, биты, байты, слова, схемы, предложения), так и, во-вторых, аналоговых (феноменологических, непрерывных) компонент (эмоции, мысли, интенции, медитации). Дискретные компоненты, очевидно, могут быть переданы по каналам связи с заданной точностью. А с какой точностью можно передать естественный (природный) непрерывный сигнал, несущий сигнификативную информацию, в дискретной (цифровой) форме и что при этом теряется?
Согласно известной теореме отсчетов (Теорема Котельникова [9]) сигнал яф с ограниченным спектром можно точно восстановить (интерполировать) по его отсчетам взятым через интервалы А =1/(2Е), где
^ - верхняя частота спектра сигнала. Таким образом, сигнал с ограниченным спектром, можно абсолютно
точно представить с помощью последовательности
отсчетов, заданных в дискретных точках к 21'' (Рис. 2).
0 А — ■ —
2 Р 2 Р 2 Р 2 Р
Рис. 2. Сигнал и его отсчеты
Для сигналов, передаваемых по каналам связи, можно указать диапазон частот, в пределах которого сосредоточена основная часть его энергии. В ряде случаев спектр сознательно сокращают, исходя из допустимых искажений сигнала. Только сигнал с ограниченным спектром может быть передан точно дискретным образом. Однако мысли, смыслы, медитативные состояния сознания - это явления с бесконечным спектром, и они не могут быть закодированы в полной мере дискретной логикой.
Одним из результатов привлечения квантовых аналогий для улучшения взаимопонимания участников виртуального взаимодействия является переход от дискретного представления информации в аналоговому, в том числе с использованием аналоговых средств визуализации. Аналоговые процессы поддаются формализации и дискретному представлению только с определенной точностью, поскольку имеют бесконечномерный спектр. Однако имеющаяся неточность, приводящая к «обрубанию» бесконечного спектра аналогового сигнала принципиально меняет характер семантической интерпретации с сигнификативной на денотативную. Рис. 3 демонстрирует ограниченность дискретного
представления семантических интерпретаций, и, следовательно, - возможность учета сигнификативной семантики.
Сло&о - Частица (так) + Вата (семантика/
л.
А
Излучение
А
I
а) Классическая интерпретация
Анализ (Fuzzy -
пересечение)
JL
б) К'ванюван интерпретация
в) Дискретный сигнал
Экран
/ Пересечение j (резонанс)
Резонансная семантика
Нет пересечения, и нет резонанса
Рис. 3. Иллюстрация сравнительного представления резонансной семантической интерпретации знака (слова)
На рис. 3 показаны три различные резонансные версии квантово-семантической интерпретации слова. Каждое слово может быть передано одновременно как знак в виде символов и как знак в виде волны,
порождаемой резонансным контуром (передатчиком). Два разных слова в компьютере не совпадут - ни буквально, ни по смыслу. А если слова закодированы (представлены) в виде волн, то может произойти их суперпозиция, две волны либо могут породить новый слабый сигнал с соответствующей резонансной кривой (рисунок 3а), либо могут породить интерференцию, вступить в резонанс и усилиться (рисунок 3б). Приведенная на рисунке 3в иллюстрация обработки дискретных семантических интерпретаций слов показывает возможность нулевого совпадения таких интерпретаций, поскольку у них «обрублены» спектры.
Суперпозиция таких картин, отражающая семантическую интерпретацию результата наложения интерпретаций слов, будет еще более сложная. С применением дискретной математики воспроизведение этого процесса с предельной точностью потребует недопустимо большого времени. В любом случае это будет только приблизительная имитационная модель, основанная на дискретном решении уравнений Максвелла и Шредингера с обрубанием бесконечного спектра аналогового сигнала. Точную сигнификативную интерпретацию можно сделать, по-видимому, только с помощью оптического процессора. Однако, для реализации такого процессора потребуются соответствующие материалы для создания многомерной перезаписываемой голографической памяти, квантовые оптические манипуляторы, которые в настоящее время еще не синтезированы. Требуется также разработка нового физико-математического аппарата, основанного на методах оптической обработки данных.
Приведенные расчеты и ассоциации позволяют сделать вывод, что для учета сигнификативной семантики знаков (высказываний, слов, факторов, связей в когнитивной модели) необходимо использовать интерпретирующие множества мощностью
(кардинальное число) на десятки порядков выше, чем мощность множества, отражающих денотативную семантику. Таким образом, увеличение мощности логически представленного знания за счет его интерпретации с применением больших данных или нейронных сетей всегда будет «погружено» в «пространство незнания» (некаузального знания), мощность которого много выше мощности множества любого логически представленного знания.
Помочь в создании семантической интерпретации достаточно высокой мощности позволяет сам процесс построения когнитивной модели. Для этого предлагается специализированная структуризация информации в этом процессе, правила которой основываются на привлечении конвергентного подхода и моноидальных категорий."
V. Конвергентная монада
Теория категорий помогает изучать свойства отношений объектов без учета их структур. Ментальные интерпретации имеют сложную, а может и непознаваемую конструкцию, вот почему для ее исследования использована именно теория категорий.
Когнитивной семантике соответствует категория С, в которой:
- под объектом А понимается замкнутый мыслительный феномен. Все такие феномены, включаемые в дискурс, образуют класс объектов;
- множество морфизмов HomC (А, В) формируется для каждой пары объектов А и В. Для пары объектов может быть сопоставлено множество отношений, характеризующих различие понимания участниками события и слов в текстах;
- для пары морфизмов/е Нотс (.4, В) и g е Нотс (.4, О определяется композиция gf е Нотс (А, С). Такие конструкции существуют не всегда, например, возможны и нетранзитивные отношения (назовем их толерантными) между объектами;
- выполняется аксиома ассоциативности для морфизмов;
- для объекта А может быть задан тождественный морфизм idА t Нот с (А, А) с целью обеспечения замкнутости каждого мыслительного феномена на себя.
На Рис. 4 дана иллюстрация семантик текстовых
(знаковых) элементов когнитивной модели.
Ч РЗ
Пересечение семантик
Рефлективность в С
Когнитивная модель
£ 3 з S
ï M fc
t : " i
5 ï Ç и
I в О CL
Il * ' -,
Рис. 4. Денотативные и сигнификативные семантики
Опыт использования теории категорий в рассматриваемой сфере уже имеется. Например, в [10] исследуются дистрибутивные категориальные модели языка, показывается ограничения в использовании способов статистической оценки векторных пространств с квантовыми вычислительными приложениями.
С целью ускорения сборки коллективной мысли, создания необходимых условий для инкапсуляции (схватывания) целостного явления потребовалось использовать понятие монады В. Однако для ускорения построения когнитивной модели свойств обычной монады недостаточно, поскольку требуется обеспечение необходимых условий для конвергенции (устойчивой сходимости) коммуникационного процесса
коллективного принятия решения.
Для обеспечения конвергентности в настоящей работе введено понятие «Конвергентной монады», для чего к аксиомам классической монады добавлены следующие условия, которые являются необходимыми (однако, недостаточными) для обеспечения сходимости процессов коллективного согласования решений: - D: Set ^ Set, где число элементов в системе множеств Set бесконечно, а графики отображений объектов замкнуты (замкнутость);
- Ъ - непустое конечное подпокрытие монады В (бикомпактность);
- каждой точке монады е ь £ может быть сопоставлена некоторая окрестность (всякое открытое множество, содержащее эту точку), такая, что для каждых двух точек всегда существует их непересекающиеся окрестности (хаусдорфова отделимость).
Такая, конвергентная, структуризация
интерпретационного множества данных помогает обеспечить ускоренную сходимость (конвергентность) процесса стратегического планирования действий под разрешение конкретной проблемы (Рис. 5), обеспечить корректный выбор способа обучения глубокой нейронной сети с обеспечением автоматизированного синтеза факторов модели под новую проблемную ситуацию.
"-.>10 ооячожиостеп
OopMV.11l|innj II НС
t ___г ______Ф ; |i ' 11 1 ч [ :■<. г:1111
n[U&1PU ^ ||)Г1[.|И ;И|| It
■тш
ж
Рис. 5. Структуризация информации в процессе планирования
- распределение подмножеств документов по факторам модели;
- токенизация, лемматизация и фильтрация текстов документов;
- тренировка модели Doc2Vec и ее конвертирование, обучение LSTM-модели;
- распознавание факторов под другой набор документов.
Исследование основывалось на наборе факторов для когнитивной модели, характеризующей туристскую деятельность в городе Москве. Всего в модели определено 14 факторов, включая целевой, например, факторы: «Рост доходности от туристского потока», «Рост числа туристов», «Рост времени пребывания туристов» и др.
Тестовый корпус релевантных документов построен на основе доступных в Интернет массивов данных. В результате исследования различных источников взяты данные из https://webhose.io/. Это набор новостей с классификацией тематических выборок. Размер корпуса документов, на базе которого обучена модель: 16227 текстовых документов. Для обучения нейронной сети сформирована выборка из 4868 документов. Сравнивались также результаты обучения на 10, 100, 1000 документов. При этом для обучения нейронной сети бралась 70% часть выборки, а 30% - использовалась для тестирования, проверки аккуратности обучения. На рис. 6 показаны два распределения вероятностей, интерпретирующих соотнесение 100 документов 14-ти факторам до и после обучения.
VI. Глубокое обучение и автоматизированный
СИНТЕЗ ФАКТОРОВ
При выборе типа модели нейронной сети рассматривались различные методы [4]: Долгой краткосрочной памяти (LSTM), рекуррентный, сверточный. Акцент сделан на LSTM. Это нейронная сеть, содержащая рекуррентными модули сети, способные запоминать значения, как на короткие, так и на длинные промежутки времени. Для этого LSTM-модуль не использует функцию активации внутри своих компонентов. Таким образом, хранимое значение не размывается во времени, и градиент не исчезает при использовании метода обратного распространения ошибки во времени при тренировке сети.
LSTM-сеть приспособлена к обучению на задачах классификации, обработки и прогнозирования временных рядов в случаях, когда допускается разделение событий временными лагами с неопределённой продолжительностью и границами. Для векторизации данных в настоящей работе использована модель Doc2Vec (Distributed memory model, Paragraph vectors [11]). Преимуществом этой модели является то, что она может хорошо работать для задач, в которых недостаточно помеченных данных.
Приняты следующие стадии создания нейронной сети:
- выбор проблемы и экспертное построение под нее когнитивной модели;
- подбор тестового корпуса релевантных для модели документов;
Обучение
Распознавание
Номер документа Номер документа
Рис. 6. Распределения вероятностей интерпретирующих 100 документов по 14-ти факторам
На рис. 6 (диаграмма слева) отражена вероятность распределения каждого из 100 документов обучающей выборки по всем 14-ти факторам анализируемой когнитивной модели. По результатам обучения нейронной сети ей на вход был подан демонстрационный пакет данных, состоящий из 100 неразмеченных документов. На диаграмме справа отражена вероятность распределения каждого документа из демонстрационного пакета данных по тем же 14-ти факторам когнитивной модели.
Общая схема, отражающая порядок глубокого обучения и распознавания факторов для автоматизации построения когнитивной модели, приведена на рис. 7.
В ходе тестирования выявлено, что нейронной сетью новые документы идентифицируются по заданным трем факторам с вероятностью 93%. Это определяет достаточно высокое качество распознавания факторов и позволяет утверждать возможность и целесообразность автоматизированного синтеза новой когнитивной
модели на основе потока данных под новую проблемную ситуацию.
a *
3F Эксперты
Уточнение мидели
Принятие решения I
Распознавание факторов и связей
Глубокая нейронная сеть
Новая когнитивная модель
Рис. 7. Общая схема «Обучение - Распознавание»
VII. Заключение
В работе показана целесообразность более весомого учета при когнитивном моделировании сигнификативных (мыслительных, эмоциональных, трансцендентальных) семантик, континуальная сложность которых на несколько порядков выше семантик денотативных.
В основу построения алгоритмов положен авторский конвергентный подход с обращением к моноидальным категориям и введением дополнительных аксиом, приложение которых к структуризации данных приводит к ускоренной сходимости процессов глубокого обучения и коллективного принятия решения на основе когнитивного моделирования. Тем самым создаются необходимые условия для явно более весомого учета сигнификативных семантик при когнитивном моделировании.
Достаточные условия достигаются за счет применения методов решения обратных задач на основе генетических алгоритмов. Это дает возможность более активно и целенаправленно включить участников в процесс построения когнитивной модели и принятия на ее основе решений.
Определена возможность ускоренного формирования когнитивной модели под новую проблемную ситуацию на основе автоматического анализа потока данных об этой ситуации. Для этого предварительно необходимо накапливать когнитивные модели с семантической интерпретацией факторов, которую целесообразно осуществлять с применением метода нейросетевого глубокого обучения.
Благодарности
Поддержка Российского научного фонда, грант 17-1801326; Российского фонда фундаментальных исследований - 15-29-07112, 18-29-03086.
Благодарю также организаторов XXI Международной объединенной конференции «Интернет и современное общество, IMS-2018, Санкт-Петербург, 30 мая - 2 июня 2018 г. за содействие в подготовке настоящей публикации.
Библиография
[1] Райков А.Н. Метафизика мечты // Экономические стратегии. 2006. № 3. С. 16-23; № 4. С. 22 - 25.
[2] Raikov A.N., Panfilov S.A. Convergent Decision Support System with Genetic Algorithms and Cognitive Simulation // Proc. IFAC Conference on Manufacturing Modelling, Management and Control, MIM'2013 (Saint Petersburg, Russia, June 19-21, 2013). 2013. P. 1142-1147. doi: 10.3182/20130619-3-RU-3018.0040
[3] Raikov A.N., Avdeeva Z., Ermakov A. Big Data Refining on the Base of Cognitive Modeling //Proc. of the 1st IFAC Conference on Cyber-Physical&Human-Systems (Florianopolis, Brazil. 7-9 December, 2016). 2016. P. 147-152. doi: 10.1016/j.ifacol.2016.12.205
[4] Гудфеллоу Я., Бенджио И., Курвилль А. Глубокое обучение. Пер. с англ. А.А.Синкина, М.: ДМК Пресс, 2017.
[5] Atmanspacher H. Quantum approaches to brain and mind. An overview with representative examples // The Blackwell Companion to Consciousness / Ed. Susan Schneider and Max Velmans. John Wiley & Sons Ltd., 2017. P. 298-313. doi: 10.1002/9781119132363.ch21
[6] Raikov A. Convergent networked decision-making using group insights // Complex & Intelligent Systems. 2015. Vol. 1, Issue 1. P. 57-68. doi 10.1007/s40747-016-0005-9.
[7] Баргатин И.В., Гришанин Б.А., Задков В.Н. Запутанные квантовые состояния атомных систем", Успехи физических наук, Том 171, № 6, С. 625 - 647.
[8] Pike K. L. Selected writings: to commemorate the 60th birthday of Kenneth Lee Pike. The Hague: Mouton, 1972.
[9] Майоров С.А., Очин Е.Ф., Романов Ю.Ф. Оптические аналоговые вычислительные машины. Л.: Энергоатомиздат. Ленингр. отд-е, 1983. - 120 с.
[10] Marsden D. Ambiguity and Incomplete Information in Categorical Models of Language // R. Duncan and C. Heunen (Eds.). Quantum Physics and Logic (QPL) 2016. EPTCS 236. University of Oxford, 2017. P. 95-107. doi: 10.4204/eptcs.236.7
[11] Le Q., Mikolov T. Distributed Representations of Sentences and Documents // Proc. 31st International Conference on Machine Learning (Beijing, China), 2014. JMLR: W&CP. Vol. 32. URL: https://cs.stanford.edu/~quocle/paragraph_vector.pdf
Convergent Synthesis of Cognitive Model Based on Deep Learning and Quantum Semantics
A.N. Raikov
Abstract — Cognitive modeling is the modeling enriched with semantic interpretations. Both denotative (formalized) and significative, or cognitive (non-formalized: subjective, mental, emotional, transcendental) semantics are taken into account. In digital data processing, the first ones are fairly well covered by discrete technologies, for example, big data analysis, while the second ones cannot be interpreted with discrete processes. Meanwhile, as shown in this paper, the subjective factor, although it is not explicitly formalized, can also be deterministically taken into account in cognitive modeling. This accounting can be implemented indirectly with specific information processing, for example, convergent decision making. It is also possible to emulate significative semantics through the use of heuristic algorithms, generated, for example, by a quantum mechanical or evolutionary approach. It is proposed to carry out an automated synthesis of cognitive models with an in-depth cognitive interpretation of model components. This is achieved by applying the author's convergent approach to decision support. It is experimentally shown the high quality level of automatic recognition and synthesis of elements of cognitive models (accuracy - 93%).
Keywords — Scientific Deep learning, quantum semantics, cognitive modeling, convergent approach, cognitive semantics
References
[1] Rajkov A.N. Metafizika mechty // Jekonomicheskie strategii. 2006. # 3. S. 16-23; # 4. S. 22 - 25.
[2] Raikov A.N., Panfilov S.A. Convergent Decision Support System with Genetic Algorithms and Cognitive Simulation // Proc. IF AC Conference on Manufacturing Modelling, Management and Control, MIM'2013 (Saint Petersburg, Russia, June 19-21, 2013). 2013. P. 1142-1147. doi: 10.3182/20130619-3-RU-3018.0040
[3] Raikov A.N., Avdeeva Z., Ermakov A. Big Data Refining on the Base of Cognitive Modeling //Proc. of the 1st IF AC Conference on Cyber-Physical&Human-Systems (Florianopolis, Brazil. 7-9 December, 2016). 2016. P. 147-152. doi: 10.1016/j.ifacol.2016.12.205
[4] Gudfellou Ja., Bendzhio I., Kurvill' A. Glubokoe obuchenie. Per. s angl. A.A.Sinkina, M.: DMK Press, 2017.
[5] Atmanspacher H. Quantum approaches to brain and mind. An overview with representative examples // The Blackwell Companion to Consciousness / Ed. Susan Schneider and Max Velmans. John Wiley & Sons Ltd., 2017. P. 298-313. doi: 10.1002/9781119132363.ch21
[6] Raikov A. Convergent networked decision-making using group insights // Complex & Intelligent Systems. 2015. Vol. 1, Issue 1. P. 57-68. doi 10.1007/s40747-016-0005-9.
[7] Bargatin I.V., Grishanin B.A., Zadkov V.N. Zaputannye kvantovye sostojanija atomnyh sistem", Uspehi fizicheskih nauk, Tom 171, # 6, S. 625 - 647.
[8] Pike K. L. Selected writings: to commemorate the 60th birthday of Kenneth Lee Pike. The Hague: Mouton, 1972.
[9] Majorov S.A., Ochin E.F., Romanov Ju.F. Opticheskie analogovye vychislitel'nye mashiny. L.: Jenergoatomizdat. Leningr. otd-e, 1983. - 120 s.
[10] Marsden D. Ambiguity and Incomplete Information in Categorical Models of Language // R. Duncan and C. Heunen
(Eds.). Quantum Physics and Logic (QPL) 2016. EPTCS 236. University of Oxford, 2017. P. 95-107. doi: 10.4204/eptcs.236.7 [11] Le Q., Mikolov T. Distributed Representations of Sentences and Documents // Proc. 31st International Conference on Machine Learning (Beijing, China), 2014. JMLR: W&CP. Vol. 32. URL: https://cs.stanford.edu/~quocle/paragraph_vector.pdf
