CC BY
44УДК 004.942, 514.18, 519.652 А. А. Харламов
Институт высшей нервной деятельности и нейрофизиологии РАН, г. Москва, Россия 117485, г. Москва, ул. Бутлерова, 5а
Московский государственный лингвистический университет, г. Москва, Россия 119034, г. Москва, ул. Остоженка, 38, стр. 2 Высшая школа экономики, г. Москва, Россия 101000, г. Москва, ул. Мясницкая, д. 20
ПЕРСПЕКТИВЫ РАЗВИТИЯ СЕМАНТИЧЕСКИХ ПРЕДСТАВЛЕНИЙ, ОСНОВЫВАЮЩИЕСЯ НА ТЕНДЕНЦИЯХ НЕЙРОИНФОРМАТИКИ
A. A. Kharlamov
Institute of Higher Nervous Activity and Neurophysiology, Russian Academy of Sciences, Moscow, Russia
117485, Moscow, st. Butlerova, 5a
Moscow State Linguistic University, Moscow, Russia
119034, Moscow, st. Ostozhenka, 38, p. 2
Higher School of Economics, Moscow, Russia
101000, Moscow, st. Myasnitskaya, d. 20
PROSPECTS FOR THE DEVELOPMENT OF SEMANTIC REPRESENTATIONS BASED ON TRENDS IN NEUROINFORMATICS
Аргументирован единый подход к обработке текстовой и зрительной информации, позволяющий говорить о построении эффективных многомодальных систем обработки и представления информации, что является единственно верным подходом в развитии моделирования интеллектуальных функций человека. Одной из возможностей информационного совмещения представления баз знаний - ядра современных информационных систем - является использование семантических сетей, поскольку именно в таком виде знания представлены в сознании человека. Примером такой реализации является программная технология для автоматического смыслового анализа неструктурированных текстов TextAnalyst которая эффективно реализует функции формирования однородной семантической сети, классификации и кластеризации текстов и т.п.
Ключевые слова: Интеграция информационных технологий, семантические сети как основа стандартизации представления знаний, семантические сети в сознании человека, смысловой анализ текстов, интеграция модальностей.
A unified approach to the processing of textual and visual information is rationalized;this makes it possible to talk about the construction of effective multimodal systems for information processing and representation, which is the only correct approach to the evolutionin modelsof human intellectual functions. One of the capabilities of informational combination to represent knowledge bases - the core of modern information systems - is the use of semantic networks, since it is in this form that knowledge is presented in human consciousness. An example of such an implementation is the TextAnalyst software technology for automatic semantic analysis of unstructured texts, which effectively implements the formation of homogeneous semantic networks, as well as text classification and clustering, etc.
Keywords: integration of information technology, semantic networks as the basis for standardizing the representation of knowledge, semantic networks in the human consciousness, semantic analysis of texts, integration of modalities.
Введение
До настоящего времени традиционные информационные технологии и технологии искусственного интеллекта развивались независимо друг от друга. Сейчас настало время фундаментального переосмысления опыта использования и эволюции традиционных информационных технологий и их интеграции с технологиями искусственного интеллекта. Это необходимо для устранения целого ряда недостатков современных информационных технологий [1].
Ключевой на текущий момент проблемой развития информационных технологий в целом и технологий искусственного интеллекта в частности является проблема обеспечения информационной совместимости компьютерных систем и в том числе интеллектуальных систем.
Одной из возможностей информационного совмещения баз знаний - ядра современных информационных систем - является использование для представления знаний более или менее стандартного способа в виде семантических сетей. Однако само использование семантических сетей для представления знаний не решает проблемы стандартизации. Чтобы такое представление стало общепринятым, оно должно базироваться на фундаментальных принципах описания семантики. Наиболее фундаментальным в этом смысле представлением является представление знаний в сознании человека, описанию чего и посвящена эта работа.
Семантические представления в современном понимании - тезаурусы, семантические сети, онтологии - это очень грубое описание самого верхнего уровня действительности, в которой мы живем, которое лишь условно можно назвать моделью мира.
Для понимания релевантной моделируемому предмету - реальному миру человека - архитектуры семантических представлений, адекватно описывающих этот мир, необходимо воспроизвести архитектуру модели мира человека, как она формируется в его сознании. Для понимания этой архитектуры необходимо посмотреть на мозг человека (естественную нейронную сеть, формирующую семантические представления), на его (мозга) органы, которые формируют эту архитектуру, на когнитивные сети, возникающие в нем в ответ на появление конкретных ситуаций на его входе и выходе в процессе решения конкретных задач, на информатику отдельных сенсорных и эффекторных модальностей, уровни иерархических представлений которых содержат образы событий внешнего и интероцептивного мира человека разной степени сложности, объединение этих иерархий в многомодальных представлениях, в том числе, в рамках описания целых ситуаций, а также последовательностей ситуаций, как они используются в процессе неосознанного, а также целенаправленного поведения - его планирования и контроля исполнения. Очевидно, что мозг - это и очень большая, и очень неоднородная, а потому, сложная по архитектуре нейронная сеть.
Понимание архитектуры мозга позволяет корректно моделировать ее отдельные элементы, их объединения и всю архитектуру в целом, что только и позволяет реализовать действительно интеллектуальные системы (в том числе, верхний уровень интеллектуальности - интегральный робот), которые будут решать интеллектуальные задачи не хуже человека, а возможно, и лучше, если удастся реализовать модель этой архитектуры достаточно компактно.
Понимание того, как устроена архитектура мозга человека, позволит подойти к решению задач клонирования интеллекта, а также задач естественного информационного объединения отдельных естественных и искусственных интеллектов в
гибридную систему (минуя сенсорные каналы обмена - узкое место в обмене информацией, но необходимое в силу существенных различий внутренних представлений моделей мира разных людей), что позволит перейти от виртуального хранилища социальных знаний (что имеется в текущий момент) к реальному единому распределенному хранению знаний человечества.
Для понимания всего этого необходимо обратиться к нашим знаниям о мозге человека. Чем ближе наше понимание его структуры и функций будет к реальности, тем лучше будут искусственные интеллектуальные системы, которые мы пытаемся строить.
Поэтому, посмотрим на мозг человека и его информатику применительно к семантическим представлениям, моделирующим его мир.
1 Информатика мозга
Переход от сигнального уровня обработки информации к символьному происходит в периферии сенсорных органов, которая различается для разных модальностей, но приводит потоки входной сенсорной информации разных модальностей к единому виду, который соответствует ее (сенсорной информации) представлению в корковых концах анализаторов. Мозг человека включает в свой состав три основных органа, оперирующих на символьном уровне специфической информацией. Это кора полушарий, большого мозга, гиппокамп и таламус. Кора полушарий формирует модель мира человека как иерархию образов событий разной сложности разных модальностей. Гиппокамп формирует представления образов ситуаций, и приводит эти представления в соответствие с реальными ситуациями, встречающимися человеку в процессе его деятельности. Наконец, таламус является энергетическим коммутатором мозга, который реализует механизм внимания, то фокусируя его (внимание) на одном процессе, то расфокусируя до полностью параллельного решения множества задач одновременно.
Рассмотрим два первых органа подробнее, так как именно они осуществляют основные процессы формирования модели мира человека, манипулируя специфической сенсорной и эффекторной информацией.
Одно важное замечание: в данной работе рассматривается исключительно информационная обработка, интенциональные моменты оставлены за рамками работы.
1.1. Кора полушарий большого мозга
В колонках коры больших полушарий, которые составлены преимущественно объединениями пирамидных нейронов третьего слоя, из потоков сенсорной информации, предварительно прошедших предобработку в периферии сенсорных органов, формируются иерархии образов событий мира человека разных модальностей. Каждая модальность на периферии обрабатывается по-своему, но на входе в кору все модальности представлены однотипно последовательностями (или линейками, или матрицами последовательностей, в зависимости от вида анализируемой информации -зрительная - более сложная, чем слуховая) кодов событий.
Эти последовательности в колонках коры формируют последовательности откликнувшихся на них пирамидных нейронов (каждый пирамидный нейрон является фильтром на свой фрагмент входной последовательности, включающий (фрагмет) п символов этой последовательности), что представляет собой последовательность пройденных вершин п-мерного сигнального пространства (траекторию), где коорди-
наты вершин соответствуют адресам нейронов-фильтров соответствующей колонки, моделирующей фрагмент «-мерного пространства Такое отображение символьной последовательности в многомерное пространство приводит к структурной обработке входной информации - к формированию иерархии словарей образов событий разной сложности конкретной модальности [2], а также к формированию синтаксических последовательностей, состоящих из связей слов словаря предыдущего уровня во входной последовательности, поступающих на вход следующего уровня обработки.
1.1.1. Иерархия представлений отдельной модальности
Частота повторяемости различных событий разной сложности на входе сенсорных органов различна. Так если рассмотреть текстовые представления, такими событиями будут буквы (или звуки речи), морфемы, слова, синтаксические группы, устойчиво повторяющиеся пары понятий. В естественном языке это называется уровнеобразующими элементами, а соответствующие уровни языка называются, соответственно: графематическим (акустико-фонетическим, для звучащей речи), морфемным, лексическим, синтаксическим уровнями, семантическим уровнем отдельного предложенния. Такое представление характерно не только для текстовой, но и для других модальностей тоже, так как сенсорные последовательности этих модальностей представляют собой закодированные квази-тексты, наблюдаемые человеком - последовательности осмысленные и структурированные на нескольких уровнях сложности составляющих их элементов (например, видеоряд).
Иерархия таких представлений в виде словарей образов событий формируется в колонках корковых концов анализаторов, в каждой модальности (в каждом анализаторе) - своя. Особенностью формирования такой иерархии является наличие предыдущего сформированного уровня представления как фильтра, для формирования следующего уровня: при формировании словаря следующего уровня входная информационная последовательность, взаимодействуя со сформированным словарем предыдущего уровня, порождает так называемую синтаксическую последовательность (последовательность связей слов словаря предыдущего уровня во входной последовательности, которая используется на входе следующего уровня для формирования словаря следующего уровня.
Таким образом, формируется иерархия словарей, в которой слова словарей нижних уровней по ассоциации вставляются в слова словарей следующих уровней (слова словарей верхних уровней являются грамматиками для слов словарей нижних уровней), и вся эта иерархия может считаться моделью мира человека (в терминах конкретной модальности) как множество взаимосвязанных элементов - образов событий разных уровней - статической моделью мира в терминах этой конкретной модальности.
1.1.2. Объединение иерархий - многомодальная модель мира
Сформированные таким способом иерархии словарей образов событий разных модальностей объединяются в единое представление виртуально, будучи объединены ассоциативными поуровневыми связями между элементами, описывающими одни и те же явления в терминах разных модальностей. Эти же иерархии объединяются и информационно (на верхних уровнях представлений): синтаксические последовательности по мере подъема от уровня к уровню теряют в количестве
информации (он оседает в словарях), поэтому, эти все более разреженные информационные последовательности объединяются, дополняя друг друга в местах купюр, превращаясь в единую многомодальную информационную последовательность. Это объединение происходит в теменной коре, которая собирает информацию всех модальностей в единое представление - многомодальную статическую модель мира.
1.1.3. Передняя и задняя кора
Все, написанное выше, касалось сенсорной (задней) коры. Есть еще передняя кора, которая по сути своей является моторной корой. Это также иерархия представлений, нижний уровень которой - собственно моторная кора - управляет моторикой человека. Что же представляют собой верхние уровни передней коры?
При обработке информации в задней и передней коре на их границе в обработку вклинивается гиппокамп. Сначала поговорим о том, что происходит в процессе обработки сенсорной информации в гиппокампе, потом - как он участвует в формировании представлений в передней коре.
1.1.4. Гиппокамп
Основная функция гиппокампа заключается в формировании интегральных в пространстве и во времени сенсорных представлений ситуации, включающих образы событий, представленных в коре так, как они включены в конкретные ситуации внешнего и интероцептивного мира человека. В отдельных ламелях гиппокампа (поле СА3 представляет собой ассоциативную память Хопфилда [3]) формируются образы ситуаций как пространственно-временные совокупности образов событий, представленных в соответствующих колонках коры.
Еще одна функция гиппокмпа заключается в фильтрации входного потока ситуаций через представленные в ламелях образы ситуаций, и выявление степени их подобия хранящимся в них (усредненным в некотором смысле) образам ситуаций. После выявления степени сходства происходит усреднение представления старого и нового образов ситуаций.
1.1.5. Гиппокамп в обработке сенсорной информации
Ситуации, представленные в ламелях гиппокампа, используются верхними уровнями моторной (передней) коры в процессе формирования и контроля целенаправленного поведения.
Это представление можно проиллюстрировать расширенной предикатной структурой предложения (которое собственно и описывает ситуацию), являющейся графом, включающим субъект, предикат, главный и второстепенный объекты и атрибуты. Граф, описывающий ситуацию и представленный в ламели гиппокампа, похож на граф расширенной предикатной структуры, и включает многомодальные представления этих же образов: субъекта, главного и второстепенных объектов, атрибутов. Это представление включает в себя и языковые и многомодальные представления, как сенсорные, так и моторные.
Усреднение представлений ситуаций в гиппокампе за счет влияния представлений текущих реализаций ситуаций на входе в кору, осуществляется в свободное от работы человека время. Сенсорный образ ситуации, спроецированный на колонки коры по ассоциации выбирает те колонки, где есть представление образов событий,
входящих во входную ситуацию. Этот образ проецируется (также ассоциативно) в гиппокаммп, где откликаются те ламели, образ ситуации в которых в наибольшей степени соответствует входной ситуации. В процессе итеративной процедуры найденные ламели воздействуют на образы исходных событий колонок коры (так называемая долговременная потенциация [4]), дообучая образы событий, хранящихся в колонках до усредненного (среднего между хранившимся в ламели и пришедшим со входа) состояния. В процессе этой процедуры происходит также дообучение образов ситуаций, хранящихся в гиппокампе.
1.1.6. Гиппокамп в обработке моторной информации
Ситуации, представленные в ламелях гиппокампа, используются верхними уровнями моторной (передней) коры в процессе формирования и контроля целенаправленного поведения.
В образах ситуаций, представленных в ламелях гиппокампа, записывается помимо сенсорной информации также и моторная информации. Таким образом, наряду с сенсорными образами там хранятся их эффекторные аналоги. Именно они формируют на нижнем уровне передней коры (собственно моторная кора) представления, которые управляют эффекторными органами человека.
1.2. Фронтальная (моторная) кора
Мир, представленный в эффекторной модели мира (передняя кора), в каком-то смысле зеркален его представлению в сенсорной коре. В эффекторной части модели мира также формируется иерархия представлений, только эти представления работают в обратную сторону: если в сенсорной коре потоки информации идут снизу-вверх (анализ), в моторной коре они направлены сверху-вниз (синтез). Но прежде чем возникает этот, идущий сверху-вниз управляющий поток, такие образы эффектор-ных (моторных) образов событий разного уровня должны сформироваться.
1.2.1. Внутренняя речь как пример формирования иерархии представлений передней коры
Покажем, как формируются моторные представления на примере формирования внутренней речи, как это понимал А.Р. Лурия [5] (управление внутренней речью - это тоже моторика). Внутренняя речь первоначально формируется при участии учителя. Мать говорит сыну: «Делай то-то, делай то-то». И он делает. В ламели гиппокампа сына запоминается ситуация, когда он слышит, повторяет то, что он слышит, и делает то, что ему говорят. В первом, следующем за последним уровнем задней коры, уровне передней коры (собственно моторная кора) записывается информация, которая наименее вариативна - повторение фразы («Делай то-то!»).
Со временем в моторной коре накапливается достаточно много подобных событий (формируются словари нижнего уровня). Однако жизнь идет вперед: кроме простых действий сын под управлением матери выполняет более сложные (все более сложные) действия, в которые те простые события входят составляющими. Они формируют представления следующих уровней. Эти представления передней коры по ассоциации связаны с гиппокампом так же, как и представления сенсорной коры: соответствующая ламель гиппокампа по ассоциации откликается на образы передней коры, которые участвуют в описании ситуации, представленной в этой ламели («Сделай сначала то-то, а потом то-то!»). Но в этой же ламели представлены и ссылки на образы сенсорной коры, которые описывают упомянутую ситуацию.
На все более высоких уровнях передней коры представляются все более сложные эффекторные события - последовательности событий нижних уровней моторной коры со ссылками на ламели гиппокампа, то есть на целые пространственно-временные образы ситуаций. Таким образом, верхние уровни передней коры манипулируют последовательностями образов ситуаций.
1.3. Целенаправленное поведение
Собственно, формирование таких последовательностей ситуаций (от текущей ситуации к целевой), и контроль выполнения этих последовательностей - корректировка расхождений представлений о ситуации в гиппокампе (плюс в колонках коры, на которые опирается представление в гиппокампе) и в натуре - и представляет собой целенаправленное поведение. Внутренняя речь - это тоже целенаправленное поведение.
2 Интеграция модальностей как перспектива развития семантических представлений
Описанное выше представление в той или иной степени реализуется в современных интеллектуальных приложениях, моделирующих обработку информации в мозге человека. Правда, пока такие модели несколько однобоки. Если моделируется распознавание речи - решается задача обработки только речевой информации. Правда иногда - добавляется еще обработка зрительной информации об артику-ляторных движениях (так называемый липридинг) Если моделируется обработка зрительной информации - решается задача строго обработки зрительной информации.
Мозг человека не столь однобок. Для обработки информации любой модальности привлекается любая подходящая информация. Если распознается речь - то привлекается любой необходимый доступный контекст, в том числе информация, не только относящаяся к языковой модели мира, но и экстралингвистическая информация других, помимо текстовой, модальностей. То же - при обработке информации других модальностей. Именно привлечение самого широкого (необходимого) контекста позволяет достигать такой точности распознавания речи, в том числе и в шумах. Но за это надо платить ресурсами, потребными на поддержку обеспечения соответствующего контекста (в том числе, других модальностей).
2.1. Модели мира доминантного и субдоминантного полушарий
Модель мира человека, в силу особенностей представления информации в доминантном и субдоминантном полушариях делится на три независимых части: две из них находятся в доминантном полушарии, одна - в субдоминантном [6]. Так как в доминантном полушарии мозга человека представлены поля коры, ответственные за восприятие и артикуляцию речи, именно в нем формируется языковая модель мира, включающая модель языка, и модель мира, описанную в терминах языка. Эта модель формируется параллельно с другой моделью доминантного полушария - многомодальной (экстралингвистической) - которая формируется под воздействием социума через посредство языковой модели. Многомодальная модель доминантного полушария, многоуровневая (знания социума глубоки и широки), но схематичная, так как социализированные знания обычно представляются немногими примерами. В суб-доминатном полушарии ситуация в корне отличается. Там нет прямого влияния
социума (там нет восприятия и синтеза речи), поэтому модель мира многомодальная и очень индивидуальная: в ней представлена только та информация, которой оперировала личность в процессе своего развития. Зато эта модель имеет только два уровня представления (часть-целое) в силу очень большой вариативности представленных там событий.
Эти три части модели мира связаны поуровнево ассоциативными связями, и представляют в процессе манипулирования единое целое.
2.2. Интегральный робот
Единственный современный тип интеллектуальных систем, где использование широкого контекста оправдано с этой точки зрения, да и еще обязательно с точки зрения постановки задачи - это интегральные роботы, которые по своей природе включают в свою архитектуру сенсоры и эффекторы многих модальностей. Но это завтра, а сегодня и там берегут ресурсы, и сенсорика (и моторика) работает лишь настолько насколько это необходимо строго для решения поставленной задачи. Если это речевое управление, то используется система покомандного распознавания с подстройкой под диктора, с ограничениями на словарь, и подобное.
3 Механизмы формирования семантических представлений
В настоящий момент не так много подходов к представлению семантики. Традиционно это: (1) логические языки; (2) системы продукционных правил; (3) фреймовые представления; и (4) семантические сети. В последнее время к ним присоединились еще (5) онтологии [7]. Однако онтологии представляют собой лишь другую (не графическую) форму либо фреймовых представлений, либо семантических сетей. Поэтому отдельно мы их рассматривать не будем.
Из выше перечисленных до сих пор успешно применяются системы продукционных правил (в экспертных системах), и семантические сети. Эффективность использования этих представлений зависит исключительно от наличия механизмов автоматического формирования собственно семантического представления, и манипулирования им. В этом смысле можно говорить только о наличии механизмов автоматического формирования семантических сетей. Все остальные виды семантических представлений формируются исключительно вручную. И даже механизмы глубокого обучения не позволяют надеяться на автоматизацию этих процессов [8].
Проще всего автоматически формируются однородные (так называемые ассоциативные) семантические сети. Они работают почти исключительно на статистике обрабатываемого текста (пока реализованы механизмы анализа только текстов естественного языка). Привлекая лингвистическую информацию, удается автоматизировать процедуру формирования также и неоднородных семантических сетей.
3.1. Однородные семантические сети
Однородные семантические сети - это графы, в которых вершины соединяются дугами, которые представляют только один тип отношений - «быть вместе». Поэтому они называются ассоциативными. Они легко формируются автоматически, так как выявление словаря слов (напомню, что пока реализован такой анализ только текстов естественно-языковой модальности) в тексте и выявление словаря попарной встречаемости слов (эти словари необходимы для построения ассоциативной сети) не представляет сложности. А вычисление весовых характеристик вершин сети -вполне выполнимая процедура [9]. Также просто их использовать в приложения [10].
3.2. Неоднородные семантические сети
Неоднородные семантические сети требуют для своего построения информации о типах связей между понятиями сети, которые характеризуют дуги. Есть два пути автоматического построения неоднородных семантических сетей. Можно сначала строить однородную семантическую сеть, а потом размечать отношения между вершинами, исследуя предложения текста (корпуса текстов), на основе которого построена однородная семантическая сеть. Также можно сначала исследовать предложения текста, на основе которого мы строим неоднородную семантическую сеть, а потом вычислять весовые характеристики вершин сети так же, как это делается при вычислении весов вершин однородной семантической сети.
В первом случае мы получаем хоть и огрубленную сеть, но зато устойчивую к искажениям, порождаемым лингвистической интерпретацией анализа связей. Поскольку процедура носит статистический характер, она почти не зависит от языка. Во втором случае построение сети осложняется тем, что не более 85% предложений русскоязычного текста анализируется корректно при выяснении типов связей между составляющими их словами [11]. Кроме того, разметка предложений по типам связей зависит от языка, и полученная сеть с очень размытыми вершинами (каждый тип отношений для одной и той же пары понятий порождает дополнительные ветви на сети), плохо ранжируется по весам вершин.
4 Нейросетевая интерпретация архитектуры модели мира
Осталось сказать несколько слов о возможности нейросетевой реализации процедуры автоматического формирования модели мира. Как было сказано выше, только два вида семантических представлений реализуется автоматически. О них и пойдет речь.
Однородная семантическая сеть может быть интерпретирована как модель мира (языковая - текстовая), например. Те же механизмы можно использовать для формирования экстралингвистической модели мира (пока это не реализовано). Для этого необходимо заменить на входе формирования семантической сети естественноязыковых текстовых последовательностей квази-текстовыми последовательностями (например, закодированным соответствующим образом видеорядом).
4.1. Нейронная сеть на основе нейронов
с временной суммацией сигналов - модель колонки коры
Построение однородной семантической сети является ординарной процедурой, если использовать для этого искусственные нейронные сети на основе нейроподоб-ных элементов с временной суммацией сигналов [2]. Такие искусственные нейронные сети естественным образом предназначены для выявления словарей слов и пар слов в текстах естественного языка, как это описано выше [12]. Они моделируют обработку информации в колонках коры.
4.2. Ассоциативная память Хопфилда - модель ламели гиппокампа
Применяя процедуру, аналогичную механизму ассоциативной памяти Хопфилда [13], удается так же легко вычислить весовые характеристики вершин сети [10].
Формирование неоднородной семантической сети
Наверное, можно поискать подтверждения того, что разметка связей между вершинами сети также может быть реализована с помощью искусственных нейронных сетей [14]. Ну и тогда можно рассчитывать на полностью нейросетевой механизм построения неоднородной семантической сети.
4.4. Анализ текстов и квази-текстов
Все то же, что было сказано про анализ текстов, можно сказать про анализ квази-текстов, под которыми понимаются осмысленные кодовые последовательности, касающиеся интерпретации мира человека, формируемые другими, помимо текстового, сенсорами. Поскольку квази-тексты аналогичны естественно-языковым текстам, то есть содержат уровнеобразующие единицы разной степени сложности, по крайней мере, теоретически ничто не запрещает их обрабатывать способами, аналогичными описанным выше, как при формировании однородной, так и при формировании неоднородной семантической сети.
5 Возможные приложения
Описанные выше процессы на информационном уровне вполне себе легко алгоритмизируются. А программные решения отличаются от других таких, базирующихся на более простых и менее естественных основаниях, работают на благо пользователей. Так на основе упрощенной языковой модели мира, формируемой в колонках коры, включающей в свой состав только некоторые уровни представления языка, дополненной итеративной процедурой переупорядочения знаний, как она реализуется в ассоциативной памяти Хопфилда, моделирующей поля СА3 ламелей гиппокампа, была создана программная система для смыслового анализа текстов, которая использует сетевое представление семантики, и которая вполне неплохо себя зарекомендовала [15].
5.1. Смысловой анализ текстов
Программная система для смыслового анализа текстов TextAnalyst была разработана на представленных выше принципах. Она включает в свой состав ограниченную модель языка, в которой отсутствует синтаксический уровень (он заменен словарем удаляемых слов), реализован простейшими средствами морфологический анализ, зато для представления лексического уровня и уровня семантики отдельного предложения использована искусственная нейронная сеть на основе нейроподобных элементов с временной суммацией сигналов. Из информатики ламели гиппокампа также взято упрощенное представление, включающее итеративное переранжирование весовых характеристик вершин однородной семантической сети, полученной на семантическом уровне обработки [2].
Такое сетевое моделирование семантики текста позволяет учитывать связи слов в анализируемом тексте на п шагов на семантической сети. Оно удобно для анализа семантики текста, так как не требует громадной обучающей выборки текстов как в п-граммном моделировании языка. Полученное в результате итеративной процедуры ранжирование понятий текста позволяет реализовать извлечение тематического дерева текста, реферирование, сравнение текстов по смыслу, классификацию текстов.
4.3.
5.2. Анализ видеоряда как квази-текста
Эффективное решение задачи смыслового анализа текстов естественного языка позволяет надеяться на эффективное же использование представленного подхода для анализа видеорядов (и даже отдельных двумерных изображений), в отличие от вполне успешных сверточных сетей.
Правда, здесь требуется реализация очень специфической предобработки изображений, сильно отличающейся от привычной развертки слева-направо, сверху-вниз. Если моделировать обработку изображения глазом человека, который рассматривает изображения как большие оконтуренные поверхности, заполненные текстурой (цветом, например), сканирует эти изображения от точки наибольшей информативности [16] к точке наибольшей информативности (как правило, это перегибы контура) по заданному правилу (правила отличаются в зависимости от постановки задачи), то получается кодовая последовательность, напоминающая текст. В ней повторяются элементы разной сложности (они отличаются от таковых в естественно-языковых текстах), то есть появляется возможность их структурного анализа, как и обычного текста.
Зато можно сохранить весь механизм обработки информации, подобный таковому технологии TextAnalsyt. А само сканирование обладает одним отличием от традиционных способов обработки изображений: мы можем сканировать плохо представленный в модели участок изображения так долго, сколько нужно для его детального представления.
5.3. Объединение модальностей
И, наконец, еще одно очень важное преимущество такого способа представления семантики. Единый способ представления и обработки информации текстовой и зрительной модальностей позволяет объединять эти представления в единую модель мира [17], в которой фрагменты зрительной модальности поименовываются соответствующими именами текстовой модальности. Такое двумодальное представление оказывается значительно более устойчивым к проблемам распознавания, чем одно-модальное зрительное. В двумодальном представлении одно из них дополняет пробелы другого. Но, главное, такое представление позволяет интерпретировать в терминах естественного языка зрительные образы и ситуации, значительно упрощая общение системы с пользователем.
Заключение
Задачи, решаемые при создании искусственных интеллектуальных систем, эффективно достижимы при условии использования при их решении архитектур, похожих на архитектуру мозга человека, используемую для решения аналогичной задачи. В том числе, использования представлений о модели мира, реализуемых на основе каких либо подходов, основанных на семантических представлениях. Обязательным условием формирования модели решаемой задачи в этом случае является автоматизм формирования упомянутых семантических представлений. В настоящий момент только семантические сети могут быть эффективно сформированы автоматически, в том числе с использованием искусственных нейронных сетей.
Такие представления не только хорошо подтверждаются сравнением с архитектурой и информатикой мозга, но и эффективно моделируются в приложениях. Программная технология для автоматического смыслового анализа неструктурированных текстов TextAnalyst (в основе которой лежит искусственная нейронная сеть
на основе нейронов с временной суммацией сигналов) эффективно реализует функции формирования однородной семантической сети, автоматического реферирования текстов, сравнения текстов по смыслу, классификации и кластеризации текстов. Можно предполагать, что также эффективно подобная технология будет анализировать кодовые последовательности, полученные при анализе видеорядов, если этот анализ будет достаточно бионичен. Единый подход к обработке текстовой и зрительной информации позволит говорить о построении эффективных многомодальных систем обработки и представления информации, что является единственно верным подходом в развитии моделирования интеллектуальных функций человека.
Стандартизация представления знаний на основе семантических сетей, как они представлены в сознании человека, является подходящей основой для стандартизации способов представления знаний в информационных системах.
Список литературы
1. Golenkov V. Methods and tools for ensuring compatibility of computer systems [Текст] / V. Golenkov, N. Guliakina, I. Davydenko // Open semantic technologies for intelligent systems. - 2019. - Iss. 3. -Pp. 25-53.
2. Харламов А. А. Ассоциативная память - среда для формирования пространства знаний. От биологии к приложениям [Текст] / А. А. Харламов. - Дюссельдорф : Palmarium Academic Publishing, 2017. - 109 с. ISBN 978-3-639-64549-1.
3. Rolls E. T. Theoretical and Neurophysiological Analysis of the Functions of the Primate Hippocampus in Memory [Текст] / E. T. Rolls // Cold Spring Haibor Symposia on Quantitative Biology. - Vol. LV, 1990. -Cold Spring Harbor Laboratory Press. - Pp. 995-1006.
4. Виноградова О. С. Гиппокамп и память [Текст] / Виноградова О. С. - М. : «Наука», 1975.
5. Лурия А. Р. Язык и сознание [Текст] / Лурия А. Р. - Ростов-на-Дону: Феникс, 1998. - 413с.
6. Бианки В. Л. Морфофункциональная организация межполушарных связей [Текст] / Бианки В. Л.
7. Ефименко И. В. Онтологическое моделирование: подходы, модели, методы, средства, решения [Текст] / И. В. Ефименко, В. Ф. Хорошевский. - Москва : Издательский дом ВШЭ, 2011. - 68 с.
8. Лукашевич Н.В., Добров Б.В. Комбинирование онтологических и статистических методов в задачах автоматической обработки больших текстовых данных [Текст] / Труды конференции «Искусственный интеллект: проблемы и пути решения». - 2018. - C. 32-37.
9. Харламов А. А. Формирование n-граммной тематической модели текста [Текст] / А. А. Харламов // Речевые технологии. - № 1-2, 2016. - С. 15-23.
10. Харламов А. А. Нейросетевая технология представления и обработки информации (естественное представление знаний) [Текст] / А. А. Харламов. - М. : Радиотехника, 2006. - 89 с.
11. Осипов Г. С. Exactus - система интеллектуального метапоиска в сети Интернет [Текст] / Г. С. Осипов, И. А. Тихомиров, И. В. Смирнов // Труды десятой национальной конференции по искусственному интеллекту с международным участием КИИ-2006. - М. : Физматлит, 2006. - Т. 3. - С. 859-866.
12. Textanalyst Downloads [electronic media] // Microsystems. -2011. - Режим доступа : http://www.analyst.ru
13. Hopfield J. J. Neural networks and physical systems with emergent collective computational abilities [Текст] / Hopfield J. J. // Proc. Natl. Acad. - Sci. 79, 1982. - Pp. 2554-2558.
14. Allen Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling [Текст] / Luheng He, Kenton Lee, Omer Levy, Luke Zettlemoyer, Paul G. // Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers) , Melbourne, Australia, July 15 - 20, 2018. -Pp. 364-369.
15. Sullivan Dan. Document Warehousing and Textmining [Текст] / Sullivan Dan. - NY; Wiley publishing house, 2001. - С. 261-456.
16. Завалишин Н. В. Модель зрительного восприятия и алгоритмы анализа изображений [Текст] / Н. В. Завалишин, И. Б. Мучник. - М. : Наука, 1974. - 344 с.
17. Харламов А. А. Коллективная модель мира мобильного робота. Языковой анализ сцены и управление пешеходным переходом [Текст] / А. А. Харламов, Р. М. Жаркой, В. В. Арзуманов // Речевые технологии. - 2019. - № 1.- С. 99-108.
References
1. Golenkov V., Guliakina N., Davydenko I. Methods and tools for ensuring compatibility of computer systems. Open semantic technologies for intelligent systems, 2019, iss. 3, Pp. 25-53
2. Kharlamov A.A. Assotsiativnaya pamyat' - sreda dlya formirovaniya prostranstva znaniy. Ot biologii k prilozheniyam [Associative memory is an environment for the formation of knowledge space. From biology to applications]. Palmarium Academic Publishing, Dyussel'dorf, 2017, 109 p.
3. Rolls, E.T. Theoretical and Neurophysiological Analysis of the Functions of the Primate Hippocampus in Memory. In: Cold Spring Harbor Symposia on Quantitative Biology, Vol. LV, 1990, Cold Spring Harbor Laboratory Press. Pp. 995 - 1006.
4. Vinogradova O. S. Gippokamp ipamyat' [Hippocampus and Memory], M., Nauka, 1975, 239 p.
5. Luriya A. R. Yazyk i soznaniye [Language and consciousness], M., Izd-vo Moskovskogo universiteta, 1979, 320 p.
6. Bianki B. Ji. Mekhanizmyparnogo mozga [Mechanisms of the paired brain], M., Nauka, 1989, 264 p.
7. Yefimenko I.V., Khoroshevskiy V.F. Ontologicheskoye modelirovaniye: podkhody, modeli, metody, sredstva, resheniya [Ontological modeling: approaches, models, methods, tools, solutions], Moskva, Izdatel'skiy dom VSHE, 2011, 68 s.
8. Lukashevich N.V., Dobrov B.V. Kombinirovaniye ontologicheskikh i statisticheskikh metodov v zadachakh avtomaticheskoy obrabotki bol'shikh tekstovykh dannykh v sbornike Trudy konferentsii "Iskusstvennyy intellekt: problemy i puti resheniya" [The combination of ontological and statistical methods in the tasks of automatic processing of large text data in the proceedings of the conference "Artificial Intelligence: Problems and Solutions"], 2018, Pp. 32-37
9. Kharlamov A.A. Formirovaniye n-grammnoy tematicheskoy modeli teksta [Formation of an n-gram thematic text model]. Rechevyye tekhnologii [Speech Technologies], No. 1-2, 2016, Pp. 15-23.
10. Kharlamov A.A. Neyrosetevaya tekhnologiya predstavleniya i obrabotki informatsii (yestestvennoye predstavleniye znaniy) [Neural network technology for the presentation and processing of information (natural representation of knowledge)], M., Radiotekhnika, 2006, 89 s.
11. Osipov G. S., Chudova N.V., Panov A.I., Kuznetsova Yu.M. Znakovaya kartina mira sub"yektapovedeniya [The symbolic worldview of the subject of behavior], M., Fizmatlit, 2018, 264 p.
12. Textanalyst Downloads [electronic media] (2011) Microsystems. http://www.analyst.ru
13. Hopfield, J.J. Neural networks and physical systems with emergent collective computational abilities. Proc. Natl. Acad. Sci. 79, 1982. Pp. 2554 - 2558.
14. Luheng He, Kenton Lee, Omer Levy, Luke Zettlemoyer, Paul G. Allen Jointly Predicting Predicates and Arguments in Neural Semantic Role Labeling Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics (Short Papers), Melbourne, Australia, July 15 - 20, 2018. Pp. 364-369.
15. Sullivan Dan. Document Warehousing and Textmining. NY; Wiley publishing house, 2001. Pp. 261-456.
16. Zavalishin N.V., Muchnik I.B. Model' zritel'nogo vospriyatiya i algoritmy analiza izobrazheniy [The model of visual perception and image analysis algorithms] M., Nauka, 1974, 344 s.
17. Kharlamov A.A., Zharkoy R.M., Arzumanov V.V. Kollektivnaya model' mira mobil'nogo robota. YAzykovoy analiz stseny i upravleniye peshekhodnym perekhodom [Collective model of the world of a mobile robot. Language scene analysis and crosswalk management] Rechevyye tekhnologii [Speech Technologies] No. 1, 2019. S. 99-108
RESUME
A. A. Kharlamov
Prospects for the Development of Semantic Representations Based on Trends in Neuroinformatics
Until now, traditional information technologies and artificial intelligence technologies have evolved independently of each other. Now is the time for a fundamental rethinking of the experience of using and evolving traditional information technologies and their integration with artificial intelligence technologies. The key problem at the moment in the development of information technologies in general and artificial intelligence technologies in particular is the problem of ensuring information compatibility of computer systems, including intelligent systems. One of the possibilities of informational combination of knowledge bases - the core of modern information systems - is to use a more or less standard way to represent knowledge in the form of semantic networks. However, the mere use of semantic networks to represent knowledge does not solve the problem of standardization. For such a view to become generally
accepted, it must be based on the fundamental principles of describing semantics. The most fundamental concept in this sense is the representation of knowledge in human consciousness. Semantic representations in the modern sense - thesauri, semantic networks, ontologies - are a very rough description of the highest level of reality in which we live, which can only be called a model of the world. To understand the architecture of semantic representations that adequately describe this world, which is relevant to the subject being modeled - the real world of man - it is necessary to reproduce the architecture of the model of the human world as it is formed in his consciousness. To understand this architecture, it is necessary to look at the human brain (a natural neural network that forms semantic representations), at his (brain) organs that form this architecture, at the cognitive networks that arise in him in response to the appearance of specific situations at his entrance and exit to the process of solving specific problems, on the informatics of individual sensory and effector modalities, the levels of hierarchical representations of which contain images of events in the external and interoceptive world of a person of varying degrees of complexity, combining these hierarchies in multimodal representations, including within the framework of describing whole situations, as well as sequences of situations , how they are used in the process of unconscious, as well as purposeful behavior - its planning and execution control. Obviously, the brain is both a very large and very heterogeneous, and therefore, a complex neural network in architecture. Such views are not only well supported by comparisons with the architecture and computer science of the brain, but are also effectively modeled in applications. The software technology for automatic semantic analysis of unstructured texts TextAnalyst (which is based on an artificial neural network based on neurons with temporal summation of signals) effectively implements the functions of forming a homogeneous semantic network, automatic summarizing of texts, comparing texts by meaning, classification and clustering of texts. It can be assumed that such a technology will also effectively analyze code sequences obtained by analyzing video sequences, if this analysis is sufficiently bionic. A unified approach to the processing of textual and visual information will allow us to talk about the construction of effective multimodal systems for processing and presenting information, which is the only correct approach in the development of modeling of human intellectual functions.
РЕЗЮМЕ
А. А. Харламов
Перспективы развития семантических представлений, основывающиеся на тенденциях нейроинформатики
До настоящего времени традиционные информационные технологии и технологии искусственного интеллекта развивались независимо друг от друга. Сейчас настало время фундаментального переосмысления опыта использования и эволюции традиционных информационных технологий и их интеграции с технологиями искусственного интеллекта. Ключевой на текущий момент проблемой развития информационных технологий в целом и технологий искусственного интеллекта в частности является проблема обеспечения информационной совместимости компьютерных систем и в том числе интеллектуальных систем. Одной из возможностей информационного совмещения баз знаний - ядра современных информационных систем - является использование для представления знаний более или менее стандартного способа в виде семантических сетей. Однако само использование семантических сетей для представления знаний не решает проблемы стандартизации. Чтобы такое представление стало общепринятым, оно должно базироваться на фундаментальных принципах описания семантики. Наиболее фундаментальным в этом смысле представлением является представление знаний в сознании человека.
Семантические представления в современном понимании - тезаурусы, семантические сети, онтологии - это очень грубое описание самого верхнего уровня действительности, в которой мы живем, которое лишь условно можно назвать моделью мира. Для понимания релевантной моделируемому предмету - реальному миру человека - архитектуры семантических представлений, адекватно описывающих этот мир, необходимо воспроизвести архитектуру модели мира человека, как она формируется в его сознании. Для понимания этой архитектуры необходимо посмотреть на мозг человека (естественную нейронную сеть, формирующую семантические представления), на его (мозга) органы, которые формируют эту архитектуру, на когнитивные сети, возникающие в нем в ответ на появление конкретных ситуаций на его входе и выходе в процессе решения конкретных задач, на информатику отдельных сенсорных и эффекторных модальностей, уровни иерархических представлений которых содержат образы событий внешнего и интероцептивного мира человека разной степени сложности, объединение этих иерархий в многомодальных представлениях, в том числе, в рамках описания целых ситуаций, а также последовательностей ситуаций, как они используются в процессе неосознанного, а также целенаправленного поведения - его планирования и контроля исполнения. Очевидно, что мозг - это и очень большая, и очень неоднородная, а потому, сложная по архитектуре нейронная сеть. Такие представления не только хорошо подтверждаются сравнением с архитектурой и информатикой мозга, но и эффективно моделируются в приложениях. Программная технология для автоматического смыслового анализа неструктурированных текстов TextAnalyst (в основе которой лежит искусственная нейронная сеть на основе нейронов с временной суммацией сигналов) эффективно реализует функции формирования однородной семантической сети, автоматического реферирования текстов, сравнения текстов по смыслу, классификации и кластеризации текстов. Можно предполагать, что также эффективно подобная технология будет анализировать кодовые последовательности, полученные при анализе видеорядов, если этот анализ будет достаточно бионичен. Единый подход к обработке текстовой и зрительной информации позволит говорить о построении эффективных многомодальных систем обработки и представления информации, что является единственно верным подходом в развитии моделирования интеллектуальных функций человека.
Статья поступила в редакцию 23.03.2020.
