CC BY
10Семантика
парадигматическая vs семантика синтагматическая или сенсорная и моторная семантика в
целенаправленном поведении
А. А. Харламов (kharlamov@analyst.ru)
Институт высшей нервной деятельности и нейрофизиологии РАН, г. Москва
Московский государственный лингвистический университет, г. Москва
Высшая школа экономики, г. Москва
Московский физико-технический институт, г. Долгопрудный МО
Семантика — раздел языкознания, изучающий значение единиц языка (Википедия https://www.wikipedia.org).
Семантическая сеть — информационная модель предметной области, имеющая вид ориентированного графа (Википедия https://www. wikipedia.org).
Ключевые слова: Семантика, Прагматика.
86
ВВЕДЕНИЕ
Под термином «Семантика» понимают обычно значение единиц языка разного уровня. На самом деле необходимо разделить эту предметную область на две части: (1) ограничения, накладываемые условиями мира, в котором мы живем, выраженные средствами языка (сочетаемостью слов); и (2) собственно содержание текстов, описывающих этот мир. Семантические сети текста, принадлежащего к конкретной предметной области, и корпуса текстов, описывающих эту предметную область, представляют это различие. Семантическая сеть корпуса текстов — представляет возможную сочетаемость понятий предметной
области, а сеть конкретного текста — конкретные комбинации этих понятий, описывающие конкретную ситуацию из этой предметной области.
Имея в виду все это, рассмотрим несколько другой предмет. Рассмотрим, как представлена семантика предметной области (или всего мира) в сознании (в мозге) человека. Здесь есть также противопоставление. Семантика в терминах ограничений (первый тип) представлена в сенсорной (задней) коре. Семантика в терминах содержания (второй тип) — в моторной (передней) коре. Эти два типа семантических представлений разделены представлениями (шаблонами) ситуаций в ламелях гиппокампа.
1. Парадигматика семантики сенсорной коры
Семантические представления в сенсорной коре формируются колонками коры [1] на основе кодовых сенсорных последовательностей как текстов естественного языка (или квази-текстов квази-языков других кроме текстовой модальностей). Формируются в виде иерархий словарей уровнеобразующих элементов языка (квази-языков) — образов событий разной сложности разных сенсорных модальностей. Верхние уровни этих иерархий представляют собой словари попарной сочетаемости слов языка (квази-слов квази-языков — образов событий соответствующих модальностей). Виртуальные объединения этих пар слов (квазислов) собственно и есть семантические сети, характеризующие ограничения на сочетаемость элементов разных уровней — семантику языка (квази-языка).
Эти представления парадигматичны: слова словаря более высокого уровня могут включать в себя слова словаря более низкого уровня из некоторого множества — одинаковые по форме.
Словарь верхнего уровня представляет собой пары объектов (для естественного языка — слов) как они сочетаются в мире. Множество таких пар составляет виртуальную семантическую сеть.
2. Структурная обработка в колонках коры
Структурная обработка осуществляется в колонках коры полушарий большого мозга. Колонка формируется вокруг пирамидных нейронов третьего слоя, которые будучи элетронекомпактными нейронами осуществляют временную суммацию сигналов [2].
Множество пирамидных нейронов моделирует множеством своих адресов многомерное пространство, в которое отображает входную кодовую последовательность, формируя траекторию — последовательность сработавших нейронов. Траектория в многомерном пространстве зацикливается в местах повторов уровнеобразующих элементов во входной последовательности, позволяя, таким образом, сформировать словарь повторяющихся фрагментов — словарь образов событий, представленных во входной последовательности.
Сформированный словарь в дальнейшем работает как фильтр, отфильтровывая из входной последовательности события, представленные в словаре, сохраняя
87
связи этих событий, как они представлены во входной последовательности. Это позволяет далее работать с отфильтрованной входной последовательностью как с исходной с формированием словаря следующего уровня.
Таким образом формируется иерархия словарей уровнеобразующих элементов языка (или квази-языков), верхний уровень которой и представляет собой словарь попарной сочетаемости — словарь семантического уровня. Именно он представляет собой структуру ограничений, которая характерна для конкретной модальности, для предметной области, для мира, как он воспринимается сенсорными органами и на который проецируется моторика.
3. Комбинаторика в ламелях гиппокампа
Словари разных модальностей таким образом структурируют мир. И уже на этом уровне можно его анализировать с целью манипулирования. Так и делается в работах по тематическому моделированию текстов, где тексты рассматриваются как «мешки слов» (bag-of-words) [3]. Просто перечень слов вполне относит к предметной области. Но для анализа ситуаций этого оказывается мало. Не хватает связей между словами в тексте (квази-тексте). Именно поэтому безуспешными оказались попытки распознавания изображений ситуаций только на основе состава включенных в них объектов.
88
Для успешного распознавания ситуаций понадобилась структура — гиппокамп — которая представляет ситуацию как комбинаторику объектов. Для этого используются поля СА3 ламелей, которые работают как ассоциативная память Хопфилда [4], формируя представление о совместном участии отдельных событий (в виде словарей образов разного уровня сложности разных модальностей) в конкретной ситуации, представленной в этой ламели.
В шаблоне ситуации объединяются слова разных модальностей. Слова словарей разных модальностей таким образом объединяются ассоциативно в соответствие со структурой мира, представленной в этих словарях: слово «мяч» и зрительный образ мяча, например.
Поэтому в ламели представляется многомодальный образ ситуации. К многомодальному образу доминантного и субдоминантного гиппокампов в доминантном гиппокампе присоединяются представления текстовой модальности. В нем представляются фразы, описывающие ситуацию в четырех модальностях: устной и письменной текстовой в случае анализа и в случае синтеза.
Образы ситуаций, представленные таким образом в ламелях гиппокампа, далее используются передней (моторной) корой для формирования целенаправленного поведения. Для этого в образе ситуации выбирается одна модальность, которая далее представляет эту ситуацию в передней коре как ее имя. Обычно такой модальностью
является текстовая модальность, так как слово языка наименее вариативно по сравнению с образами других модальностей. Однако в разных стилях мышления могут использоваться имена ситуаций разных модальностей: у музыканта — музыкальные фразы, у художника — зрительные образы, у спортсмена — двигательные стереотипы.
4. Синтагматика в моторной коре
Моторная кора синтагматична по своей природе: управление движением на самом нижнем уровне иерархии представляет собой слитную фразу. На более высоких уровнях в колонках передней коры обрабатываются последовательности имен ситуаций, характеризующие последовательности осмысленных действий. Например, текстов, так как продуцирование небессмысленных текстов является целенаправленным поведением, как бы это не оспаривали поклонники GPT.
Это не противоречит механизму структурной обработки информации в колонках коры. И в этом случае формируется иерархия образов событий разной комбинаторной сложности от элементарных ситуаций до очень сложных их комбинаций, объединенных единым именем. Но если в сенсорной коре важна иерархия пардигматических представлений (это способ снять вариативность), то в моторной коре важно именно их последовательное включение. По-другому представления моторной коры можно назвать прагматикой.
5. Коммуникационное поведение как пример целенаправленного поведения
Рассмотрим, как эти механизмы взаимодействуют на примере коммуникационного поведения (см. Рис. 1).
Положим, индуктор намерен передать реципиенту какую-то информацию. Цель мы не рассматриваем, только механизмы, каковыми являются механизмы, формирующие модель мира, состоящую из двух частей: (1) языковой модели; и (2) экстралингвистической модели (см. Рис. 2). Фрагмент экстралингвистической части модели мира и должен быть закодирован лингвистически и передан реципиенту. Выбирается цепочка более мелких фрагментов экстралингвистической модели мира, которые должны быть описаны лингвистически.
Каждый фрагмент отыскивает по ассоциации с помощью таламуса подходящий шаблон, представленный в одной из ламелей гиппокампа, где есть и текстовый шаблон (со ссылкой на конкретные взаимоотношения уровнеобразующих элементов языковой части модели мира всех уровней сложности от морфологического до семантического), формируя таким образом цепочку предложений текста.
Посредством внутренней речи этот текст проверяется на непротиворечивость воспринятого экстралингвистического фрагмента (процедура обратная генерации текста) тому, который инициировал процесс порождения текста. При необходимости сгенерированный текст корректируется (подбираются из соответствующих парадигм на соответствующих уровнях подходящие синонимы, а то и меняется структура выбранных в цепочке микрофрагментов экстралингвистической модели мира). До тех пор, пока не совпадут первоначальный, и полученный в процессе
89
лингвистического декодирования сгенерированного текста, фрагменты модели мира. Еще надо бы учесть модель реципиента. Но это отдельная тема.
6. Целенаправленное поведение
Отсюда, целенаправленное поведение можно рассматривать как формирование цепочек ситуаций, в процессе планирования целенаправленного поведения, с последующим контролем их выполнения и, при необходимости, корректировкой.
Обучение моторной коры не столь просто как сенсорной. Сначала формируются простые стереотипы поведения. «Ешь кашу! Ешь кашу!» — «Ем кашу! Ем кашу!» при соответствующем моторном сопровождении [5]. Они объединяются в более сложные цепочки, которые называются своими именами на следующем уровне представления.
6.1. Выполнение целенаправленного поведения
Выполнение целенаправленного поведения осуществляется инициированием из передней коры. Конкретное имя целенаправленного поведения разворачивается в иерархии представлений моторной коры в цепочку ситуаций, как они представлены в соответствующих ламе-лях гиппокампа. А те, в свою очередь, опираются на образы событий, включенные в образы ситуаций, как они представлены в колонках коры. Этот процесс обеспечивается деятельностью таламуса, который по требованию передней коры адресует имена к нужным ламелям гип-покампа, а по их требованию — к колонкам коры, где находятся подходящие образы событий в их сенсорном представлении. Уже эти последние сравниваются с входными образами, что при необходимости приводит к корректировке плана.
90
6.2. Планирование целенаправленного поведения
Планирование целенаправленного поведения осуществляется в обратном порядке, а точнее, итеративно. При планировании рассматриваются имена текущей и целевой ситуаций, подбираются имена промежуточных ситуаций в цепочке. Этот подбор происходит посредством представлений в ламелях гиппокампа. Мозг как параллельная машина позволяет разворачивать одновременно несколько возможных реализаций с их увязкой по граничным событиям. И из которых выбираются те, которые увязываются в цепочку наилучшим образом (где не оказывается висящих фрагментов).
Далее, а точнее тут же (опять в силу параллельности обработки информации в мозге) подогнанная наилучшим образом цепочка ситуаций из гиппокампа адресует к колонкам коры, где появляется
возможность детальной подгонки теперь уже элементов ситуаций друг к другу. И парадигматичность представления этих образов в колонках коры позволяет подобрать те образы, которые наилучшим образом подходят и друг к другу и к спланированному поведению.
7. Таламус
Для успешной деятельности представленной выше системы необходима более точная адресация процессов в их параллельном взаимодействии. Эту роль выполняет таламус как верхний уровень так называемой ретикулярной формации, обеспечивающей энергетически все информационные процесс в мозге. Это отдельная большая тема. Мы скажем только, что таламус осуществляет послойный контроль параллельных процессов в мозге. Он послойно включается во все взаимоотношения отдельных полей коры, формируя в совокупности единое представление всех информационных процессов — формируя модель тела человека — где отдельные процессы оказывают влияние на все другие.
ЗАКЛЮЧЕНИЕ
Возможно, следовало именовать, с одной стороны, (1) ограничения, накладываемые условиями мира, в котором мы живем, выраженные средствами языка (сочетаемостью слов); и (2) собственно содержание текстов, описывающих этот мир иначе: собственно семантикой — семантику предметной области, и прагматикой — семантику текста.
Литература
1. Neuroinformatics and Semantic Representations. Theory and Applications. Alexander Kharlamov & Maria Pilgun eds. 317 P. Cambridge Scholars Publishing. 2020.
2. Харламов А. А. Ассоциативная память — среда для формирования пространства знаний. От биологии к приложениям. — Дюссельдорф: Palmarium Academic Publishing, 2017.
3. Blei, D., McAuliffe, J. Supervised Topic Models. In Neural Information Processing Systems. 2007.
4. Rolls, E. T. Theoretical and Neurophysiological Analysis of the Functions of the Primate Hippocampus in Memory. In: Cold Spring Harbor Symposia on Quantitative Biology, Vol. LV, 1990, Cold Spring Harbor Laboratory Press. Pp. 995-1006.
5. Лурия А. Р. Язык и сознание. — С.-Пб.: «Питер», 2019.
91
