CC BY
19Анализ текстов с использованием искусственных нейронных сетей на основе нейроподобных элементов с временной суммацией сигналов (часть 1)
Харламов А. А., доктор технических наук, старший научный сотрудник Института высшей нервной деятельности и нейрофизиологии РАН, профессор кафедры прикладной и экспериментальной лингвистики МГЛУ, профессор департамента программной инженерии ВШЭ, профессор кафедры интеллектуальных информационных систем и технологии Московского физико-технического института, Москва, kharlamov@analyst.ru
Анализ смысла (содержания) текстов — достаточно непростой и редкий пример приложений из предметной области анализа текстов. Иерархия процессов анализа оцифрованных текстов от нижнего — графематического — уровня до верхнего — уровня допустимой сочетаемости корневых основ — семантического является естественной иерархией обработки текстовой информации в сознании человека. В работе представлены два уровня обработки из этой иерархии — лексический и семантический. Описано приложение — программная система для смыслового анализа текстов — TextAnalyst, реализующее обработку двух уровней, и формирующее семантическую сеть текста как результат такой обработки. Представлены примеры анализа, использующие подход для анализа текстов.
• анализ смысла текста • искусственные нейронные сети на основе нейроподобных элементов с временной суммацией сигналов • программа для смыслового анализа текстов • результаты анализа •
1. ВВЕДЕНИЕ
Чтобы понять, как можно эффективно реализовать глубокое обучение для анализа текстов, сначала надо разобраться, как оно эффективно реализуется в анализе изображений: объем работ на эту тему зашкаливает [1]. Помимо анализа рукописных и печатных текстов как изображений необходимо разобраться с анализом оцифрованных текстов как реализаций языка [2] и с языком как множеством текстов [3].
Человек хорошо воспринимает тексты как изображения, необходимо понять, как он это делает. И в дальнейшем опираться на это представление в поисках эффективных механизмов анализа текстов.
87
И, наконец, поскольку и человек, и машина при анализе текстов используют (по крайней мере в части подходов) нейронные сети (искусственные или естественные), важно понять эффективные механизмы обработки текстов в том или ином виде, реализованные нейронными сетями в форме глубокого обучения.
В известных в настоящий момент работах глубина анализа изображений, как правило, ограничивается классификацией отдельных объектов [4]. Анализ сцен является последним трендом в распознавании изображений, но больших успехов в этом направлении пока не достигнуто [5]. Анализ ситуаций остается комплексной проблемой, выходящей за рамки собственно анализа изображений и в большей степени связанной с анализом текстов, описывающих последовательности сцен как ситуации [6].
1.1. Классификация изображений объектов. Сверточные сети
Наиболее успешно с целью классификации изображений отдельных объектов используются сверточные искусственные нейронные сети. Известен очень хороший результат применения сверточных сетей с глубоким обучением для классификации изображений в 1000 классов с точностью 99% [4]. Для этого используется сверточная сеть, содержащая 153 слоя.
Рассмотрим, что же происходит в этом случае. В процессе классификации на изображении выделяются признаки разной сложности: от простейших на первых слоях до очень сложных на последних. Например, глаз, колесо автомобиля. Изображения характерны большой вариативностью формы, поэтому уже при решении задачи классификации качественное решение требует включения в сеть большого количества слоев и большой обучающей выборки. Сверточные сети успешно используются для классификации символов алфавита, в том числе рукописных [6].
Нужно сказать, что существенным ограничением при использовании этого подхода является объем обучающей выборки, который должен быть тем больше, чем выше требуется качество классификации. Следовательно, при обучении требуются очень большие вычислительные ресурсы. Поэтому анализ сцен, требующий еще и учета комбинаторики, как правило, не реализуется. Дело в том, что сложность сцен является комбинаторикой составляющих их объектов и событий, то есть число возможных классов сцен даже небольшой сложности оказывается очень большим.
1.2. Модель языка. ЭРТ
В анализе оцифрованных текстов, а после классификации символов алфавита сверточной сетью текст можно считать оцифрованным, применяются другие помимо классификации механизмы, которые также могут быть реализованы с использованием глубокого обучения. Одним
88
из них является модель языка, которую можно представить как сеть, полученную пересечением сетей множества текстов языка, где вершины — это слова словаря языка, а дуги — некоторые отношения между словами. Если говорить об автоматической обработке текстов с выявлением отношений между словами, то речь пойдет только об ассоциативной связи между ними, то есть об их совместном нахождении в предложениях текста.
Такая сеть строится, например, в виде состояний синапсов отдельных нейронов после обучения в искусственных нейронных сетях, типа трансформеров, — в GPT. GPT — это нейросеть, которая способна генерировать образцы синтезированного текста с вполне логичным повествованием, если задать ей любое начало. Однако для получения такого результата число параметров в сети должно превышать 1,5 млрд [4].
1.3. Обработка изображений в зрительном анализаторе человека
В зрительном анализаторе человека обработка изображений отличается от обработки в сверточных сетях, хотя там также осуществляется развертка изображения, но не как в видеокамере — слева-направо сверху-вниз, а по точкам наибольшей информативности изображения [7].
Обработка изображений в зрительном анализаторе человека [8] осуществляется двумя каналами: грубым и точным. Грубый канал обработки осуществляет выявление точек наибольшей информативности, реализацию переходов от точки к точке и еще кое-что. Точный канал осуществляет анализ информации в сравнительно небольшой окрестности точек информативности. Вместе они, таким образом, формируют сенсорную кодовую последовательность, характеризующую изображение, которое грубым каналом представляется как совокупность эквитекстурных областей, перегибы контуров которых и являются точками наибольшей информативности.
Сформированная таким образом кодовая последовательность содержит повторяющиеся уровнеобразующие элементы зрительного квази-языка, которые выявляются в процессе структурной обработки в колонках коры и формируют иерархию словарей, где на нижнем уровне представлены простейшие элементы изображений — точки, сегменты дуги, отрезки прямой, под разными углами наклоненные к горизонту, перекрестья разного типа. На следующих уровнях представлены элементы объектов, далее — объекты, сцены. Чтобы быть точными, надо сказать, что на самых нижних уровнях обработки должны быть представлены простые и сложные рецептивные поля [9].
1.3.1. Грубый канал
Исходное изображение подвергается фильтрации, сглаживанию, подчеркиванию частот, усилению контраста, оператору вычитания шумовой составляющей для улучшения качества изображения. А также бинаризации и еще раз сглаживанию [10]. При этом все переходы яркости заданной величины становятся контурами.
В грубом канале выявляются эквитекстурные области (цвет также рассматривается как текстура или как элемент текстуры) за счет реализации сегментирующей
89
функции [9]. Выявляются границы этих областей. Выявляются точки перегиба границ, которые являются точками наибольшей информативности [7]. И организуется перемещение точки фиксации взгляда из одной точки в другую (рис. 1).
Глаз совершает четыре типа движений [10]: произвольные перемещения взора, саккадические движения, сползание взгляда между саккадами и тремор. Саккадические движения совершаются автоматически. Сак-кады имеют целью возвращение взгляда в точку, из которой он сместился за время сползания, или автоматическое перемещение взгляда из одной точки фиксации в другую точку фиксации под воздействием механизма фреймового описания расположения экстремальных точек функции информативности, или под воздействием механизма периферийного зрения, отслеживающего яркие или движущиеся объекты. Тремор — это микроколебательное перемещение взора в направлении, ортогональном сползанию между саккадами.
Тремор вызывает колебательное смещение проекции элементарного представления относительно точки фиксации. Сползание между саккадами — также смещение проекции элементарного представления вправо вниз. Длина пути взора между саккадами является естественной сегментирующей функцией для изображения. Таким образом, в промежутке между саккадами изображение элементарного представления проецируется на некоторые светочувствительные ячейки (колбочки в данном случае), создавая на них чередующиеся за счет тремора значения освещенностей (рис. 2). При этом формируются
Рис. 1. Траектория фиксации взгляда при осмотре фотографии без заранее заданного задания [11]
90
информационные последовательности, состоящие из единиц и нулей, как реакция светочувствительных ячеек на большую или меньшую освещенность. На самом деле это последовательности паттернов, число спайков в которых соответствует уровню освещенности.
Рис. 2. Образование последовательности нулей и единиц на элементе светочувствительной матрицы за счет тремора и саккады (описание в тексте). 1-2-3-4-5-6-7 - ... - последовательность обхода точек фиксации взгляда -скоплений экстремальных точек функции информативности
За счет этого сползания проекции анализируемого элемента изображения на выходе каждого светочувствительного элемента, участвующего в восприятии, формируется динамическая картина, соответствующая прохождению проекции над светочувствительными ячейками. В результате при осмотре конкретной сцены формируется кодовая последовательность, характеризующая последовательность окрестностей точек наибольшей информативности изображения.
Так осуществляется формирование траектории при анализе изображения только одного конкретного ракурса объекта. Манипулирование объектом позволяет менять ракурс анализа изображения. Каждому ракурсу изображения объекта соответствует свое множество траекторий. Если дискретность изменения ракурса при манипулировании невелика, то множество траекторий, полученных для каждого ракурса, формирует подклассы эквивалентности с представителями подклассов, соответствующими характерным ракурсам. В дальнейшем (после завершения обучения восприятию именно этого объекта) эти характерные ракурсы (за счет использования моторики)исследуются в первую очередь.
1.3.2. Точный канал
Точный канал осуществляет структурную обработку кодовых последовательностей с формированием словарей уровнеобразующих элементов зрительного квазиязыка. Их можно соотнести с признаками разных уровней, формирующимися в свер-точных сетях.
91
92
Рис. 3. Модель обработки изображения в зрительном анализаторе:
1 - представление объекта в виде активности детекторов края;
2 - эквитекстурная сегментация; 3 - выделение контуров; 4 -вычисление экстремальных точек функции информативности. Здесь
п. 1-4 представляют обработку в грубом канале; 5 - далее представлена иерархия процессоров обработки в точном канале в составе уровней элементарных представлений, элементов объектов, объектов и сцен
Словарем уровня элементарных представлений являются [10] простейшие образы — элементарные представления: отрезки прямых, сегменты кривых и дуг, Y-, X-, Г- и Т-образные пересечения, ориентированные различным образом. Эти элементарные представления, участвующие в формировании словаря нижнего уровня, появляются на входе сенсоров в разных ориентациях, и все они участвуют в формировании словаря этого уровня.
В качестве слов словаря уровня элементов объектов в первую очередь рассматриваются объекты такого масштаба, чтобы ими было удобно манипулировать кистью доминантной руки в поле ближнего зрения [или соответствующего масштаба изображения более крупных объектов). Статистическая обработка множества траекторий, соответствующих разным объектам, порождает на этом уровне словарь элементов объектов. Особенностями объекта являются: компактность, объемность, ограниченность эквитекс-турными поверхностями. На последующих уровнях иерархической структуры словарей формируются представления объектов и сцен.
Необходимо заметить, что эти словари формируются как для одного отдельного конкретного ракурса изображения объекта, так и для всех других ракурсов. Манипулирование объектами позволяет менять ракурс изображения. Каждому ракурсу изображения объекта соответствует свое множество представлений этих уровней. Все множество ракурсов разбивается на множество подклассов эквивалентности, в рамках которых отдельные образы разных уровней представления не сильно отличаются друг от друга.
1.3.3. Структурная обработка информации в колонках коры
Колонки коры больших полушарий головного мозга человека осуществляют структурную обработку информации с формированием иерархий словарей образов событий разной степени сложности разных модальностей [8, 12].
Проще всего показать возможности сетей из нейронов с временной суммацией сигналов на примере бинарных нейронов (рис. 4). Бинарный нейрон [8, 12] — это нейрон, все синапсы которого имеют вес 1, или -1, на вход бинарного нейрона в каждый такт времени подается сигнал «0» или «1». Бинарный нейрон осуществляет свертку фрагмента бинарной входной последовательности с адресом нейрона длины n, в котором «1» соответствует синапсу с весом «1» и «0» — синапсу с весом «-1». Тогда множество нейронов с разными адресами моделируют n-мерный единичный гиперкуб, в котором входная кодовая сенсорная последовательность отображается в множество вершин с соответствующими адресами.
Реальные кодовые последовательности являются небинарными (как правило, это последовательность векторов признаков входных сигналов), поэтому упрощенные механизмы обработки бинарных последовательностей далее будут обобщены до обработки небинарных кодовых последовательностей. Но отличия одного случая от другого оказываются не слишком велики: результаты обработки кодовой последовательности в первом случае отображаются на многомерный единичный гипкеркуб, а во втором — во все многомерное пространство.
Структурная обработка входных кодовых последовательностей осуществляется нейро-подобными элементами с временной суммацией сигналов [8, 12]. Нейроподобный элемент с временной суммацией сигналов отличается от нейроподобного элемента с пространственной суммацией наличием регистра задержек на входе. Конечно, реальный нейрон является комбинацией свойств временной и пространственной суммации, но совместная реализация пространственной и временной сумма-ции сильно затрудняет интерпретацию анализа обработки информации. Потому для простоты мы будем рассматривать только временную суммацию.
1.3.3.1. Нейрон с временной суммацией сигналов
Нейроподобный элемент с временной суммацией сигналов является нейроподобным элементом А. Н. Радченко [13], возникшим на основе модели W. Rail [14], которая, в свою очередь, возникла на основе представлений D. A. Sholl [15].
Для понимания работы нейронной сети на основе такого нейрона, представим его в упрощенном виде (см. рис. 4). Здесь используется многоразрядный регистр сдвига, который можно назвать обобщенным дендритом.
Рис. 4. Нейроподобный элемент с временной суммацией сигналов, где используется многоразрядный регистр сдвига, моделирующий обобщенный
дендрит, по 8Ьо11
93
94
Такой нейрон выполняет свертку фрагмента бинарной последовательности длины п символов -а{ е {0,1} , с последовательностью весовых коэффици-
ентов b,, b2,
bi, bi e {-1, 1}
S(t) = ZH at-r
b
Свертка будет иметь наибольшее значение, если п-членный фрагмент входной последовательности соответствует последовательности весовых коэффициентов нейрона, то есть если Ь = -1, то а(-п+] = 0 , а если Ь = +1, . Такой фрагмент последовательности называется адресом нейрона. Наибольшее значение свертки равно числу единиц в адресе — £ед .
В качестве нелинейной функции используется пороговое преобразование /(*) = Надр с порогом Ь|адр. Если порог преобразования II равен числу единиц в адресе — £ед, то нейрон будет откликаться строго на свой адрес. То есть он моделирует одну из точек п-мерного сигнального пространства Rn. В случае бинарной входной последовательности — это вершина п-мерного единичного гиперкуба Ge .
Объединение таких нейронов (рис. 5) моделирует п-мерный единичный гиперкуб в сигнальном пространстве (рис. 6). Такое представление более удобно для интерпретации, поскольку, в отличие от искусственных нейронных сетей других парадигм, где информация об образах-эталонах упрятана в весовых коэффициентах синапсов, в такой сети входная информация представляется в удобной и наглядной форме траектории на вершинах гиперкуба.
Рис. 5. Нейронный пучок: 1 - нейроны пучка, имеющие обобщенные
дендриты с разными адресами от (000...0) до (111___1); 2 - общее
афферентное волокно; 3 - управляющий вход
Рис. 6. М-мерный единичный гиперкуб Ое, где п = 3. Траектория в сигнальном пространстве соответствует последовательности А
1.3.3.2. Формирование словарей
Описанное выше представление соответствует обработке человеком любых квази-тек-стов. Корпус квази-текстов (любых сенсорных модальностей) подвергается статистическому анализу, в результате которого выявляются его словарные компоненты разных уровней (рис. 7).
Рис. 7. Многоуровневая иерархическая структура словарей образов событий одной модальности, в которой на каждом уровне имеется множество параллельно включенных подсловарей, связанных с подсловарями следующего уровня по типу «каждый-с-каждым». Каждый уровень формирует систему подсловарей {В; }у.
Здесь 1 - слово в подсловаре, - номер подсловаря на уровне, к - номер уровня,
а т - номер модальности
Необходимо сопоставить квази-тексты — осмысленные последовательности изображений — и текстов естественного языка. Тексты — это последовательности уровнео-бразующих элементов языка разной сложности: от символов алфавита (в письменных текстах) графематического уровня до попарной сочетаемости корневых основ на семантическом уровне.
Видеоряды являются квазитекстами, которые также являются осмысленными последовательностями уровнеобразующих элементов видео-квазиязыка: от простейших элементов изображения на нижнем уровне до допустимой попарной сочетаемости объектов и событий на сцене на семантическом уровне.
На верхнем (семантическом) уровне элементы словаря — пары сочетаемых корневых основ слов, объектов (в зависимости от модальности) семантического уровня конкретного текста (или квазитекста) могут быть виртуально объединены, через одинаковые элементы пар, в однородные направленные семантические сети. Поскольку текст и квазитекст описывают один и тот же фрагмент реального мира в терминах разных модальности (языковой и экстралингвистической), то семантическая сеть текста оказывается изоморфной семантической сети соответствующего квазитекста.
На первом уровне обработки — назовем его фонемным — формируется словарь уровня элементарных представлений {В^, характеризующий наиболее часто встречающиеся элементарные единицы текста — фонемы для звучащего естественного языка. На втором уровне обработки — назовем его уровнем транзем (переходных — ко-артикулированных — между фонемами участков) — формируется словарь транзем {В|}2 , характеризующий переходы между фонемами. На третьем уровне формируется словарь морфемного уровня {В:}3, характеризующий наиболее часто встречающиеся единицы текста — флективные морфемы. На следующем — лексическом
95
уровне — представлены словари основ слов, словоформ и сочетаний слов {В:}4. На синтаксическом уровне — словарь синтаксем, представляющих собой лективную структуру синтаксических групп с выколотыми основами слов {В:}5. И, наконец, — словарь попарной сочетаемости корневых основ {В:}6 — на семантическом уровне.
1.3.3.3. Формирование семантической сети
Словарь попарной сочетаемости основ слов фактически уже является семантической сетью, поскольку пары слов объединяются своими одинаковыми словами. При этом формируется направленный граф, в котором цепочки могут иметь ветвления. Последующее переранжирование завершает процесс построения семантической сети, когда от частотного портрета текста мы переходим к его смысловому портрету (со взвешенными вершинами и связями).
1.3.4. Формирование шаблонов ситуаций в ламелях гиппокампа
Кроме коры больших полушарий другой структурой мозга существенно важной для формирования семантической сети является гиппокамп. Ламели гиппокампа (сечения, ортогональные к длинной оси гиппокампа) ответственны за хранение информации о связях образов событий, хранящихся в колонках коры, в рамках целых ситуаций. Пирамидные нейроны поля СА3 р-ой ламели гиппокампа формируют искусственную нейронную сеть Хопфилда [16], весовые характеристики синапсов которой хранят информацию об объединении образов событий, хранящихся в колонках коры, относящихся к конкретной ситуации, в рамках этой ситуации.
Знак крышки [■■] над соответствующими событиями в (9) отсутствует потому, что в ламелях гиппокампа в сеть объединяются не элементы словарей — фрагменты траекторий в многомерном пространстве, а их текстовые эквиваленты — их индексы.
Ламели гиппокампа получают информацию от колонок коры [16], причем и здесь работает ассоциативный принцип обращения к информации. Весь поток информации, поступающий в гиппокамп через переключения из коры, приходит одновременно на все ламели гиппокампа. Но откликаются на этот поток только те ламели, которые содержат информацию о событиях, образы которых присутствуют во входном потоке. Отклик тем больше, чем ассоциация сильней и чем больше вес образов событий в колонках коры.
На каждой итерации взаимодействия коры и гиппокампа поле СА1 гиппокампа (как конкурентная сеть) формирует отклик только одной (или заданного количества) ламели гиппокампа — наиболее близкой к входной ситуации.
N = ЦВ,
p
96
Но на этом дело не кончается: в результате отклика текущей ламели, в колонке коры, инициировавшей процесс, происходит дообучение в результате так называемой долговременной потенциации [17]. И на следующей итерации ассоциативная проекция той же ситуации на ламели гиппокампа оказывается измененной из-за этого дообучения, и следующий отклик ламелей изменяется.
После 15-20 итераций образы событий, включенных в ситуацию, в колонке коры изменяются из-за дообучения, которое инициируется моделями ситуаций, хранящихся в ламелях гоппокампа. Вообще говоря, и модели ситуаций в ламелях гиппокампа изменяются также. То есть этот итеративный процесс переупорядочивает информацию в коре о событиях текущей ситуации в соответствии с имеющимися моделями ситуаций, хранящимися в гиппокампе, а эти модели ситуаций принимают к сведению информацию о текущей ситуации, отображенной в виде образов событий в коре.
А поскольку поле СА3 гиппокампа работает в виде громадной автоассоциативной рекуррентной памяти по всей его длине и ширине [16], множество отдельных моделей ситуаций которые хранятся в ламелях р, совместно с образами событий, хранящимися в колонках коры, формируют единую семантическую сеть N на многомодальной модели мира, хранящейся в колонках коры.
N = UpNp
При этом важно не детальное представление хранимых образов, это обеспечивается в коре, а контекстуальные пространственно-временные связи образов в рамках целых ситуаций.
Список использованных источников
1. Zhang Yikang, Zhang Jian, Wang Qiang, Zhong Zhao DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks arXiv:2004.10694v1 [cs.CV] Data Set. Available online: [2004.10694] DyNet: Dynamic Convolution for Accelerating Convolutional Neural Networks (arxiv.org) (accessed on 22 April 2020).
2. Alexander Kharlamov, Denis Gordeev and Dmitry Pantiukhin. Distributional and Network Semantics. Text Analysis Approaches. Neuroinformatics and Semantic Representations. Theory and Applications. Collective Monography. Chapter Four. Cambridge Scholars Publishing. Pp. 83-139. 2020. https://www.cambridgescholars.com/neuroinformatics-and-semantic-represen-tations.
3. Solaiman Irene, Brundage Miles, Clark Jack, Askell Amanda, Herbert-Voss Ariel, Wu, Alec Radford, Gretchen Krueger, Jong Wook Kim, Sarah Kreps, Miles McCain Jeff, Newhouse Alex, Blaza-kis Jason, McGuffie Kris, Wang Jasmine Release Strategies and the Social Impacts of Language Models, 2019. arXiv:1908. Data Set. Available online: [1908.09203] Release Strategies and the Social Impacts of Language Models (arxiv.org) (accessed on 13 Nov 2019).
4. He Kaiming, Zhang Xiangyu, Ren Shaoqing, Sun Jian Deep Residual Learning for Image Recognition arXiv:1512.03385v1 [cs.CV] 10 Dec 2015. Available online: [1512.03385] Deep Residual Learning for Image Recognition (arxiv.org) (accessed on 10 Dec 2015).
5. Suhail Mohammed, Mittal Abhay, Siddiquie Behjat, Broaddus Chris, Eledath Jayan, Medioni Gerard, Sigal Leonid Energy-Based Learning for Scene Graph Generation arXiv:2103.02221v1 [cs. CV] 3 Mar 2021. Available online: [2103.02221] Energy-Based Learning for Scene Graph Generation (arxiv.org) (accessed on 3 Mar 2021).
97
6.
7.
8.
9.
10.
11. 12.
13.
14.
15.
16. 17.
Sanches Almodovar Nuria Cognitive SurveiUace Architecture for Scenario Understanding. Thesis doctoral Universidad Politecnica de Madrid 2015. Available online: Cognitive surveillance architecture for scenario understanding — Archivo Digital UPM (accessed on 14 Dec 2022).
Завалишин Н. В., Мучник И. Б. Модель зрительного восприятия и алгоритмы анализа изображений. М.: Наука, 1974. Available online: [Модели зрительного восприятия и алгоритмы анализа изображений] Завалишин, Н. В.; Мучник, И. Б. (libex.ru) (accessed on 09 May 2015).
Харламов А. А. Ассоциативная память — среда для формирования пространства знаний. От биологии к приложениям. — Дюссельдорф: Palmarium Academic Publishing, 2017. — 109 с. Available online: Ассоциативная память — среда для формирования пространства знаний: От биологии к приложениям (Russian Edition): Харламов, Александр: 9783639645491: Amazon.com: Books (accessed on 12 April 2017).
Марр Д. Зрение. Информационный подход к изучению представления и обработки зрительных образов. М.: Радио и связь, 1987. Available online: Зрение. Информационный подход к изучению представления и обработки зрительных образов. Марр Д. 1987 год. Издательство: М.: Радио и связь. (glavkniga.su) (accessed on 1987).
Харламов А. А., Жаркой Р. М., Волков В. И., Мацаков Г. Н. Система распознавания изолированных рукописных символов на основе иерархической структуры из динамических ассоциативных запоминающих устройств. //Информационные технологии, N 5, 1998. Стр. 27-31. Available online: Журнал «Информационные технологии» (novtex.ru) (accessed on May 1985).
Ярбус А. Л. Движение глаз при восприятии сложных объектов // Хрестоматия по ощущению и восприятию. -М., 1975. Available online: Электронный каталог -Ярбус, А. Л. — Движения глаз при восприятии сложных объектов- Absopac (mgppu.ru) (accessed on 1975).
Neuroinformatics and Semantic Representations. Theory and Applications. Alexander Kharlamov & Maria Pilgun eds. 317 P. Cambridge Scholars Publishing. 2020. Available online: Neuroinformatics and Semantic Representations: Theory and Applications — Cambridge Scholars Publishing (accessed on 2020). Радченко А. Н. Моделирование основных механизмов мозга. Л.: Наука, 1969. Available online: [Моделирование основных механизмов мозга] Радченко, А. Н. (libex.ru) (accessed on 1968).
Rall W. Electrophysiology of a dendritic neuron model. Biophys. J., 2. (Suppl.), 1962. Pp. 145-167. Available online: Electrophysiology of a Dendritic Neuron Model — PMC (nih.gov) (accessed on 1962).
Sholl D. A. Dendritic organization in the neurons of the visual and motor cortices of the cat. J. Anat., 87, 1953. Pp. 387-406. Available online: Dendritic organization in the neurons of the visual and motor cortices of the cat — PMC (nih.gov) (accessed on 1953).
Rolls, E. T. Theoretical and Neurophysiological Analysis of the Functions of the Primate Hippocampus in Memory. In: Cold Spring Harbor Symposia on Quantitative Biology, Vol. LV, 1990, Cold Spring Harbor Laboratory Press. Pp. 995-1006. Available online: Dendritic organization in the neurons of the visual and motor cortices of the cat — PMC (nih.gov) (accessed on 1953).
Виноградова О. С. Гиппокамп и память. М.: «Наука», 1975. — 336 с. Available online: Виноградова, Ольга Сергеевна — Гиппокамп и память [Текст] — Search RSL (accessed on 1975).
98
TEXT ANALYSIS USING ARTIFICIAL NEURAL NETWORKS BASED ON NEURAL-LIKE ELEMENTS WITH TIME SUMMATION OF SIGNALS (PART 1)
Kharlamov A. A., Doctor of Technical Sciences, Senior Researcher Institute of Higher Nervous Activity and Neurophysiology of the Russian Academy of Sciences, Professor of the Department of Applied and Experimental Linguistics of MGLU, Professor of the HSE Department of Software Engineering, Professor of the Department of Intelligent Information Systems and Technology of the Moscow Institute of Physics and Technology, Moscow, kharlamov@analyst.ru
Analysis of the meaning (content) of texts is a rather difficult and rare example of applications from the subject area of text analysis. The hierarchy of the processes of analysis of digitized texts from the lower — graphematic — level to the upper — level of permissible compatibility of the root bases — semantic is a natural hierarchy of processing textual information in the human mind. The paper presents two levels of processing from this hierarchy — lexical and semantic. An application is described — a software system for semantic analysis of texts — TextAnalyst, which implements processing of two levels, and forms a semantic network of text as a result of such processing. Examples of analysis using the text analysis approach are presented.
• text meaning analysis • artificial neural networks based on neural-like elements with time summation of signals • program for semantic analysis of texts • analysis results •
99
