CC BY
3
ПРИКЛАДНОЕ ЯЗЫКОЗНАНИЕ. ПЕРЕВОД. ПЕРЕВОДОВЕДЕНИЕ
APPLIED LINGUISTICS. TRANSLATION. TRANSLATION THEORY
УДК 81 '33 DOI: 10.31249/ling/2024.03.02
Курушин Д.С., Нестерова Н.М., Соболева О.В.1
О ВОЗМОЖНОМ ПОДХОДЕ К СОЗДАНИЮ ГИБРИДНОЙ ГРАФОНЕЙРОСЕТЕВОЙ ЯЗЫКОВОЙ МОДЕЛИ
Аннотация. Статья посвящена проблеме создания языковой модели, объединяющей традиционный денотативный метод анализа текста, разработанный А.И. Новиковым, отечественным лингвистом, занимавшимся моделированием понимания, и современные подходы, основанные на машинном обучении. Приводится обзор имеющихся в настоящее время нейросетевых языковых моделей, появившихся благодаря росту вычислительных ресурсов. Предлагается новый подход к решению рассматриваемой проблемы, основанный на графовом представлении моделируемой предметной области. Обосновываются преимущества предлагаемого подхода, заключающиеся в том, что денотатный граф делает возможным целостное представление выбранной предметной области, в котором
1 © Курушин Д.С., Нестерова Н.М., Соболева О.В., 2024 Курушин Даниил Сергеевич - кандидат технических наук, доцент кафедры информационных технологий и автоматизированных систем Пермского национально-исследовательского политехнического университета (ИТАС ПНИПУ); ёате1@киги8Ып-perm.ru
Нестерова Наталья Михайловна - доктор филологических наук, профессор, профессор кафедры Иностранных языков, лингвистики и перевода ПНИПУ (ИЯЛП ПНИПУ); [email protected]
Соболева Ольга Владимировна - кандидат филологических наук, доцент, доцент кафедры ИЯЛП ПНИПУ; [email protected]
отображены не только сами предметы (денотаты), но и их межпредметные отношения. Подчеркивается, что разработанный А.И. Новиковым алгоритм построения денотатной структуры текста в определенной степени аналогичен нейросете-вым языковым моделям, в которых так же, как и в денотатном графе, содержание текста представлено в виде сети. Описывается разработанная авторами графо-нейросетевая модель, позволяющая генерировать человекочитаемый текст по заданной тематике.
Ключевые слова: нейросетевая модель, граф, денотатный граф, денотативный анализ, текст, содержание текста, человекочитаемый текст.
Для цитирования: Курушин Д.С., Нестерова Н.М., Соболева О.В. О возможном подходе к созданию графо-нейросетевой языковой модели // Социальные и гуманитарные науки. Отечественная и зарубежная литература. Серия 6. Языкознание. - 2024. - № 3. - С. 23-37. - DOI: 10.31249/ling/2024.03.02
KURUSHIN D.S., NESTEROVA N.M., SOBOLEVA O.V.1 ON A POSSIBLE APPROACH TO CREATING A HYBRID GRAPH-NEURAL NETWORK LANGUAGE MODEL
Abstract. The article is devoted to the problem of creating a language model integrating the denotative method of text analysis developed by the Russian linguist A.I. No-vikov, who was engaged in modeling understanding, and modern approaches based on machine learning. An overview of the currently available neural network language models, which appeared due to the growth (increase) of computing resources, is given. A new approach to solving the problem under consideration is proposed, based on a graph representation of the simulated domain. The advantages of the proposed approach are substantiated, which consist in the fact that the denotation graph makes possible a holistic representation of the selected subject area, which displays not only the objects themselves (denotations), but their interdisciplinary relationships. It is emphasized that the algorithm of the denotational structure of the text developed by A.I. Novikov is to a certain extent similar to neural network language models, in which, as in the denota-tional graph, the content of the text is presented in the form of a network. A graph-neural network model developed by the authors is described, which allows generating human-readable text on a given topic.
1 © Kurushin D.S., Nesterova N.M., Soboleva O.V., 2024 Kurushin Daniil Sergeevich - Candidate of Technical Sciences, Associate Professor of the ITAS PNRPU Department; [email protected]
Nesterova Natalia Mikhailovna - Doctor of Philology, Professor, Professor of the Department of IYALP PNRPU; [email protected]
Soboleva Olga Vladimirovna - Candidate of Philology, Associate Professor, Associate Professor of the Department of IYALP PNRPU; [email protected]
Keywords: neural network model, graph, denotative graph, denotative analysis, text, text con-tent, human-readable text.
For citation: Kurushin D.S., Nesterova N.M., Soboleva O.V. On a possible approach to creating a hybrd graph-neural network language model. Social nye i gumani-tarnye nauki. Otechestvennaja i zarubezhnaja literatura. Seriya 6. Yazykoznanie [Social Sciences and Humanities. Domestic and foreign literature. Series 6. Linguistics]. 2024. N 3. P. 23-37. DOI: 10.31249/ling/2024.03.02
Введение
В последнее десятилетие так называемые нейросетевые языковые модели вызывают повышенный интерес научного сообщества [Богомолов, 2020]. Под нейросетевой языковой моделью мы подразумеваем тип интеллектуальной системы, который используется для обработки или генерации естественно-языковых текстов. Нейросетевая языковая модель представляет собой математическую модель, которая позволяет исследовать закономерности в больших объемах текстовых данных. Понятие еще не получило однозначного определения, однако уже прочно вошло в научный обиход [Чучупал, 2020; Ломов, Малоземова, 2020, 2021]. Развитие этого направления исследований стало возможным как за счет роста вычислительных ресурсов, так и за счет накопления опыта обработки текстовой информации крупными интернет-компаниями, такими как Google, Яндекс или Microsoft. Одним из самых известных подходов к обработке естественного языка является Word2Vec [word2vec ..., 2023], представленный Google в 2013 г. Суть метода заключается в преобразовании слов в многомерный вектор, отражающий свойства слова: близкие по смыслу слова будут находиться рядом в N-мерном пространстве, а далекие, наоборот, будут расположены на значительном расстоянии. Наряду с этим подходом, были предложены и другие, например RNN (англ. Recurrent Neural Network, RNN), LSTM (англ. Long Short-Term Memory, LSTM), GRU (англ. Gated Recurrent Units, GRU), CNN (англ. Convolutional Neural Networks, CNN) и другие.
Развитие этих и ряда других моделей позволило совершить прорыв в машинной генерации текста на естественном языке. Однако у всех подобных систем есть и недостаток. Он связан с экс-
плицитностью представления языковой модели о структуре предметной области, которую она обрабатывает. Это приводит к смысловым ошибкам в порождаемых текстах и, что более важно, к невозможности предсказать и исправить эти ошибки.
Избежать этих проблем можно лишь частично, за счет повышенного внимания к составлению обучающей выборки текстов [Ма^оПпа, 2022], но результат обучения все равно скрыт от исследователя из-за огромной размерности данных.
Цель данного исследования - предложить подход к формированию языковых моделей, объединяющий концепцию А.И. Новикова и современные концепции, основанные на машинном обучении. Большинство моделей, основанных на семантических сетях, очень похожи друг на друга, с одной стороны, а с другой - вариативно воспринимаются самими исследователями. Поэтому иногда без уточнения, какую конкретно модель имеет в виду автор, бывает даже трудно определить, что представлено на иллюстрации - де-нотатный граф, концептуальный граф или онтологическая модель. Нашей задачей было использовать именно модель, предложенную А.И. Новиковым, чтобы оценить ее применимость в данном случае.
Денотатная модель А.И. Новикова
В 1983 г. вышла монография А.И. Новикова «Семантика текста и ее формализация», которая быстро стала классической для тех, кто занимается проблемами понимания текста и формализации его семантики. Основной задачей, которую решил ученый, было создание алгоритма визуального представления структуры содержания текста. Таким решением стал денотатный граф, позволяющий эксплицировать внутреннюю содержательную структуру текста. Вершинам графа соответствуют имена денотатов, а ребрам - предметные отношения между этими денотатами [Новиков, 1983, с. 131].
Для визуализации денотатной структуры текста и, соответственно, построения графа исследователь предлагает следующую методику:
1) определение иерархии подтем и субподтем, включая выделение ключевых элементов текста, выделение подтем, определение субподтем, графическое представление иерархии подтем и субподтем, определение соотношения денотатов;
2) определение имен денотатов, которое происходит на основе предположений о том, что имена денотатов выделяются из текста и им соответствуют последовательности номинативных элементов, составляющих определенные сочетания или отрезки текста;
3) определение наименований отношений, которое начинается практически одновременно с определением денотатов и их имен. При этом могут использоваться следующие типы отношений: «часть -целое», «включение», «отношение принадлежности» и другие;
4) формирование денотатной структуры.
В этой же монографии А.И. Новиков описывает проведенный им эксперимент, направленный на верификацию предложенного алгоритма экспликации денотатной структуры текста. В ходе эксперимента испытуемым предлагались словесные конструкции, являющиеся результатом свертки и содержащие номинативные языковые единицы, отражающие содержание текста, но не содержащие указаний на их взаимоотношения. Такой эксперимент, в случае сходства продуцируемых испытуемыми текстов, по мнению ученого, должен был стать «доказательством психологической реальности денотационной структуры» [Новиков, 1983, с. 157].
В эксперименте приняли участие две группы испытуемых: специалисты и неспециалисты в области газотурбинных установок. Эксперимент показал, что главная проблема заключается в воспроизведении именно межпредметных отношений. Так, для второй группы испытуемых это оказалось практически невыполнимой задачей. По признанию многих из них, им «не хватало знаний», а тексты специалистов оказались адекватными исходному тексту и близкими по содержанию: коэффициент сходства, полученный при сравнении дено-татных графов исходного текста и экспериментальных графов, оказался очень высоким (0,8). Это свидетельствует о сформированно-сти соответствующей системы денотатов в их сознании.
Экспериментальное исследование возможностей современных нейросетевых лингвистических моделей
А.И. Новиков сформулировал ряд требований к форме отображения денотатной структуры: «Форма отображения денотатной структуры должна удовлетворять требованиям целостности, про-странственности, изобразительности <...> Возможным способом
отображения денотатной структуры является графическое ее представление в виде схемы, графа или сети» [Новиков, 1983, с. 157].
В каком-то смысле эта идея близка современным нейросете-вым языковым моделям. Ведь в них структура содержания текста представлена, по сути, сетью, где вершины соответствуют узлам нейронной сети, а ребра соответствуют связям, нагруженным весом. Разумеется, узел нейросети не соответствует какому-то конкретному понятию предметной области, а связи не несут понятной человеку смысловой нагрузки. Но на некотором уровне абстракции мы можем представить, что нейронная сеть хранит граф обозначений в таком виде, что все вершины связаны со всеми, но вес этой связи колеблется от условного нуля (связь не выражена) до условной единицы, когда она выражена максимально.
Рассмотрим несколько примеров, позволяющих сравнить нейросетевой и графовый подходы.
В качестве материала мы будем использовать текст и граф (см. рис. 1), представленные в монографии А.И. Новикова [Новиков, 1983, с. 63], а также популярные общедоступные генеративные модели нейронных сетей [Малышев, Смирнов, 2024, с. 169-171]. Таким сетям требуется запрос, или «промпт», для получения ответа на естественном языке. Соответственно, вопросы мы будем задавать на русском языке, исходя из данных графа.
Данное исследование не предполагает проведения эксперимента с большим количеством текстового материала, это задача следующего этапа нашей работы. Пока остановимся на анализе одиночных текстов, синтезированных нейросетью, и проведем их сравнение с моделями А. И. Новикова.
Итак, на вход УаОРТ2 [Малышев, Смирнов, 2024, с. 168-171] подавался следующий запрос:
Как связаны осевой компрессор и его корпус в ГТУ?
Был получен следующий ответ:
Осевой компрессор является одним из основных компонентов газотурбинной установки (ГТУ) и служит для сжатия воздуха, который затем подается в камеру сгорания.
Корпус осевого компрессора представляет собой прочную оболочку, которая служит основой для установки лопаток компрессора и обеспечивает механическую прочность всей конструкции.
Рис. 1. Денотатный граф; цит. по [Новиков, 1983. С. 63]
Корпус осевого компрессора и сам компрессор связаны следующим образом: механически, аэродинамически, тепловая связь, коррозионная стойкость.
На графе, представленном в монографии [Новиков, 1983, с. 63], мы видим лишь одну связь: «осевой компрессор - имеет -корпус» (см. рис. 2). Таким образом, ответ нейросети, хотя и шире тематически, на самом деле не раскрывает основной смысл связи «осевой компрессор - корпус», который заключается в том, что «корпус» - одна из деталей изделия под названием «осевой компрессор». Человек-эксперт, составлявший граф, эту связь эксплицировал, а нейросеть - нет.
Тем не менее, приведенный вариант нейросетевого ответа представляет собой связный текст с точки зрения грамматического (синтаксического) оформления, т.е. перед нами человекочитаемый ответ, построенный на основе информации, проанализированной искусственной нейронной сетью УаОРТ2 (далее по тексту - ИНС)
в процессе обучения. Это, безусловно, является достоинством подобных систем.
Однако с точки зрения логики такой текст далеко не корректен: в нем отсутствует ответ на вопрос о связи компрессора и корпуса, нейросеть сообщает нам о связи компрессора и ГТУ. Правильный ответ, который отражал бы реальную ситуацию, выглядит так: «Осевой компрессор имеет корпус». Кроме того, нейросетевые ответы содержат много лишних слов, не относящихся к сути запроса, но так или иначе связанных с его тематикой.
Рис. 2. Фрагмент графа, связь «осевой компрессор - имеет - корпус»
Далее рассмотрим несколько запросов, обработанных разными нейросетями:
Как связаны осевой компрессор и его корпус в ГТУ?
Ответ сети УаОРТ2 был приведен нами выше. Вопрос «понят» правильно. В ответе подчеркнуто, что «корпус» является «компонентом» компрессора, а также выделены четыре «связи»: механическая, аэродинамическая, термическая, коррозионная стойкость. Однако при этом произошло искажение сути понятия «связь».
Аналогичный запрос был отправлен телеграм-боту gpt-3.5-ШЛо-^^ис!
Ответ сети gpt-3.5-turbo-instruct:
Осевой компрессор в газотурбинной установке (ГТУ) связан с его корпусом через осевые подшипники.
Осевые подшипники обеспечивают вращение компрессора внутри корпуса, позволяя ему эффективно сжимать воздух или газ для дальнейшего использования в процессе сгорания и выработки энергии.
Таким образом, осевой компрессор и его корпус являются важными компонентами ГТУ, обеспечивающими его работоспособность и эффективность.
В данном случае ИНС «не поняла» сути вопроса, поэтому его пришлось переформулировать:
В каком отношении находятся осевой компрессор и его корпус в ГТУ?
На уточненный запрос был получен такой ответ сети gpt-3.5-ШЛо-^^иС;:
Осевой компрессор в газотурбинной установке и его корпус находятся в отношении вращения и сжатия воздуха или газа.
Корпус обеспечивает поддержку и защиту компрессора, а также направляет поток воздуха или газа через компрессор для его сжатия.
В данном случае ИНС «интерпретировала» вопрос так: «Каково назначение осевого компрессора и его корпуса в ГТУ?» На этот вопрос был дан корректный ответ. Однако установить, что корпус является частью компрессора, из полученного текста невозможно без знания особенностей конструкции этого механизма.
Как мы видим, все полученные нейросетевые ответы являются формально вполне корректными. Это означает, что нейросе-тевая языковая модель работает не на семантическом, а лишь на лексико-грамматическом уровне. Нейросетям, как и «неспециалистам», не хватает знания, что и не позволяет правильно определить межпредметные отношения.
Решение этой проблемы видится в интеграции сетевых языковых моделей и графового способа представления семантического уровня. Таким образом, возникает гипотеза о том, что можно использовать нейросетевые модели языка как модели уровней с
фонетического по синтаксический, а семантический уровень моделировать графовым способом, применяя, в том числе полуавтоматические способы построения денотатных моделей.
Эксперименты
В этом разделе мы обсудим возможность применения графовой модели для генерации человекочитаемого текста с помощью нейросетевой модели. На данном этапе нейросетевая модель использует заимствования из открытых источников. В качестве материала исследования нами были выбраны медицинские тексты, связанные с изучением влияния различных факторов на патологическое течение беременности. Запросы были сформулированы в виде запросов телеграм-боту gpt-3.5-turbo-instruct:
Какой фактор сильнее влияет на течение беременности: «возраст в диапазоне 31-35 лет» или «замершая беременность в анамнезе»?
Ответ ИНС:
Фактор «замершая беременность в анамнезе» сильнее влияет на течение беременности, чем «возраст в диапазоне 31-35 лет».
Замершая беременность в анамнезе может указывать на потенциальные проблемы с репродуктивным здоровьем, которые могут повлиять на текущую беременность, в то время как возраст 31-35 лет является лишь одним из факторов, влияющих на риск осложнений во время беременности.
Не вдаваясь в медицинские аспекты данной проблемы, необходимо отметить, что сгенерированный ИНС текст не содержит ответа на поставленный вопрос. Второй абзац отчасти опровергает первый, указывая на то, что возраст 31-35 лет является фактором, влияющим на риск осложнений во время беременности. Эта информация содержалась в исходном вопросе.
Приведем пример другого запроса телеграм-боту gpt-3.5-ШЛо-^^иС;:
Какой фактор сильнее влияет на течение беременности: «зачатие самостоятельное» или «неспецифический вульвовагинит»?
ИНС сформулировала следующий ответ:
«Зачатие самостоятельное» сильнее влияет на течение беременности, чем «неспецифический вульвовагинит».
Самостоятельное зачатие может указывать на отсутствие проблем с репродуктивным здоровьем, в то время как неспецифический вульвовагинит, хотя и может быть причиной дискомфорта, обычно не оказывает серьезного влияния на течение беременности.
Сопоставим сформулированный ИНС ответ с мнением специалистов, изложенным в научной статье на соответствующую тему: «При неспецифических вульвовагинитах может возникать серьезная угроза прерывания беременности» [Лазарева, Ведощенко, 2013, с. 135]. Эта точка зрения противоречит реакции ИНС. В рамках «мнения», высказанного ИНС, наблюдается и внутреннее противоречие: отсутствие проблем со здоровьем, связанное, как указано в ответе, с фактором «зачатие самостоятельное», не может влиять на течение беременности.
На этой стадии исследования можно сделать промежуточный вывод о том, что ответы ИНС gpt-3.5-turbo-instruct, хоть и сформулированы в соответствии с принятыми нормами русского языка, оказываются противоречивы и, разумеется, не могут быть использованы на практике.
В дальнейшем нами была составлена графовая модель на основе исследования 10072 случаев течения беременности с указанием сопутствующих факторов и реального исхода беременности.
Нейросетевая модель оценила численно значимость каждого фактора по шкале от -1 до 1 и, соответственно, может делать выводы о том, какой фактор значимее (как минимум в имеющейся выборке, возможность распространения которой на общий случай лежит за рамками компетентности авторов).
Однако она не может в силу своей архитектуры отвечать на естественно-языковые запросы и генерировать естественноязыковые ответы.
Нами был построен денотатный граф, показанный на рис. 3.
Также нами была разработана модель, которая переформулирует запросы в ИНС таким образом, что факторы заменяются обезличенными значениями «А», «В», «С» и т.д., которые сравниваются с числовыми показателями, рассчитанными при анализе данных. На вход ИНС, обученной на общих данных, поступает следующий запрос.
Рис. 3. Денотатный граф, фрагмент. Имена денотатов частично заменены на идентификаторы
Какой фактор сильнее влияет на А: В = 0,3945 или С = -0,1492, значения определены по результатам экспериментов?
Ответ нейросети:
Фактор В влияет на А сильнее чем С, т.к. определенная по результатам экспериментов значимость этого фактора 0,3945, а фактора С - -0,1492.
Ответ нейросети после автоматического постредактирования:
Фактор «замершая беременность в анамнезе» влияет на течение беременности сильнее, чем «возраст в диапазоне 31-35 лет», т.к. определенная по результатам экспериментов значимость этого фактора 0,3945, а фактора «возраст в диапазоне 31-35 лет» - -0,1492
Таким образом, полученный ответ оказывается корректным и с точки зрения языковой модели, и с точки зрения модели графовой, и, что важно для применения на практике, с точки зрения проведенных экспериментальных исследований.
Заключение
Сопоставительный анализ алгоритма построения денотатно-го графа, разработанного А.И. Новиковым, и нейросетевых языковых моделей позволил сделать вывод о возможности построить интегрированную графо-нейросетевую модель создания человеко-читаемого текста, генерируемого автоматически.
Проведенный нами эксперимент показал эффективность
предложенной модели.
Список литературы
Богомолов Ю.А. Обзор моделей нейронных сетей для обработки естественного языка // StudNet. - 2020. - №4. - С. 203-217.
Лазарева Г.А., Ведощенко Т.В. Восходящее инфицирование как причина преждевременных родов // Актуальные проблемы медицины. - 2013. - № 25(168). - С. 132-136.
Ломов П.А., МалоземоваМ.Л. Обучение и применение нейросетевой языковой модели для пополнения онтологии // Труды Кольского научного центра РАН. -2020. - № 11(8-11). - С. 38-45.
Ломов П. А., Малоземова М.Л. Аугментация обучающего набора при обучении нейросетевой языковой модели для наполнения онтологии // Труды Кольского научного центра РАН. - 2021. - № 12(5-12). - С. 22-34.
Малышев И.О., Смирнов А. А. Обзор современных генеративных нейросетей: отечественная и зарубежная практика // Международный журнал гуманитарных и естественных наук. - 2024. - № 1-2. - С. 168-171.
Нестерова Н.М., Курушин Д. С. Пермское направление исследований в русле «Школы А.И. Новикова»: алгоритмизация выделения основного содержания текста // Российская психолингвистика: итоги и перспективы (1966-2021). - Москва : Канцлер, 2021. - C. 470-477.
Новиков А. И. Семантика текста и ее формализация. - Москва : Наука, 1983. - 213 с.
Пешкова Н.П. Семантика и смысл текста (экспериментальный подход к теоретическим проблемам) // Вестник ЧелГУ. - 2015. - № 15(370). - С. 69-77.
Пешкова Н.П. Проект «Психолингвистика текста. Текст и его смысл: региональные исследования в русле Школы А.И. Новикова» // Вопросы психолингвистики. -2018. - № 2(36). - С. 168-181.
Уфимцева Н.В. Рецензия на монографию: Новиков А.И. Текст и его смысловые доминанты. - Москва : ИЯ РАН, 2007. - 224 с. // Вопросы психолингвистики. -2009. - № 9. - С. 282-283.
Чучупал В.Я. Способы уменьшения вычислительной сложности нейросетевых языковых моделей // Речевые технологии / Speech Technologies. - 2020. - № 3-4. -С. 16-29.
MargolinaA.V. Controlling impression: Making ruGPT3 generate sentiment-diiven movie reviews // Journal of applied linguistics and lexicography. - 2022. - Vol. 4, N 1. - P. 15-25
word2vec - Project Information // code.google.com. - URL: https://code.google.com/ archive/p/word2vec/ (дата обращения: 13.02.2024).
References
Bogomolov Yu.A. Obzor modelej nejronnyh setej dlya obrabotki yestestvennogo yazyka // [The overview of neural network models for natural language processing]. StudNet. 2020. N4. P. 203-217. (In Russian) Lazareva G.A., Vedoshchenko T.V. Voskhodyashchee inficirovanie kak prichina prezhdevremennyh rodov [Ascending infection as a cause of preterm labour ]. Aktual 'nye problemy mediciny [Challenges in moderm medicine]. 2013. N 25(168). P. 132-136. (In Russian)
Lomov P.A., Malozemova M.L. Obuchenie i primenenie nejrosetevoj yazykovoj mod-eli dlya popolneniya ontologii [Training and application of a neural network language model to replenish the ontology]. Trudy Kol'skogo nauchnogo centra RAN [Proceedings of the Kola Scientific Center of the Russian Academy of Sciences]. 2020. N 11(8-11). P. 38-45. (In Russian) Lomov P.A., Malozemova M.L. Augmentaciya obuchayushchego nabora pri obuchenii nejrosetevoj yazykovoj modeli dlya napolneniya ontologii [Augmentation of the training set when teaching a neural network language model to fill the ontology]. Trudy Kol 'skogo nauchnogo centra RAN [Proceedings of the Kola Scientific Center of the Russian Academy of Sciences]. 2021. N 12(5-12). P. 22-34. (In Russian) Malyshev I.O., Smirnov A.A., Obzor sovremennyh generativnyh nejrosetej: otechest-vennaya i zarubezhnaya praktika [Overview of modern generative neural networks: domestic and foreign practice]. Mezhdunarodnyj zhurnal gumanitarnyh i jestestven-nyh nauk [International journal of humanities and natural sciences]. 2024. N 1-2. P.168-171. (In Russian) Nesterova N.M., Kurushin D.S. Permskoe napravlenie issledovanij v rusle "Shkoly A.I. Novikova": algoritmizaciya vydeleniya osnovnogo soderzhaniya teksta [Perm branch of "A.I. Novikov School": the research of algorithmisation of text main content extraction]. In Rossijskaya psiholingvistika: itogi i perspektivy (1966-2021) [Russian psychlinguistics: results and prospects]. Moscow: Kancler, 2021. P. 470-477. (In Russian)
Novikov A.I. Semantika teksta i ee formalizaciya [Text semantics and its formalisation].
Moscow: Nauka, 1983. 215 p. (In Russian) Peshkova N.P. Proekt 'Tsiholingvistika teksta. Tekst i ego smysl: regional'nye issledovaniya v rusle Shkoly A.I. Novikova" [The Project : "Text Psycholinguistics. Text and its Sense": Regional investigation of the text of A.I. Novikov School]. Voprosy psiholingvistiki [Journal of Psycholinguistics]. 2018. N 2(36). P. 168-181. (In Russian) Peshkova N.P. Semantika i smysl teksta (eksperimental'nyj podhod k teoreticheskim problemam) [Text semantics and text sense (experimental approach to theoretical problems)]. Vestnik ChelGU [Bulletin of Chelyabinsk State University]. 2015. N 15(370). P. 69-77. (In Russian) Ufimceva N.V. Monograph review: Novikov A.I. Tekst i ego smyslovye dominanty [Novikov A.I. Text and its semantic dominants. Moscow: Institut yazykoznaniya RAN, 2007. 224 p.]. Voprosy psiholingvistiki [Journal of Psycholinguistics]. 2009. N 9. P. 282-283. (In Russian)
Chuchupal V.Ya. Sposoby umen'sheniya vychislitel'noj slozhnosti nejrosetevyh yazykovyh modelej [Ways to reduce the computational complexity of neural network language models]. Rechevye tekhnologii / Speech Technologies [Speech Technologies]. 2020. N 3-4. P. 16-29. (In Russian) Margolina A.V. Controlling impression: Making ruGPT3 generate sentiment-driven movie
reviews. Journal of applied linguistics and lexicography. 2022. Vol. 4, N 1. P. 15-25. word2vec - Project Information. // code.google.com. URL: https://code.google.com/archive/ p/word2vec/ (Accessed 13.02.2024).
