УДК 004.9
НЕЯВНЫЕ ЗНАНИЯ В ИНФОРМАЦИОННОМ ПОЛЕ
Романченко Алексей Евгеньевич1,
e-mail: romanchenko@mirea.ru, 'Институт информационных технологий РТУМИРЭА -Российский технологический университет, г. Москва, Россия
В статье рассматривается метод выявления неявных знаний в информационном поле. Информационное поле представляется как отражение и носитель неявного знания. Информационное поле определяется как система. Раскрываются особенности неявных знаний и механизм переноса неявных знаний в информационное поле. Отмечается, что сравнительный анализ и селективный анализ информационного поля создает возможность извлечения неявных знаний. В статье вводится новое понятие «латентная информационная ситуация». Предлагается метод построения латентной информационной ситуации и постепенной ее трансформации в явную информационную ситуацию. Явная информационная ситуация создает явное знание. В статье описывается топологический метод получения явного знания из неявного знания. Представлено сравнение статистического метода и латентного метода. Предложенный метод извлечения неявных знаний в информационном поле основан на применении принципов системного анализа. Это позволяет использовать системно-структурные методы для описания объекта исследования и формирования системы знания. Предложенный метод извлечения неявных знаний в информационном поле может применяться для повышения эффективности работы масштабируемых алгоритмов с большими массивами данных. Ключевые слова: информационное поле, неявные знания, латентная информация, модели латентных переменных, извлечение знаний, системность
IMPLICIT KNOWLEDGE IN THE INFORMATION FIELD
Romanchenko A.Ye.1,
e-mail: romanchenko@mirea.ru, 1Institute of Information Technologies. RTUMIREA - Russian Technological University, Moscow, Russia
The method of identifying implicit knowledge in the information field is considered in the article. The information field is presented as a reflection and carrier of implicit knowledge. The information field is defined as a system. The features of implicit knowledge and the mechanism of transferring implicit knowledge into the information field are revealed. It is noted that comparative analysis and selective analysis of the information field creates the possibility of extracting implicit knowledge. A new concept of «latent information situation» is introduced in the article. A method of constructing a latent information situation and its gradual transformation into an explicit information situation is proposed. An explicit information situation creates explicit knowledge. A topological method of obtaining explicit knowledge from implicit knowledge is described in the article. A comparison of the statistical method and the latent method is presented. The proposed method of implicit knowledge extraction in the information field is based on the application of the principles of system analysis. This makes it possible to use system-structural methods to describe the object of research and to form a system of knowledge. The proposed method of extracting implicit knowledge in the information field can be used to improve the efficiency of scalable algorithms with big data.
Keywords: information field, implicit knowledge, latent information, latent variable models, knowledge extraction, consistency
DOI 10.21777/2500-2112-2021-4-14-22
Введение
Неявные знания - это знания, не видимые и не получаемые при наблюдении и измерении [1; 2; 3].
Они находятся в скрытом состоянии и проявляют себя косвенными признаками. Наряду с этим термином существует термин «латентная информация». Это близкие, но качественно разные понятия. Латентная информация - это информация, неявные знания - это знания. Информация и знания разные категории. Знания содержатся в информации и извлекаются из нее. В аспекте информации можно говорить о явной информации и латентной информации. Латентная информация [4; 5; 6] - это информация, скрытая внутри другой информации. Термин «латентная информация» менее употребляем в сравнении с термином «латентные переменные» [7; 8]. Латентные переменные широко применяют в статистике. Латентные переменные интерпретируют как скрытые переменные, которые непосредственно не наблюдают, а выводят или вычисляют через наблюдаемые или измеряемые переменные. Соответственно, существуют модели латентных переменных. Модели латентных переменных (МЛП) интерпретируют с определенной вероятностью. МЛП как и латентная информация описывают скрытое или неявное знание и могут соответствовать физической или формальной реальности. МЛП связаны с абстрактными понятиями типа категории, состояния или структура. следовательно, для извлечения неявного знания необходимо найти латентные переменные, построить модели с латентными переменными и на основе обработки этих моделей [9] получать неявное знание.
1. Свойства системности информационного поля
информационное поле можно рассматривать как интегральную модель реальности, которая отражает реальные объекты и закономерности. Закономерности могут быть явными и неявными. информационное поле отражает разрозненные объекты реального мира в информационную модель. Подобно фотоснимку информационное поле объединяет разрозненные объекты в единую информационную картину. не случайно в геоинформатике растровые снимки называют носителем полевой информации [10]. Геоинформационные системы, которые работают с растровой информацией, называют полевыми [11; 12]. На рисунке 1 приведен процесс формирования информационного поля как отражения реальности.
Рисунок 1 - Информационное поле как отражение и носитель неявного знания
информацию называют феноменом отражения. В силу этого информационное поле строится на отражении объектов, которыми могут быть. Объекты реального мира, процессы, ситуации, закономерности, реальные поля. Объекты отражаются в единую модель информационного поля. Объекты отражения с помощью процедуры отражения или морфизма [13] преобразуются в объекты информационного поля: модели объектов, процессов, ситуаций, закономерностей, явлений. При этом большинство закономерностей имеют неявную или латентную форму в информационном поле.
применительно к неявному знанию на рисунке 1 показано, что закономерности, отношения и связи реальности в информационном поле трансформируются в информационные закономерности и информационные отношения. информационных отношений в информационном поле всегда больше чем в реальности. Это обусловлено тем, что разрозненные отображаемые объекты попадают в единую информационную среду и между ними устанавливаются дополнительные информационные отношения. инструментом объединения и интеграции разрозненных объектов в информационном поле выступают информационные единицы [14].
В качестве примера информационного поля рассмотрим фотоснимок. Объекты реальности могут иметь одинаковые размеры. но на снимке изображение одинаковых по размерам объектов будет различным если они удалены на разные расстояния от точки съемки. изображение удаленного объекта, будет меньше, чем близко расположенного объекта. на местности объекты могут быть удалены друг от друга и не соприкасаются. А на снимке близко расположенный объект может закрывать удаленные объект, то есть их изображения могут перекрываться. Объединяющим фактором изображения служат пиксели. Все изображение, как поле состоит из размерных информационных единиц, называемых пикселями. пиксели отображают объекты и пустое пространство. их совокупность создает информационное поле снимка.
Другим примером является текстовое информационное поле. текстовое поле есть частный случай информационного поля. Если человек начнет описывать местность, то он опишет словами и предложениями все объекты, которые попадают в его поле зрения с помощью слов, предложений и фраз. слова, предложения и фразы являются элементами языка и их можно рассматривать как информационные единицы.
разница между этими примерами в том, что фотоснимок пример непрерывного информационного поля, а текстовое поле пример дискретного поля. В него попадают только те объекты, которые выбирает человек. таким образом, существует два вида информационного поля: непрерывное и дискретное. В любом случае закономерности скрытые или явные попадают в информационное поле.
В информационном поле существуют разные наборы информационных единиц моделей и самого поля. совокупности информационных единиц позволяют объединять модели разных объектов в единую информационную среду. информационные единицы выполняют функции конструктивных элементов в информационном поле. при этом они обеспечивают сопоставимость разных моделей, то есть создают возможность объективного сравнительного анализа и селективного анализа. сравнительный анализ и селективный анализ информационного поля создает возможность извлечения неявных знаний. Многообразие моделей информационного поля можно анализировать и обобщать с применением метамоделей [15; 16; 17].
информационные единицы создают системность информационного поля. Мир есть система систем, что определяет его свойство, которое называют системность. информационное поле обладает этим свойством. рассматривая информационное поле как систему, отражающую реальный мир, следует говорить о системности информационного поля. системные свойства информационного поля создают возможность системного моделирования или системного описания. системное моделирование или системное описание включают нахождение структурной вложенности и причинно-следственных связей между элементами и частями системы, установление отношений иерархии в системе. системное моделирование в информационном поле можно определить как подход к системному анализу объектов информационного поля. аномалии при системном анализе сигнализируют о возможности наличия скрытого знания.
2. Латентность в информационном поле
Все информационное поле анализировать сложно и невозможно. поэтому выбирают локальную область для анализа. Обычно эта область связана с исследуемым объектом. такая область представляется в виде информационной ситуации. Модель информационной ситуации [18] является инструментом выявления латентности. термином латентность в данном случае обозначается скрытые для наблю-
дателя закономерность, отношение или модель. Информационная ситуация включает объект наблюдения и его окружение в информационном поле. Латентные параметры в информационном поле часто представляют аномальное описание, не вытекающее из причинно-следственных связей.
Извлечение неявного знания начинается с наблюдения или измерения. На рисунок 2 представлена схема измерения в информационном поле. По вертикальной оси (Р) отложен уровень фиксации фактов. Чем выше уровень фиксации фактов (Р2), тем больше фактов или наблюдаемых объектов видит исследователь.
1_М
рисунок 2 - схема первичного измерения в информационном поле
На рисунке 2 приняты следующие обозначения: ОМ - модель объекта, LM - латентные модели, LR - латентные отношения, LC - латентные связи. Рисунок 2 характеризует латентную ситуацию. Сущность ее в том, что часть моделей объектов (ОМ) известна, а часть параметров (ЬМ, LR, LC) неизвестна. Они расположены на рисунке по степени легкости их обнаружения.
Ставится задача найти, оценить или определить скрытые латентные параметры и преобразовать латентную ситуацию в явную ситуацию. Преобразование латентной ситуации в явную информационную ситуацию можно рассматривать как одну из форм извлечения неявных знаний. Если набор фактов недостаточный (например, Р1), то получить новое знание нельзя. Исследователь располагает определенными инструментами измерений и определенным уровнем знаний (К), который откладывается по горизонтальной оси. Первоначальный уровень знаний (Ьк1) должен быть достаточным для фиксации фактов или фактических (первичных) моделей. Если уровень знаний меньше Ьк1, то получить новое знание нельзя. Следовательно, для получения неявных знаний должны быть выполнены два условия: 1) уровень фиксации фактов должен быть достаточно высоким (Р2), чтобы зафиксировать все факты, связанные с исследуемым явлением или неявным знанием; 2) первоначальный уровень знаний должен быть достаточным для фиксации всех фактов.
Признаком неявного знания является отсутствие логической или иной последовательности, связывающей наблюдаемые факты с их причинами. Следовательно, мотивацией или предпосылкой поиска и извлечения неявного знания является гипотеза того, что все выявленные факты принадлежат одной сущности, но имеющийся уровень знаний не позволяет связать их вместе с помощью причинно-следственных связей. Эта гипотеза предполагает существование латентных моделей ^М), латентных отношений (LR), латентных связей (ЬС). Эти латентные величины не выявляются при первичном исследовании.
3. Статистический и латентный анализ
Статистические и латентный анализ строятся на основе гипотез. Сравним латентный анализ со статистическим анализом [19], в котором также используют гипотезы. Типичная ситуация статистиче-
ского анализа состоит в том, что при статистическом анализе известны эмпирические независимые параметры Х. и эмпирические зависимые параметры Y Гипотеза статистического анализа состоит в том, что предполагается существование последовательности:
Х. ^ Yi. (1)
Эта последовательность трансформируется в зависимость:
Y = Н(Х). (2)
Эта гипотеза допускается при условии информационного [20] однозначного соответствия в независимых и зависимых измеренных последовательностях.
В выражениях (1) и (2) Х. - наблюдаемые переменные, Y зафиксированные значения функций наблюдаемых переменных. Зависимость (2) ищется при наличии некого гипотетического Н(Х) критерия. Распространенным критерием в статистике является минимум дисперсии между Yi и Y при одних и тех же параметрах Х Допущением является то, что параметры Х. считаются безошибочными, а параметры Y имеют ошибки относительно Y. Безошибочность параметров Х. заключалась в том, что полагалось условие (1) и никакое другое. Если на практике (в силу ошибочности измерений) имелись измерения или наблюдения, нарушающие информационное соответствие (2), например:
Хк ^ Yk + т, (3)
то выражение (3) является признаком нарушения логического следования (1). Если оно имеет место, то выражение (2) дает ошибочные результаты. таким образом, в статистическом анализе считаются заданными наблюдаемые величины Х Y и гипотетическое соответствие между ними (2). ищется зависимость Н. Обычно в статистике условие (1) не упоминают и рассматривают только ситуации, когда оно выполняется. Нарушение информационного соответствия (3) в статистике также не рассматривают.
В латентном анализе считаются заданными только Y и некие гипотетические предположения Н(Х). В латентном анализе находят (или подбирают) латентные переменные Х латентную связь (2), латентное соответствие. Латентное информационное соответствие выражается с помощью обратной импликации:
Х. ^ Y.. (4)
Выражение (4) описывает подбор латентных переменных по наблюдаемым переменным. Выражение (1) и (4) показывают различие между латентным анализом и статистическим анализом.
иногда вместо функциональной связи (2) ищут структуру, то есть топологию. В топологической модели Y обозначают вершины, а Х. дуги между ними. Топологическая модель допускает условие (3). Это означает множественную связь, когда одному Yi соответствуют несколькоХ> (/=1,.. ,,т). Можно констатировать, что статистический анализ использует преимущественно аналитику, а латентный анализ применяет методы дискретной математики и топологии.
извлечение неявного знания в таком изложении означает, что при заданных вершинах Yi ищут дуги Х. и строят топологию сети. Топологическая структура означает форму извлечения неявных знаний.
Одним из методов латентного анализа является факторный анализ [21] или кластерный анализ. В этом виде латентного анализа гипотезой является задание количества факторов и видов связей между ними. Этот метод является условным. Если количество факторов задано неверно (больше или меньше), то метод дает ошибочные результаты. Если связь между факторами задана неверно (задается линейная связь, а в реальности она нелинейная), то метод факторного анализа дает ошибочные результаты.
при оценке результатов факторного анализа основное внимание обычно уделяется факторным нагрузкам, связанным с величиной и направлением связи со скрытой переменной. Хотя это также параметр модели. При факторном анализе дисперсия скрытой переменной в значительной степени игнорируется как источник информации для оценки. причиной игнорирования дисперсии как источника информации является ее зависимость от индикатора, выбранного для масштабирования, чтобы добиться идентификации модели.
В латентном анализе уровень неопределенности выше, чем в статистическом анализе, поэтому в нем используют разные дополнительные методы, одним из которых является масштабирование [22]. Этот подход отчасти связан с эргодической теоремой Биркгофа - Хинчина [23]. Теорема утверждает, что для динамической системы, сохраняющей меру и интегрируемой по этой мере функции на пространстве, для почти всех начальных точек соответствующие им временные средние сходятся. Другая причина в том, что на выборках разного масштаба аналитическая зависимость (если она существует) не меняется, в то время как случайная составляющая меняется. Таким образом, разрежение эмпирических данных или новые комбинации из них не должны менять зависимость (1) при правильном подборе X.
Методы масштабирования дисперсий включают определение взаимосвязи между факторными нагрузками и дисперсией соответствующей скрытой переменной. Дисперсия латентных переменных является параметром латентной модели, но она не эквивалентна дисперсии в статистическом анализе, определяемой как сумма квадратов отклонений. При масштабировании в латентном анализе дисперсия меняется, но это характеризует масштабирование, а не погрешность. Например, в лонгитюдном исследовании [24] предложено масштабировать дисперсию таким образом, чтобы она была установлена равной единице при первом измерении. Этот подход устанавливает условный эталон, который при последовательном масштабировании легче интерпретировать. В общем, различные методы масштабирования могут быть использованы в латентном анализе на основе рассматриваемой гипотетической конструкции, описывающей ситуацию исследования.
В статистике дисперсия о(е) есть функция случайной величины е. Между ними существует отношение прямого следования:
е ^ о. (5)
Выражение (5) говорит о том, что чем больше случайные ошибки измерений е, тем больше дисперсия о и наоборот. Масштабирование в статистике не меняет дисперсию. В латентном анализе дисперсия о(Х, £С, е) есть функция латентных параметров X, их количества, латентных связей LC и ошибок измерений е. Масштабирование в латентном анализе меняет дисперсию, поэтому масштабирование в этом случае служит основой анализа и выбора латентных параметров.
В результате инкрементных исследований повышается уровень знаний и латентная информационная ситуация (рисунок 2) преобразуется в явную информационную ситуацию, показанную на рисунке 3.
Рисунок 3 - Параметры, создающих явное знание
рисунок 3 является альтернативным рисунку 2. В результате повышения уровня знания латентные переменные и модели преобразуются в явные параметры и модели. на рисунке 3 показаны явные модели (М), которые заменили латентные модели LM. Явные отношение (пунктир R) заменили латентные отношения LR. Явные связи (сплошные линии С) заменили неявные связи LC. В совокупности эти компоненты создают структуру и новое знание. В результате формируется система знания SYSK, сигнатура которой может быть представлена в виде:
SYSK=<OM, M(LM), R(LR), C(LC), Str, Lke>. (6)
В выражении (6) приняты обозначения: ОМ - наблюдаемые модели; M - явные модели, полученные на основе латентных моделей LM; R - явные отношения, полученные на основе латентных отношений LR; C - явные связи, полученные на основе латентных связей LC; Str - структура моделей и параметров; Lkе - конечный уровень знаний.
В извлечении неявного знания часто применяют инкрементный подход, который состоит в поэтапном исследовании объекта, явления. Если один этап исследования завершается успешно, то переходят к последующему. Переходя от этапа к этапу, накапливают информационный ресурс и явное знание. По успешному завершению всех этапов считают, что гипотеза исследования имеет право на суще ствование.
Заключение
Извлечение неявных знаний опирается на опыт и интуицию исследователя и первоначально не формализуемые знания. Вводят предполагаемые латентные переменные и латентные связи. Использование латентных переменных может способствовать уменьшению размерности данных. Применение латентных переменных может способствовать выявлению структур и упорядочению данных. Важным является построение информационной латентной ситуации, которая связывает наблюдаемые и гипотетические латентные параметры в единую систему. После построения латентной информационной ситуации выдвигается гипотеза, которая начинает поэтапно проверяться и трансформировать латентную ситуация в явную информационную ситуацию. Преобразование латентной информационной ситуации в явную информационную ситуацию влечет извлечение неявного знания и трансформацию неявного знания в явное знание.
Предложенный метод извлечения неявных знаний путем построения латентной информационной ситуации и постепенной ее трансформации в явную информационную ситуацию основан на принципах системности, что позволяет использовать системно-структурные методы для описания объекта исследования и формирования системы знания. Предложенный метод извлечения неявных знаний в информационном поле может применяться для повышения эффективности работы масштабируемых алгоритмов с большими массивами данных.
Список литературы
1. Sigov A.S. and Tsvetkov VYa. Tacit Knowledge: Oppositional Logical Analysis and Typologization // Herald of the Russian Academy of Sciences. - 2015. - Vol. 85. - № 5. - pp. 429-433. DOI: 10.1134/ S1019331615040073
2. Цветков В.Я. Неявное знание и его разновидности // Вестник Мордовского университета. - 2014. -Т. 24. - № 3. - С. 199-205.
3. Цветков В.Я. Анализ неявного знания // Перспективы науки и образования. - 2014. - №1 (7). - С. 56-60.
4. Dai Z., Alvarez M., Lawrence N. Efficient modeling of latent information in supervised learning using gaussian processes // Advances in Neural Information Processing Systems. - 2017. - Vol. 30. - Pp. 5131-5139.
5. Verma S. etal. DeepCU: Integrating both Common and Unique Latent Information for Multimodal Sentiment Analysis // IJCAI. - 2019. - S. 3627-3634.
6. Huang R. et al. An Attention-Based Latent Information Extraction Network (ALIEN) for High-Order Feature Interactions //Applied Sciences. - 2020. - Vol. 10. - № 16. - S. 5468.
7. Derkach A. et al. High dimensional mediation analysis with latent variables //Biometrics. - 2019. - Vol. 75. -№ 3. - S. 745-756.
8. Maal0e L. et al. Biva: A very deep hierarchy of latent variables for generative modeling // Advances in neural information processing systems. - 2019. - S. 6551-6562.
9. BolbakovR.G. Extracting implicit knowledge / Bolbakov R.G., Mordvinov V.A., Plotnikov S.B., Tsvetkov V.Ya. // Collection of conference materials: Informatics and Cybernetics in Intelligent Systems. Proceedings of 10th Computer Science On-line Conference. Ser. «Lecture Notes in Networks and Systems», 2021. - S. 348-355.
10. Савиных В.П., Цветков В.Я. Геоинформатика как система наук // Геодезия и картография. - 2013. -№4. - С. 52-57.
11. Бучкин Д.В. Состояние и развитие интеллектуальных ГИС // Информация и космос. - 2020. - №3. -С.119-123.
12. Кудж С.А. ГИС как сложная система // Славянский форум. - 2015. - №1(7) - С. 108-116.
13. Цветков В.Я. Алгоритмический морфизм // Славянский форум. - 2021. - № 3(33). - С. 287-296.
14. Болбаков Р.Г. Философия информационных единиц // Вестник МГТУ МИРЭА. - 2014 - № 4(5). -С.76-88.
15. Цветков, В.Я. Метамоделирование в геоинформатике / Цветков В.Я., Булгаков С.В., Титов В.К., Рогов И.Е. // Информация и космос. - 2020. - №1. - C. 112-119.
16. Ожерельева Т.А. Метамоделирование в информационном поле - Saarbruken, 2020. - 109 с.
17. Tsvetkov, V.Ya. Metamodelling in the information field / Tsvetkov V.Ya., Shaitura S.V., Minitaeva A.M., Feoktistova V.M., Kozhaev Yu.P., Belyu L.P. // Amazonia Investiga. - 2020. - Vol. 9. - № 25. - Pp. 395-402.
18. Цветков В.Я. Модель информационной ситуации // Перспективы науки и образования. - 2017. -№ 3(27). - С. 13-19.
19. Washington S. et al. Statistical and econometric methods for transportation data analysis. - CRC press, 2020.
20. Номоконова О.Ю. Виды информационных соответствий // Славянский форум. - 2018. - № 2(20). -С. 44-49.
21. Tjalma A.J., Planque R., Bruggeman F.J. Poor sensing maximises microbial fitness when few out of many signals are sensed //bioRxiv. - 2020. - S. 800292.
22. Schweizer K., Troche S.J., DiStefano C. Scaling the variance of a latent variable while assuring constancy of the model // Frontiers in Psychology. - 2019. - Vol. 10. - S. 887.
23. Каток А.Б., Хассельблат Б. Введение в современную теорию динамических систем с обзором последних достижений / Перевод с английского; под редакцией А.С. Городецкого. - Москва: МЦНМО, 2005. - 464 с.
24. McArdle, J.J., and Cattell, R.B. (1994). Structural equation models of factorial invariance in parallel proportional profiles and oblique confactor problems. Multivar. Behav. - Res. 29, 63-113. doi: 10.1207/ s15327906mbr2901_3
References
1. Sigov A.S. and Tsvetkov V.Ya. Tacit Knowledge: Oppositional Logical Analysis and Typologization // Herald of the Russian Academy of Sciences. - 2015. - Vol. 85. - No. 5. - S. 429-433. DOI: 10.1134/S1019331615040073
2. Cvetkov V.Ya. Neyavnoe znanie i ego raznovidnosti // Vestnik Mordovskogo universiteta. - 2014. - T. 24. -№ 3. - S. 199-205.
3. Cvetkov V.Ya. Analiz neyavnogo znaniya // Perspektivy nauki i obrazovaniya. - 2014. - №1 (7). - S. 56-60.
4. Dai Z., Alvarez M., Lawrence N. Efficient modeling of latent information in supervised learning using gaussian processes //Advances in Neural Information Processing Systems. - 2017. - Vol. 30. - S. 5131-5139.
5. Verma S. et al. DeepCU: Integrating both Common and Unique Latent Information for Multimodal Sentiment Analysis // IJCAI. - 2019. - S. 3627-3634.
6. Huang R. et al. An Attention-Based Latent Information Extraction Network (ALIEN) for High-Order Feature Interactions // Applied Sciences. - 2020. - Vol. 10. - № 16. - S. 5468.
7. Derkach A. et al. High dimensional mediation analysis with latent variables //Biometrics. - 2019. - Vol. 75. -№ 3. - S.745-756.
8. Maal0e L. et al. Biva: A very deep hierarchy of latent variables for generative modeling //Advances in neural information processing systems. - 2019. - S. 6551-6562.
9. Bolbakov, R.G. Extracting implicit knowledge / Bolbakov R.G., Mordvinov V.A., Plotnikov S.B., Tsvetkov V.Ya. // Collection of conference materials: Informatics and Cybernetics in Intelligent Systems. Proceedings of 10th Computer Science On-line Conference. Ser. «Lecture Notes in Networks and Systems». - 2021. - S. 348-355.
10. Savinyh V.P., Cvetkov V.Ya. Geoinformatika kak sistema nauk // Geodeziya i kartografiya. - 2013. - №4. -S.52-57.
11. BuchkinD.V. Sostoyanie i razvitie intellektual'nyh GIS // Informaciya i kosmos. - 2020. - №3. - S.119- 123.
12. Kudzh S.A. GIS kak slozhnaya sistema // Slavyanskij forum. - 2015. - № 1(7). - S. 108-116.
13. Cvetkov V.Ya. Algoritmicheskij morfizm // Slavyanskij forum. - 2021. - №3(33). - S. 287-296.
14. BolbakovR.G. Filosofiya informacionnyh edinic // Vestnik MGTU MIREA. - 2014. - № 4(5). - S. 76-88.
15. Cvetkov, V.Ya. Metamodelirovanie v geoinformatike / Cvetkov V.Ya., Bulgakov S.V., Titov V.K., Rogov I.E. // Informaciya i kosmos. - 2020. - №1. - S. 112-119.
16. Ozherel'eva T.A. Metamodelirovanie v informacionnom pole - Saarbruken, 2020. - 109 s.
17. Tsvetkov, V.Ya. Metamodelling in the information field / Tsvetkov V.Ya., Shaitura S.V., Minitaeva A.M., Feoktistova V.M., Kozhaev Yu.P., Belyu L.P. // Amazonia Investiga. - 2020. - Vol. 9. - № 25. - S. 395-402.
18. Cvetkov V.Ya. Model' informacionnoj situacii // Perspektivy nauki i obrazovaniya. - 2017. - №3(27). -S.13-19.
19. Washington S. et al. Statistical and econometric methods for transportation data analysis. - CRC press, 2020.
20. Nomokonova O.Yu. Vidy informacionnyh sootvetstvij // Slavyanskij forum. -2018. - № 2(20). - S. 44-49.
21. TjalmaA. J., Planque R., Bruggeman F.J. Poor sensing maximises microbial fitness when few out of many signals are sensed // bioRxiv. - 2020. - S. 800292.
22. Schweizer K., Troche S.J., DiStefano C. Scaling the variance of a latent variable while assuring constancy of the model //Frontiers in Psychology. - 2019. - Vol. 10. - S. 887.
23. KatokA.B., Hassel'blatB. Vvedenie v sovremennuyu teoriyu dinamicheskih sistem s obzorom poslednih dostizhenij / perevod s anglijskogo; pod redakciej A.S. Gorodeckogo. - Moskva: MCNMO, 2005. - 464 s.
24. McArdle, J.J., and Cattell, R.B. (1994). Structural equation models of factorial invariance in parallel proportional profiles and oblique confactor problems. Multivar. Behav. - Res. 29, 63-113. doi: 10.1207/ s15327906mbr2901 3