CC BY
12
УДК 004.81
ВИЗУАЛЬНЫЕ МОДЕЛИ И ИХ СЕМАНТИКА
Номоконов Иван Борисович1,
e-mail: nomokos877@mail.ru, 'Областное государственное бюджетное учреждение здравоохранения «Иркутская районная больница», г. Иркутск, Россия
Статья исследует семантику визуальных моделей. Рассматривается процесс представления образов в информационном и когнитивном поле в виде визуальной модели. Показано различие при преобразовании образа и его интерпретации по информационному и когнитивному каналам. Вводятся новые понятия «семантика визуальных моделей», «визуальные образные модели», «визуальные геометрические модели». Эти понятия позволяют более полно и точно раскрыть процесс преобразования образов в визуальные модели разных типов. Раскрывается содержание «визуальных образных моделей», «визуальных геометрических моделей». Показано, что визуальная геометрическая модель играет роль карты для визуальных образных моделей и может их связывать. Это дает основание применять в обработке серию снимков разных плотностей для лучшего изучения деталей исследуемого объекта. На примерах показано, что кроме реальных образов визуальные модели могут отражать то, что в природе в виде образов не существует. Предложенный семантический подход к созданию визуальных моделей расширяет методы их анализа не только в диагностике, но и при обработке различных изображений.
Ключевые слова: визуальная модель, семантика образа, информационное поле, когнитивное поле, информационная семантика, когнитивная семантика
VISUAL MODELS AND THEIR SEMANTICS
Nomokonov I.B.1,
e-mail: nomokos877@mail.ru, 1Regional State Budgetary Healthcare Institution «Irkutsk regional hospital», Irkutsk, Russia
The article explores the semantics of visual models. The process of representation of images in the information and cognitive field in the form of a visual model is considered. The difference between the transformation of the image and its interpretation through informational and cognitive channels is shown. New concepts, such as «semantics of visual models», «visual figurative models», «visual geometric models», are introduced. These concepts allow us to reveal the process of converting images into visual models of different types more fully and accurately. The content of «visual figurative models», «visual geometric models» is revealed. It is shown that the visual geometric model plays the role of a map for visual figurative models and can connect them. This gives reason to use a series of images of different densities in processing for a better study of the details of the investigated object. Examples show that in addition to real images, visual models can reflect something that does not exist in nature in the form of images. The proposed semantic approach to the creation of visual models expands the methods of their analysis not only in diagnostics, but also in the processing of various images. Keywords: visual model, image semantics, information field, cognitive field, information semantics, cognitive semantics
DOI 10.21777/2500-2112-2021-4-53-60
Введение
Проблема семантики визуальных моделей возникает при лучевой диагностике, в системах дистанционного зондирования Земли, в системах обработки видеоизображений. Проблема семантики визуальных моделей тесно связано с информативностью визуальных образов [1; 2]. Проблема семантики визуальных моделей возникает при извлечении неявных знаний [3; 4; 5] по изображениям,
например при поиске полезных ископаемых по радиолокационным снимкам. Как теоретическая проблема семантика визуальных моделей (СВМ) существует в информационном поле [6; 7]. СМВ связана не только с информационными моделями и параметрами, но и с когнитивными факторами. Например, рентгеновский снимок для неспециалиста ни о чем не говорит, а специалист в области лучевой терапии определит диагноз и тип аномалии, если она есть, на рентгеновском снимке. Образы реальности в информационном поле отображаются в виде визуальных моделей. Но есть образы, которые в реальности не существуют, но имеют визуальные модели. Это рентгеновский снимок [1], который в виде плоской картины отображает объемную информационную ситуацию прохождения рентгеновских лучей через материальный объект. Визуальные модели рентгеновских снимков включают пространственные отношения [8], которые предстают в виде информационных и когнитивных связей. Необходимо ввести термин «информационно-семантическое» восприятие для характеристики информационной компоненты пространственного образа. Это восприятие моделируется средствами информационного формального описания. Необходимо ввести термин «сенсорный образ» или «когнитивное семантическое восприятие». Этот образ или модель создается когнитивными средствами и не моделируется информационными параметрами. Таким образом, семантика когнитивного образа имеет информационную (формальную) и когнитивную (неявную) компоненту. При этом во многих случаях визуальный образ содержит неявное знание [9], которое требует экстернализации.
1. Преобразование образов в визуальную модель
На рисунке 1 приведена схема преобразования образа в визуальную модель по двум каналам. Источником информации является реальный образ, который передается по двум каналам. Если исходный образ сложный и включает множество объектов, то его можно рассматривать как информационную ситуацию [10]. Образ, как правило, фиксируется на снимок. Зафиксированная визуальная модель представляет собой синтез информационного образа (информационная модель [11]) и когнитивной составляющей, которая содержит неявное знание.
Визуальная модель
Реальный образ Когнитивный канал Ассоциации, цвет, паралингвистические единицы Информационные параметры
Объекты, параметры, отношения, неявные знания
Формальный канал
Рисунок 1 - Передача образа в визуальную модель
Реальный образ передается двояко: информационные параметры как информационные описания реальности передают по формальному каналу и образные ассоциативные параметры передают по когнитивному каналу. По существу визуальная модель или составная информационная модель есть закодированное сообщение реального образа и содержащейся в нем семантики. Для интерпретации образа и получения его семантики необходим комплексный анализ, который, фактически реализует декодирование. Зафиксированная визуальная модель - это закодированный объект. Его информационная и когнитивная интерпретация есть раскодирование. когнитивный канал реализует метамоделирование [12; 13] средствами естественного интеллекта. Когнитивный канал передает паралингвистические информационные единицы, которые формальными средствами не описываются [14]. Он передает образы в виде информационных ситуаций, которые в зафиксированной модели (снимок) делятся на части. В результате воспринятый образ получается сложным и двойственным. В зафиксированных визуальных моделях различают две части: иллюстративную и семантическую. Иллюстративная или информационная часть является констатирующей или морфологической. Она как фактофиксирующая модель пере-
дает информацию о морфологии образа. Семантическая часть образа передает содержание. Одна и та же морфология может передавать разный смысл в зависимости от семантического окружения.
Визуальная модель выполняет семантическую и лингвистическую функции, которые сводятся к передаче смысла. Визуальная модель, в отличие от информационной модели, при минимальных формальных и морфологических средствах предает максимум информации. На передачу такой же содержательности с помощью текста потребовались бы огромные информационные объемы. Следовательно, визуальная модель выполняет функцию сжатия информации.
2. Информационное и когнитивное восприятие
Информационная и когнитивная семантика связаны с передачей содержательности. Информационная семантика передается с помощью информационных моделей. Когнитивная семантика передается с помощью информационных моделей и когнитивных моделей. На рисунке 2 приведена схема информационно семантического восприятия.
Рисунок 2 - Схема информационно-семантического восприятия
Процесс восприятия (рисунок 2) состоит в том, что реальный образ преобразуется в две модели: информационную модель объекта и модель его семантического окружения. Субъект или интеллектуальная система раздельно воспринимает модель и ее окружение и на первом этапе происходит восстановление образа с семантикой. после их объединения полученная визуальная модель подвергается интерпретации [15]. При интерпретации используют базу данных интерпретационных информационных единиц (БД ИИЕ). После этого получают информационную семантику о визуальном образе. Такой способ приемлем для передачи простых образов типа геометрических фигур или в картографии, где установлена система условных картографических знаков. Формирование визуальной модели происходит независимо: отдельно семантики, отдельно модели образа. При кодировании образа в информационную модель, при кодировании семантики в модель семантического окружения [16] и при восстановлении образа возможна потеря информативности [2], что представляет собой проблему для такой технологии. Для сложных образов типа рентгеновских снимков или космических снимков с непонятными объектами такая схема не приемлема. На рисунке 3 приведена схема формирования когнитивно-семантического восприятия.
Согласно схеме на рисунке 3 исходный образ передается в виде информационной ситуации, содержащей объекты и отношения. Эта информационная ситуация подвергается декомпозиции на уровне перцепции информации субъектом, который подключает базу данных ассоциаций. Эта база данных частично выполняет интерпретационные функции, что повышает информативность восприятия. После декомпозиции визуальной модели начинается ее когнитивная интерпретация. Когнитивная интерпретация является более полной, поскольку используют большее число интерпретационных единиц. Например, паралингвистические информационные единицы, которые не входят в естественный язык. Когнитивная семантика является более информативной по сравнению с информационной семантикой.
Рисунок 3 - Схема формирования когнитивно-семантического восприятия
3. Экспериментальные исследования по отображению информационной ситуации
на рентгеновских снимках
На последующих рисунках приведены результаты экспериментальных работ по отражению информационной ситуации на рентгеновских снимках. На рисунке 4 приведена визуальная модель (ВМ1), полученная при нормальном времени экспозиции (Т1). Модель ВМ1 является отражением реальной ситуации на рентгеновском снимке и поэтому ее можно интерпретировать как информационную ситуацию.
Рисунок 4 - Визуальная модель с нормальной экспозицией
Выражение (1) отражает построение визуальной модели на основе рентгеновского излучения (РИ) и объекта (грудная клетка, ГК):
ГК+РИ ^ ВМ1. (1)
Эта схема является общей для подобных ситуаций. Модель ВМ1 имеет хорошую детальность и является когнитивно интерпретируемой.
На рисунке 5 приведено визуальное представление частотно контрастной характеристики (ЧКХ) снимка, которое отражает распределение плотности и контрастности, а также детальность. Всего три характеристики. Это дополнительная информационная модель (ЧКХ1) к модели ВМ1.
Рисунок 5 - Информационная модель ЧКХ1 к модели ВМ1
Модель ЧКХ1 получена при помощи компьютерной обработки и исключает семантику. Это чисто информационная модель.
На рисунке 6 как альтернатива рисунку 4 приведена визуальная модель ВМ2 с меньшим временем экспозиции (Т2< Т1).
Рисунок 6 - Визуальная модель ВМ2 с малой экспозицией
Модель ВМ2 характеризует меньшая детальность и большее количество белых участков по отношению к модели ВМ1. Участки, лежащие в области слабого серого цвета, поглощаются белыми участками. Это подтверждается частотно контрастной характеристикой ЧКХ2 (рисунок 7).
Рисунок 7 - Модель ЧКХ2 к модели ВМ2
Сравнение рисунка 5 и рисунка 7 говорит о меньшей информативности и детальности модели ВМ2. Можно продолжить сравнение и привести модель ВМ3 (которая здесь не показана, но в эксперименте была представлена) с большей экспозицией, которая является более темной по отношению к ВМ1 и на которой также уменьшается детальность, но увеличивается количество темных участков.
Для затемненной модели участки, лежащие в области темного серого цвета, поглощаются темными участками. Таким образом, выбор экспозиции для визуальной образной модели влияет на детальность и информативность визуальной модели. В связи с этим можно ввести понятие «визуальная образная модель» в альтернативу термину «визуальная геометрическая модель». Визуальная образная модель не имеет четких границ между участками или имеет расплывчатые границы, которые затрудняют анализ и подсчет площадей участков. Визуальная геометрическая модель в первую очередь имеет хорошо опознаваемые или четкие границы. Визуальная геометрическая модель хорошо представляется набором геометрических информационных единиц. На чертежах САПР - это геометрические примитивы, на сканированных образах карт - это условные знаки.
Для геометрической привязки и статистической обработки визуальные образные модели подвергают компьютерной обработке. В настоящее время существует достаточно большое количество программных продуктов по обработке изображений, которые позволяют переводить визуальную образную модель в визуальную геометрическую модель. На рисунке 8 приведена визуальная геометрическая модель (ВГМ), построенная на основе компьютерной обработки модели ВМ1.
Рисунок 8 - Визуальная геометрическая модель (ВГМ), построенная на основе компьютерной обработки модели ВМ1
Модель ВГМ на рисунке 8 имеет хорошо опознаваемые границы и задает геометрию или географию исследуемого объекта. Она позволяет координировать любую точку на моделях ВМ1 и ВМ2. Модель ВГМ позволяет специалисту с уверенностью отнести тот или иной участок на моделях ВМ1 и ВМ2 к определенной геометрической области. Образные модели могут быть разными - ВМ1, ВМ2. ВМ3 и так далее. Модель ВГМ является общей для всех визуальных моделей. Это дает возможность сопоставлять участки разных визуальных моделей одного объекта с помощью ВГМ, которая служит картой для образов. Использование и получение ВГМ позволяет разработать методику получения серии образных визуальных моделей одного объекта разной плотности для детального изучения областей, которые на одной модели просматриваются, а на другой слабо видны или отсутствуют. Модель ВГМ (рисунок 8) позволяет связывать разные визуальные модели (например, рисунок 4 и рисунок 6).
Заключение
При анализе визуальных моделей, отображающих сложные образы, целесообразно применение модели информационной ситуации. Модель информационной ситуации объединяет объекты и отношения между ними. Для сложных образов, таких как изображение рентгеновского снимка, такая
модель является единственным средством описания. Проведенные исследования показывают, что визуальную геометрическую модель целесообразно строить по визуальной модели с максимальной детальностью. На ВГМ отображаются детали или границы, не видимые человеческим глазом на визуальной модели. Проведенные исследования дают основание ввести понятие «семантика визуальных моделей» (СВМ). СВМ позволяет представлять такие знания, для которых невозможно подобрать текстовые описания. СВМ передает больше сложной и особенно не формализуемой простыми языками информации, чем в информационном поле. Семантика образов в когнитивном поле более емкая и информативная по сравнению с семантикой образов в информационном поле. Визуальная геометрическая модель выполняет роль карты для разных визуальных моделей. Она позволяет использовать в обработке серию снимков разной плотности для изучения деталей объекта, которые на разных снимках просматриваются с разной отчетливостью. В целом семантический подход к созданию визуальных моделей расширяет методы их анализа не только в диагностике, но и при обработке различных изображений, например, радиолокационных. В традиционной обработке рентгеновских снимков обычно использовались снимки только с нормальной плотностью (рисунок 4). Данная методика позволяет использовать все снимки и даже получать их серии для лучшего распознания ситуации, в которой находится объект.
Список литературы
1. Номоконов И.Б. Информативность рентгеновского изображения // Славянский форум. - 2015. -№ 2(8). - С. 233-239.
2. Номоконов И.Б., Цветков В.Я. Многоаспектность информативности. // Дистанционное и виртуальное обучение. - 2015. - №12(102). - С. 74-80.
3. Кудж С.А. Неявные знания в информационном поле // Славянский форум. - 2018. - 3(21). - С. 14-20.
4. Цветков В.Я. Анализ неявного знания // Перспективы науки и образования. - 2014. - №1 (7). - С. 56-60.
5. Номоконова О.Ю. Неявные знания в медицинской диагностике // Образовательные ресурсы и технологии. - 2017. - №1 (18). - С. 49-55.
6. Цветков В.Я. Информационное поле и информационное пространство // Международный журнал прикладных и фундаментальных исследований. - 2016. - №1-3. - С. 455-456.
7. Господинов С.Г. Семантическое дерево в информационном поле // Славянский форум. - 2018. -№3(21). - С. 73-79.
8. Цветков В.Я. Отношение, связь, соответствие // Славянский форум. - 2016. - № 2(12). - С. 272-276.
9. Номоконов И.Б. Неявные знания в лучевой диагностике // Славянский форум. - 2020. - №4(30). -С. 344-352.
10. Потапов А.С. Информационная ситуация и информационная позиция в информационном поле // Славянский форум. - 2017. - № 1(15). - С. 283-289.
11. Цветков В.Я. Информационные модели и информационные ресурсы // Известия высших учебных заведений. Геодезия и аэрофотосъемка. - 2005. - №3. - С. 85-91.
12. Ожерельева Т.А. Метамоделирование в информационном поле - Saarbruken. - 2020. -109 с.
13. Tsvetkov, V.Ya. Metamodelling in the information field / Tsvetkov V.Ya., Shaitura S.V., Minitaeva A.M., Feoktistova V.M., Kozhaev Yu.P., Belyu L.P. // Amazonia Investiga. - 2020. - T. 9. - № 25. - С. 395-402.
14. Иванников А.Д. Проблема информационных языков и современное состояние информатики // Вестник МГТУ МИРЭА. - 2014. - № 4(5). - С. 39-62.
15. Чехарин Е.Е. Интерпретация в информационном поле // Славянский форум. - 2018. - № 2(20). -С. 110-117.
16. Ожерельева Т.А. Об отношении понятий информационное пространство, информационное поле, информационная среда и семантическое окружение // Международный журнал прикладных и фундаментальных исследований. - 2014. - № 10. - С. 21-24.
References
1. Nomokonov I.B. Informativnost' rentgenovskogo izobrazheniya // Slavyanskij forum. - 2015. - № 2(8). -S.233-239.
2. Nomokonov I.B., Cvetkov V.Ya. Mnogoaspektnost' informativnosti. // Distancionnoe i virtual'noe obuchenie. - 2015. - №12(102). - S. 74-80.
3. Kudzh S.A. Neyavnye znaniya v informacionnom pole // Slavyanskij forum. - 2018. - 3(21). - S. 14-20.
4. Cvetkov V.Ya. Analiz neyavnogo znaniya // Perspektivy nauki i obrazovaniya. - 2014. - №1 (7). - S. 56-60.
5. Nomokonova O.Yu. Neyavnye znaniya v medicinskoj diagnostike // Obrazovatel'nye resursy i tekhnologii. -2017. - №1 (18). - S. 49-55.
6. Cvetkov V.Ya. Informacionnoe pole i informacionnoe prostranstvo // Mezhdunarodnyj zhurnal prikladnyh i fundamental'nyh issledovanij. - 2016. - №1-3. - S. 455-456.
7. GospodinovS.G. Semanticheskoe derevo v informacionnom pole // Slavyanskij forum. - 2018. - №3(21). -S. 73-79.
8. Cvetkov V.Ya. Otnoshenie, svyaz', sootvetstvie // Slavyanskij forum. - 2016. - № 2(12). - S. 272-276.
9. Nomokonov I.B. Neyavnye znaniya v luchevoj diagnostike // Slavyanskij forum. - 2020. - №4(30). -S.344-352.
10. PotapovA.S. Informacionnaya situaciya i informacionnaya poziciya v informacionnom pole // Slavyanskij forum. - 2017. - № 1(15). - S. 283-289.
11. Cvetkov V.Ya. Informacionnye modeli i informacionnye resursy // Izvestiya vysshih uchebnyh zavedenij. Geodeziya i aerofotos»emka. - 2005. - №3. - S. 85-91.
12. Ozherel'eva T.A. Metamodelirovanie v informacionnom pole - Saarbruken. - 2020. - 109 s.
13. Tsvetkov, V.Ya. Metamodelling in the information field / Tsvetkov V.Ya., Shaitura S.V., Minitaeva A.M., Feoktistova V.M., Kozhaev Yu.P., Belyu L.P. // Amazonia Investiga. - 2020. - T. 9. - № 25. - S. 395-402.
14. IvannikovA.D. Problema informacionnyh yazykov i sovremennoe sostoyanie informatiki // Vestnik MGTU MIREA. - 2014. - № 4(5). - S. 39-62.
15. ChekharinE.E. Interpretaciya v informacionnom pole // Slavyanskij forum. - 2018. - № 2(20). - S. 110-117.
16. Ozherel'eva T.A. Ob otnoshenii ponyatij informacionnoe prostranstvo, informacionnoe pole, informacionnaya sreda i semanticheskoe okruzhenie // Mezhdunarodnyj zhurnal prikladnyh i fundamental'nyh issledovanij. - 2014. - № 10. - S. 21-24.
