Атрибуция текстов, как обобщенная задача идентификации и прогнозирования

Луценко Евгений Вениаминович

АТРИБУЦИЯ ТЕКСТОВ, КАК ОБОБЩЕННАЯ ЗАДАЧА ИДЕНТИФИКАЦИИ И ПРОГНОЗИРОВАНИЯ

Луценко Е.В., к.т.н.

Кубанский государственный аграрный университет

Вербальные описания объектов реальности на естественном языке рассматриваются в статье как их иерархические лингвистические модели. Предлагается методика и автоматизированная технология, основанная на применении универсальной когнитивной аналитической системы "Эй-дос", обеспечивающие: автоматизированную формализацию предметной области на основе вербального описания ее объектов, автоматизированное формирование описательных шкал и градаций, а также обучающей выборки, синтез семантической информационной модели, ее оптимизацию, проверку адекватности и анализ. Предлагаемые технологии обеспечивают значительную экономию труда и времени по сравнению с традиционным подходом.

Рассмотрим классическую тестовую задачу для систем искусственного интеллекта, предложенную Рышардом Михальски и Джеймсом Ларсоном и подробно описанную на страницах 205-208 в книге Д.Мичи и Р. Джонстона "Компьютер - творец" [1].

Суть этой задачи сводится к тому, чтобы выработать правила, обеспечивающие идентификацию железнодорожных составов и прогнозирование направления их следования на основе их формализованных или вербальных описаний.

Выбор данной задачи не накладывает ограничений на выводы, полученные в результате ее исследования. Это обусловлено тем, что она имеет ряд характерных особенностей, наблюдающихся в подобных задачах в самых различных предметных областях, т.е. по сути данная задача с полным основанием может рассматриваться как типовая для широкого класса задач идентификации и прогнозирования.

Эти особенности состоят в следующем:

1. Имеется ряд объектов, имеющих сложную многоуровневую структуру признаков.

2. Для каждого из этих объектов известно, к каким обобщенным категориям (классам) он относится.

3. Необходимо сформировать модель, обеспечивающую как идентификацию объектов, так и определение их принадлежности к обобщенным классам.

Если признаки и классы относятся к одному времени, то имеет место задача идентификации (распознавания). Если же признаки (факторы, причины) относятся к прошлому, а классы, характеризующие состояния объ-

ектов - к будущему, то это задача прогнозирования. Математически эти задачи не отличаются.

Существуют различные подходы к решению данной задачи различаются способами формализации предметной области, объектов обучающей выборки и синтеза математической модели.

В данной статье мы рассмотрим два основных подхода:

1. "Классический", т.е. основанный на изучении объектов предметной области экспертами (когнитивный анализ), выделении признаков объектов и формирования описательных шкал и градаций, в которых шкалам и градациям соответствуют уникальные коды.

2. "Лингвистический", в котором вербальные описания объектов предметной области на естественном языке используются для автоматизированной формализации предметной области, формирования обучающей выборки и синтеза модели.

Кратко рассмотрим реализацию обоих этих подходов в интеллектуальной технологии "Эйдос" [1]. Исходные данные к задаче представлены в графической форме (рисунок 1).

1. Составы, следующие на восток

2. Составы, следующие на запад

Рисунок 1. Примеры поездов, идущих на запад и на восток.

Железнодорожный состав является сложным объектом, имеющим несколько иерархических уровней и допускающим, соответственно, не-

сколько уровней описания. Некоторые из этих уровней представлены в таблице 1:

Таблица 1 - УРОВНИ ОПИСАНИЯ ЖЕЛЕЗНОДОРОЖНЫХ СОСТАВОВ

№ Уровень описания Шкала Градация

На уровне направле- Направление движе- Запад

1. ния движения соста- Восток

ва Іііііі V1/ V ж її 13її•

Количество вагонов 2

3

в составе

4

2. На уровне поезда: Типы вагонов с грузами Закодировать все варианты

Порядок вагонов в составе: код 1-го вагона, код 2-го вагона и т.д.

У-образная

Прямоугольная

Форма вагона Ромбовидная

и-образная

Эллипсоидная

Длина вагона Короткий

Длинный

Количество осей 2

вагона 3

Вид стенок вагона Одинарные

Двойные

Отсутствует

На уровне Вид крыши Гофрированная

3. Двухскатная

признаков вагонов и грузов Прямая (эллипсоидная)

1 большой круг

2 маленьких круга

3 маленьких круга

1 квадрат

3 квадрата

Вид и количество груза: 1 короткий прямоугольник

2 коротких прямоугольника

1 длинный прямоугольник

1 треугольник

1 перевернутый треугольник

1 ромб

1 шестиугольник

Груз отсутствует

Можно, например, описывать составы с использованием шкал только 2-го уровня или только 3-го уровня. Возможны и смешанные варианты.

1-й вариант соответствует гипотезе, что на запад или восток идут не составы, а отдельные вагоны (отличающиеся типом и грузом), а состав идет туда же, куда и большинство вагонов.

2-й вариант соответствует гипотезе, что составы как бы не состоят из различных вагонов с различными грузами, а свойства вагонов и грузов являются свойствами непосредственно состава.

Необходимо отметить, что сравнительно небольшое количество признаков вагонов обеспечивает огромное количество различных типов вагонов, из которых реально в приведенных составах встречается лишь незначительная часть. Очевидно, существует еще большее количество вариантов сочетаний различных типов вагонов с различными грузами, следования их друг за другом и т. п..

Из этого следует по крайней мере два основных вывода:

1. Составить исчерпывающий справочник для описания состава на 2м уровне, в котором бы указывались все варианты сочетаний различных типов вагонов с различными грузами на практике довольно трудоемко и вряд ли нецелесообразно (из-за его огромной размерности).

2. Реально встречающиеся в составах сочетания типов вагонов и видов грузов практически все будут являться уникальными, что обеспечит однозначную идентификацию составов, если их описывать только на 2-м уровне. Это превращает задачу в тривиальную. Поэтому будем рассматривать описание составов на 3-м уровне с элементами 2-го.

Вербальные описания железнодорожных составов практически на естественном языке являются их лингвистическими моделями, которые могут обрабатываться в системе "Эйдос". При этом в справочники будут заноситься, причем автоматически, только реально встретившиеся признаки составов.

Задача 1.

1. Формализовать задачу, создав классификационные и описательные шкалы с использованием таблицы 1 и обучающую выборку на основе рисунка 1.

2. Осуществить синтез и верификацию модели.

3. Провести анализ модели, сформулировав правила для прогнозирования направления движения составов (в режиме: "Типология", "Информационные портреты классов").

4. Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи.

5. Сравнить составы по степени "типичности" для своих кластеров ("Идущие на запад", "Идущие на восток"). Вывести в графической форме семантические сети составов, построить классические когнитивные карты для составов идущих на запад и на восток.

Задача 2

1. Создать стандартизированные с использованием таблицы 1 текстовые описания составов в виде отдельных файлов стандарта DOS-текст с концами строк, записать их в поддиректорию DOB в виде: ####-zap.txt и ####-vos.txt.

2. Сгенерировать классификационные и описательные шкалы в режиме: "Автоввод первичных признаков и TXT-файлов", "Признаки - слова".

3. Сгенерировать обучающую выборку с использованием режима: "Ввод-корректировка обучающей выборки", "F7 InpTXT", "F6 Ввод из всех файлов". Дополнить анкеты, соответствующие составам, кодами принадлежности к обобщенным образам классов: "Идущие на запад", "Идущие на восток".

4. Осуществить синтез и верификацию модели.

5. Провести анализ модели, сформулировав правила для прогнозирования направления движения составов (в режиме: "Типология", "Информационные портеры классов").

6. Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи.

7. Сравнить составы по степени "типичности" для своих кластеров ("Идущие на запад", "Идущие на восток"). Вывести в графической форме семантические сети составов, построить классические когнитивные карты для составов идущих на запад и на восток.

Пример решения задачи 1 Пример решения задания 2.1: "Формализовать задачу, создав классификационные и описательные шкалы и обучающую выборку"

Для этих целей используем таблицу 1 и рисунок 1. В результате получим таблицы 2 и 3:

Таблица 2 - КЛАССИФИКАЦИОННЫЕ И ОПИСАТЕЛЬНЫЕ

ШКАЛЫ И ГРАДАЦИИ

Код

класса

а и м е н о в а н и е класса распознавания

| | 1 Состав следует на ВОСТОК...|

| 2 Состав следует на ЗАПАД....|

| 3 Состав-01

| 4 Состав-02

| 5 Состав-03

| 6 Состав-04

| 7 Состав-05

| 8 Состав-06

| 9 Состав-07

| 10 Состав-08

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

| 11 Состав-09

| 12 Состав-10

| Код | Н а и м е н о в а н и е |

ПРИЗНАКИ

1]

1

2

3

2]

4

5

6

7

8

3]

9

10

КОЛИЧЕСТВО ВАГОНОВ В СОСТАВЕ|

2

3

4

ФОРМА ВАГОНА: V-образная Прямоугольная Ромбовидная U-образная Эллипсоидная

ДЛИНА ВАГОНА:

Короткий

Длинный

|[ 4] |КОЛИЧЕСТВО ОСЕЙ ВАГОНА: | | 19 |1 большой круг

| 11 |2 | | 20 |2 маленьких круга

| 12 |3 | | 21 |3 маленьких круга

| | 22 |1 квадрат

|[ 5] |ВИД СТЕНОК ВАГОНА: | | 23 |3 квадрата

| 13 |Одинарные | | 24 |1 короткий прямоугольник

| 14 |Двойные | | 25 |2 коротких прямоугольника

| 26 |1 длинный прямоугольник

|[ 6] |ВИД КРЫШИ ВАГОНА: | | 27 |1 треугольник

| 15 |Отсутствует | | 28 |1 перевернутый треугольник

| 16 |Гофрированная | | 29 |1 ромб

| 17 |Двухскатная | | 30 |1 шестиугольник

| 18 |Прямая (эллипсоидная) | | 31 | Груза нет

|[ 7]|ГРУЗ (КОЛИЧЕСТВО И ВИД): |

Таблица 3 - ОБУЧАЮЩАЯ ВЫБОРКА

№ Наименование состава Коды классов Коды признаков

1 Состав-1 1 3 3 5 5 5 5 9 9 10 10 11 11

11 12 13 13 13 13 15 15 15 17 19

29 27 23

2 Состав-2 1 4 2 5 4 7 9 9 9 2 2 2 13

13 13 15 15 18 20 24 27

3 Состав-3 1 5 2 5 6 5 10 9 9 12 11 11 13

13 13 18 18 15 28 27 19

4 Состав-4 1 6 3 5 8 5 4 9 9 9 9 13 13

13 14 15 15 15 18 22 29 27 27 11

11 11 11

5 Состав-5 1 7 2 5 5 5 9 9 10 11 11 12 13

13 14 18 18 15 19 26 27

6 Состав-6 2 8 1 5 5 9 10 11 11 13 13 15 18

27 21

7 Состав-7 2 9 2 5 5 7 10 9 9 11 11 11 13

13 14 16 15 15 31 27 19

8 Состав-8 2 10 1 7 5 9 10 11 12 19 26 15 18

13 13

9 Состав-9 2 11 3 4 4 5 5 9 9 9 10 11 11

11 11 13 13 13 13 15 15 15 16 19

24 26 19

10 Состав-10 2 12 1 5 7 9 10 11 11 13 13 15 15

25 24

Пример решения задачи 2 Пример решения задания 2.1: "Создать стандартизированные текстовые описания составов в виде отдельных файлов стандарта DOS-текст"

Создать стандартизированные с использованием таблицы 1 текстовые описания составов в виде отдельных файлов стандарта DOS-текст с концами строк, записать их в поддиректорию DOB в виде: ####-zap.txt и ####-vos.txt, где #### - номер анкеты (состава) в виде 0001, 0002 и т.д., а остальные символы произвольные, но выбираются таким образом, чтобы отражать содержание анкеты.

0001-vos.txt

Кол-во_вагонов=4

форма_вагона_прямоугольная

длина_вагона_короткий

длина_вагона_длинный

N_осей_вагона=2

N_осей_вагона=3

стенки_вагона_одинарные

крыша_вагона_отсутствует

крыша_вагона_двухскатная

груз_1_большой_круг

груз_1_шестиугольник

груз_1_треугольник

груз_3_квадрата

0002-VOS.TXT

Кол-во_вагонов=3

форма_вагона_прямоугольная

форма_вагона_У-образная

форма_вагона_^образная

длина_вагона_короткий

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

N_осей_вагона=2

стенки_вагона_одинарные

крыша_вагона_отсутствует

крыша_вагона_прямая

груз_2_маленьких_круга

груз_1_короткий_прямоугольник

груз_1_треугольник

0003-vos.txt

Кол-во_вагонов=3

форма_вагона_прямоугольная

форма_вагона_ромбовидная

длина_вагона_длинный

длина_вагона_короткий

N_осей_вагона=3

N_осей_вагона=2

стенки_вагона_одинарные

стенки вагона одинарные

стенки_вагона_одинарные

крыша_вагона_отсутствует

крыша_вагона_прямая

груз_1_большой_круг

груз_1_треугольник

груз_1_перевернутый_треугольник

0004-VOS.TXT

Кол-во_вагонов=4

форма_вагона_прямоугольная

форма_вагона_эллипсоидная

форма_вагона_У-образная

длина_вагона_короткий

N_осей_вагона=2

стенки_вагона_одинарные

стенки_вагона_двойные

крыша_вагона_отсутствует

крыша_вагона_прямая

груз_1_квадрат

груз_1_треугольник

груз_1_ромб

0005-VOS.TXT

Кол-во_вагонов=3

форма_вагона_прямоугольная

длина_вагона_короткий

длина_вагона_длинный

N_осей_вагона=3

N_осей_вагона=2

стенки_вагона_одинарные

стенки_вагона_двойные

крыша_вагона_отсутствует

крыша_вагона_прямая

груз_1_большой_круг

груз_1_треугольник

груз_1_длинный_прямоугольник

0006-ZAP.TXT

Кол-во_вагонов=2 форма_вагона_прямоугольная форма_вагона_прямоугольная длина_вагона_короткий длина вагона длинный

Ы_осей_вагона=2

стенки_вагона_одинарные

крыша_вагона_отсутствует

крыша_вагона_прямая

груз_3_маленьких_круга

груз_1_треугольник

0007-ZAP.TXT

Кол-во_вагонов=3

форма_вагона_прямоугольная

форма_вагона_и-образная

длина_вагона_короткий

длина_вагона_длинный

Ы_осей_вагона=2

стенки_вагона_одинарные

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

стенки_вагона_одинарные

стенки_вагона_двойные

крыша_вагона_отсутствует

крыша_вагона_гофрированная

груза_нет

груз_1_большой_круг

груз_1_треугольник

0008-ZAP.TXT

Кол-во_вагонов=2

форма_вагона_прямоугольная

форма_вагона_и-образная

длина_вагона_короткий

длина_вагона_длинный

Ы_осей_вагона=2

Ы_осей_вагона=3

стенки_вагона_одинарные

крыша_вагона_отсутствует

крыша_вагона_прямая

груз_1_большой_круг

груз_1_длинный_прямоугольник

0009-ZAP.TXT

Кол-во_вагонов=4

форма_вагона_прямоугольная

форма_вагона_У-образная

длина_вагона_короткий

длина_вагона_длинный

Ы_осей_вагона=2

стенки_вагона_одинарные

крыша_вагона_отсутствует

крыша_вагона_гофрированная

груз_1_большой_круг

груз_1_длинный_прямоугольник

груз_1_короткий_прямоугольник

0010-ZAP.TXT

Кол-во_вагонов=2

форма_вагона_прямоугольная

форма_вагона_и-образная

длина_вагона_короткий

длина_вагона_длинный

Ы_осей_вагона=2

стенки_вагона_одинарные

крыша_вагона_отсутствует

груз_1_короткий_прямоугольник

груз_2_коротких_прямоугольника

Пример решения задания 2.2: "Сгенерировать классификационные и описательные шкалы"

Для этого используем режим: 'Т1 Словари - Автоввод первичных признаков и ТХТ-файлов - Б3 Признаки - слова".

Классы во втором задании те же самые, что и в первом. Признаки выглядят несколько иначе, т.к. формируются автоматически из текстовых описаний составов, но по сути они также те же самые (таблица 4):

Таблица 4 - КЛАССИФИКАЦИОННЫЕ И ОПИСАТЕЛЬНЫЕ

ШКАЛЫ И ГРАДАЦИИ

КЛАССЫ |===================================|

================================ | 1 | Состав следует на ВОСТОК |

| Код | Н а и м е н о в а н и е |

|класса| класса распознавания |

| 2 | Состав следует на ЗАПАД |

| 3 | Состав-01 |

4 Состав-02

5 Состав-03

6 Состав-04

7 Состав-05

8 Состав-06

9 Состав-07

10 Состав-08

11 Состав-09

12 Состав-10

ПРИЗНАКИ

1|К_осей_вагона=2

2|К_осей_вагона=3

Пример решения задания 2.3: "Сгенерировать обучающую выборку"

Используем режим: 'Т2 Обучение - Ввод-корректировка обучающей выборки - Б7 1прТХТ - Бб Ввод из всех файлов". Затем необходимо дополнить анкеты, соответствующие составам, кодами принадлежности к обобщенным образам классов: "Идущие на запад", "Идущие на восток". Обучающая выборка будет иметь вид, представленный в таблице 7:

Таблица 5 - ОБУЧАЮЩАЯ ВЫБОРКА

№ Наименование состава Коды клас- сов Коды признаков

1 Состав-1 1 3 5 29 29 29 29 20 20 19 19 1 1

1 2 26 26 26 26 23 23 23 22 6

13 12 16

2 Состав-2 1 4 4 29 28 27 20 20 20 1 1 1 26

26 26 23 23 24 15 9 12

3 Состав-3 1 5 4 29 29 30 19 20 20 2 1 1 26

26 26 23 24 24 6 12 10

4 Состав-4 1 6 5 29 29 31 28 20 20 20 20 1 1

1 1 26 26 26 25 23 23 23 24 8

12 12 11

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

5 Состав-5 1 7 4 29 29 29 20 20 19 2 1 1 26

26 25 23 24 24 6 12 7 0 0 0

6 Состав-6 2 8 3 29 29 20 19 1 1 26 26 23 24

17 12

7 Состав-7 2 9 4 29 29 27 20 20 19 1 1 1 26

26 25 23 23 21 18 6 12

8 Состав-8 2 10 3 29 27 20 19 1 2 26 26 23 24

6 7

9 Состав-9 2 11 5 29 29 28 28 20 20 20 19 1 1

1 1 26 26 26 26 23 23 23 21 6

6 7 9

10 Состав-10 2 12 3 29 27 20 19 1 1 26 26 23 23

9 14

Этапы синтеза модели, ее оптимизации, проверки адекватности и анализа подробно описаны в работах [2, 3], поэтому в данной статье мы приведем лишь их результаты.

Пример решения задания 2.4: "Осуществить синтез и верификацию семантической информационной модели"

Основная матрица семантической информационной модели приведена в таблице б:

Таблица 6 - МАТРИЦА ИНФОРМАТИВНОСТЕЙ

Атр Коды классов Сум. Ср. Отк.

1 2 3 4 5 6 7 8 9 10 11 12

1 -0,03 0,03 -0,08 0,09 -0,16 0,09 -0,16 0,07 0,09 -0,35 0,09 0,07 -0,23 -0,02 0,14

2 0,17 -0,34 0,39 0,55 0,55 0,78 2,11 0,18 0,32

3 0,5 0,96 0,96 0,96 3,37 0,28 0,43

4 0,17 -0,34 0,55 0,55 0,55 0,55 2,05 0,17 0,30

5 0,1 -0,16 0,56 0,56 0,56 1,62 0,14 0,26

6 -0,16 0,16 0,05 0,22 0,22 0,22 0,44 0,47 1,60 0,13 0,19

7 -0,32 0,26 0,73 0,96 0,56 2,18 0,18 0,37

8 0,35 1,22 1,57 0,13 0,36

9 -0,32 0,26 0,73 0,56 0,96 2,18 0,18 0,37

10 0,35 1,39 1,74 0,14 0,40

11 0,35 0 1,22 1,57 0,13 0,36

12 0,17 -0,34 -0,03 0,13 0,13 0,39 0,13 0,36 0,13 1,09 0,09 0,19

13 0,35 1,22 1,57 0,13 0,36

14 0,5 1,62 2,12 0,18 0,48

15 0,35 1,39 1,74 0,14 0,40

16 0,35 1,22 1,57 0,13 0,36

17 0,5 1,62 2,12 0,18 0,48

18 0,5 0 1,39 1,89 0,16 0,41

19 -0,14 0,15 0,32 0,06 0,06 0,29 0,06 0,29 -0,1 0,29 1,29 0,11 0,16

20 0,06 -0,08 -0,2 0,22 -0,03 0,22 -0,03 -0,22 -0,03 -0,22 0,05 -0,22 -0,48 -0,04 0,16

21 0,5 0,97 0,81 2,28 0,19 0,36

22 0,35 1,22 1,57 0,13 0,36

23 -0,04 0,05 0,11 0,03 -0,39 0,11 -0,39 -0,16 0,03 -0,16 0,11 0,26 -0,43 -0,04 0,20

24 0,17 -0,34 0,13 0,55 -0,03 0,55 0,36 0,36 1,77 0,15 0,27

25 0,1 -0,16 0,56 0,73 0,73 1,95 0,16 0,31

26 -0,01 0,01 0,07 0,06 0,06 -0,1 -0,18 0,05 -0,18 0,05 0,07 0,05 -0,05 0,00 0,10

27 -0,49 0,33 0,55 0,55 0,78 0,78 2,51 0,21 0,39

28 -0,07 0,08 0,55 0,39 0,81 0 1,76 0,15 0,28

29 0,04 -0,05 0,25 -0,42 -0,17 0,24 0,23 -0,19 -0,17 -0,19 -0,42 -0,03 0,21

30 0,35 1,39 1,74 0,14 0,40

31 0,35 1,22 1,57 0,13 0,36

Сум. 2,53 2,01 5,12 4,02 4,34 5,70 3,01 3,56 4,51 3,71 3,82 4,58 46,91

Ср. 0,08 0,06 0,17 0,13 0,14 0,18 0,10 0,12 0,15 0,12 0,12 0,15 0,13

Отк. 0,22 0,25 0,38 0,32 0,38 0,39 0,26 0,35 0,34 0,33 0,26 0,39 0,33

Пример решения задания 2.5 "Провести анализ модели, сформулировав правила для прогнозирования направления движения составов"

В подсистеме: "Типология", "Информационные портеры классов" системы "Эйдос" получаем следующие информационные портреты классов (таблицы 7 и 8):

ТАБЛИЦА 7 - ИНФОРМАЦИОННЫЙ ПОРТРЕТ КЛАССА РАСПОЗНАВАНИЯ: Код: 1 Наименование: Состав следует на ВОСТОК

08-11-04 18:48:42 Фильтр: All, Positive г.Краснодар

I | нака | і | Бит. | % | %% | I

і | 1 8 груз 1 квадрат . 0.347 9.67 | 9.7 |

| 2 10 груз 1 перевернутый треугольник 0.347 9.67 19.3 |

| 3 11 груз 1 ромб . 0.347 9.67 29.0 |

| 4 13 груз 1 шестиугольник . 0.347 9.67 38.7 |

| 5 15 груз 2 маленьких круга . 0.347 9.67 48.4 |

| 6 16 груз 3 квадрата . 0.347 9.67 58.0 |

| 7 22 крыша вагона двухскатная . 0.347 9.67 67.7 |

| 8 30 форма вагона ромбовидная . 0.347 9.67 77.4 |

| 9 31 форма вагона эллипсоидная . 0.347 9.67 87.0 |

| 10 2 N осей вагона=3 . 0.173 4.82 91.8 |

| 11 4 Кол-во вагонов=3 . 0.173 4.82 96.7 |

| 12 12 груз 1 треугольник . 0.173 4.82 101.5 |

| 13 24 крыша вагона прямая . 0.173 4.82 106.3 |

| 14 5 Кол-во вагонов=4 . 0.102 2.84 109.2 |

| 15 25 стенки вагона двойные . 0.102 2.84 112.0 |

| 16 20 длина вагона короткий . 0.057 1.59 113.6 |

| 17 29 форма вагона прямоугольная.... . 0.038 1.07 114.7 |

|~~~— | 18 26 стенки вагона одинарные .-0.008 -0.23 114.9 |

| 19 1 N осей вагона=2 .-0.027 -0.75 115.6 |

| 20 23 крыша вагона отсутствует .-0.041 -1.14 116.8 |

| 21 28 форма вагона У-образная .-0.072 -2.00 118.8 |

| 22 19 длина вагона длинный .-0.143 -3.99 122.8 |

| 23 6 груз 1 большой круг .-0.165 -4.60 127.4 |

| 24 7 груз 1 длинный прямоугольник.. .-0.316 -8.83 136.2 |

| 25 9 груз 1 короткий прямоугольник. .-0.316 -8.83 145.0 |

| 26 27 форма вагона и-образная .-0.490 -13.67 158.7 |

Универсальная когнитивная аналитическая система НПП *ЭЙДОС*

ТАБЛИЦА 8 - ВЛИЯНИЕ ПРИЗНАКОВ НА РЕЗУЛЬТАТ ПРОГНОЗИРОВАНИЯ:

_________"НАПРАВЛЕНИЕ СЛЕДОВАНИЯ - НА ЗАПАД"_______________

ИНФОРМАЦИОННЫМ ПОРТРЕТ КЛАССА РАСПОЗНАВАНИЯ:

Код: 2 Наименование: Состав следует на ЗАПАД

08-11-04 18:49:04 Фильтр: All, Positive г.Краснодар

|нака| | Бит. | % | %%

1 3 Кол-во вагонов=2 0.500 13.94 13.9

2 14 груз 2 коротких прямоугольника 0.500 13.94 27.9

3 17 груз 3 маленьких круга 0.500 13.94 41.8

4 18 груза нет 0.500 13.94 55.8

5 21 крыша вагона гофрированная.... 0.500 13.94 69.7

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

| 6 27 форма вагона и-образная 0.326 9.10 78.8 I

I 7 7 груз 1 длинный прямоугольник.. 0.255 7.12 85.9 I

I 8 9 груз 1 короткий прямоугольник. 0.255 7.12 93.0 I

I 9 6 груз 1 большой круг 0.162 4.52 97.6 I

I 10 19 длина вагона длинный 0.145 4.05 101.6 I

I 11 28 форма вагона У-образная 0.082 2.27 103.9 I

I 12 23 крыша вагона отсутствует 0.049 1.36 105.2 I

I 13 1 N осей вагона=2 0.033 0.93 106.2 I

I 14 26 стенки вагона одинарные 0.010 0.29 106.5 I

I 15 29 форма вагона прямоугольная.... -0.053 -1.48 107.9 I

I 16 20 длина вагона короткий -0.083 -2.30 110.2 I

I 17 5 Кол-во вагонов=4 -0.163 -4.55 114.8 I

I 18 25 стенки вагона двойные -0.163 -4.55 119.3 I

I 19 2 N осей вагона=3 -0.337 -9.40 128.7 I

I 20 4 Кол-во вагонов=3 -0.337 -9.40 138.1 I

I 21 12 груз 1 треугольник -0.337 -9.40 147.5 I

I 22 24 крыша вагона прямая -0.337 -9.40 156.9 I

Универсальная когнитивная аналитическая система НПП *ЭЙДОС*

Пример решения задания 2.6: "Оценить ценность признаков для прогнозирования. Выделить признаки, наиболее существенные для решения поставленной задачи"

В подсистеме "Оптимизация" режиме " режиме "Исключение признаков с низкой селективной силой" получаем перечень признаков, ранжированных в порядке убывания среднего количества информации о направлении следования состава (таблица 9).

Таблица 9 - ПРИЗНАКИ В ПОРЯДКЕ УБЫВАНИЯ СЕЛЕКТИВНОЙ СИЛЫ

08-11- 04 18:49:35 г. Краснодар

I N° I Код Н а м е н о в а н и е 1 Ценн.I Сумма Сумма I

I п/п I п. пр. | п р и з н а к о в Бит I Бит % I

I 11 14 |груз 2 коротких прямоугольника. 0.476|0.476 4.888|

I 21 17 |груз 3 маленьких круга 0 . 476I0.953 9.776|

I 3! 3 |Кол-во вагонов=2 0.431I1.384 14.201|

I 4 I 18 |груза нет 0.414 I!.798 18.448|

I 51 10 |груз 1 перевернутый треугольник 0.405|2.202 22.599|

I 6| 15 |груз 2 маленьких круга 0.405I2.607 26.750|

I 71 30 |форма вагона ромбовидная 0.405I3.011 30.901|

I 81 27 |форма вагона и-образная 0.388|3.399 34.885|

I 91 7 |груз 1 длинный прямоугольник... 0.372I3.772 38.705|

I 101 9 |груз 1 короткий прямоугольник.. 0.372I4.144 42.526|

I 111 8 |груз 1 квадрат 0.358I4.502 46.203|

I 12 I 11 |груз 1 ромб 0.358|4.861 49.881|

I 131 13 |груз 1 шестиугольник 0.358I5.219 53.559|

I 14 I 16 |груз 3 квадрата 0.358I5.577 57.236|

I 151 22 |крыша вагона двухскатная 0.358I5.936 60.914|

| 16| 31 |форма вагона эллипсоидная.. . . . I0.358 6.294I 64.591I

I 171 21 |крыша вагона гофрированная. . . . I 0.358 6.652I 68.266I

I 181 2 |N осей вагона=3 . . . I 0 . 323 6.975I 71.577I

I 191 25 |стенки вагона двойные . . . I 0.315 01 9 2 6. 74.807I

I 201 4 |Кол-во вагонов=3 ...I0.304 7.594I 77.927I

I 211 28 |форма вагона У-образная.... ...I0.280 7.873I 80.797I

I 22 I 24 |крыша вагона прямая 6 6 2 0. 8.139I 83.523I

I 231 5 |Кол-во вагонов=4 ...I0.263 8.402 I 86.224I

I 24 I 29 |форма вагона прямоугольная. ...I0.206 8.608I 88.340I

I 251 23 |крыша вагона отсутствует... 1 0 2 0. 8.809I 90.403I

I 2 6 I 12 |груз 1 треугольник ...I0.191 9.000I 92.358I

I 271 6 |груз 1 большой круг ...I0.190 9.190I 94.307I

I 281 19 |длина вагона длинный ...I0.160 9.350I 95.954I

I 2 9 I 20 |длина вагона короткий ...I0.158 9.508I 97.573I

I 301 1 |N осей вагона=2 . . . I0.141 9.649I 99.015I

I 311 26 |стенки вагона одинарные .... I0.096 9.745I 100.000I

Универсальная когнитивная аналитическая система НПП *ЭЙДОС*

Накопительная диаграмма селективной силы (Парето-диаграмма) приведена на рисунке 2.

Copy Right (c) Scientific ft industrial enterprise AIDOS, Russia, 1981-2001. Russian Patent No 940217. All Rights Reserued.

nj

i

и

К

nj

I

ta

i

h

Ї

HI

и

0.0 3.0 6.0 Э.О 12.0 15.0 18.0 21.0 24.0 27.0 30.0

Признаки б поря дке убывания селективном силы

Рисунок 2. Парето-диаграмма ценности признаков для решения задач ___________идентификации, прогнозирования и управления____________

Пример решения задания 2.7: "Сравнить составы по степени "типичности" для своих кластеров ("Идущие на запад", "Идущие на восток"). Вывести в графической форме семантические сети составов. Построить классические когнитивные карты для составов идущих на запад и на восток"

Сравним составы по степени "типичности" для своих кластеров ("Идущие на запад", "Идущие на восток"). В подсистеме "Типология" режиме "Типологический анализ классов распознавания - Кластерный и конструктивный анализ - просмотр и печать кластеров и конструктов" выводим конструкт: "Идущие на запад" и "Идущие на восток" (рисунки 3 и 4).

а • ИА5Р _|я(х

1 Авто □ Ща щ кч ЖІ@ АІ

Универсальная когнитивная аналитическая система 12:47 (с) НПП «ЗЙДОС» 1

1СловариР20бичениеР30птимизацияР4РаспознаваниеР5ТипологияР6ПнализР7Сервис|

Типологическим анапиз классов распознавания Типологический анапиз первичных ПРИЗНАКОВ

Информационные (ранговые) портреты [Кластерный и конструктивный анапиз Когнитивные диаграммы классов

Расчет матрицы сходства эталонов классов Генерация кластеров и конструктов классов [Просмотр и печать кластеров и конструктов Автоматическое выполнение: [1]-[2]-[31 Вывод 2(1 - семантических сетей классов

Рисунок 3. Подсистема "Типология", режим "Типологический анализ классов распознавания - Кластерный и конструктивный анализ - про______________смотр и печать кластеров и конструктов"____________

м5 а • ИА5Р -|я|х

| Авто □ За а вз | ЖІ0 А\

Универсальная когнитивная аналитическая система. 12:53 (с) НПП -ЭЙП0С-

Типология объектов (классов распознавания). Кластерно-конструктивный анализ.

Состав следует на ВОСТОК

157/ 2 Т

Ур. № Ур. Код К

кл. клас Нерп класса Наименование класса сходст 1

0 0 0 0 п пп 1

и. ии I

1 1 0| Состав следует на ВОСТОК 100.009

110 6 Состав-04 36.65 1

110 3 Состав-01 35.70 1

110 5 Состав-03 34-. 48 1

110 7 Состав-05 -6.13 1

110 8 Состав-06 -8.84 1

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

110 и Состав-02 -11.64 1

110 9 Состав-07 —21 60І

110 10 Состав-08 -40.98Я

110 11 Состав-09 -42.00 1

110 12 Состав-10 -42.82В

110 2 Состав следует на ЗЯПЯД -47.63І

Р1ПомощьР2Удап.ировнейРЗПечатьР4ПоискР52Н-диагр.Р8Генерация классов по кластера!

Рисунок 4. Конструкт: "Идущие на запад" и "Идущие на восток"

Из рисунка 4 видно, что:

- составы 4-й, 1-й и 3-й являются типичными для "Идущих на восток", а 5-й и особенно 2-й - нетипичными;

- составы 10-й, 9-й и 8-й являются типичными для "Идущих на запад", а 7-й и особенно 6-й - нетипичными.

Выведем в графической форме семантические сети составов.

Семантические сети классов отображают результаты кластерноконструктивного анализа в графической форме. Для этого используется режим: "Вывод 2ё-семантических сетей классов" (рисунок 3). Результат приведен на рисунке 5.

CopuRight (с) Scientific fi industrial enterprise AIDOS, Russia, 1981-2001. Russian Patent No 940217. All Ttights Reserued.

2D - СЕМАНТИЧЕСКАЯ СЕТЬ КЛАССОВ

Состав сґієзуєт на ЗЙПнА

Состав-02

Состав 01 Сі

Состав -ем

Состав -07

5£) Состав-09

Состав-98

Состав сґієзуєт на ВОСТОК

Отношения схойстба:

различия:

Сила с&язи - толщина линии

Рисунок 5. Семантическая сеть классов

Построим классические когнитивные карты для составов идущих на запад и на восток". В Системе "Эйдос" классическая когнитивная карта строится из двух графических диаграмм:

1. Неклассического нейрона (подсистема "Анализ", режим "Графическое отображение нелокальных нейронов", рисунок 6);

2. Семантической сети признаков (подсистема "Типология", режим "Кластерный и конструктивный анализ признаков - вывод 2ё-семантических сетей признаков", рисунок 7).

Оценка ДОСТОВЕРНОСТИ заполнения анкет Измерение ВАЛИДНОСТИ информационной модели Измерение НЕЗАВИСИМОСТИ объектов и признаков [Просмотр ПРОФИПЕЙ классов и признаков _

¡Графическое отображение нелокальных НЕЙРОНОВ* Отображение Паретто-подмножества НЕЙРОННОЙ СЕТИ

¡Типологический анализ классов распознавания

jTипологический анализ первичных ПРИЗНАКОВ I

Информационные (ранговые) портреты

¡Кластерный и конструктивный анализ! Когнитивные диаграммы признаков

¡Расчет матрицы сходства профилей признаков Генерация кластеров и конструктов признаков Просмотр и печать кластеров и конструктов Автоматическое выполнение: [11 — [21 - [31

Вывод 2с1 - семантических сетей признаков

Рисунок 6. Задание режима отображения нелокальных нейронов

Рисунок 7. Задание режима отображения семантических сетей __________признаков___________

Результаты, т.е. когнитивные карты для составов, идущих на восток и запад приведены на рисунках 8 и 9.

CopyRight (с) Scientific fi industrial enterprise AIDOS, Russia, 1979-Z003. Russian Patent Mo 940217. All Rights Reserued,

2D - МОДЕЛЬ НЕЛОКАЛЬНОГО НЕЙРОНА:

[1] - Состав следует на ВОСТОК

Возбуждение:

связи - толщина линии

CopyRight (с) Scientific S industrial enterprise AIDOS, Russia, 1981-1997. Russian Patent No 94GZ17. All Tlights Reserued.

2D - СЕМАНТИЧЕСКАЯ СЕТЬ ПРИЗНАКОВ

і сходства: ---- различия: | | Сила сбязи -

толщина линии

Рисунок 8. Когнитивная карта для составов, идущих на восток

CopyRight (с) Scientific & industrial enterprise AIDOS, Russia, 1979-Z003. Russian Patent No 940Z17. All Rights Reserued.

2D - МОДЕЛЬ НЕЛОКАЛЬНОГО НЕЙРОНА:

C2] - Состав следует на ЗАПАД

Возбуждение:

сбязи - толщина линии

CopyRight (с) Scientific & industrial enterprise AIDOS, Russia, 1981-1997. Russian Patent No 94GZ17. All Tlights Reserued.

2D - СЕМАНТИЧЕСКАЯ СЕТЬ ПРИЗНАКОВ

і схоЭстба: ---- различия: | |Сила сбязи -

толщина линии

Рисунок 9. Когнитивная карта для составов, идущих на восток

Из рисунков 8 и 9 видно, что классическая когнитивная карта может быть изображена в форме конуса, но для наглядности изображения большого объема информации его вершина и боковая поверхность показана в форме нейрона, а основание - в форме семантической сети.

Выводы

Таким образом, вербальные описания объектов реальности на естественном языке с полным основанием могут рассматриваются как их иерархические лингвистические модели. Вербальные описания объектов реальности на естественном языке рассматриваются в статье как их иерархические лингвистические модели. Предложены методика и автоматизированная технология, основанные на применении универсальной когнитивной аналитической системы "Эйдос", обеспечивающие: автоматизированную формализацию предметной области на основе вербального описания ее объектов, автоматизированное формирование описательных шкал и градаций, а также обучающей выборки, синтез семантической информационной модели, ее оптимизацию, проверку адекватности и анализ. Предлагаемые

технологии обеспечивают значительную экономию труда и времени по сравнению с традиционным подходом.

Литература

1. Мичи Д., Джонстон Р. Компьютер - творец. -М.: Мир, 1987. -251 с.

2. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). -Краснодар: КубГАУ. 2002. - 605 с.

3. Луценко Е.В. Теоретические основы и технология адаптивного семантического анализа в поддержке принятия решений (на примере универсальной автоматизированной системы распознавания образов "ЭЙДОС-5.1"). - Краснодар: КЮИ МВД РФ, 1996. - 280 с.

Атрибуция текстов, как обобщенная задача идентификации и прогнозирования Текст научной статьи по специальности «Компьютерные и информационные науки»

Аннотация научной статьи по компьютерным и информационным наукам, автор научной работы — Луценко Евгений Вениаминович

Похожие темы научных работ по компьютерным и информационным наукам , автор научной работы — Луценко Евгений Вениаминович

Текст научной работы на тему «Атрибуция текстов, как обобщенная задача идентификации и прогнозирования»