CC BY
30
УДК 004.8
05.00.00. Технические науки
АСК-АНАЛИЗ ЭФФЕКТИВНОСТИ РАБОТЫ ПРЕПОДАВАТЕЛЯ АГРАРНОГО ВУЗА НА ОСНОВЕ ДАННЫХ РЕПОЗИТОРИЯ UCI
Луценко Евгений Вениаминович д.э.н., к.т.н., профессор Scopus Author ID: 57191193316 РИНЦ SPIN-код: 9523-7101 prof. lutsenko @gmail. com
Кострома Дмитрий Сергеевич студент группы: ПИ 1301 [email protected]
Кубанский государственный аграрный университет имени И.Т.Трубилина, Краснодар, Россия
Создание систем искусственного интеллекта является одним из важных и перспективных направлений развития современных информационных технологий. Так как существует множество альтернатив систем искусственного интеллекта, то возникает необходимость оценки качества математических моделей этих систем. В данной работе рассмотрено решение задачи идентификации классов уровней оплаты сотрудников фирмы по их характеристикам. Для достижения поставленной цели необходимы свободный доступ к тестовым исходным данным и методика, которая поможет преобразовать эти данные в форму, которая необходима для работы в системе искусственного интеллекта. Удачным выбором является база данных тестовых задач для систем искусственного интеллекта репозитория UCI. В данной работе использована база данных по эффективности преподавания в течение трех регулярных семестров и двух летних семестров 151 ассистентом преподавателя (TA) назначений в департаменте статистики Университета Висконсин-Мэдисон. При этом наиболее достоверной в данном приложении оказались модели INF4. Достоверность модели в соответствии с L-мерой составила 0,809, что заметно выше, чем достоверность экспертных оценок, которая считается равной около 70%. Для оценки достоверности моделей в АСК-анализе и системе «Эйдос» используется F-критерий Ван Ризбергена и ее нечеткое мультиклассовое обобщение, предложенное проф.Е.В. Луценко
Ключевые слова: ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ РАБОТЫ ПРЕПОДАВАТЕЛЯ АГРАРНОГО ВУЗА НА ОСНОВЕ МНОГОКРИТЕРИАЛЬНОГО ПОДХОДА
Doi: 10.21515/1990-4665-124-003
UDC 004.8 Engineering
ASC-ANALYSIS OF THE EFFICIENCY OF WORK OF TEACHERS OF AN AGRARIAN UNIVERSITY ON THE BASIS OF THE UCI REPOSITORY DATA
Lutsenko Eugeny Veniaminovich Dr.Sci.Econ., Cand.Tech.Sci., professor Scopus Author ID: 57191193316 RSCI SPIN-code: 9523-7101 prof. [email protected]
Martirosov Vladimir Garrievich Student groups: PI1301 [email protected]
Kuban State Agrarian University, Krasnodar, Russia
The creation of artificial intelligence systems is one of important and perspective directions of development of modern information technology. As there are many alternatives to artificial intelligence systems, there is a need to evaluate mathematical models of these systems. In this article, we consider a solution of the problem of identifying classes of levels of pay to employees on their characteristics. To achieve this goal it requires free access to test the source data and methodology, which will help to convert the data into the form needed for work in artificial intelligence systems. A good choice is a database of test problems for systems of UCI artificial intelligence repository. In this work we have used data base on teaching effectiveness for three regular semesters and two summer semesters of 151 teaching assistant (TA) assignments at the statistics Department of the University of Wisconsin-Madison. The most reliable in this application was the model of the INF4. The accuracy of the model in accordance with L-measure made up 0,809, which is much higher than the reliability of expert evaluations, which is equal to about 70%. To assess the reliability of the models in the ASC-analysis and in the system of "Eidos" we use F-criterion of van Ritbergen and its fuzzy multiclass generalization proposed by Professor E. V. Lutsenko
Keywords: STUDY OF THE EFFECTIVENESS OF THE WORK OF TEACHERS OF AN AGRARIAN UNIVERSITY ON THE BASIS OF MULTI-CRITERIA APPROACH
СОДЕРЖАНИЕ
ВВЕДЕНИЕ............................................................................................................................................2
1. СИНТЕЗ И ВЕРИФИКАЦИЯ МОДЕЛЕЙ...................................................................................3
1.1. Описание решения.................................................................................................................3
1.2. Преобразование исходных данных из HTML-формата в файл исходных данных MS Excel.........................................................................................................................................................3
1.3. Синтез и верификация статистических и интеллектуальных моделей.............13
1.4. Виды моделей системы «Эйдос»..................................................................................... 15
1.5. Результаты верификации моделей................................................................................. 17
2. РЕШЕНИЕ ЗАДАЧ В НАИБОЛЕЕ ДОСТОВЕРНОЙ МОДЕЛИ..........................................23
2.1. Решение задачи идентификации..................................................................................... 23
2.2. Когнитивные функции.......................................................................................................26
2.3. SWOT и PEST матрицы и диаграммы..............................................................................28
ЗАКЛЮЧЕНИЕ...................................................................................................................................31
ЛИТЕРАТУРА.....................................................................................................................................31
ВВЕДЕНИЕ
Создание систем искусственного интеллекта является одним из важных и перспективных направлений развития современных информационных технологий. Так как существует множество альтернатив систем искусственного интеллекта, то возникает необходимость оценки качества математических моделей этих систем. В работах [1, 2] рассматривалось решение этой задачи для оценки качества модели, реализованной в универсальной автоматизированной системе «Эйдос», представляющей собой программный инструментарий
автоматизированного системно- когнитивного анализа (АСК-анализ) [3, 4]. Для достижения поставленной цели необходимы свободный доступ к тестовым исходным данным и методика, которая поможет преобразовать эти данные в форму, которая необходима для работы в системе искусственного интеллекта. Удачным выбором является база данных
тестовых задач для систем искусственного интеллекта репозитория UCI: http: //archive.ics.uci .edu/ml/datasets .html. «Репозиторий UCI (UCI Machine Learning Repository) — крупнейший репозиторий реальных и модельных задач машинного обучения. Содержит реальные данные по прикладным задачам в области биологии, медицины, физики, техники, социологии, и др. Задачи (наборы данных, data set) именно этого репозитория чаще всего используются научным сообществом для эмпирического анализа алгоритмов машинного обучения. Репозиторий UCI создан в университете г.Ирвин (Калифорния, США).
1. СИНТЕЗ И ВЕРИФИКАЦИЯ МОДЕЛЕЙ
1.1. Описание решения
В соответствии с методологией АСК-анализа решение поставленной задачи проведем в четыре этапа:
1. Преобразование исходных данных из HTML-формата в промежуточные файлы MS Excel.
2. Преобразование исходных данных из промежуточных файлов MS Excel в базы данных системы "Эйдос".
3. Синтез и верификация моделей предметной области.
4. Применение моделей для решения задач идентификации, прогнозирования и исследования предметной области.
1.2. Преобразование исходных данных из HTML-формата в файл исходных данных MS Excel
Из банка исходных данных по задачам искусственного интеллекта -репозитория UCI получаем исходную информацию по базе данных «Teaching Assistant Evaluation Data Set», которую оставим без изменений.
Общее описание задачи:
(файл: «tae.names» по адресу: http://archive.ics.uci.edu/ml/machine-l earn i n g-databases/tae/tae. n ames)
1. Title: Teaching Assistant Evaluation
2. Sources:
(a) Collector: Wei-Yin Loh (Department of Statistics, UW-Madison)
(b) Donor: Tjen-Sien Lim ([email protected]) (b) Date: June 7, 1997
3. Past Usage:
1. Loh, W.-Y. & Shih, Y.-S. (1997). Split Selection Methods for Classification Trees, Statistica Sinica 7: 815-840.
2. Lim, T.-S., Loh, W.-Y. & Shih, Y.-S. (1999). A Comparison of Prediction Accuracy, Complexity, and Training Time of Thirty-three Old and New Classification Algorithms. Machine Learning. Forthcoming.
(ftp://ftp.stat.wisc.edu/pub/loh/treeprogs/quest1.7/mach1317.pdf or (http://www.stat.wisc.edu/~limt/mach1317.pdf)
4. Relevant Information:
The data consist of evaluations of teaching performance over three regular semesters and two summer semesters of 151 teaching
assistant
(TA) assignments at the Statistics Department of the University of Wisconsin-Madison. The scores were divided into 3 roughly equal-
sized
categories ("low", "medium", and "high") to form the class
variable.
5. Number of Instances: 151
6. Number of Attributes: 6 (including the class attribute)
7. Attribute Information:
1. Whether of not the TA is a native English speaker (binary) 1=English speaker, 2=non-English speaker
2. Course instructor (categorical, 25 categories)
3. Course (categorical, 26 categories)
4. Summer or regular semester (binary) 1=Summer, 2=Regular
5. Class size (numerical)
6. Class attribute (categorical) 1=Low, 2=Medium, 3=High
8. Missing Attribute Values: None
Обучающая выборка
На сайте UCI по адресу: http://archive.ics.uci.edu/ml/machine-learning-databases/tae/tae.data представлена обучающая выборка. Фрагмент исходных данных «flare.datal» приведен в таблице 1:
Таблица 1 - tae.data; (фрагмент)
1,23,3,1,19,3
2,15,3,1,17,3
1,23,3,2,49,3
1,5,2,2,33,3
2,7,11,2,55,3
2,23,3,1,20,3
2,9,5,2,19,3
2,10,3,2,27,3
1,22,3,1,58,3
2,15,3,1,20,3
2,10,22,2,9,3
2,13,1,2,30,3
2,18,21,2,29,3
2,6,17,2,39,3
2,6,17,2,42,2
2,6,17,2,43,2
2,7,11,2,10,2
2,22,3,2,46,2
2,13,3,1,10,2
Data Set Information:
The data consist of evaluations of teaching performance over three regular semesters and two summer semesters of 151 teaching assistant (TA) assignments at the Statistics Department of the University of Wisconsin-Madison. The scores were divided into 3 roughly equal-sized categories ("low", "medium", and "high") to form the class variable.
Attribute Information:
1. Whether of not the TA is a native English speaker (binary); 1=English speaker, 2=non-English speaker
2. Course instructor (categorical, 25 categories)
3. Course (categorical, 26 categories)
4. Summer or regular semester (binary) 1=Summer, 2=Regular
5. Class size (numerical)
6. Class attribute (categorical) 1=Low, 2=Medium, 3=High Информация набора данных:
Данные состоят из оценок эффективности преподавания в течение трех регулярных семестров и двух летних семестров 151 ассистентом преподавателя (TA) назначений в департаменте статистики Университета Висконсин-Мэдисон. Счет были разделены на 3 примерно одинакового размера категории ("низкий", "средний" и "высокий"), чтобы сформировать переменную класса. Описательная информация:
1. Знание английского (бинарный)1 = английского языка, 2 = без английского языка
2. Преподаватель курса (категоричны, 25 категорий)
3. Курс (категоричны, 26 категорий)
4. Летний семестр или обычный (бинарный) 1 = Лето, 2 = Регулярное
5. Размер класса (числовой)
6. Атрибуты класса (категоричны) 1 = низкий, 2 = средний, 3 = высокий
Поскольку ввод исходных данных в систему «Эйдос» планируется осуществить с помощью ее универсального программного интерфейса импорта данных из внешних баз данных, который работает с файлами MS Excel, то преобразуем данные из html-файла в xls-файл, для чего выполним следующие операции.
Скопируем получившуюся таблицу из MS Word в MS Excel и запишем ее с именем: Inp_data.xls в папку: c:\Aidos-X\AID_DATA\Inp_data\. В файле Inp_data.xls добавим пустую колонку на позиции «A» и автоматически пронумеруем все строки. В результате получим таблицу исходных данных, полностью подготовленную для обработки в системе «Эйдос» и записанную в нужную папку в виде файла нужного типа с нужным именем (таблица 1):
Таблица 1 - Исходные данные
Class English Course Course Summer Class
n attribute instructor or regular size
1 3/3-High yes 23 3 Summer 19
2 3/3-High no 15 3 Summer 17
3 3/3-High yes 23 3 Regular 49
4 3/3-High yes 5 2 Regular 33
5 3/3-High no 7 11 Regular 55
6 3/3-High no 23 3 Summer 20
7 3/3-High no 9 5 Regular 19
8 3/3-High no 10 3 Regular 27
9 3/3-High yes 22 3 Summer 58
10 3/3-High no 15 3 Summer 20
11 3/3-High no 10 22 Regular 9
12 3/3-High no 13 1 Regular 30
13 3/3-High no 18 21 Regular 29
14 3/3-High no 6 17 Regular 39
15 2/3-Medium no 6 17 Regular 42
16 2/3-Medium no 6 17 Regular 43
17 2/3-Medium no 7 11 Regular 10
18 2/3-Medium no 22 3 Regular 46
19 2/3-Medium no 13 3 Summer 10
20 2/3-Medium no 7 25 Regular 42
21 2/3-Medium no 25 7 Regular 27
22 2/3-Medium no 25 7 Regular 23
23 2/3-Medium no 2 9 Regular 31
24 2/3-Medium no 1 15 Summer 22
25 2/3-Medium no 15 13 Regular 37
26 2/3-Medium no 7 11 Regular 13
27 2/3-Medium no 8 3 Regular 24
28 2/3-Medium no 14 15 Regular 38
29 1/3-Low no 21 2 Regular 42
30 1/3-Low no 22 3 Regular 28
31 1/3-Low no 11 1 Regular 51
32 1/3-Low no 18 5 Regular 19
33 1/3-Low no 13 1 Regular 31
34 1/3-Low yes 13 3 Summer 13
35 1/3-Low no 5 2 Regular 37
36 1/3^ no 16 8 Regular 36
37 1/3^ no 4 16 Regular 21
38 1/3^ no 5 2 Regular 48
39 1/3^ no 14 15 Regular 38
40 3/3-High yes 23 3 Summer 19
41 3/3-High no 15 3 Summer 17
42 3/3-High yes 23 3 Regular 49
43 3/3-High yes 5 2 Regular 33
44 3/3-High no 7 11 Regular 55
45 3/3-High no 23 3 Summer 20
46 3/3-High no 9 5 Regular 19
47 3/3-High no 10 3 Regular 27
48 3/3-High yes 22 3 Regular 58
49 3/3-High no 15 3 Summer 20
50 3/3-High no 10 22 Regular 9
51 3/3-High no 13 1 Regular 30
52 3/3-High no 18 21 Regular 29
53 3/3-High no 6 17 Regular 39
54 2/3-Medium no 6 17 Regular 42
55 2/3-Medium no 6 17 Regular 43
56 2/3-Medium no 7 11 Regular 10
57 2/3-Medium no 22 3 Regular 46
58 2/3-Medium no 13 3 Summer 10
59 2/3-Medium no 7 25 Regular 42
60 2/3-Medium no 25 7 Regular 27
61 no 25 7 Regular 23
62 2/3-Medium no 2 9 Regular 31
63 2/3-Medium no 1 15 Summer 22
64 2/3-Medium no 15 13 Regular 37
65 2/3-Medium no 7 11 Regular 13
66 no 8 3 Regular 24
67 2/3-Medium no 14 15 Regular 38
68 1/3-Low no 21 2 Regular 42
69 1/3-Low no 22 3 Regular 28
70 1/3-Low no 11 1 Regular 51
71 1/3^ no 18 5 Regular 19
72 1/3-Low no 13 1 Regular 31
73 1/3-Low yes 13 3 Summer 13
74 1/3-Low no 5 2 Regular 37
75 1/3-Low no 16 8 Regular 36
76 1/3^ no 4 16 Regular 21
77 1/3-Low no 5 2 Regular 48
78 1/3-Low no 14 15 Regular 38
79 3/3-High yes 23 3 Summer 25
80 3/3-High yes 13 3 Summer 17
81 3/3-High no 16 19 Regular 11
82 3/3-High no 9 2 Regular 39
83 3/3-High no 13 3 Summer 11
84 3/3-High no 18 21 Regular 19
85 3/3-High yes 22 3 Regular 45
86 3/3-High no 7 11 Summer 20
87 3/3-High no 23 3 Summer 20
88 3/3-High yes 23 3 Summer 20
89 3/3-High yes 23 3 Regular 38
90 3/3-High no 14 22 Regular 17
91 3/3-High yes 17 17 Regular 19
92 3/3-High no 9 5 Regular 24
93 3/3-High no 18 25 Regular 25
94 3/3-High yes 17 17 Regular 31
95 3/3-High no 1 15 Regular 31
96 2/3-Medium no 1 8 Regular 18
97 2/3-Medium yes 11 16 Regular 22
98 2/3-Medium yes 22 13 Regular 27
99 2/3-Medium no 9 2 Regular 14
100 2/3-Medium no 13 1 Regular 20
101 yes 6 17 Regular 35
102 2/3-Medium no 23 3 Summer 20
103 2/3-Medium yes 23 3 Summer 20
104 2/3-Medium no 6 17 Regular 37
105 2/3-Medium yes 22 3 Regular 15
106 no 20 2 Regular 25
107 2/3-Medium no 23 3 Regular 10
108 1/3^ no 20 2 Regular 14
109 1/3^ yes 23 3 Regular 38
110 1/3^ no 13 1 Regular 29
111 1/3^ no 10 3 Regular 19
112 1/3^ no 7 11 Regular 30
113 1/3^ yes 14 15 Regular 32
114 1/3^ no 8 3 Regular 27
115 1/3^ no 12 7 Regular 34
116 1/3^ no 8 7 Regular 23
117 1/3^ no 15 1 Regular 66
118 1/3^ no 23 3 Regular 12
119 1/3^ no 2 9 Regular 29
120 1/3^ no 15 1 Regular 19
121 1/3^ no 20 2 Regular 3
122 3/3-High no 13 14 Regular 17
123 3/3-High no 9 6 Regular 7
124 3/3-High yes 10 3 Regular 21
125 3/3-High no 14 15 Regular 36
126 3/3-High yes 13 1 Regular 54
127 3/3-High yes 8 3 Regular 29
128 3/3-High no 20 2 Regular 45
129 2/3-Medium no 22 1 Regular 11
130 2/3-Medium no 18 12 Regular 16
131 2/3-Medium no 20 15 Regular 18
132 2/3-Medium yes 17 18 Regular 44
133 2/3-Medium no 14 23 Regular 17
134 no 24 26 Regular 21
135 2/3-Medium no 9 24 Regular 20
136 2/3-Medium no 12 8 Regular 24
137 2/3-Medium no 9 6 Regular 5
138 2/3-Medium no 22 1 Regular 42
139 1/3^ no 7 11 Regular 30
140 1/3-Low no 10 3 Regular 19
141 1/3-Low no 23 3 Regular 11
142 1/3-Low no 17 18 Regular 29
143 1/3-Low no 16 20 Regular 15
144 1/3^ no 3 2 Regular 37
145 1/3-Low no 19 4 Regular 10
146 1/3-Low no 23 3 Regular 24
147 1/3-Low no 3 2 Regular 26
148 1/3-Low no 10 3 Regular 12
149 1/3^ yes 18 7 Regular 48
150 1/3-Low no 22 1 Regular 51
151 1/3-Low no 2 10 Regular 27
Автоматизированная формализация предметной области путем импорта исходных данных из внешних баз данных в систему "Эйдос".
Для загрузки базы исходных данных в систему «Эйдос» необходимо воспользоваться универсальным программным интерфейсом для ввода данных из внешних баз данных табличного вида, т.е. режимом 2.3.2.2 (рисунок 1):
Рисунок 1. Экранная форма Универсального программного интерфейса импорта данных в систему "Эйдос" (режим 2.3.2.2.)
В экранной форме, приведенной на рисунке 1, задать настройки, показанные на рисунке:
- "Задайте тип файла исходных данных Inp_data": "XLS - MS Excel-2003";
- "Задайте диапазон столбцов классификационных шкал": "Начальный столбец классификационных шкал" - 2, "Конечный столбец классификационных шкал" - 2 (последний столбец в таблице);
- "Задайте диапазон столбцов описательных шкал": "Начальный столбец описательных шкал" - 3, "Конечный столбец описательных шкал"
- 7;
- "Задание параметров формирования сценариев или способа интерпретации текстовых полей": "Не применять сценарный метод АСК-анализа и спец.интерпретацию ТХТ-полей".
После нажать кнопку "ОК". Далее открывается окно, где размещена информация о размерности модели (рисунок 2). В этом окне необходимо нажать кнопку "Выйти на создание модели".
Рисунок 2. Задание размерности модели системы "Эйдос"
Далее открывается окно, отображающее стадию процесса импорта данных из внешней БД "Inp_data.xls" в систему "Эйдос" (рисунок 3), а также прогноз времени завершения этого процесса. В том окне необходимо дождаться завершения формализации предметной области и нажать кнопку "ОК".
Рисунок 3. Процесс импорта данных из внешней БД "Inp_data.xls"
в систему "Эйдос"
В результате формируются классификационные и описательные шкалы и градации, с применением которых исходные данные кодируются и представляются в форме эвентологических баз данных.
Этим самым полностью автоматизировано выполняется 2-й этап АСК-анализа «Формализация предметной области». Для просмотра классификационных шкал и градаций необходимо запустить режим 2.1 (рисунок 4).
71 Классификационные шкалы и градации Текущая МОД'"" TMFH т . Я- _— ■ , ^^Bfcl^^fc —
III
Кед шкалы I Наименование классификационной шкалы - — л Кед градации Наименование градации классификационной шкалы т —
1 CLASS ATTRIBUTE 2 1/3-Low -
2/3-М edium
3 3/3-High
<1 I И <l I г
Помощь Доб. шкалу | Доб. град, шкалы | Копир, шкалу | Копир, град, шкалы | Копир, шкалу с град. | Удал, шкалу с град Удал, град шкалы Удаление и перекодирование J
L
Рисунок 4. Классификационные шкалы и градации
Для просмотра описательных шкал и градаций необходимо запустить режим 2.2 (рисунок 5):
II
Кед шкалы I Наименование описательной шкалы * Кед градации Наименование градации описательной шкалы -
1 ENGLISH 25 1-е из 10 1/10-0.0000000,9.3000000}
2 COURSE INSTRUCTOR 26 2-е из 10 2/10-0.3000000,15.6000000}
3 COURSE 27 3-е из 1С 3/10-{15.6000000, 21.9000000}
4 SUMMER OR REGULAR 28 4-е из 1С 4/10-01.9000000,28.2000000}
5 CLASS SIZE 29 5-е из 1С 5/10-08.2000000,34.5000000}
30 6-е из 1С 6/10-04.5000000,40.8000000}
31 7-е из 10 7/10-Н0.8000000, 47.1000000}
32 8-е из 10 8/10-{47.1000000, 53.4000000}
33 9-е из 10 9/10-{53.4000000, 59.7000000}
34 10-е из 10: 10/10-{59.7000000,66.0000000}
I
<l I M <l I
Помощь Доб шкалу Доб град шкалы Копир шкалу Копир град шкалы Копир шкалу с град Удал шкалу с град Удал град шкалы Перекодировать Очистить j
L
Рисунок 5. Описательные шкалы и градации (фрагмент)
Рисунок 6. Обучающая выборка (фрагмент)
Тем самым создаются все необходимые и достаточные предпосылки для выявления силы и направления причинно-следственных связей между значениями факторов и результатами их совместного системного воздействия (с учетом нелинейности системы [10]).
1.3. Синтез и верификация статистических и интеллектуальных моделей
Далее запускаем режим 3.5, в котором задаются модели для синтеза и верификации, а также задается модель, которой по окончании режима присваивается статус текущей (рисунок 7).
Рисунок 7. Выбор моделей для синтеза и верификации, а также текущей модели
В данном режиме имеется много различных методов верификации моделей, в том числе и поддерживающие бутстрепный метод. Но мы используем параметры по умолчанию, приведенные на рисунке 7. Стадия процесса исполнения режима 3.5 и прогноз времени его окончания отображаются на экранной форме, приведенной на рисунке 8.
3,5. Синтез и верификация заданный из 10 моделей
и I 1°!
Копирование обучающей выборки в распознаваемую - Готово Синтез стат.модели "ABS" (расчет матрицы абсолютных частот) - Готово Синтез стат.моделей "PRC1" и "PRC2" (усл.безу сл.% распр.) - Гот обо Синтез моделей знаний: ¡NF1 -INF? - Готово
Стадии исполнения процесса Шаг 1-й из 11 Шаг 2-й из 11 Шаг 3-й из 11 Шаг 4-й из 11
НАЧАЛО ЦИКЛА ПО ЧАСТНЫМ И ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ - ИСПОЛНЕНИЕ.' Шаг 5-й из 11: Задание модели "INF?" в качестве текущей - Готово Шаг Б-й из 11: Пакетное распознавание в модели "INF?" - Готово
Шаг ?-й из 11: Измерение достоверности модепи "Inf?" - Интегральный критерий: "Сумма знаний" - Готово КОНЕЦ ЦИКЛА Г10 ЧАСТНЫМ И ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ - ГОТОЗО' Шаг 3-й из 11: объединение БД DostRsp# в БД DostRasp - Готово
Шаг 3-й из 11: Печать сводной формы по результатам верификации моделей - Готово
Шаг 13-й из 11. Создание формы: "Достоверность идент.классов в различных моделях" - Готово
Шаг 11 -й из 1 р "Присвоение заданной модели: Infi статуса текущей" - Готово
Синтез и верификация заданных стат.моделей и ноделей знании унешно завершена !!!
■ Прогноз времени исполнеыч
Начало: 21:18:24 Окончание: 21:13:02
100%.
Ок
Прошло: 0:00:37
Осталось: U:fi0:Ü0
Рисунок 8. Синтез и верификация статистических моделей
и моделей знаний
Интересно заметить (см. рисунок 8), что синтез и верификация всех 10 моделей на данной задаче заняли 37 секунд. При этом верификация (оценка достоверности моделей) проводилась на всех 151 примерах наблюдения из обучающей выборки. В результате выполнения режима 3.5 созданы все модели, со всеми частными критериями, перечисленные на рисунке 7, но ниже мы приведем лишь некоторые из них (таблицы 2, 3, 4).
1.4. Виды моделей системы «Эйдос»
Рассмотрим решение задачи идентификации на примере модели INF1, в которой рассчитано количество информации по А.Харкевичу, которое мы получаем о принадлежности идентифицируемого объекта к каждому из классов, если знаем, что у этого объекта есть некоторый признак.
По сути, частные критерии представляют собой просто формулы для преобразования матрицы абсолютных частот (таблица 2) в матрицы условных и безусловных процентных распределений, и матрицы знаний (таблицы 3 и 4).
Таблица 2 - Матрица абсолютных частот (модель ABS)
■ 11- ^ I
5,5. Модель: "1. ABS - частный критерий: количество встреч сочетаний: "Класс-признак" у объектов о буч. выборки'
Кад признака Наименование описательной И капп и градации 1. CUSS ATTRIBUTE 1/3 LOW 2 GLASS ATTRIBUTE Ш: MEDIUM 3; CLASS ATTRIBUTE a^HlGH Сумма Среднее Средн. кьадр спкл
В ENGLISH-no 44 44 34 122 40.667 5.774
ш ENGLiSH-i.es 5 6 ie 29 9. 667 7.234
.3 COURSE INSTRUCTORS -е изЮ: 1ЛО-Й.ООООООО, 3... 4 5 l 10 3.333 2.0E2
4 COURSE INSTRUCTOR-2-еиз 10: .J/Ifl-Ö.4000000. 5... 6 2 e 2.667 3.055
5 COURSE INSTRUCT0R-3-e из 10:.3/10-{5.8000000, 8... 4 14 6 24 e.ooo 5.292
S COURSE IHSt.FftlC.tC!R-4;aH3 10::'4Л0-{Й#ВД; Т. 3 3 10 16 5.333 4. 041
7 COURSE INSTRUCT0R-5^TH3 10: 5Лр-{10-6000000,... г 5 6 19 6. 333 1.523
S СО LI RS Е IN S Т RU CT 0 R -б^ё-из 10: 6 Л(HI 3.0000000,... 5 5 6 16 5. 333 0. 5T7
9 COURSE INSTRUCT0R-7-e из 10:7/10-{15.4000000,... 4 1 3 a 2. 667 1.52Ё
1L1 COURSE INSTRUCTOR-8-e из 10: В/10(17.0000000, .. 6 3 5 14 4 , 667 1.52S
11 COURSE IHSTRUCTGR Э-4иэ 10: 9Л 0-!2О.'2ОООООО,... 5 6 3 14 4. 667 1.52S
12 COURSE INSTRUCTClP-10-е.из 10: 10/10-{22:600000... 4 a 10 22 1. 333 3. 055
13' СО URSE-1-е иг 10:1 Л0-{1.0000000, 3.5000000}. .30 15 30 75 25.000 8. 660
14 COURSE-2-e из 10': 2/io-{3.5000000, 6.0000000} 3 l 4 Щ 2. 667 1,52-S
15 COURSEi3®iH3:ib;.3/10:'{6.0000000, 8.5000000} 5 11 3. 667 3.215
16 COURSE-4-е.иа.ТО: 4/10-{8.5000000,11.0000000} 4 3 13 4. 333 1.52E
17 СО URSE-5-е из 10: 5/10-{11.0000000,13.5000000} .. 4 4 1.333 2.309
Ш .COURSE-6-e из 10': 6/ЫШ5000000,16:0000000} ... 5 6 3. 14 4 i 667 1.52-Е
i
Помощь
Таблица 3 - Матрица информативностей (модель INFI) в битах (фрагмент)
' 5.5. Модель: "4. INFI - частный критерий: количество знаний по А.Харкевичу; вероятности из PRCl" [ сз | |°3
Кед признака Наименование описательной шкалы и градации 1. CLASS-ATTRIBUTE 1/.3 law .2, CLASS ATTRIEIIJTE 2/3.' MEDIUM 3. CLASS ATTRIBUTE äÄHah Среднее Средн. квацр.
1 ENOLISH-no 0. 025 0.020 -0.051 -0.005 -0.002 0.042
ENGLISH-yes -0.151 -0.112 0.141 -0.123 -0.041 0.159
3 СО U R S Е IN S Т R U С Г 0 R -1 -е из 10:1Л 0-В.ООООО... 0.050 0.099 -0.296 -0.147 -0.049 0.215
4 CQURSE INSTRUCTOR-2-e из 10:2/-10-{3.40000 .. 0.200 -0.077 0.124 0. 041 0.143
5 CGURSE INSTRUCTOR-3-e из 10:3/10-{5.80000... -0.159 0.135 -0.077 -0.101 -0.034 0.152
е COURSE INSTRUCT0R-4-e из 10: 4/-Й-{8.20000 .. -0.131 -0.136 0.143 -0.125 -0.042 0.i59
7 CGURSE INSTRUCT0R-5^ii3 10: 5 Л,0-{10.6000... 0.062 -0.055 -0.021 -0.013 -0.004 0.060
3 СО U R S Е IN S Т R U CT 0 R -6« из 10: 6/-ВД-13.0000 .. -0.009 -0.014 0. 020 -0.002 -0.001 0.019
3 C0URSE INSTRUCTOR-7-e из 10: 7/10-{15.4000... 0.103 -0.233 0.020 -0.109 -0.036 0.175
1Ü CÜURSE INSTRUCT0R-8-e из 10: 3/10-{17.3000 .. 0.067 -0.104 0.009 -0.029 -0.010 0.0Е7
11 CÜURSE INSTRUCTOR-3-ё..из 10: 3/10-'!2О.2ООО... 0.023 0.062 -0.113 -0.029 -0.010 0.092
12 CÜURSE INSTPUCT0R-10-e из 10: 10/10-^:60.. -0.139 0.022 0. 066 -0.050 -0.017 0.102
13' СО U R S Е -1 -е-из 10: 1 /10-{1.0000000,3.5000000}.. 0.050 -0.121 0.036 -0.035 -0.012 0.095
14 COURSE-2-e из 10; Щ8$5000000, 6.0000000}... 0.035 -0.233 0.029 -0.109 -0.036 0.172
15 COURSEiteTtalО:. 3/1 ОФ. 0000000, 8.5000000}... o.oei 0.119 0.200 0.067 0.061
16 COURSE-4-e.Hä.10: 4 ЛЩ!8.5000000,11.0000000... -0.013 0. 079 -0.096 -0.029 -0.010 о.ose
17 СО U R S Е -5-е из 10: 5Л£1.{11.0000000,13.500000... 0.264 0.264 o.osa 0.153
13 СО U R S Е -6-е из 10: 6/i0-flä 5000000,16.000000.. 0.023 0. 062 -0.113 -0.029 -0.010 0.092
i
Помощь
Таблица 4 - Матрица знаний (модель INF3) (фрагмент)
ф 5-5. Модель: "6.ДОРЗ - частный критерий: Хи-квадрат, разности между фактическими и ожидаемыми абс.частотами"
Сад признака Наименование описательной И капп и градации 1. CLASS- ' ATTRIBUTE i/.3low .2. CLASS- ATTRIBUTE 2/3 MEDIUM 3. CLASS ATTRIBUTE liffll CijMMä Среднее Средн. квацр mm
В ENGLISH-no 4,411 3.603 -8.013 5.951
]2 ENGLISH-yes -4,411 -3.603 S.013 6.951
.3 COURSE INSTRUCT0R-1 -еизЮ: 1 ЛО-Й.ООООО... 0.755 1.689 -2.444 2.167
4 CÜURSE INSTRUCTOR-2-еиз 10: J/-1;0-{3.40000... 3.404 -2.649 -0.755 3.096
5 COURSE INSTRUCTOR-3-e из 10:.3/10-{5.80000... -3.7S3 6.053 -2.265 5.297
'6 COURSE INS T-.RUСТОR -4^ из 10::'4Л0-{8 20tlQfi. -2.192 -2.290 4.490 3.S89
7 COURSE INSTRUCTGR-5:'CH3 10: 5Л.0-{1 O.GOLIO... 1. S34 -1.291 -0.543 1. 632
S C0LIRSE INSTRUCT0P-6L.cH3 10: 6/ЭД-13.0000... -0.192 -0.298 0. 490 0. 428
9 COURSE INSTRUCTOR-7-e из 10: 7/10-{15.4000... 1. 404 -1.649 0.245 1. 541
1L1 COURSE INSTRUCTOR-8-e из 10::Е!/10-{17.8000.. 1.457 -1.636 0.179 1. 554
11 COURSE INSTRUCTOR-Э-ёиз 10: 9Л 0.-!20:20р0..: 0.457 1.364 -1.821 1. 641
12 COURSE INSTRUCTOR-Ю-е.изЮ: 10/10-f22:60... -3.139 0.715 2. 424 2.850
13' COURSE-1-е из 10:1 /10-{1.0000000, 3.5000000}... 5.662 —9.G34 4.172 8.549
14 C0URSE-2-e из 10': 2/10-0.5000000, 6.0000000}... 0. 404 -1.649 1, 245 1. 489
15 CO U RS Е3®йз!1 Ö; 3fl №0000000, 8.5000000}... 1. 430 2.358 —3.788 3.313
16 COURSE-4-е.из.Ю: 4/10-{8.5000000,11.0000000... -0.219 1.695 -1.477 1. 597
17 C0URSE-5-e из 10: 5/10-{11.0000000,13.500000... -1.29E 2.67-5 -1.377 2.317
Ш .C0URSE-6-e из 10': 6^ЫШ5000000,16:000000.. 0.457 1.364 -1.321 1.641
i
1.5. Результаты верификации моделей
Результаты верификации (оценки достоверности) моделей, отличающихся частными критериями с двумя приведенными выше интегральными критериями приведены на рисунке 9.
а
б
Рисунок 9. Оценки достоверности моделей помощью Б-меры Ван Ризбергена (а) и Ь-меры проф.Е.В.Луценко (б)
Наиболее достоверной в данном приложении оказались модели ШБ4 и Г№Р5 при интегральном критерии «Семантический резонанс знаний». При этом достоверность модели по Б-критерию Ван Ризбергена составляет 0,661. Таким образом, уровень достоверности прогнозирования с применением модели примерно такой же, как экспертных оценках, достоверность которых считается равной примерно 70%. Для оценки достоверности моделей в АСК-анализе и системе «Эйдос» используются не только Б-мера Ван Ризберегна, но и ее нечеткое мультиклассовое обобщение, предложенное проф.Е.В.Луценко (Ь-мера) [11] (рисунок 10).
Помощь по режимам: 4,1,3.6,4,1,3.7, 4,1.3,8, 4,1,3,10: Виды прогнозов и меры достоверности
t системе "Эйдос-Х+-
Помощь г
: 4.1.В.6,
.1.3.7, 4.1.i.i
4.1.3.10: Виды прогнс
меры достовернс
I моделей в <
! "ЭЙДОС-Х++".
16, а что-то из этого естественно выпало, конечно, | не выпадет, но ясно, что выпадет что-то одно, а не что произошло, т.е. в этом случае у модели будет
ПОЛОЖИТЕЛЬНЫЙ ПСЕВДОПРОГНОВ.
Предположим, модель дает такой прогноз: выпадет 1, 2, 3, 4, 5 или 6. В этом случае у нее будет 100% достоверность идентификации, т.е. не будет ни одного объекта, не отнесенного к тому классу, к которому он действительно относится, но при этом будет очень большая ошибка ложной идентификации, т.к. огромное количество объектов будет отнесено к классам, к которым они не относятся (и именно за счет этого у модели и будет очень высокая достоверность идентификации). Ясно, что такой прогноз бесполезен, поэтому он и назван мной псевдопрогнозом.
ОТРИЦАТЕЛЬНЫЙ ПСЕВДОПРОГНОЗ.
представим себе, что мы выбрасываем кубик с 6 гранями, и модель предсказывает, модель дает ошибку в прогнозе в том плане, что не предсказала, что выпадет, зато < что предсказано, поэтому такого рода предсказания хорошо оправдываются в том, что 100% достоверность не идентификации, но очень низкая достоверность идентификации.
ИДЕАЛЬНЫЙ ПРОГНОЗ.
если в случае с кубиком мы прогнозируем, что выпадет, например 1, и соответственно прогнозируем, что не выпадет 2, 3, 4, если он осуществляется, 100% достоверность идентификации и не идентификации. Идеальный прогноз, который полностью снимает прогнозирования, на практике удается получить крайне редко и обычно мы имеем дело с реальным прогнозом.
РЕАЛЬНЫЙ ПРОГНОЗ.
на практике мы чаще всего сталкиваемся именно с этим видом прогноза, реальный прогноз уменьшает неопределенность о будущем состоянии объекта прогнозирования, но не полностью, как идеальный прогноз, а оставляет некоторую неопределенность не снятой, например, для игрального кубика делается такой прогноз: выпадет 1 или 2, и, соответственно, не выпадет 3, 4, 5 или 6. Понятно, что полностью на практике такой прогноз не может осуществиться, т.к. варианты выпадения кубика альтернативны, т.е. может выпасть одновременно и 1, и 2. поэтому у реального прогноза всегда будет определенная ошибка идентификации, соответственно, если не осуществится один или несколько из прогнозируемых вариантов, то возникнет и ошибка не идентификации, т.к. это не прогнозировалось моделью, теперь представите себе, что у вас не 1 кубик и прогноз его поведения, а тысячи, тогда можно посчитать средневзвешенные характеристики всех этих видов прогнозов.
Таким образом, если просуммировать число верно идентифицированных и не идентифицированных объектов и вычесть число ошибочно идентифицированных и не идентифицированных объектов, а затем разделить на число всех объектов то это и будет критерий качества модели (классификатора), учитывающий как ее способность верно относить объекты к классам, которым они относятся, так и ее способность верно не относить объекты к тем классам, к которым они не относятся, этот критерий предложен I реализован в системе "Эйдос" проф. Е.В.Луценко в 1994 году. Эта мера достоверности модели предполагает два варианта нормировки: {-1, +1} и {0, 1}: ы = ( тр + Т1Ч - рр - ры ) / ( тр + ти + рр + Р1Ч ) (нормировка: {-1,+1})
1.2 = ( 1 + ( тр + тм - рр - ры ) / ( тр + тм + рр + рм ) ) / 2 (нормировка: { 0, 1}>
где: ТР - истино-положительное решение; ТЫ - истино-отрицательное решение; РР - ложно-положительное решение; РИ - ложно-отрицательное решение;
F-мера достоверн«
I моделей Ван Ризберп
precision = tp/(tp+fp) - точность модели; Recall = TP/(TP+FN) - полнота модели; F-mera = 2t,(precisionsRecan)/(precisiom-Recan).
В АСК-анализе и системе "Эйдос" предлагается L-мера, представляющая собой
sprecision = stp/(stp+sfp) - нечеткая мультиклассовая точность модели; SRecall = 5TP/(STP+SFN) - нечеткая мультиклассовая полнота модели;
L-mera = 2*(sprecision*5Reca"n)/(sprecisiorH-5Reca"n) - нечеткая мультиклассовая достоверность модели, где:
stp - сумма модулей сходства истино-положительных решений; stn -5FP - Сумма модулей сходства ложно-положительных решений; SFN -
I F-меры достоверности моделей Ван Ризберп
Рисунок 10. Виды прогнозов и принцип определения достоверности моделей по авторскому варианту метрики, сходной с Б-критерием
Также обращает на себя внимание, что статистические модели, как правило, дают более низкую средневзвешенную достоверность идентификации и не идентификации, чем модели знаний, и практически никогда - более высокую. Этим и оправдано применение моделей знаний и интеллектуальных технологий. На рисунке 11 приведены частные распределения уровней сходства и различия для верно и ошибочно идентифицированных и неидентифицированных ситуаций в наиболее достоверной модели ШБ4.
4.1.3,11. Част.распр.ур.сх.в модели: 7. INF4-4acTH,tcpHT,; ROI (Return On Investment); вероятности из PRC1
_Щ
12
- Част.распр.ур.сх.ОШИБОЧНО идент.и неидентиф.объектов - Част.распр.ур.сх.ВЕРНО идент.и неидентиф.объектов
------------ Среднее модулей ур.сх.ОШИБ. идент.и неидент.объектов=21.240 ------------ Среднее модулей ур.сх.ВЕРНО идент.и неидент.обьектов=39.173
1 М. 1
Рисунок 11. Частное распределение сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний объекта
моделирования в модели ШЕ4
Из рисунка 11 видно, что:
- наиболее достоверная модель Г№Р4 лучше определяет непринадлежность объекта к классу, чем принадлежность (что видно также из рисунка 9);
- модуль уровня сходства-различия в наиболее достоверной модели Г№Р4 для верно идентифицированных и верно неидентифицированных объектов значительно выше, чем для ошибочно идентифицированных и ошибочно неидентифицированных. Это верно практически для всего диапазона уровней сходства-различия, кроме небольших по модулю значений в диапазоне от 0 до 15% уровня сходства. Для больших значений уровней сходства-различия (более 50%) различие между верно и ошибочно идентифицированными и неидентифицированными ситуациями на столько велико, что учитывая уровень сходства-различия не представляет никакой
проблемы разделить истинные положительные и отрицательные решения от ложных положительных и отрицательных решений. Это и стало основой для нечеткого обобщения Б-меры Ван Ризбергена, т.е. такого ее обобщения, которое учитывает е только сам факт ложно или истинно положительного или отрицательного решения, но и его надежность [11].
Любые данные о наблюдениях можно считать суммой истинного значения и шума, причем ни первое, ни второе неизвестны. Поэтому имеет смысл сравнить созданные модели с чисто случайными моделями, совпадающими по основным характеристикам. В системе «Эйдос» есть лабораторная работа № 2.01: «Исследование ЯМО-модели при различных объемах выборки». Если данная работа устанавливается при отсутствии текущего приложения, то все параметры создаваемых моделей задаются вручную, если же текущая модель существует, как в нашем случае, то все основные ее параметры определяются автоматически.
1.3, Задание параметров ЯГ^Ш-модели
Задание параметров В МО-модели:—
(* -Определить автоматически на основе текущего приложений С Задать произвольные параметры ПИО-модели вручную
Автоматическое определение параметров В N 0 -модели на основе текущего приложения-Наименование текущего приложения: Приложение, созданное путем ввода даных из Б Л 1пр_с1а1а. Это название можно скоррект 1 <- Количество классификационных шкал в ПНО_модели
3 <- Количество классов (градаций классификационных шкал) в ВИО-модели 5 <- Количество описательных шкал в И N 0_модели 34 <- Количество признаков (градаций описательных шкал] в И N0-модели 151 <- Количество объектов обучающей выборки в N 0 -модели
4 <- Оценка среднего количества классов, к которым относится объект обучающей выборки 7 <- Оценка среднего количества признаков у объекта обучающей выборки 3 <- Среднее количество градаций в классификационной шкале (округлено до целых) 7 <- Среднее количество градаций в описательной шкале (округлено до целых)
-Что такое РЫО-модель?
НМ 0-модель - это модель, в которой принадлежность объектов обучающей выборки к классам является случайной, как и признаки объектов. Для генерации случайных кодов классов и признаков используется числовой генератор равномерно распределенных случайных чисел. При автоматическом определении параметров РЫО-модели на основе текущей модели количество классов, признаков и объектов обучающей выборки в ПЫО-модели будет таким же, как в текущей модели. Среднее количество классов, к которым относится объект обучающей выборки и среднее количество признаков у него также будет совпадать с этими характеристиками объектов обуч. выборки текущей модели.
Зачем создается и исследуется N0-модель?—
Информацию об объектах обучающей выборки текущей модели можно считать суммой полезной информации о них (полезный сигнал] и шума. В 0-модели вся информация представляет собой шум. Поэтому сравнение этих моделей, не отличающихся перечисленными параметрами, позволяет оценить влияние значимой информации и шума на результаты, в частности убедиться в наличии самой этой значимой информации, т.е. закономерностей в предметной области, а также оценить эффективность различных стат.моделей и моделей знаний и интегральных критериев для выявления и исследования этой значимой информации, знаний и закономерностей. При увеличении объема обучающей выборки в Помелели вероятность верной идентификации стремится к вероятности случайного угадывания, а в реальной модели к некоторому пределу, превосходящему вероятность случайного угадывания и характеризующему эффективность модели и целесообразность ее применения.
Рисунок 12. Экранная форма управления созданием случайных моделей, совпадающих с текущей по размерностям основных баз данных
На рисунке 13 показано частное распределение сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний в случайной модели ГОТЧ.
4.1.3.11. Част.распр.ур.сх.в модели: 7, INF4-4acm»cpnT,: ROI (Return On Investment); вероятности из PRC1 _ 1 "\
-100 -90 -80 -70 -60 -50 -40 -30 -20 -10 0 10 20 30 40 50 60 70 80 90 100
- Част.распр.ур.сх.ОШИБиЧНО иденг.и неццентиф. объектов - Част.распр.ур.сх.БЕРН0 идент.и неидентиф.объектов
------------ Среднее модулей ур.сх.ОШИБ. идент. и неидент.объектов=18.621 ------------ Среднее модулей ур.сх. БЕРН О иденг.и неидент.обьектов=27.606
|
Рисунок 13. Частное распределение сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний в случайной модели 1№4
Совершенно очевидное различие частотных распределений уровней сходства-различия верно и ошибочно идентифицированных и неидентифицированных состояний объекта моделирования и случайной модели (рисунки 11 и 13) объясняется тем, что в реальных моделях кроме шума есть также и информация об истинных причинно-следственных взаимосвязях факторов и их значений с одной стороны, и состояниями объекта моделирования, которые ими обуславливаются, с другой стороны. Если же такой информации в модели нет, то и распределение получается типа, приведенного на рисунке 13.
На рисунке 14 приведены данные по достоверности статистических и
когнитивных моделей, созданных на основе случайной выборки.
Рисунок 14. Достоверность статистических и когнитивных моделей, созданных на основе случайной выборки
На основе сравнения рисунка 14 с рисунком 9 можно сделать следующие выводы:
- достоверность лучшей модели ШЕ4, отражающей реальный объект моделирования, примерно на 12% выше, чем аналогичной случайной модели;
- различие между достоверностью статистических моделей и моделей знаний, созданных на основе случайной выборки, значительно меньше, чем у моделей, отражающих реальный объект моделирования;
- в реальных моделях кроме шума есть также и информация об истинных причинно-следственных взаимосвязях факторов и их значений с одной стороны, и состояниями объекта моделирования, которые ими обуславливаются, с другой стороны, причем примерно 1/3 достоверности обусловлена отражением в реальных моделях закономерностей предметной области, а 2/3 достоверности обусловлено наличием шума в исходных данных. На основании этого можно предположить, что в исходных данных уровень сигнала о реальных причинно-следственных
связях в моделируемой предметной области примерно в два раза ниже уровня шума.
2. РЕШЕНИЕ ЗАДАЧ В НАИБОЛЕЕ ДОСТОВЕРНОЙ МОДЕЛИ
2.1. Решение задачи идентификации
В соответствии с технологией АСК-анализа зададим текущей модель ЮТ4 (режим 5.6) (рисунок 15) и проведем пакетное распознавание в режиме 4.2.1.
Рисунок 15. Экранные формы режима задания модели в качестве текущей
В результате пакетного распознавания в текущей модели создается
ряд баз данных, которые визуализируются в выходных экранных формах, отражающих результаты решения задачи идентификации и прогнозирования.
Режим 4.1.3 системы «Эйдос» обеспечивает отображение результатов идентификации и прогнозирования в различных формах:
1. Подробно наглядно: "Объект - классы".
2. Подробно наглядно: "Класс - объекты".
3. Итоги наглядно: "Объект - классы".
4. Итоги наглядно: "Класс - объекты".
5. Подробно сжато: "Объект - классы".
6. Обобщенная форма по достоверности моделей при разных интегральных критериях.
7. Обобщенный статистический анализ результатов идентификации по моделям и интегральным критериям.
8. Статистический анализ результатов идентификации по классам, моделям и интегральным критериям.
9. Распознавание уровня сходства при разных моделях и интегральных критериях.
10.Достоверность идентификации классов при разных моделях и интегральных критериях.
Ниже кратко рассмотрим некоторые из них.
На рисунке 16 приведен пример прогнозов достоверности частоты и классов преподавателей в наиболее достоверной модели ГОТЧ на основе наблюдения предыстории их развития:
4.1.3.1, Визуализация результатов распознавания в отношении: "Объект-классы', Текущая модель: "1ЫР4':
чВ| в Г
Распознаваемые объекты
НИ *
■ в 1
2 2
а 3
4 4
5 5
6 8
1 7
8 В
Э Э
10 10
11 11
12 12
13 13
14 14
15 15
16 16
17 17
18 18
19 19
20 '20
21 •ш я
Л
Интегральный критерий сходства: "Семантический резонанс знаний"
| Код | Наименование класса Сходство Сходство
Ц АТТгавиТЕ-Эй-Нгс(1 75.31... У'
2 □ЛЗЗ АТТЙШиТЕ-2Я«вс|1ит -64.22...
1 мШШМк
Интегральный критерий сходства: '¿умка-ананий"
Щ Наименование класса Сходство к» Сходство А
АЯИ№3/Шй ЩШ: V
ОАвВ АТТЯШиТЕШЙ'МвсЬт -32,02..
1 ййШШвош^иж -51.74
Помощь | Э классов | Классы с МахМ1п УрСх [ Э классов с МахМ1п УрСх | ВСЕ классы | ВКЛ. Фильтр по класс.шкале | ВЫКЛ.Фильтр по класс.шкале [ Граф.диаграмма |
4.1.3.2. Визуализация результатов распознавания в отношении: Класс-объекты". Текущая модель; "1ЫР4" ^
йа I- п
' К-лассы-
ш Наим. класса
! ЩВ 11ТЁ-1 В-Ш 1
2 ОАЭ3 АТТН1ВиТЕ-2/3-Ме(йит
3 СЬАВ5 АТТЯ1ВиТЕ-ЗЛ-ЬПдИ
И нтегрдлынь!^ критерий сходства: '.'Семантический'резенауезнамий!*
| Код | Наименование объекта Сходстве Сходство —
...1 :эв.эа.. *
77 77 96,99... V
Щ ТЙ ШШ:. V
31 Ш ■■■■ ::5ЭЛ7... V
3® Ш 53.87... 1
70 70 59,87... V
74 74 59,87... V
150 150 52,6В... V
449 143 -.45,64... V .............................................
-I
Интегральный критерий сходства: "Сумма знаний"
Код Наименование объекта Сходство Сходство
.89,48... | ш
77 77 со V
1-17 11? 7-2.73... V
31 Щ .6Й;20... V
35 :'35 60,20... V
70 70 60,20... V
74 74 :60,20... V
150 150 54,51' V
149 143 -.48,97... V
-I
Помощь Поиск объекта В конец БД П редыду щая Следующая 9 записей Все записи Печать ХЬЭ Печать ТХТ | Печать АН
Рисунок 16. Пример идентификации классов преподавания в модели Г№Р4
2.2. Когнитивные функции
Рассмотрим режим 4.5, в котором реализована возможность визуализации когнитивных функций для любых моделей и любых сочетаний классификационных и описательных шкал (рисунок 17)
г—--=
Ф 4,5. Визуализация ко-нитив^ык бункци
Что такое когнитивная Функция:
Визуализация прямым, обратным, позитивных, негативных, полностью и частично редуцированных когк-ттивных Функций Когнитивная Функция приставляет собой графическое отображение силы и направления впияния различных значений некоторого Фактора на переходы объекта управления в будущие состояния, соответствующие классам. КогнИ' тивныэ Функции представляют собой новый перспективный инструмент отражения и нагпяаной визуализации закономерностей и эмпирических законов. Разработка содержательной научной интерпретации когнитивных Функций представляет собой способ познания природы, общества и челозека. Когнитивные Функции могут быть: прямые, отражающие зависимость классоЕ от признаков, обобщающие информационные портреты признаков; обратные, отражающие зависимость признаков от классов, обобщающие информационные портреты классов; позитивные, показывающие чему способствуют система детерминации; негативные, отражающие чему препятствуют система детерминации." средневзвешенные, отражающие совокупное влияние всех значений Факторов на повеление объекта (причем в качестве весов наблюдений используется количество информации в значении аргумента о значениях Функции) различной степенью редукции или степенью детерминации, которая отражает в графической Форме (в Форме полосы] количество знаний в аргументе о значении Функции и является аналогом и обобщением доверительного ш гтервала. Если отобразить подматрицу матрицы знания отображая цветом силу и направление влияния каждой градации некоторой описательной шкалы на переход объекта в состояния, соответствующие классам некоторой классиФикациок ной шкалы то поручим нередуцированную когнитивную Функцию. Когнитивные Функции являются наиболее развитым средством изучения причинно-следственных зависимостей в моделируемой предметной об пасти, предоставляемым системой 'Эйдос". Необходимо отметить. 1то на вид функций влияния математической моделью СК-анализа не накладывается никаких ограничений, в частности, они могут быгь и не дифференцируемые. См.. Луценко Е.В. Метод визуализации когнитивных Функций - новый инструмет исследования эмпирических данных большой размерности / Е В. Луценкс, А П Трунев. Д.(С Бандык II Полггтематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) Рлектронный ресурс]. - Краснодар: КубГАУ. 2011. -№03(67) С. 240 - 282. - Шифр Информрегистра: 0421100012\0077. , 2,338 у.п.л. - Режим доступа: ИКрУ/еь kubaqro.ru/2011 /ОЗ/рсАЛ З.рсЦ
Рисунок 17. Экранная форма режима 4.5 системы «Эйдос-Х++» «Визуализация когнитивных функций»
Применительно к задаче, рассматриваемой в данной работе, когнитивная функция показывает, какое количество информации содержится в различных значениях факторов о том, что объект моделирования перейдет в те или иные будущие состояния. Когнитивным функциям посвящено много работ. Поэтому здесь не будем останавливаться на описании того, что представляют собой когнитивные
функции в АСК-анализе. На рисунке 18 приведены визуализации двух когнитивных функций данного приложения для модели ЮТ4.
Рисунок 18. Визуализация когнитивных функций для обобщенных классов и всех описательных шкал для модели Г№Р4
2.3. SWOT и PEST матрицы и диаграммы
SWOT-анализ является широко известным и общепризнанным методом стратегического планирования. Однако это не мешает тому, что он подвергается критике, часто вполне справедливой, обоснованной и хорошо аргументированной. В результате критического рассмотрения SWOT-анализа выявлено довольно много его слабых сторон (недостатков), источником которых является необходимость привлечения экспертов, в частности для оценки силы и направления влияния факторов. Ясно, что эксперты это делают неформализуемым путем (интуитивно), на основе своего профессионального опыта и компетенции. Но возможности экспертов имеют свои ограничения и часто по различным причинам они не могут и не хотят это сделать. Таким образом, возникает проблема проведения SWOT-анализа без привлечения экспертов. Эта проблема может решаться путем автоматизации функций экспертов, т.е. путем измерения силы и направления влияния факторов непосредственно на основе эмпирических данных. Подобная технология разработана давно, ей уже около 30 лет, но она малоизвестна - это интеллектуальная система «Эйдос». Данная система всегда обеспечивала возможность проведения количественного автоматизированного SWOT-анализа без использования экспертных оценок непосредственно на основе эмпирических данных. Результаты SWOT-анализа выводились в форме информационных портретов. В версии системы под MS Windows: «Эйдос-Х++» предложено автоматизированное количественное решение прямой и обратной задач SWOT-анализа с построением традиционных SWOT-матриц и диаграмм [12] (рисунок 19).
Рисунок 19. Пример SWOT-матрицы в модели INF4
На рисунке 20 приведены примеры инвертированной SWOT-матрицы и инвертированной SWOT-диаграммы в модели INF4.
4.4.9 Количественный автоматизированный 5\ЛЮТ-анзлиз значений факторов средствами АСК-анализа в системе "Эйдос"
Выбор значения фактора, оказывающего влияние на переход объекта управления в будущие состояния
Код Наименование значения фактора
1 | ЁЫбиёН-по | г
2 ЕШШН-уез. ||
3 СОШЗЕ 1№ТПиСТ0П-1-е из 10: :1Л0-{1.0000000, 3,4000000}
4 СОШВЕ 1М5ТР11СТОР-2-е из 10: : 2Л 0-{3.4000000, 5.8000000}
5 СОШБЕ ИЧЭТНиСТОН-З-е из 10: : ЗЛ0-{5:8000000, 8.2000000}
ЭТ/ОТ-анализ значения фактора: 2 "ЕМОиЗН-уез" в модели: 7 "ШР4"
СПОСОБСТВУЕТ: ПРЕПЯТСТВУЕТ:
Код Состояния объекта управления, перекоду в которые данное значение Фактора СПОСОБСТВУЕТ Сила ^ влияния
Б СЬА55 АТТР1ВиТЕ-3/3-Н1дИ 0.302
ВКЛЮЧИТЬ Фильтр по кл. шкале ВЫКЛЮЧИТЬ Фильтр по кл.шкале
Помощь АЬз Ргс1 Ргс2 1пИ \Ы2 1пГЗ \Ш\ 1пГ5 1п(6 1пГ7
Код Состояния объекта управления, переходу в которые данное значение Фактора ПРЕПЯТСТВУЕТ Сийа влияния
1 СЬДБ5АТТР1ВиТЕ-1Л-1_о<* -0.469
2 СЬАЗБ АТТН1ВиТЕ-2/3-Меб1ит -0.375
VI ы
ВКЛЮЧИТЬ Фильтр по к л. шкале ВЫКЛЮЧИТЬ Фильтр по кл. шкале
Э\л/0 Т-диаграмма
Рисунок 20. Пример SWOT-матрицы в модели ЮТ4
ЗАКЛЮЧЕНИЕ
Так как существует множество систем искусственного интеллекта, то возникает необходимость сопоставимой оценки качества их математических моделей. Одним из вариантов решения этой задачи является тестирование различных системы на общей базе исходных данных, для чего очень удобно использовать общедоступную базу репозитория UCI. В данной курсовой работе приводится развернутый пример использования базы данных репозитория UCI для оценки качества математических моделей, применяемых в АСК-анализе и его программном инструментарии системе искусственного интеллекта «Эйдос». При этом наиболее достоверной в данном приложении оказались модели INF4, основанная на семантической мере целесообразности информации А.Харкевича при интегральном критерии «Сумма знаний». Точность модели по L-критерию [11] составляет 0,809, что заметно выше, чем достоверность экспертных оценок, которая считается равной около 70%. Также обращает на себя внимание, что статистические модели в данном приложении дают примерно на 21% более низкую средневзвешенную достоверность идентификации и не идентификации, чем модели знаний, что, как правило, наблюдается и в других приложениях. Этим и оправдано применение моделей знаний.
На основе базы данных UCI, рассмотренной в данной курсовой работе, построить модели прогнозирования не с помощью АСК-анлаиза и реализующей его системы «Эйдос», а с применением других математических методов и реализующих их программных систем, то можно сопоставимо сравнить их качество.
Литература
1. Луценко Е.В. Методика использования репозитория UCI для оценки качества математических моделей систем искусственного интеллекта / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского
государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2003. - №02(002). С. 120 - 145. - IDA [article ID]: 0020302012. - Режим доступа: http://ej.kubagro.ru/2003/02/pdf/12.pdf, 1,625 у.п.л.
2. Луценко Е.В. АСК-анализ, моделирование и идентификация живых существ на основе их фенотипических признаков / Е.В. Луценко, Ю.Н. Пенкина // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: Куб- ГАУ, 2014. - №06(100). С. 1346 - 1395. - IDA [article ID]: 1001406090. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/90.pdf, 3,125 у.п.л.
3. Луценко Е.В. Теоретические основы, технология и инструментарий автоматизированного системно-когнитивного анализа и возможности его применения для сопоставимой оценки эффективности вузов / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрно- го университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: Куб- ГАУ, 2013. - №04(088). С. 340 - 359. - IDA [article ID]: 0881304022. - Режим доступа: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 у.п.л.
4. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002. - 605 с.
5. Репозиторий UCI [Электронный ресурс]. Статья " Teaching Assistant Evaluation Data Set": http://archive.ics.uci.edu/ml/machine-learning-databases/, свободный. - Загл. с экрана. Яз. анг.
6. Сайт профессора Е.В.Луценко [Электронный ресурс]. Режим доступа: http://lc.kubagro.ru/, свободный. - Загл. с экрана. Яз. рус.
7. Луценко Е.В. 30 лет системе «Эйдос» - одной из старейших отечественных универсальных систем искусственного интеллекта, широко применяемых и развивающихся и в настоящее время / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2009. -№10(054). С. 48 - 77. - Шифр Информрегистра: 0420900012\0110, IDA [article ID]: 0540910004. - Режим доступа: http://ej.kubagro.ru/2009/10/pdf/04.pdf, 1,875 у.п.л.
8. Луценко Е.В. Универсальная когнитивная аналитическая система «Эйдос-Х++» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2012. - №09(083). С. 328 - 356. - IDA [article ID]: 0831209025. - Режим доступа: http://ej.kubagro.ru/2012/09/pdf/25.pdf, 1,812 у. п. л.
9. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.
10. Луценко Е.В. Моделирование сложных многофакторных нелинейных объектов управления на основе фрагментированных зашумленных эмпирических данных большой размерности в системно-когнитивном анализе и интеллектуальной системе «Эйдос-Х++» / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой
электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№07(091). С. 164 - 188. - IDA [article ID]: 0911307012. - Режим доступа: http://ej.kubagro.ru/2013/07/pdf/12.pdf, 1,562 у.п.л.
11. Луценко Е.В. Нечеткое мультиклассовое обобщение классической F-меры достоверности моделей Ван Ризбергена в АСК-анализе и системе «Эйдос» / Луценко Е.В. // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №09(123). - Режим доступа: http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,813 у.п.л. - IDA [article ID]: 1231609001. http://dx.doi.org/10.21515/1990-4665-123-001
12. Луценко Е.В. Количественный автоматизированный SWOT- и PEST-анализ средствами АСК-анализа и интеллектуальной системы «Эйдос-Х++» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №07(101). С. 1367 - 1409. - IDA [article ID]: 1011407090. - Режим доступа: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 у.п.л.
References
1. Lucenko E.V. Metodika ispol'zovanija repozitorija UCI dlja ocenki kachestva matematicheskih modelej sistem iskusstvennogo intellekta / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2003. - №02(002). S. 120 - 145. - IDA [article ID]: 0020302012. - Rezhim dostupa: http://ej.kubagro.ru/2003/02/pdf/12.pdf, 1,625 u.p.l.
2. Lucenko E.V. ASK-analiz, modelirovanie i identifikacija zhivyh sushhestv na osnove ih fenotipicheskih priznakov / E.V. Lucenko, Ju.N. Penkina // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: Kub- GAU, 2014. -№06(100). S. 1346 - 1395. - IDA [article ID]: 1001406090. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/90.pdf, 3,125 u.p.l.
3. Lucenko E.V. Teoreticheskie osnovy, tehnologija i instrumentarij avtomatizirovannogo sistemno-kognitivnogo analiza i vozmozhnosti ego primenenija dlja sopostavimoj ocenki jeffektivnosti vuzov / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarno- go universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: Kub- GAU, 2013. - №04(088). S. 340 - 359. - IDA [article ID]: 0881304022. - Rezhim dostupa: http://ej.kubagro.ru/2013/04/pdf/22.pdf, 1,25 u.p.l.
4. Lucenko E.V. Avtomatizirovannyj sistemno-kognitivnyj analiz v upravlenii aktivnymi ob#ektami (sistemnaja teorija informacii i ee primenenie v issledovanii jekonomicheskih, social'no-psihologicheskih, tehnologicheskih i organizacionno-tehnicheskih sistem): Monografija (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605 s.
5. Repozitorij UCI [Jelektronnyj resurs]. Stat'ja " Teaching Assistant Evaluation Data Set": http://archive.ics.uci.edu/ml/machine-learning-databases/, svobodnyj. - Zagl. s jekrana. Jaz. ang.
6. Sajt professora E.V.Lucenko [Jelektronnyj resurs]. Rezhim dostupa: http://lc.kubagro.ru/, svobodnyj. - Zagl. s jekrana. Jaz. rus.
7. Lucenko E.V. 30 let sisteme «Jejdos» - odnoj iz starejshih otechestvennyh universal'nyh sistem iskusstvennogo intellekta, shiroko primenjaemyh i razvivajushhihsja i v nastojashhee vremja / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj
zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2009. - №10(054). S. 48 - 77. - Shifr Informregistra: 0420900012\0110, IDA [article ID]: 0540910004. - Rezhim dostupa: http://ej.kubagro.ru/2009/10/pdf/04.pdf, 1,875 u.p.l.
8. Lucenko E.V. Universal'naja kognitivnaja analiticheskaja sistema «Jejdos- H++» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2012. - №09(083). S. 328 - 356. - IDA [article ID]: 0831209025. -Rezhim dostupa: http://ej.kubagro.ru/2012/09/pdf/25.pdf, 1,812 u.p.l.
9. Lucenko E.V. Metrizacija izmeritel'nyh shkal razlichnyh tipov i sovmestnaja sopostavimaja kolichestvennaja obrabotka raznorodnyh faktorov v sistemno-kognitivnom analize i sisteme «Jejdos» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 u.p.l.
10. Lucenko E.V. Modelirovanie slozhnyh mnogofaktornyh nelinejnyh ob#ektov upravlenija na osnove fragmentirovannyh zashumlennyh jempiricheskih dannyh bol'shoj razmernosti v sistemno-kognitivnom analize i intellektual'noj sisteme «Jejdos-H++» / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2013. - №07(091). S. 164 - 188. - IDA [article ID]: 0911307012. - Rezhim dostupa: http://ej.kubagro.ru/2013/07/pdf/12.pdf, 1,562 u.p.l.
11. Lucenko E.V. Nechetkoe mul'tiklassovoe obobshhenie klassicheskoj F-mery dostovernosti modelej Van Rizbergena v ASK-analize i sisteme «Jejdos» / Lucenko E.V. // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2016. - №09(123). - Rezhim dostupa: http://ej.kubagro.ru/2016/09/pdf/01.pdf, 1,813 u.p.l. - IDA [article ID]: 1231609001. http://dx.doi.org/10.21515/1990-4665-123-001
12. Lucenko E.V. Kolichestvennyj avtomatizirovannyj SWOT- i PEST-analiz sredstvami ASK-analiza i intellektual'noj sistemy «Jejdos-H++» / E.V. Lucenko // Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchnyj zhurnal KubGAU) [Jelektronnyj resurs]. - Krasnodar: KubGAU, 2014. - №07(101). S. 1367 - 1409. - IDA [article ID]: 1011407090. - Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 u.p.l.
