CC BY
24
УДК 004.8
06.02.00 Ветеринария и Зоотехния
ФОРМИРОВАНИЕ СЕМАНТИЧЕСКОГО ЯДРА ВЕТЕРИНАРИИ ПУТЕМ АВТОМАТИЗИРОВАННОГО СИСТЕМНО-КОГНИТИВНОГО АНАЛИЗА ПАСПОРТОВ НАУЧНЫХ СПЕЦИАЛЬНОСТЕЙ ВАК РФ И АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ ТЕКСТОВ ПО НАПРАВЛЕНИЯМ НАУКИ
Луценко Евгений Вениаминович д.э.н., к.т.н., профессор Scopus Author ID: 57188763047 РИНЦ SPIN-код: 9523-7101 [email protected] http://lc.kubagro.ru Кубанский государственный аграрный университет имени И.Т.Трубилина, Краснодар, Россия
Данная работа является продолжением серии работ автора по когнитивной ветеринарии. Настоящее время характеризуется появлением в открытом доступе огромных объемов текстов на различных языках, сгенерированных людьми. В настоящее время эти тексты накапливаются в различных электронных библиотеках и библиографических базах данных (WoS, Скопус, РИНЦ и др), а также просто в Internet на различных сайтах. Все эти тексты имеют конкретных авторов, датировку и могут относиться одновременно ко многим не альтернативным категориям и жанрам, в частности: учебные; научные; художественные; политические; новостные; чаты; форумы и многие другие. Большой научный и практический интерес представляет решение обобщенной задачи атрибуции текстов, т. е. такого исследования этих текстов, при котором определялись бы их вероятные авторы, датировка создания, принадлежность этих текстов к перечисленным выше обобщенным группам или жанрам, а также оценка сходства- различия авторов и текстов по их содержанию, выделение в текстах ключевых слов и т. п. и т. д. Для решения всех этих задач необходимо сформировать обобщенные лингвистические образы текстов по группам (классам), т. е. сформировать семантические ядра классов. Частным случаем этой задачи является создание семантических ядер по различным научным специальностям ВАК РФ и автоматическая классификация научных текстов по направлениям науки. Традиционно эта задача решается диссертационными советами, т. е. экспертами, на основе экспертных оценок, т.е. неформализованным путем, на основе опыта, интуиции и профессиональной компетенции. Однако традиционный подход имеет ряд довольно серьезных недостатков, накладывающих на качество и объемы анализа существенные ограничения. В настоящее время уже есть все основания
UDC 004.8
Veterinary and Zootechnics
FORMATION OF A SEMANTIC KERNEL IN VETERINARY MEDICINE WITH THE AUTOMATED SYSTEM-COGNITIVE ANALYSIS OF PASSPORTS OF SCIENTIFIC SPECIALTIES OF THE HIGHER ATTESTATION COMMISSION OF THE RUSSIAN FEDERATION AND THE AUTOMATIC CLASSIFICATION OF TEXTS ACCORDING TO THE AREAS OF SCIENCE
Lutsenko Evgeniy Veniaminovich Dr.Sci.Econ., Cand.Tech.Sci., professor Scopus Author ID: 57188763047 RSCI SPIN-code: 9523-7101 prof.lutsenko@gmail. com http://lc.kubagro.ru Kuban State Agrarian University, Krasnodar, Russia
This work is a continuation of the author's series of works on cognitive veterinary medicine. The present period is characterized by the appearance of huge volumes of texts in different languages in the open access, generated by people. Currently, these texts are accumulated in various electronic libraries and bibliographic databases (WoS, Scopus, RSCI, etc.), as well as on the Internet on various sites. All these texts have specific authors, dates and can belong simultaneously to many non-alternative categories and genres, in particular: educational; scientific; artistic; political; news; chats; forums and many others. The solution of the generalized problem of attribution of texts is of great scientific and practical interest, i.e. studying these texts, which would reveal their probable authors, date of creation, the ownership of these texts to the above generalized categories or genres, and might evaluate the similarities - differences of authors and texts according to their content, highlight key words etc. To solve all these problems it seems necessary to form the generalized linguistic images of texts into groups (classes), i.e. to form semantic kernels of classes. A special case of this problem is the creation of the semantic kernel in various scientific specialties of the HAC of the Russian Federation and the automatic classification of scientific texts in the areas of science. Traditionally, this task is solved by dissertation councils, i.e. experts, on the basis of expert assessments, i.e. in an informal way, on the basis of experience, intuition and professional competence. However, the traditional approach has a number of serious drawbacks that impose significant limitations on the quality and volume of analysis. Currently, there are all grounds to consider these restrictions as unacceptable, because they can be overcome. Thus, there is a problem, the solutions of which are the subject of consideration in this article. Therefore, the efforts of researchers and developers to overcome them are relevant. Therefore,
рассматривать эти ограничения как неприемлемые, т.к. их вполне можно преодолеть. Таким образом, налицо проблема, пути решения которой и являются предметом рассмотрения в данной статье. Следовательно, актуальными является усилия исследователей и разработчиков по их преодолению. Поэтому целью работы является разработка автоматизированной технологии (метода и инструментария), а также методики их применения для формирования семантического ядра ветеринарии путем автоматизированного системно-когнитивного анализа паспортов научных специальностей ВАК РФ и автоматической классификация текстов по направлениям науки. Приводится развернутый численный пример решения поставленной проблемы на реальных данных
the aim of the work is to develop an automated technology (method and tools), as well as methods of their application for the formation of the semantic core of veterinary medicine by automated system-cognitive analysis of passports of scientific specialties of the HAC of the Russian Federation and automatic classification of texts in the areas of science. A detailed numerical example of solving the problem on real data has been given as well
Ключевые слова: АВТОМАТИЗИРОВАННЫМ СИСТЕМНО-КОГНИТИВНЫЙ АНАЛИЗ АСК-АНАЛИЗ СИСТЕМА «ЭЙДОС»
Keywords: AUTOMATED SYSTEM-COGNITIVE ANALYSIS, ASC-ANALYSIS, "EIDOS" SYSTEM
Doi: 10.21515/1990-4665-144-033
СОДЕРЖАНИЕ
1. ВВЕДЕНИЕ (INTRODUCTION)...................................................................................................................3
2. МАТЕРИАЛЫ И МЕТОДЫ (MATERIALS AND METHODS)...............................................................5
2.1. Идея и концепция решения проблемы (задача 1).............................................................................5
2.2. Обоснование выбора метода и инструмента решения проблемы (задача 2).............................5
2.2.1 Суть метода АСК-анализа..............................................................................................................6
2.2.2. Суть математической модели АСК-анализа и частные критерии..........................................8
2.2.3. Интегральные критерии и приятие управляющих решений......................................................11
2.3. Применение системы «Эйдос» для создания интеллектуального приложения (задача 3)... 14
2.3.1. Когнитивно-целевая структуризация предметной области....................................................14
2.3.2. Формализация предметной области и описание исходных данных.........................................15
2.3.3. Синтез статистических и системно-когнитивных моделей...................................................22
2.3.4. Верификация статистических и системно-когнитивных моделей.........................................25
2.3.5. Повышение качества модели........................................................................................................27
2.3.6. Выбор наиболее достоверной модели и присвоение ей статуса текущей..............................29
3. РЕЗУЛЬТАТЫ И ОБСУЖДЕНИЕ (RESULTS AND DISCUSSION)...................................................30
3.1. Диагностика (классификация, распознавание, идентификация) (задача 3).........................30
3.1.1. Верификация моделей путем распознавания обучающей выборки..........................................30
3.1.2. Классификация текстов, не использовавшихся при синтезе и верификации моделей............32
3.2. Поддержка принятия решений (задача 3)........................................................................................ 35
3.3. Исследование предметной области путем исследования ее модели (задача 3)....................43
3.3.1. Нелокальные нейроны и нейронные сети....................................................................................43
3.3.2. Когнитивные диаграммы и агломеративные дендрограммы классов.....................................47
4. ВЫВОДЫ (CONCLUSIONS).......................................................................................................................49
4.1. Эффективность предложенного решения проблемы (задача 4)..................................................49
4.2. Ограничения и недостатки предложенного решения проблемы и перспективы его развития путем их преодоления этих ограничений и недостатков (задача 5)..............................................49
4.3. Заключение............................................................................................................................................49
5. БЛАГОДАРНОСТИ (ACKNOWLEDGEMENTS)...................................................................................51
СПИСОК ЛИТЕРАТУРЫ (REFERENCES).................................................................................................52
1. Введение (Introduction)
Данная работа является продолжением серии работ автора по когнитивной ветеринарии [26-33] и когнитивному анализу текстов [1-20]. Настоящее время характеризуется появлением в открытом доступе огромных объемов текстов на различных языках, сгенерированных людьми. В настоящее время эти тексты накапливаются в различных электронных библиотеках и библиографических базах данных (WoS, Сопус, РИНЦ и др), а также просто в Internet на различных сайтах.
Все эти тексты имеют конкретных авторов, датировку и могут относится одновременно ко многим не альтернативным категориям и жанрам, в частности: учебные; научные; художественные; политические; новостные; чаты; форумы и многие другие.
Большой научный и практический интерес представляет решение обобщенной задачи атрибуции текстов, т.е. такого исследования этих текстов, при котором определялись бы их вероятные авторы, датировка создания, принадлежность этих текстов к перечисленным выше обобщенным группам или жанрам, а также оценка сходства- различия авторов и текстов по их содержанию, выделение в текстах ключевых слов и т.п. и т.д. [1-5].
Для решения всех этих задач необходимо сформировать обобщенные лингвистические образы текстов по группам (классам), т.е. сформировать семантические ядра классов. Важным частным случаем этой задачи является создание семантических ядер по различным научным специальностям ВАК РФ и автоматическая классификация научных текстов по направлениям науки. При приеме новой диссертации к защите в диссертационном совете обязательно проводится голосование членов совета по вопросу о том, соответствует ли данная диссертация направлению науки, по которому она представлена к защите и профилю диссертационного совета. При этом члены диссертационного совета решают ту же самую задачу.
Традиционно эта задача решается диссертационными советами, т.е. экспертами, на основе экспертных оценок, т.е. неформализованным путем, на основе опыта, интуиции и профессиональной компетенции. Однако традиционный подход имеет ряд довольно серьезных недостатков, накладывающих на качество и объемы анализа существенные ограничения. В настоящее время уже есть все основания рассматривать эти ограничения как неприемлемые, т.к. их вполне можно преодолеть. Таким образом налицо проблема, пути решения которой и являются предметом рассмотрения в данной статье.
Какие же конкретно основные недостатки традиционного подхода?
Во-первых, количество экспертов-аналитиков по контент-анализу и атрибуции текстов довольно ограничено.
Во-вторых, время экспертов стоит дорого, а производительность их работы не очень высока. Поэтому задача атрибуции текстов ими решается неточно и в ограниченном объеме.
В-третьих, обычно эксперты это очень уважаемые и довольно пожилые люди, имеющие ограниченную производительность и не очень ладящие с компьютерами. Поэтому обычно эксперты лично не работают с компьютерами и им для поддержки этой работы нужен специалист, обычно когнитолог (инженер по знаниям), который извлекает знания эксперта и повышает степень их формализации до уровня, который позволяет внести их в интеллектуальные системы.
В-четвертых, часто эксперт не способен формализовать свои знания и оценки даже до уровня вербализации, т.е. сформулировать их словами. Иначе говоря, все оценки производятся в качественных порядковых шкалах с небольшим числом градаций. Никакой речи об использования количественных шкал с большим числом интервальных числовых значений не идет.
В-пятых, эксперты часто не хотят искренне сообщать свои знания и методы принятия решений, т.к. иногда в особо щепетильных случаях такие откровения экспертов можно было бы квалифицировать как чистосердечное признание, снижающее тяжесть наказания. Понятно, что в подобных случаях эксперт вместо реальных используемых на практике знаний и подходов сообщит когнитологу вполне ожидаемые и приемлемые с точки зрения морально-этических норм, а также гражданского и уголовного законодательства.
Мы видим, что недостатки традиционного решения являются довольно существенными, а значит, усилия исследователей и разработчиков по их преодолению являются актуальными. Поэтому целью работы является разработка автоматизированной технологии (метода и инструментария), а также методики их применения для формирования семантического ядра ветеринарии путем автоматизированного системно-когнитивного анализа паспортов научных специальностей ВАК РФ и автоматической классификация текстов по направлениям науки. В работе приводится развернутый численный пример решения поставленной проблемы на реальных данных.
Для достижения поставленной цели необходимо решить следующие задачи, которые получаются путем декомпозиции цели:
Задача 1: сформулировать идею и концепцию решения проблемы;
Задача 2: обосновать выбор метода и инструмента решения проблемы;
Задача 3: применить выбранный метод и инструмент для решения поставленной проблемы, т.е. выполнить следующие этапы:
3.1. Когнитивная структуризация предметной области.
3.2. Формализация предметной области.
3.3. Синтез и верификация модели.
3.4. Повышение качества модели и выбор наиболее достоверной модели.
3.5. Решение в наиболее достоверной модели задач диагностики (классификации, распознавания, идентификации), поддержки принятия решений и исследования моделируемой предметной области путем исследования ее модели.
Задача 4: описать эффективность предложенного решения проблемы.
Задача 5: рассмотреть ограничения и недостатки предложенного решения проблемы и перспективы его развития путем их преодоления этих ограничений и недостатков.
Ниже кратко рассмотрим решение этих задач. 2. Материалы и методы (Materials and methods)
2.1. Идея и концепция решения проблемы (задача 1)
Идея решения проблемы состоит в применении для этой цели современных IT-технологий, особенно интеллектуальных технологий, которых просто не существовало в период разработки традиционного подхода.
Концепция решения проблемы конкретизирует сформулированную выше идею и заключается в применении технологий искусственного интеллекта для создания приложений, обеспечивающих глубокую атрибуцию текстов (термин автора).
Суть предлагаемой концепции состоит в применении теории информации для того, чтобы рассчитать какое количество информации содержится в том или ином слове или его лемме о принадлежности текста с этим словом (леммой) к определенному классу.
Текст считается тем более релевантным классу, чем больше суммарное количество информации, содержащееся в словах (леммах) этого текста о принадлежности к этому классу.
Классы можно сравнивать друг с другом по тому, какое количество информации о принадлежности к ним содержат слова (леммы), встречающиеся в текстах этих классов.
2.2. Обоснование выбора метода и инструмента решения проблемы (задача 2)
Автоматизированный системно-когнитивный анализ (АСК-анализ) разработан проф. Е.В. Луценко в 2002 году [6-13] для решения широкого класса задач идентификации, прогнозирования, классификации, диагностики, поддержки принятия решений и исследования моделируемой предметной области путем исследования ее модели. АСК-анализ имеет программный инструментарий - универсальную когнитивную аналитическую систему «Эйдос» (система «Эйдос»).
Существует много систем искусственного интеллекта. Универсальная когнитивная аналитическая система «Эйдос-Х++» отличается от них следующими параметрами:
- разработана в универсальной постановке, не зависящей от предметной области. Поэтому она является универсальной и может быть применена во многих предметных областях (http: //lc.kubagro .ru/aidos/index.htm);
- находится в полном открытом бесплатном доступе (http://lc.kubagro.ru/aidos/ Aidos-X.htm), причем с актуальными исходными текстами (http://lc.kubagro.ru/ AIDOS-X.txt);
- является одной из первых отечественных систем искусственного интеллекта персонального уровня, т.е. она не требует от пользователя специальной подготовки в области технологий искусственного интеллекта (есть акт внедрения системы «Эйдос» 1987 года) (http://lc .kubagro.ru/aidos/aidos02/PR-4 .htm) ;
- обеспечивает устойчивое выявление в сопоставимой форме силы и направления причинно-следственных зависимостей в неполных зашумлен-ных взаимозависимых (нелинейных) данных очень большой размерности числовой и не числовой природы, измеряемых в различных типах шкал (номинальных, порядковых и числовых) и в различных единицах измерения (т.е. не предъявляет жестких требований к данным, котореы невозможно выполнить, а обрабатывает те данные, которые есть);
- содержит большое количество локальных (поставляемых с инсталляцией) и облачных учебных и научных приложений (в настоящее время их 31 и 135, соответственно) (http://lc.kubagro.ru/aidos/Presentation Aidos-online.pdf);
- обеспечивает мультиязычную поддержку интерфейса на 44 языках. Языковые базы входят в инсталляцию и могут пополняться в автоматическом режиме;
- поддерживает on-line среду накопления знаний и широко используется во всем мире (http://aidos.byethost5 .com/map3 .php);
- наиболее трудоемкие в вычислительном отношении операции синтеза моделей и распознавания реализует с помощью графического процессора (GPU), что на некоторых задачах обеспечивает ускорение решение этих задач в несколько тысяч раз, что реально обеспечивает интеллектуальную обработку больших данных, большой информации и больших знаний;
- обеспечивает преобразование исходных эмпирических данных в информацию, а ее в знания и решение с использованием этих знаний задач классификации, поддержки принятия решений и исследования предметной области путем исследования ее системно-когнитивной модели, генерируя при этом очень большое количество табличных и графических выходных форм (развития когнитивная графика), у многих из которых нет никаких аналогов в других системах (примеры форм можно посмотреть в работе: http://lc.kubagro.ru/aidos/aidos18 LLS/aidos18 LLS.pdf)
2.2.1 Суть метода АСК-анализа
Суть метода АСК-анализа состоит в последовательном повышении степени формализации модели и преобразовании данных в информацию, а ее в знания и решении на основе этих знаний задач идентификации (распознавания, классификации и прогнозирования), поддержки принятия реше-
ний и исследования моделируемой предметной области (рисунки 1 и 2) [613].
О соотношении содержания понятий: «Данные», «Информация» и «Знания»
Рисунок 1. О соотношении содержания понятий: «данные», «информация» и «знания» в АСК-анализе
Последовательность обработки данных, информации и знаний в системе «Эйдос-Х++»
с
Когнитивно-целевая структуризация предметной области (неавтоматизированный в системе «Эйдос-Х++» этап АСК-анализа)
3
Формализация предметной области
Средства кодирования исходных данных
1пр_сЫа, lnp_data.xls
Исходные данные
С1а55_3с, Сг_С1Эс
Классификационные шкалы и градации
Решение задач исследования предметной области путем исследования ее модели
Рисунок 2. Последовательность преобразования данных в информацию, а ее в знания и решения задач в АСК-анализе и системе «Эйдос»
2.2.2. Суть математической модели АСК-анализа и частные критерии
Математическая модель АСК-анализа и системы «Эйдос» основана на системной нечеткой интервальной математике и обеспечивает сопоставимую обработку больших объемов фрагментированных и зашумленных взаимозависимых данных, представленных в различных типах шкал (номинальных, порядковых и числовых) и различных единицах измерения [67].
Суть математической модели АСК-анализа состоит в следующем.
Непосредственно на основе эмпирических данных рассчитывается матрица абсолютных частот (таблица 1).
Таблица 1 - Матрица абсолютных частот
Классы Сумма
1 1 W
Значения факторов 1 N11 N / N
г N N Ж ^ = I N /=1
М N N 1УМЖ
Суммарное количество Признаков по классу п Ж М Nуу= I 1=1 /=1
Суммарное количество объектов обучающей выборки по классу Ыу/ Ж NLL = INL/ /=1
На ее основе рассчитываются матрицы условных и безусловных процентных распределений (таблица 2).
Отметим, что в АСК-анализе и его программном инструментарии интеллектуальной системе «Эйдос» используется два способа расчета матриц условных и безусловных процентных распределений:
1-й способ: в качестве Ыу используется суммарное количество признаков по классу;
2-й способ: в качестве Ыу используется суммарное количество объектов обучающей выборки по классу.
Таблица 2 - Матрица условных и безусловных процентных распределений
Классы Безусловная вероятность признака
1 j W
Значения факторов 1 Pll P1j P 11W
i Pi P II N N J j: P 1 iW P _ Na Ps N SS
M P 1 Mi P P 1 MW
Безусловная вероятность класса PSj
Затем на основе таблицы 2 с использованием частных критериев, приведенных таблице 3 рассчитываются матрицы системно-когнитивных моделей (таблица 4).
Таблица 3 - Различные аналитические формы частных критериев знаний
Наименование модели знаний и частный критерий Выражение для частного критерия
через относительные частоты через абсолютные частоты
ABS, матрица абсолютных частот — Nj
PRC1, матрица условных и безусловных процентных распределений, в качестве NSj используется суммарное количество признаков по классу — р - Nj 1J Nj
PRC2, матрица условных и безусловных процентных распределений, в качестве NSj используется суммарное количество объектов обучающей выборки по классу — P - N N
INF1, частный критерий: количество знаний по А.Харкевичу, 1-й вариант расчета вероятностей: Nj -суммарное количество признаков по j-му классу. Вероятность того, что если у объекта j-го класса обнаружен признак, то это i-й признак Ij =Y* Log 2 P N,,N I. - YxLog2 j N,N, ' J
INF2, частный критерий: количество знаний по А.Харкевичу, 2-й вариант расчета вероятностей: Nj -суммарное количество объектов по j-му классу. Вероятность того, что если предъявлен объект j -го класса, то у него будет обнаружен i-й признак. Ij = Yx Log, p NijN Ij =Yx Log 2 j N7N7 ij
INF3, частный критерий: Хи-квадрат: разности между фактическими и теоретически ожидаемыми абсолютными частотами — NiNj I = N.. i j , ij n
INF4, частный критерий: ROI -Return On Investment, 1-й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу P P - P I = j 1 = j l j P P N.N P, = 4 1 lj NlNJ
INF5, частный критерий: ROI -Return On Investment, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу P P - P Ij = l 1 = j ' j P P n.N I j = 1 lj NtNj
INF6, частный критерий: разность условной и безусловной вероятностей, 1 -й вариант расчета вероятностей: Nj - суммарное количество признаков по j-му классу 1j = Pj - P I = nJ N lJ Nj N
INF7, частный критерий: разность условной и безусловной вероятностей, 2-й вариант расчета вероятностей: Nj - суммарное количество объектов по j-му классу P] = Pj - P j = ni N lj Nj N
Обозначения к таблице 3: I - значение прошлого параметра; j - значение будущего параметра;
Ыу - количество встреч ]-го значения будущего параметра при 1-м значении прошлого параметра;
М- суммарное число значений всех прошлых параметров; Ж - суммарное число значений всех будущих параметров. N - количество встреч 1-м значения прошлого параметра по всей выборке; Щ - количество встреч ]-го значения будущего параметра по всей выборке; N - количество встреч ]-го значения будущего параметра при 1-м значении прошлого параметра по всей выборке.
I у - частный критерий знаний: количество знаний в факте наблюдения ¡-го значения прошлого параметра о том, что объект перейдет в состояние, соответствующее ]-му значению будущего параметра;
¥ - нормировочный коэффициент (Е.В.Луценко, 2002), преобразующий количество информации в формуле А.Харкевича в биты и обеспечивающий для нее соблюдение принципа соответствия с формулой Р.Хартли;
Р, - безусловная относительная частота встречи ¡-го значения прошлого параметра в обучающей выборке;
Рц - условная относительная частота встречи ¡-го значения прошлого параметра при Ц-м значении будущего параметра .
Таблица 4 - Матрица системно-когнитивной модели
Классы Значимость фактора
1 .1 W
Значения факторов 1 11. Ц 1 Ш 2 ж-1X(А'-11)
г 1,1 1Ц 1 Ш 2 1 х (1 -1) ж -1 Ц-т*
М 1М1 !ыц ^ЫШ = 2 1 ж 2 ж-1Х 1ы )
Степень редукции класса н=2 1 Ш Ы , ч2 1 X X ^ 1) (Ш • Ы -1) 1
Суть этих методов в том, что вычисляется количество информации в факте наличия или определенной степени выраженности того или иного личностного свойства о том, что обладающий им кандидат будет проявлять определенную степень успешности профессиональной деятельности, работая на той или иной должности. Это позволяет сопоставимо и корректно обрабатывать разнородную информацию о респондентах, полученную с помощью различных тестов и других различных источников [11].
На основе системно-когнитивных моделей, представленных в таблице 4 (отличаются частыми критериями), решаются задачи идентификации (классификации, распознавания, диагностики, прогнозирования), поддержки принятия решений (обратная задача прогнозирования), а также задача исследования моделируемой предметной области путем исследования ее системно-когнитивной модели [1-11].
Для решения этих задач в АСК-анализе и системе «Эйдос» в настоящее время используется два интегральных критерия.
2.2.3. Интегральные критерии и приятие управляющих решений Задача принятия управляющих решений представляет собой обратную задачу прогнозирования. Если при прогнозировании на основе значений факторов, воздействующих на объект управления, определяется в какое состояние он под их воздействием перейдет, но при принятии решений наоборот, по желательному (целевому) состоянию объекта управления опре-
деляется система значений факторов, обуславливающих переход объекта в это целевое состояние.
Не все модели обеспечивают решение обратной задачи прогнозирования. Для этого они должны обеспечивать многопараметрическую типизацию, т.е. создавать обобщенные образы в будущих состояний объекта управления. Как влияет на поведение объекта управления одно значение фактора отражено в системно-когнитивных моделях. Как влияние система факторов определяется с помощью интегральных критериев. В настоящее время в системе «Эйдос» используется два аддитивных интегральных критерия:
- сумма знаний;
- резонанс знаний.
1 -й интегральный критерий «Сумма знаний» представляет собой суммарное количество знаний, содержащееся в системе значений факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.
Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний:
= (I, I,).
В выражении круглыми скобками обозначено скалярное произведение. В координатной форме это выражение имеет вид:
М
1, = X1.А,
.=1 ,
где: М - количество градаций описательных шкал (признаков);
= {1у } - вектор состояния _]-го класса;
-
Ц = {Ц} - вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:
1, если . - й фактор действует;
Ьг = <п, где: п > 0, если . - й фактор действует с истинностью п;
0, если . - й фактор не действует.
В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или п, если он присутствует у объекта с интенсивностью п, т.е. представлен п раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).
2-й интегральный критерий «Семантический резонанс знаний» представляет собой нормированное суммарное количество знаний, содержащееся в системе факторов различной природы, характеризующих сам объект управления, управляющие факторы и окружающую среду, о переходе объекта в будущие целевые или нежелательные состояния.
Интегральный критерий представляет собой аддитивную функцию от частных критериев знаний и имеет вид: 1 М
где:
М - количество градаций описательных шкал (признаков);
1 - средняя информативность по вектору класса;
Ь - среднее по вектору объекта;
о j - среднеквадратичное отклонение частных критериев знаний вектора класса;
¡1 - среднеквадратичное отклонение по вектору распознаваемого объекта.
= {1^ } - вектор состояния j-го класса;
—
Ь = {Ц} - вектор состояния распознаваемого объекта, включающий все виды факторов, характеризующих сам объект, управляющие воздействия и окружающую среду (массив-локатор), т.е.:
1, если . - й фактор действует;
Ь1 = < п, где: п > 0, если . - й фактор действует с истинностью п;
0, если . - й фактор не действует.
В текущей версии системы «Эйдос-Х++» значения координат вектора состояния распознаваемого объекта принимались равными либо 0, если признака нет, или п, если он присутствует у объекта с интенсивностью п, т.е. представлен п раз (например, буква «о» в слове «молоко» представлена 3 раза, а буква «м» - один раз).
Свое наименование интегральный критерий сходства «Семантический резонанс знаний» получил потому, что по своей математической форме является корреляцией двух векторов: состояния j-го класса и состояния распознаваемого объекта.
Система «Эйдос» обеспечивает построение информационно-измерительных систем в различных предметных областях [14-18]. В системе «Эйдос» реализовано большое количество программных интерфей-
сов, обеспечивающий автоматизированный ввод в систему данных различных типов: текстовых, табличных и графических.
Путем многопараметрической типизации в системе создается системно-когнитивная модель, с применением которой, если модель окажется достаточно достоверной, могут решаться задачи системной идентификации, прогнозирования, классификации, поддержки принятия решений и исследования моделируемого объекта путем исследования его системно-когнитивной модели [6-7].
Всем этим и обусловлен выбор АСК-анализа и его программного инструментария интеллектуальной системы «Эйдос» в качестве инструментария решения поставленной проблемы.
2.3. Применение системы «Эйдос»для создания интеллектуального приложения (задача 3)
Решение задачи 3 предполагает выполнение следующих этапов, стандартных для АСК-анализа:
- когнитивная структуризация предметной области;
- формализация предметной области;
- синтез и верификация модели;
- повышение качества модели и выбор наиболее достоверной модели
- решение в наиболее достоверной модели задач диагностики (классификации, распознавания, идентификации), поддержки принятия решений и исследования моделируемой предметной области путем исследования ее модели.
Все эти этапы АСК-анализа, за исключением 1-го, автоматизированы в системе «Эйдос». Рассмотрим их в порядке исполнения.
2.3.1. Когнитивно-целевая структуризация предметной области
На этапе когнитивно-целевой структуризации предметной области мы решаем на качественном уровне, что будем рассматривать в качестве факторов, действующих на моделируемый объект (причин), а что в качестве результатов действия этих факторов (последствий).
В данной работе мы собираемся на основе паспортов различных научных специальностей ВАК РФ, сформировать обобщенные лингвистические образы этих специальностей, т.е. сформировать семантические ядра классов по различным направлениям науки, соответствующих этим специальностям.
При этом нас различные специальности интересуют в различной степени (это связано просто с местом работы автора), поэтому мы специальности, связанные с информационными технологиями, механизацией, агрономией и ветеринарией рассмотрим более подробно (полные шифры специальностей), а остальные на более обобщенном уровне (первые две пары цифр шифров специальностей).
Соответственно, в качестве классификационных шкал мы используем шифры и наименования научных специальностей ВАК РФ, а в качестве описательных шкал слова (точнее их леммы) этих текстов (мемы на в данном исследовании не используются, хотя применяемая технология это позволяет сделать).
2.3.2. Формализация предметной области и описание исходных данных
Исходные данные представляют собой текстовые файлы паспортов научных специальностей ВАК РФ, взятые непосредственно с сайта ВАК на странице: http://vak.ed.gov.ru/316. Эти файлы скачаны с сайта ВАК вручную по приведенным на нем прямым ссылкам.
Характеристика файлов исходных данных. Паспорта специальностей (их 429) представляют собой doc-файлы MS Word (рисунок 3a)..
Рисунок 3 a. Файлы исходных данных
Имена этих файлов обычно, но не всегда, состоят из шифра специальности и ее наименования, причем наименования специальностей часто являются сокращенными, а иногда и вообще отсутствуют (есть только шифры). Одна специальность (09.00.04 Эстетика) повторяется на сайте ВАК два раза.
Для системы «Эйдос» в настоящее время исходные текстовые файлы должны быть в кодировке DOS OEM 866 (ASCII). Поэтому исходные вор-довские doc-файлы, скачаннеы с сайта ВАК, были сначала преобразованы в DOS-кодировку Windows (ANSI) (с помощью Total Doc Converter 5.1.0.191), а затем перекодированы из ANSI в ASCII (с помощью DS text converter).
Затем наименования скачанных файлов паспортов специальностей были приведены в полное соответствие с теми, которые приведены на сайте ВАК. Это было сделано не вручную, а с помощью специально для этого
разработанной автором небольшой программы, исходный текст которой приводится ниже:
FUNCTION Main() CLOSE ALL
USE PassportsNameVAK EXCLUSIVE NEW aPassportsNameVAK := {} DBGOTOP()
DO WHILE .NOT. EOF()
mPassportsNameVAK = ALLTRIM(FIELDGET(2))
mPassportsNameVAK = STRTRAN(mPassportsNameVAK, ';')
mPassportsNameVAK = SUBSTR(mPassportsNameVAK, 1, 6) + '00, ,+mPassportsNameVAK+,.txt' AADD(aPassportsNameVAK, mPassportsNameVAK) DBSKIP(1) ENDDO
mCountTxt = ADIR("*.TXT") // Кол-во исходных TXT-файлов с паспортами специальностей
PRIVATE aFN[mCountTxt]
ADIR("*.txt", aFN)
aFileName := {}
FOR j=1 TO mCountTxt
IF LEN(ALLTRIM(SUBSTR(aFN[j], 9, 1))) = 0
AADD(aFileName, ALLTRIM(aFN[j])) ENDIF
NEXT
*LB_Warning(aFileName)
mCountTxt = LEN(aFileName)
FOR j=1 TO mCountTxt
mVAKspecialtyCipher = SUBSTR(aFileName[j], 1, 8) FOR i=1 TO mCountTxt
mPos = AT(mVAKspecialtyCipher, aPassportsNameVAK[i]) IF mPos > 0
mOldName = aFileName[j]
mNewName = ConvToAnsiCP(aPassportsNameVAK[i]) IF FILE(mNewName)
ERASE(mNewName) ENDIF
COPY FILE (mOldName) TO (mNewName)
mNewName = SUBSTR(aPassportsNameVAK[i],1,6)+'00-'+STRTRAN(STR(j,9),' ',,0')+,.txt, IF FILE(mNewName)
ERASE(mNewName) ENDIF
COPY FILE (mOldName) TO (mNewName) EXIT ENDIF
NEXT
NEXT
CLOSE ALL
LB_Warning( 'Процесс переименования файлов завершен успешно!' ) RETURN NIL
Правильные наименования файлов паспортов научных специальностей были взяты с сайта ВАК с той же страницы, с которой они скачиваются1. Это было сделано следующим образом. Паспорта специальностей
1 Отметим, что на этой странице они тоже не всегда правильные, т.е. встречаются случаи применения оборванных на полуслове наименований специальностей (например, по специальностям: 05.13.06
были выделены блоком, перенесены в MS Excel и записаны в виде DBFIV-файла с именем PassportsNameVAK.dbf, т.е. в виде базы данных, которая используется приведенной выше программой.
Кроме того, с целью формирования обобщенных образов групп специальностей, приведенная выше программа скопировала файлы паспортов специальностей во 2-м стандарте «Эйдос»2. В этом стандарте имена файлов имеют вид: <Наименование класса-#########.Ш>, где: ######### -номер реализации объекта, относящегося к классу. В качестве наименований классов были использованы обобщенные до первых двух пар цифр шифры специальностей для и номера примеров, также сгенерированные программой3 (рисунок 3b):
Рисунок 3b. Файлы исходных данных в кодировке DOS OEM 866 (ASCII) с исправленными именами, а также во 2-м стандарте «Эйдос»
Текстовые файлы исходных данных записываются в поддиректорию: «..\AID_DATA\Inp_data\» в той директории, в которой находится система «Эйдос».
Отметим также, что файлов исходных данных довольно много (429 паспортов специальностей) и они имеют достаточно большой суммарный объем.
Затем с параметрами, показанными на рисунке 4, запускается режим 2.3.2.1 системы «Эйдос», представляющий собой программный интерфейс (API) с внешними данными текстового типа. Этот программный интерфейс не имеет особых ограничений на объем обрабатываемых текстов, т.к. тек-
Автоматизация и управление технологическими процесс, 05.13.19 Методы и системы защиты информации, информационная).
2 Этот стандарт будет описан чуть ниже.
3 Все это можно было сделать и вручную, но дольше и более трудоемко, чем написать программу и использовать ее для выполнения этой работы.
сты представлены виде файлов, в отличие от интерфейса 2.3.2.2 в котором тексты являются значениями Ехсе1-таблицы и поэтому имеют объем не более 32К. Поэтому в данном случае интерфейс 2.3.2.1 и был использован.
Рисунок 4. Экранные формы программного интерфейса (API) 2.3.2.1 системы «Эйдос» с внешними данными текстового типа
На рисунке 4 приведены реально использованные параметры. Система «Эйдос» обеспечивает рассмотрение в качестве признаков текстов и авторов не только слов, но и их сочетаний по 2, 3 и т.д., некоторые из которых могут оказаться мемами [21] (рисунок 5). Однако в данной работе мы не будем рассматривать этот вариант, т.к. в данном случае в этом нет особой необходимости.
7~Ю]
Помощь по режиму: 2.3.2.1, Импорт данных из текстовых файлов, (С) Система "ЭЙДОС-Х+ +
Режим: "2.3.2.1. ИМПОРТ ДАННЫХ ИЗ ТЕКСТОВЫХ ФАЙЛОВ", предназначен для автоматизации ввода ОПРЕДЕЛЕНИЙ (т.е. онтологий) объектов обучающей выборки, т.е. для описания конкретным объектов предметной области путем указания более общих категорий, к которым они относятся (принадлежность к классам), а также указания признаков, отличающих одни объекты от других. На основе ряда определений конкретных объектов, рассматриваемых как примеры конкретных реализаций обобщенных классов Рйдосов), система 'Эйдос" автоматически формирует определения этих обобщенных классов.
Имена классов Формируются либо из имени Файла (два стандарта 'Эйдос"), либо из самого текста Файла (стандарт Kaggie). В 1 -м стандарте "Эйдос" для описания объектов используются текстовые Файлы, наименования и элементы наименований которых, отделенные друг от друга и от расширения файла запятой, рассматриваются как классы. Во 2-м стандарте 'Эйдос" если в конце имени файла есть девятиразрядное число перед которым стоит тире, то весь текст до этого тире рассмаривается как имя класса: "Имя класса-ЭДОД##Й8ЙШхГ. Если же тире и числа за ним в имени Файла нет, то как имя класса рассматривается все имя файла. Как признаки всегда рассматриваются слова и сочетания нескольких подряд идущих слов (мемы) в самих Файлах (см. Ричард Броуци, "Психические вирусы", http://www.twirpx.com/file/269987/).
Файлы могут бьгть различных Форматов TXT, DO С, HTMLc соответствующими расширениями(последние 2 в разработке) и различной кодировки: ANSI (Windows) или ASCII-OEM (DOS).
Файлы помещаются в папку: .VAID_DATA/lnp_data/. Система анализирует эти Файлы и создает новое приложение с наименованием: "2.3.2.1. АСК-анализ мемов и атрибуция текстов", т.е. Формирует классификационные и описательные шкалы и градации, а затем и обучающую выборку, описывающую эти Файлы или объекты реальной области, описанные этими Файлами. Этого вполне достаточно для синтеза и верификации модели, например в режиме 3.5.
Если задана опция: "Проводить лемматизацию", то слова заменяются их леммами, т.е. исходными словами, из которых они образованы, в Форме существительных единственного числа в именительном падеже. Это позволяет существенно сократить размерность модели.
База лемматизации дана Дмитрием Тумайкиным в статье: https://habrahabr.ru/company/realweb/blog/265375/, за что огромная ему благодарность: Автор лишь незначительно модифицировал ее (программно), представив в виде одной таблицы DBF-Формата: адрес для скачивания: http://lc.kubagro.ru/Lemma.rar. В основу этой базы положена база, созданная Зализняком Андреем Анатольевичем, дополненная современными словоформами. База лемматизации "Lemma.dbf" содержит более 2 млн.слов. Она может быть сброшена или скорректирована в режиме 5.13. Если ее сбросить, то Фактически лемматизация не проводится, т.к. все слова будут рассматриваться как новые. Новые слова отмечаются как <NEW> и их леммы должны быть введены в режиме 5.13 вручную.
Если задана опция: "Формировать БД lnp_data.dbf и т.д.", то создается база для программного интерфейса 2.3.2.2, в которой в качестве класса выступают последующие слова, а в качестве признаков ■ предшествующие слова (одно или несколько, сколько задано). Это позволяет строить модели, отражающие взаимосвязи слов в предложениях, позволяющие прогнозировать какое слово будет следующим, если известны одно или несколько предыдущих слов.
Кроме того данный режим позволяет сформировать распознаваемую выборку на уже имеющихся классификационных и описательных шкалах и градациях на основе Файлов, находящихся в папке: ../AID_DATA/lnp_data/ или ../AID_DATA/lnp_rasp/.
Имена исходных файлов могут быть закодированы в режиме 2.3.2.9 в двух стандартах:
- е стандарте 'Эйдос", "йййййй-Имя класса.txt", где йййййй-является порядковым номером абзаца, а текст за ним -именем исходного Файла;
- в стандарте http://kaggle.com/, в котором "id. Class name" берутся из текста самого Файла: id является первым словом текста Файла, а Class name - последним. Причем, если последнее слово равно 1 или 0, то они заменяются, соответственно, на "True" и "False".
Рисунок 5. Экранные форма HELP программного интерфейса (API) 2.3.2.1 системы «Эйдос» с внешними данными текстового типа
В результате работы режима сформирована одна классификационная шкала (таблица 5) с суммарным количеством классов 82 и одна описательная шкала с числом слов-градаций 11248 (рисунок 6). В качестве градаций описательной шкалы использованы леммы слов исходных текстов (рисунок 3b). Отметим, что без лемматизации количество слов увеличилось бы примерно в два раза.
Система «Эйдос» поддерживает лемматизацию. Леммы получены путем автоматизированного использования словаря академика РАН Андрея Анатольевича Зализняка для лемматизации. Эта база взята из статьи: https://habrahabr.ru/company/realweb/blog/265375/ и преобразована в формат базы данных системы «Эйдос» и входит в полную инсталляцию системы «Эйдос», размещенную на странице сайта автора: http://lc.kubagro.ru/aidos/ Aidos-X.htm. Кроме того эта база размещена на
сайте автора по ссылке: http://lc.kubagro.ru/Lemma.rar (архив имеет размер около 10 Мб, сама база около 217 Мб).
Таблица 5 - Классификационная шкала и ее градации (классы)
№ Наименование
1 КЛАСС-01.01.00
2 КЛАСС-01.02.00
3 КЛАСС-01.03.00
4 КЛАСС-01.04.00
5 КЛАСС-02.00.00
6 КЛАСС-03.01.00
7 КЛАСС-03.02.00
8 КЛАСС-03.03.00
9 КЛАСС-05.01.00
10 КЛАСС-05.02.00
11 КЛАСС-05.04.00
12 КЛАСС-05.05.00
13 КЛАСС-05.07.00
14 КЛАСС-05.08.00
15 КЛАСС-05.09.00
16 КЛАСС-05.11.00
17 КЛАСС-05.12.00
18 КЛАСС-05.13.00
19 КЛАСС-05.13.01 Системный анализ, управление и обработка информации
20 КЛАСС-05.13.05 Элементы и устройства вычислительной техники и сист
21 КЛАСС-05.13.06 Автоматизация и управление технологическими процесс
22 КЛАСС-05.13.10 Управление в социальных и экономических системах
23 КЛАСС-05.13.11 Математическое и программное обеспечение вычислител
24 КЛАСС-05.13.12 Системы автоматизации проектирования (по отраслям)
25 КЛАСС-05.13.15 Вычислительные машины, комплексы и компьютерные сет
26 КЛАСС-05.13.17 Теоретические основы информатики
27 КЛАСС-05.13.18 Математическое моделирование, численные методы и ко
28 КЛАСС-05.13.19 Методы и системы защиты информации, информационная
29 КЛАСС-05.13.20 Квантовые методы обработки информации
30 КЛАСС-05.14.00
31 КЛАСС-05.16.00
32 КЛАСС-05.17.00
33 КЛАСС-05.18.00
34 КЛАСС-05.19.00
35 КЛАСС-05.20.00
36 КЛАСС-05.20.01 Технологии и средства механизации сельского хозяйст
37 КЛАСС-05.20.02 Электротехнологии и электрооборудование в сельском
38 КЛАСС-05.20.03 Технологии и средства технического обслуживания в с
39 КЛАСС-05.21.00
40 КЛАСС-05.22.00
41 КЛАСС-05.23.00
42 КЛАСС-05.25.00
43 КЛАСС-05.26.00
44 КЛАСС-05.27.00
45 КЛАСС-06.01.00
46 КЛАСС-06.01.01 Общее земледелие
47 КЛАСС-06.01.02 Мелиорация, рекультивация и охрана земель
48 КЛАСС-06.01.03 Агрофизика
49 КЛАСС-06.01.04 Агрохимия
50 КЛАСС-06.01.05 Селекция и семеноводство сельскохозяйственных расте
51 КЛАСС-06.01.06 Луговодство и лекарственные, эфирно-масличные культ
52 КЛАСС-06.01.07 Защита растений
53 КЛАСС-06.02.00
54 КЛАСС-06.02.01 Диагностика болезней и терапия животных, патология,
55 КЛАСС-06.02.02 Ветеринарная микробиология, вирусология, эпизоотоло
56 КЛАСС-06.02.03 Ветеринарная фармакология с токсикологией
57 КЛАСС-06.02.04 Ветеринарная хирургия
58 КЛАСС-06.02.05 Ветеринарная санитария, экология, зоогигиена и вете
59 КЛАСС-06.02.06 Ветеринарное акушерство и биотехника репродукции жи
60 КЛАСС-06.02.07 Разведение, селекция и генетика сельскохозяйственны
61 КЛАСС-06.02.08 Кормопроизводство, кормление сельскохозяйственных ж
6? КЛАСС-06.02.09 Звероводство и охотоведение
63 КЛАСС-06.02.10 Частная зоотехния, технология производства продукто
64 КЛАСС-06.03.00
65 КЛАСС-06.04.00
66 КЛАСС-07.00.00
67 КЛАСС-08.00.00
68 КЛАСС-09.00.00
69 КЛАСС-1 0.01.00
70 КЛАСС-1 0.02.00
71 КЛАСС-12.00.00
7? КЛАСС-1 3.00.00
73 КЛАСС-14.01.00
74 КЛАСС-14.02.00
75 КЛАСС-14.03.00
76 КЛАСС-14.04.00
77 КЛАСС-1 7.00.00
78 КЛАСС-1 9.00.00
79 КЛАСС-22.00.00
80 КЛАСС-23.00.00
81 КЛАСС-24.00.00
82 КЛАСС-25.00.00
При заданных опциях режим 2.3.2.1 в качестве классов используются имена файлов без расширения, а также текст до символа тире: «-» и идущего за ним девятизначного номера файла.
t^) 2.2. Описательные шкалы и градации. Текущая модель: TNF!" ^ [ !=t |, 1Н1 | : ■■ И]
" I
II Код шкалы Наименование описательной шкалы * Ц Код градации Наименование градации описательной шкалы j
И СЛОВА ... I ВЩ ягодный
11229 ядернотопливного
11230 ядерный
Щ31 ядовитый
11232 ядохимикат
11233 ядро
11:234 ядровый
11235 язык
11236 языковедческий
ИШ языковый
11238 языкознание
11233 языческий
11240 язычество
11241 якобсон
11:242 Яковлева
11243 январь
11244 ЯПОНИЯ
11246 японский
11246 яркость
11247 ягрогении
11248 ягрогенный
i 1 _„ Е
III « 1 И <| i
Помощь Доб.шкалу Доб. град, шкалы Копир, шкалу I Копир, град, шкалы ! Копир, шкалу с град. Удал, шкалу с град Удал.град.шкалы Перекодировать Очистить J
И - J
Рисунок 6. Описательные шкалы и градации (фрагмент)
С использованием классификационных и описательных шкал и градаций исходные тексты были закодированы и получена обучающая выборка (рисунок 7):
i | в и т I
2.3,1. Ручной ввод-корректировка обучающей выборки, Текущая модель; INFI"
1 Код объ'екта1! Наимекованне'объекта to-s Время
294 12.12®! 06:'54:12
2ES 06.02.00:000000244 12.12.2018 .Щ54:12
266 обЖдкбрВВДа 12.Т2.:2Ш'8 06:54:12
267 12.12.2018 06:5412
268: Т2-.12.2Й}$ 06:54:12
26Э 06.02.ОЗ'Ё^^ринарная Фармакология ^То-'гмк.д^нп^и 12.12.2018 06:5413
270 06Ж04 |етеринарная кирургия 06:54.13
271 06.02.05 В етерина^ная е^^тария, экология. зоогигиена нвеге 12.12.2018 06:5413
272 06.02.06 Ветеринарное'акушерстео^^магенннка репрщукции жи 12.12.201 $ 06:54Й
< ж—
.: та объекта Класс1 КлагсЗ Класс4 *
0 0 0
Признак 2 Признак 3 Признак 4 Признак 5 Признак 6 Признак7-
10782 31S3 1046 4796 1144 11098 4?ffi |
268 4788 3025 10426 '8163 1046 4786 1144
.268 11088 4785 4788 '3025 ■5730 2388
268 ни 8371 10323 788 1655 6437
268 ¡Щ ..585 1142 .2008 3006 .1046 2668
268 11087 10858 2710 8020 3225 858
.268 3025 86Й ,303 •Шй .2623 238'ä 7356
268 4741' 3227 6080 .Д144 2|!! 432p 7683
268 4838 11142 858 :57зо ЗЗИ" 7437 7565
268 9374 10533 9031 5093 728 10313 19533
Помошь:. ■^ойаа^ь объект Добавить классы Добавить прирйаки. .Удалигь.обьект' ■ Ыд^лгтгь. классы | Удалить flp'ri^ti^ko О .чистить 6 Д
Рисунок 7. Обучающая выборка (фрагмент)
На рисунке 7 приведен лишь фрагмент обучающей выборки, т.к. в нее входит 912 файлов. В верхнем окне на рисунке 7 приведены наименования объектов обучающей выборки, в левом нижнем окне - коды классов, к которым эти объекты относятся (таблица 5), а в правом нижнем окне -коды признаков, которые есть у этих объектов (рисунок 6).
Обучающая выборка по сути представляет собой нормализованные исходные данные (рисунок 3Ь).
Таким образом созданы все необходимые и достаточные условия для выполнения следующего этапа АСК-анализа: т.е. для синтеза и верификации моделей.
2.3.3. Синтез статистических и системно-когнитивных моделей
Синтез и верификация моделей осуществляется в режиме 3.5 системы «Эйдос» (рисунок 8):
3.5, Выбор моделей для синтеза и верификации
ED
Задайте модели для синтеза и верификации Статистические базы:
W ji. ABS - частный критерий: количество встреч сочетаний: "класс-признак" у объектов обуч.выборкй [i? 2. PRC1 ■ частный критерий: усл. вероятность i-ro признака среди признаков объектов ¡-го класса К? 3. PRC2 - частный критерий: условная вероятность ¡-го признака у объектов ¡-го класса Системно-когнитивные модели (базы знаний):
W 4. INF1 - частный критерий: количество знаний по А.Харкевичу; вероятности из PRC1
W 5 [7 6 F 7 Г?
F7 Э
INF2 - частный критерий: количество знаний по А.Харкевичу; вероятности из PRC2
INF3 - частный критерий; Хи-квадрат, разности между Фактическими и ожидаемыми atíc.частотами
INF4 - частный критерий: ROI (Return.On Investment); вероятности из PRC1
INF5 - частный критерий: FUJI (Return On Investment); вероятности из PRC2
INF6 - частный критерий: разн.усл.и безу сл. вероятностей; вероятности из PRC1
ф 10.INF7 - частный критерий: разн.усл.и безусл.вероятностей; вероятности из PRC2
Параметры Копирования, обучающей выборки в распознаваемую:
—Какие объекты обуч.выборки копировать:— — г- Пояснение по алгоритму верификации¡_|-
(• Копировать всю обучающую выборку С Копировать только текущий объект С Копировать каждый М-й объект С Копировать N случайных объектов С Копировать все объекты от N1 до N2 С Вообще не менять распознаваемую выборку
Удалять из обуч. выборки скопированные объекты: (* Не удалять С Удалять
Подробнее
Измеряется вн^ренняя достоверн. модели
Ok
Cancel
Текущая модель
С 1. ABS Г 2. PRC1 г з. PRC2
р 4 INFI
г 5 INF2
с 6 INF3
г 7 INF4
г 8 INF5
г Э INF6
г 10JNF7
Для каждой заданной модели выполнить: (• Синтез и верификацию С Только верификацию С Только синтез
На каком процессоре выполнять расчеты: Г CPU (* GPU
Рисунок 8. Экранная форма режима синтеза и верификации моделей системы «Эйдос»
Обратим внимание на то, что на рисунке 8 в правом нижнем углу окна задана опция: «Расчеты проводить на графическом процессор (GPU)».
Стадия процесса исполнения синтеза и верификации моделей и прогноз времени его окончания отображается на экранной форме (рисунок 9):
3.5. Выбор моделей ^пя сингезз и верлфикэции
i В
Копирование обучающей выборки в распознаваемую - Готово Синтез стат.модели "ABS" (расчет матрицы абсолютных частот) - Готово Синтез стат.моделей "PRC1" и "PRC2" (усл.безу сл.% распр.) - Гот обо Синтез систено-когнитивных моделей: INFI -INF7 - Готово
Стадии исполнения процесса Шаг 1-й из 11 Шаг 2-й из 11 Шаг 3-й из 11 Шаг 4-й из 11
НАЧАЛО ЦИКЛА ПО ЧАСТНЫМ И ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ - ИСПОЛНЕНИЕ.' Шаг 5-й из 11: Задание модели "INF?" в качестве текущей - Готово Шаг Б-й из 11: Пакетное распознавание в модели "INF7" - Готово
Шаг 7-й из 11: Измерение достоверности модепи "¡п(7" - Интегральный критерий: "Сумма знаний" - Готово КОНЕЦ ЦИКЛА Г10 ЧАСТНЫМ И ИНТЕГРАЛЬНЫМ КРИТЕРИЯМ - ГОТОЗО' Шаг 3-й из 11: Объединение БД DoslRsp# в БД DostRasp - Готово
Шаг 3-й из 11: Печать сводной формы по результатам верификации моделей - Готово
Шаг 13-й из 11. Создание формы: "Достоверность идент.классов в различных моделях" - Готово
Шаг 11 -й из 11 "Присвоение заданной модели:!пЛ статуса текущей" - Готово
Синтез и верификация статистических и системно-когнитивных «оделен упешно завершены !!!
■ Прогноз времени исполнен.-^
Начало: 03:33:30 Окончание: 3:30:5?
100%.
Ok
Прошло: 0:05:27
Осталось: U:fi0:Ü0
Рисунок 9. Экранная форма с отображением стадия процесса исполнения синтеза и верификации моделей и прогноза времени его окончания
Видно, что весь процесс синтеза и верификации моделей занял 5 минут 27 секунд. Отметим, что при синтезе и верификации моделей использовался графический процессор (GPU) видеокарты. На центральном процессоре (CPU) выполнение этих операций занимает значительно большее время (на некоторых задачах это происходит в десятки, сотни и даже тысячи раз дольше). Таким образом, неграфические вычисления на графических процессорах видеокарты делает возможным обработку реальных текстов за разумное время.
Отметим также, что база лемматизации А.А.Зализняка включает 2097005 слов. В ходе выполнения данной работы она была дополнена еще на 11467, представляющих собой научные термины, встретившиеся в паспортах специальностей научных работников ВАК РФ. Эти термины не приводятся в данной работе только из-за ограничения на ее объем.
Фрагменты самих созданных статистических и системно-когнитивных моделей (СК-модели) приведены на рисунках 10-12:
5.5. Моде 1 ль: "1. АВБ - частный критерий: количество встреч соч та н ий^'Класс- ризнак" у объе ктов обуч.выборк/ ■ — - т «1 ^иэл^-! 1
КОД Наименование описательной 52. КЛАСС 53. КЛАСС 54. КЛАСС :55. КЛАСС ш КЛАСС ■57. КЛАСС •58; 1 59. КЛАСС КЛАСС 60. КЛАСС 61. КЛАСС 6-2. КЛАСС £3. КЛАСС -
ЗАЩИТА ДИАГНОСТ... ВЕТЕРИНАР... ВЕТЕРИНАР... ВЕТЕРИНАР... ВЕТЕРИНАР... ВЕТЕРИНАР... РАЗВЕДЕН... К0РМ0ПР0... ЗВЕРОВОД... ЧАСТНАЯ
ЗЕ... ТЕРАПИЯ ВИРУ СОЛО... эпизоото... Ш токсикол... экология. ЗООГИГИЕНА БИОТЕХНИКА ГЕНЕТИКА- СЕЛЬСКОХО... Щ ОХОТОВЕД.. ТЕХНОЛОГИ ПРОИЗВОЛ..
ЫР ЖИВОТНЫХ. И ВЕТЕ РЕПР0ДУК... СЕЛЬСКОХО... ПРОДУКТО
ПАТОЛОГИЯ. ЖИ
2608 СЛОВА-железо
2609 СЛ0 В А-железобегонный
2610 .СЛОВА-желудок
2611 СЛ0 В А-желуночный 1 1
2612 СЛ0 В А-же невский
2613 ЁЛОВА-женский
2614 СЛОВА-женщина
2615 СЛОВА-жеет
2616 СЛОВА-жесткий
2617 СЛОВА-жесткость
2618 СЛОВА-живой
261Э СЛ0 В А-живопись
2620 СЛОВА-живорожденности
2621 СЛОВА-Животноводство 20 1 2 1 б 1 9
2622 .СЛОВА-живстноврдческий 2 2
2623 СЛОВА-живстный 113 15 15 13 4 10 17 11 16 3 9
2624 СЛОВА-живучесть
2625 СЛОВА-жидкий
.и
11
- - -I]
Рисунок 10. Матрица абсолютных частот (фрагмент)
-1
код Наименование описательной Й. шкалы И Градации ¿ЛАСЕ )6.01.07 ЗАШИТА 'АСТЕНИЙ 53:- КЛАСС 06.02.00 54. КЛАСС 06.02.01 ДИАГНОСТИКА БОЛЕЗНЕЙ ТЕРАПИЯ ЖИВОТНЫХ.. ПАТОЛОГИЯ, 55;- КЛАСС 06:02.02 ВЕТЕРИНАРН... микробйол... ВИРУСОЛОГ... ЭПИЗООТОЛО 56. КЛАСС 06.02.03. ВЕТЕРИНАРН... ФАРМАКОЛО... С ТОКСИКОЛО... 57.-; КЛАСС 06:02.04 ВЕТЕРИНАРН... ХИРУРГИЯ 56; КЛАСС 06.02.05 ВЕТЕРИНАРН... САНИТАРИЯ, экология, ЗООГИГИЕНА И ВЕТЕ 59.. КЛАСС 06:02.06 ВЕТЕРИНАРН... АКУШЕРСТВО И БИОТЕХНИКА РЕПРОДУКЦ... ЖИ 60: КЛАСС 06.02.07 РАЗВЕДЕНИЕ, СЕЛЕКЦИЯ ГЕНЕТИКА СЕЛЬСКОХОЗ.. 61. КЛАСС 06.02.03 КОРМОПРОИ... КОРМЛЕНИЕ СЕЛЬСКОХОЗ... Ж 62: КЛАСС 06:02.09 ЗВЕР0В0ДС... ОХОТОВЕДЕ... «3!. КЛАСС 06:02.10 частная 300ТЕХН ТЕХНОЛС ПРОИЗВС ПРОДУК.1 --
2609 СЛО В А-железобетонный
2610 СЛОВА-желуаок
2611 СЛО В А-желуаочный 1.470 2.757
2612 СЛОВА-женевский
2613 СЛОВА-Женский
2614 СЛОВА-женщина
2615 СЛОВА-жест
2616 СЛОВА-жесткий
2617 СЛОВА-жесткость
2618 СЛОВА-живой
2619 СЛО В А-жнвопись
2620 СЛО В А-живорожденноети
2621 СЛО В А-животноводство 1.519 1.043 1.387 1.381 1.980 1.374
2622 СЛО ВА-животноводческий 1.638 2.939
2623 СЛОВА-животный 1.657 1.882 1.710 1.610 1.346 1.481 1.833 1.876 1.725 1.089
2624 СЛОВА-живучесть
2625 СЛОВА-жидкий
1
1 -и
Рисунок 11. Матрица информативностей ЮТ 1 (фрагмент)
Г С) 5.5. Модель: "6,11ЧРЗ - частный критерий: Хи-квадрат, разности между фактическими и ожидаемыми абс.частотами
1
КОД Наименование описательной •51. КЛАСС 06.01.06 луг0в0дст... :И ЛЕКАРСТВЕН.. ЭФИРНО МАСЛИЧНЫЕ культ 52. КЛАСС' 06.01.07 ЗАЩИТА РАСТЕНИЙ КЛАСС 06.02.00 54. класс' 06.02.01 ДИАГНОСТИКА БОЛЕЗНЕЙ И ТЕРАПИЯ ЖИВОТНЫХ, ПАТОЛОГИЯ, ■55. КЛАСС 06.02.02 ВЕТЕРИНАРН... МИКРОБИОЛ... ВИРУСОЛОГ... ЭПИЗООТОЛО 56; КЛАСС' 06.02.03 ВЕТЕРИНАРН... ФАРМАКОЛО... с токсиколо- Ш КЛАСС 06.02.04 ВЕТЕРИНАРН... ХИРУРГИЯ 58. класс- 06.02.05 ВЕТЕРИНАРН... САНИТАРИЯ, экология. ЗООГИГИЕНА И ВЕТЕ •59. КЛАСС .06.02.06 ВЕТЕРИНАРН... АКУШЕРСТВО И БИОТЕХНИКА РЕПРОДУКЦ... ЖИ 60> класс' 06.02.07 РАЗВЕДЕНИЕ. СЕЛЕКЦИЯ и ГЕНЕТИКА СЕЛЬСКОХОЗ... '61. КЛАСС :06.02.08. КОРМОПРОИ... КОРМЛЕНИЕ СЕЛЬСКОХОЗ... Ж 62. КЛАСС 06.02..09 ЗВЕРОВ ОХОТОЕ
2610 СЛОВА-желуаок -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
2611 СЛО В А-желуаочный -0.008 -0.007 0.937 0.934 -0.008 -0.008 -0.004 -0.008 -0.007 -0.004 -0.008
2612 СЛОВА-женевский -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
2613 СЛОВА-женский -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
2614 СЛОВА-женщина -0.010 -0.009 -0.078 -0.007 -0.010 -0.010 -0.005 -0.010 -0.009 -0.005 -0.010
2615 СЛОВА-Жест -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
2616 СЛОВА-жесткий -0.004 -0.004 -0.031 -о.ооз -0.004 -0.004 -0.002 -0.004 -0.003 -0.002 -0.004
2617 СЛОВА-жесткость -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
2618 СЛОВА-живой -0.133 -0.120 -1.064 -0.094 -0.130 -0.136 -0.069 -0.134 -0.117 -0.070 -0.135
2619 СЛО В А-живопись -0.006 -0.005 -0.047 -0.004 -0.006 -0.006 -0.003 -0.006 -0.005 -0.003 -0.006
2620 СЛО В А-живорожденноети -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
2621 СЛОВА-животноводство -0.142 -0.129 18.857 -0.101 0.860 1.854 0.926 5.856 -0.126 0. 925 -0.145
2622 СЛО ВА-животноводческий -о.ооа -0.007 1.937 -0.006 -0.008 -0.008 -0.004 1.992 -0.007 -0.004 -0.008
2623 СЛОВА-животный -0.608 -0.550 108.116 14.568 14.402 12.374 3.683 9.386 16.462 10.679 15.380
2624 СЛО В А-живучесгь -0.010 -0.009 -0.078 -0.007 -0.010 -0.010 -0.005 -0.010 -0.009 -0.005 -0.010
2625 СЛОВА-жиакий -0.074 -0.067 -0.595 -0.053 -0.073 -0.076 -0.039 -0.075 -0.066 -0.039 -0.076
2626 СЛО В А-жидкокристаллический -0.002 -0.002 -0.016 -0.001 -0.002 -0.002 -0.001 -0.002 -0.002 -0.001 -0.002
М 2627 СЛОВА-жнакость -0.121 -0.109 -0.970 -0.086 -0.119 -0.124 -0.063 -0.122 -0.107 -0.064 -0.123
ос,с !
и =4
1_-
Рисунок 12. Модель ЮТ3 (фрагмент)
2.3.4. Верификация статистических
и системно-когнитивных моделей
Оценка достоверности моделей в системе «Эйдос» осуществляется путем решения задачи классификации исходных изображений по обобщенным образам классов и подсчета количества истинных положительных и отрицательных, а также ложных положительных и отрицательных решений по Б-мере Ван Ризбергена и Ь1- Ь2-мерам проф.Е.В.Луценко [16].
Классическая количественная мера достоверности моделей: Б-мера Ван Ризбергена основана на подсчете суммарного количества верно и ошибочно идентифицированных и не идентифицированных объектов обучающей выборки. В мультиклассовых системах классификации, таких как система «Эйдос», один и тот же объект обучающей или распознаваемой выборки может одновременно относится ко многим классам. Соответственно, при синтезе модели его описание используется для формирования обобщенных образов многих классов, к которым он относится. При использовании модели для классификации определяется степень сходства-различия объекта со всеми классами, причем истинно-положительным решением может являться принадлежность объекта сразу к нескольким классам. В результате такой классификации получается, что объект не просто правильно или ошибочно относится или не относится к различным классам, как в классической Б-мере, но правильно или ошибочно относится или не относится к ним в различной степени.
Однако классическая Б-мера не учитывает того, что объект может, фактически, одновременно относится ко многим классам (мультиклассо-вость) и того, что в результате классификации может быть получена различная степень сходства-различия объекта с классами (нечеткость). На многочисленных численных примерах автором установлено, что при истинно-положительных и истинно-отрицательных решениях модуль сходства-различия объекта с классами значительно выше, чем при ложно-положительных и ложно-отрицательных решениях.
Поэтому была предложена Ы-мера достоверности моделей [16], учитывающая не просто сам факт истинно или ложно положительного или отрицательного решения, но и степень уверенности классификатора в этих решениях.
Однако при классификации больших данных было обнаружено большое количество ложно-положительных решений с низким уровнем сходства, которые, суммарно могут вносить большой вклад в снижение достоверности модели.
Чтобы преодолеть эту проблему предлагается Ь2-мера [16], в которой вместо сумм уровней сходства используется средние уровни сходства по различным вариантам классификации.
Таким образом, в системе «Эйдос» применяются меры достоверности моделей, названые Ы-мера и Ь2-мера, смягчающие и преодолевающие
недостатки Б-меры. В работе [16] эти меры описаны математически и их применение продемонстрировано на численном примере. В интеллектуальной системе «Эйдос», которая является программным инструментарием автоматизированного системно-когнитивного анализа (АСК-анализ), реализованы все эти меры достоверности моделей: Б, Ь1 и Ь2
В режиме 4.1.3.6 кратко и в режиме 4.1.3.7 более подробно показана достоверность каждой частной модели в соответствии с этими мерами достоверности. В данном случае по Ь2-мере наивысшую достоверность имеет
модель INF3 (рисунок 13):
Помощь по режимам: 4,1.3.6, 4.1.3.7, 4.1.3.8, 4.1.3.10: Виды прогнозов и меры достоверности моделей в системе "Эйдос-Х-*-*"
Помощь по режимам: 4.1 3.S. 4.1.3.7, 4.1.3.8, 4.1.3.1 0: ПОЛОЖИТЕЛЬНЫЙ ПСЕВДОПРОГНОЗ. Предположим, модель дает такой прогноз: выпадет 1
Зиды прогнозов и i
2, 3, 4. 5 или Б. В э
1еры достоверности
системе "Эйдос-Х++". будет 1 00% достоверность идентификации, т. е. не будет hi л буцет очень высокая достоверность идентификации). Я с
одного объекта.
предсказывает.
гто не выпадет: 1, 2, 3, 4. 5 и э очень хорошо угадала, что ) не произошло и плохо в toi
о произошло, т.
л случае у
Конечно,
1 случае у нее
буцет отнесено к классаг* бесполезен, поэтому он и назван iv ОТРИЦАТЕЛЬНЫЙ ПСЕВДО ПРОГНОЗ.
Представим себе, что мы выбрасываем кубик с Б гранями, и модель дает ошибку в прогнозе в том плане, что не предсказала, ч что предсказано, поэтому такого рода предсказания корошо оправдываются в
1 00% достоверность не идентификации, но очень низкая достоверность и ИДЕАЛЬНЫЙ ПРОГНОЗ.
Если в случае с кубиком мы прогнозируем, что выпадет, например 1, и соответственно прогнозируем, что не выпадет 2, 3, 4, 5. и Б, л
прогнозирования, на практике удается получить крайне редко и обычно мы имеем дело с реальным прогнозом. РЕАЛЬНЫЙ ПРОГНОЗ.
На практике мы чаще всего сталкиваемся именно с этим видом прогноза. Реальный прогноз уменьшает неопределенность о будущем состоянии объекта прогнозирования, h полностью, как идеальный прогноз, а оставляет некоторую неопределенность не снятой. Например, для игрального кубика делается такой прогноз: выпадет 1 или 2, и, соответственно, не выпадет 3, 4, 5 или Б. Понятно, что полностью на практике такой прогноз не может осуществиться, т.к. варианты выпадения кубика альтернативны, т.е.
í прогнозируемы« вариантов,то возникнет и ошибка не идентификации,т.к. это не прогнозировалось моделью. Теперь представите себе, что у Вас не 1 кубик и а тысячи. Тогда можно посчитать средневзвешенные характеристики веек этик видов прогнозов.
Таким образом, если просуммировать число верно идентифицированным объектов, а затем разделить относить объекты к классам, которым реализован в системе 'Эйдос" проф. Е.Б.Луш
+ TN + FP + FN ) + TN + FP + FN )
з идентифицированных объектов и вычесть число ошибочно идентифицированным и не ех объектов то это и буцет критерий качества модели (классификатора), учитывающий как ее способность верно способность верно не относить объекты к тем классам, к которым они не относятся. Этот критерий предложен и 1ЭЭ4 году. Эта мера достоверности модели предполагает два варианта нормировки: {-1. +1} и {0. 1}:
(нормировка: {-1 ,+1}-) / 2 [нормировка: { О. 1})
|-отрицательнык решении; г
решений; FN - л
Ван Ризбергена(колонка
ярко-годубым фоном):
выделена ярко-зеленым фоном):
ТР +■ L2 = ( 1 -р ( ТР +
где количество: ТР г
Классическая F-мера F-mera = 2*(Precis¡on*Recall)/(Pi Precisión = TP/(TP+FP) Recall = TP/(TP+FN) -
L1 -мера проф.Е.В.Луценко - нечеткое мультиклассовое обобщение классической F-меры с учетом СУММ уровней сходства (í L1 -mera = 2"(S Precisiones R ecall)/(S Precision+SR ecall) SPrecisión = STP/(STP-bSFP) -точность с учетом сумм уровней SRecall = STP/[STP-*SFN] - полнота с учетом сумм уровней
STP - Сумма модулей сходства истино-положительнык решений; STN • Сумма модулей SFP - Сумма модулей скотства ложно-положительных решений; SFN - Сумма модулей
1_2-мера проф.Е.В.Луценко - нечеткое мультиклассовое обобщение классической F-меры с учетом СРЕДНИХ уровней сходства (колонка выделена L2-mera = 2*[APrec¡s¡on!IARecall)/(APrec¡s¡on+AR ecall) APrecision = ATP/(ATP+AFP) -точность с учетом средних уровней ARecall = ATP/(ATP+AFN] -полнота с учетом средних уровней
ATP=STP/TP - Среднее модулей сходства истино-положительных решений; AFN=SFN/FN - Среднее модулей AFP=SFP/FP - Среднее модулей сходства ложно-положительных решений; AFN=SFN/FN - Среднее модулей сходства
Луценко Е.В. Инвариантное относительно объемов данных нечеткое мультиклассовое обобщение F-меры достоверности моделей Ван Ризбергена в ACK-ah и системе "Эйдос" / Е.В. Луценко t! Полигематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ. 201 7. - №02(1 28). С. 1 - 32. - IDA [article ID]: 1261 702001. - Режим доступа: http://ei.kubagro.ru/20l 7/02/pdf/01 pdf. 2 у.п.Л:
Рисунок 13. Экранная форма с информацией о достоверности моделей по Б-критерию Ван Ризбергена и Ь1- и Ь2-криетриям проф.Е.В.Луценко [16]
Из рисунка 13 мы видим, что в данном интеллектуальном приложении по критерию L2 наиболее достоверной (0,980) является модель INF5 с интегральным критерием «сумма знаний» (ROI). Не очень уступает наиболее достоверной модели и СК-модель INF3 (частный критерий, аналогичный хи-квадрат) (0,975), которую мы и примем для рассмотрения.
На рисунке 14 приведены частные распределения уровней сходства и различия истинных и ложных положительных и отрицательных решений в
модели МЗ (получены в режиме 3.4):
FreqD¡sti000006.jp9 ж _
Част.распр.долей разностей ур.сх.решений в модели: 6. 1ЫРЗ, инт.крит.-сумма знаний Приложение: "АСК-анализ паспортов специальностей ВАК и формирование семантического ядра ветеринарии."
f
-1 10 -90 -80 -70 -60 -50 -40 -30 -20 -10 ( 10 20 30 40 50 60 70 80 90 100
копич^™ ^^^SÍ^^SSSSS^SSSimS^SSSÍ лича ства при рг тва при ра ных ypt уро внях сходств внях сходства э: (TP-FPl/Г (TTJ-FN)'( ГР+ "N+ FP>" Г'J 1 00 00 Форма создана: 12.12.20; 8-10. 03:30
Рисунок 14. Частотные распределения уровней сходства и различия истинных и ложных положительных и отрицательных решений в модели INF3
Из рисунка 14 мы видим, что отрицательные решения (т.е. решения о непринадлежности объекта к классу) в данной модели всегда истинные, а положительные решения (т.е. о принадлежности объекта у классу) есть и истинные, и ложные, причем все ложные решения наблюдаются при невысоких уровнях сходства (примерно до 5%), а более высоких уровнях сходства наблюдаются только истинно-положительные решения. Это позволяет надежно и с высокой достоверностью решать задачи системной классификации и идентификации текстов.
Это очень хорошие и разумные результаты.
2.3.5. Повышение качества модели
Обратимся к режиму 3.7.5. Данный режим показывает Парето-зависимость суммарной дифференцирующей мощности модели от числа градаций описательных шкал, рассортированных в порядке убывания их селективной силы или значимости (рисунок 15).
В качестве значимости значения фактора для решения различных задач в системно-когнитивной модели (СК-модель) в АСК-анализе и
системе «Эйдос» принята вариабельность значений фактора по классам в матрице модели (таблица 4).
В качестве значимости фактора для решения различных задач в системно-когнитивной модели (СК-модель) в АСК-анализе и системе «Эйдос» принята средняя значимость значений данного фактора по классам в матрице модели (таблица 4).
Существует много количественных мер вариабельности (изменчивости), но в данном случае принято использовать
4
среднеквадратичное отклонение .
Вариабельность значения фактора по классам выбрана в качестве значимости этого значения фактора потому, что чем выше эта вариабельность, тем лучше позволяет это значение фактора разделить (различить) классы. Если вариабельность значения фактора равна нулю, то данное значение фактора вообще является бесполезным для решения задачи идентификации и других задач.
ParetoGrOpSc-06.jpg ф _ л. л л _ д .
ПАРЕТО-КРИВАЯ ЗНАЧИМОСТИ ГРАДАЦИЙ ОПИСАТЕЛЬНЫХ ШКАЛ (ПРИЗНАКОВ) В МОДЕЛИ: "1^3" Приложение: "АСК-анализ паспортов специальностей ВАК и формирование семантического ядра ветеринарии"
Суммарная значимость градаций описательных шкал (признаков) в%
1.0 0 0 10.0 20.0 30.0 40.0 50.0 60.0 70.0 80.0 90.0 10 Градации описательных шкал (признаки) в порядке убывания значимости (в % от их количества) 0.0
Значимость градации описательной шкалы (ее числового интервального или номинального текстового значения), т.е. признака, представляет ее полезность для решения задачи разделения объектов с этим признаком по классам. Количественной мерой значимости признака в системе "Эйдос-Х++" является ВАРИАБЕЛЬНОСТЬ ЗНАЧЕНИИ частных критериев, основанных на этом признаке, по классам в статистических моделях: Abs, Ргс1, Ргс2 и в моделях знаний: Infi, Inf2, Inf3, Infi. Inf5, Inf6, Inf7. Иначе говоря некоторьй признак явпяется тем более значимым, чем больше он в среднем содержит информации о принадлежности обладающего им объекта к одним классам и не принадпежности к другим. Путь на отображаемый файл: С:\АЮОЗ-Х\А1О_ОАТА\А0000001\ЗУЗТЕМ\\Раге1о6ЮрЗс\Раге1оаЮрЗс-1МРЗ.)рд 50% наиболее значимых признаков обеспечивают 91% суммарной знаимости 5% наибопее значимых признаков обеспечивают 50% суммарной знаимости Расстояние между точками Red-Blue: 85% от максимально возможного Форма создана: 12.12.2018-10:09:22
Рисунок 15. Парето-зависимость суммарной дифференцирующей мощно-
сти модели от числа градаций описательных шкал, рассортированных в порядке убывания их селективной силы в СК-модели INF3
На основе рисунка 15 и соответствующих таблиц, которые здесь не приводятся из-за ограниченности объема статьи, можно обоснованно сделать выводы о том, что, например, в наиболее достоверной модели INF3:
4 Не путать со стандартным отклонением, которое является одним из параметров распределения
Гаусса.
1. 50% наиболее значимых градаций описательных шкал обеспечивают 91% суммарной селективной мощности модели (точка BLUE).
2. 50% суммарной селективной мощности модели обеспечивается 5% наиболее значимых градаций описательных шкал (точка RED).
3. Число градаций описательных шкал может быть существенно сокращено без особой потери качества модели путем удаления из модели малозначимых градаций. При этом размерность модели существенно сократится и ее быстродействие соответственно возрастет.
2.3.6. Выбор наиболее достоверной модели и присвоение ей статуса текущей
В соответствии со схемой обработки данных, информации и знаний в системе «Эйдос» (рисунок 2), присвоим наиболее достоверной СК-модели INF3 статус текущей модели. Для это запустим режим 5.6 с параметрами, приведенными на экранной форме (рисунок 16):
L .. К —
Рисунок 16. Экранные формы придания модели статуса текущей
3. Результаты и обсуждение (Results and discussion) 3.1. Диагностика (классификация, распознавание,
идентификация) (задача 3) 3.1.1. Верификация моделей путем распознавания
обучающей выборки Решим задачу идентификации обучающей выборки в наиболее достоверной модели на GPU. Для этого запустим режим 4.1.2 (рисунок 17):
Рисунок 17. Экранная форма отображения процесса решения задачи идентификации в наиболее достоверной модели
Видно, что идентификация 82 текстов в ранее созданных моделях заняла 30 секунд. Отметим, что 99,999% этого времени заняла не сама идентификация на GPU, а создание 10 выходных форм на основе результатов этой идентификации. Эти формы отражают результаты идентификации в различных разрезах и обобщениях:
■4.1.3.1. Подробно наглядно: ''Объект - классы" ■4.1.3.2. Подробно наглядно: "Класс - объекты" ■4.1.3.3. Итоги наглядно: "Объект- класс"
4.1.3.4. Итоги наглядно: "Класс-объект"
4.1.3.5. Подробно сжато: "Объекты - классы"
4.1.3.6. Обобщ.форма по до-сто в. моделей при разных интегральных крит.
4.1.3.7. Об общ. стат. а нал из результатов идент. по- моделям и инт.крит.
4.1.3.8. Стат. а нал из результ. идент. по классам, моделям и инт.крит. 4.1.3.Э. Достоверность идент. объектов при разных моделях и инт.крит.
4.1.3.10.Достоверность идент.классов при разных моделях и инт.крит.
4.1.3.11.Распределения уровн.сходства при разных моделях и инт.крит. 4.1,3.12.0бъединение в одной БД строк по самым достоверным моделям
Приведем две формы из этих 10: 4.1.3.1 и 4.1.3.2 (рисунок 18):
Рисунок 18. Выходные формы по результатам верификации моделей
Из рисунка 18 видно, что результаты атрибуции текстов очень хорошие и полностью соответствуют экспертным ожиданиям, основанным на интуиции, опыте и профессиональной компетенции.
3.1.2. Классификация текстов, не использовавшихся
при синтезе и верификации моделей Возникает вопрос о том, как же сравнить с классами тексты, которые не использовались в обучающей выборке для синтеза статистических и СК-моделей. Для этого необходимо записать эти тексты в папку: c:\Aidos-Х\АГО_БАТА\1пр_гавр, а затем в программном интерфейсе 2.3.2.1 ввести эти тексты в распознаваемую выборку, задав соответствующую опцию (рисунок 19).
Рисунок 19. Экранная форма программного интерфейса с опциями для ввода текстов в распознаваемую выборку
Мы для нашего примера скопировали все текстовые файлы из папки обучающей выборки в папку распознаваемой выборки, а также скопировали в нее же три текстовых файла в кодировке DOS OEM 866 (переносы выключены) - учебники по механизации [23], агрономии [24] и ветеринарии [25].
В результате работы программного интерфейса 2.3.2.1 получена распознаваемая выборка, фрагмент которой приведен на рисунке 20. Сам процесс распознавания распознаваемой выборки, состоящей из обучающей выборки и трех учебников [23, 24, 25], занял 31 секунду (рисунок 21), что всего на 1 секунду больше, чем было без учебников (рисунок 17).
4.1.1, Ручной ввод-корректировка распознаваемой выборки (режим сисадмина). Текущая модель: "1^1" ^
Код объекта 1 Наименование обкекта Дата Время
448 ЩвшйвйвШ! 12.12.S1 рв®
449 ШЙИЯШМ 12.12.2018 16:24 37
450 25.00.ШЛШШВЯЛ1 16:24.37
451 12.12.2018 16:24 37
ш 25.00.вшШЙЩ 12.12.®! .каШ
453 12.12.2018 16:24 38
ш АпюнОЁзийШ "6.тг.:2ШВ 160Ш
455: Ветеринария. Ш 12:12:2018 16:50:08
ш Менанизадия.Ы 12.12.®! ШбЙЭ
Код ¿(уь'екта ! КЙ^С1 Класс 3 ИР"!
454
■
•Ш
Щ
■
Я ■ ■ ■
| Код ОбЬБ^Та Признак 1 Признак'2 Признак 3 П ри$нак 4 Признак 5 Признак'6 Признак 7 |
454 8144 148 4851 8654 .10553 0370 10202
Ш 3530 10217 7072 1550 10217 2656 5813
454 3163 2888 5853 2837 2805 0048 8855
5287 4600 137 125 0055 5207 8051
454 4Щ6 728 5287 8051 4016 8655 4566
454 9723 5207 5294 ■0154 7140 104 0655
454 5287: 46Щ 187 125 5776 8370 8051
АН 8052 8667 Щ ШЙв 4000 187 125
454 5.144 148 10217 7072 1550 5778 10217
454 7072 0080 10092 0144 140 6144 7140
Скопировать расп.выб.в обуч.
Добавить объект
Добавить признаки
Удалить объект
Удалить классы
Удалить признаки
Рисунок 20. Экранная форма программного интерфейса с опциями для ввода текстов в распознаваемую выборку (фрагмент)
Рисунок 21. Экранная форма отображения процесса решения задачи идентификации в наиболее достоверной модели
Сами результаты идентификации учебных пособий по классам, сформированным на основе паспортов специальностей и групп специальностей научных работников ВАК РФ, приведен на рисунках 22, 23 и 24:
Рисунок 22. Результат идентификации учебного пособия по механизации
Рисунок 23. Результат идентификации учебного пособия по агрономии
4.1.3.1. Визуализация результатов распознавания в отношении: 'Объект-классы-. Текущая 1 д I 0 —I
Рисунок 24. Результат идентификации учебного пособия по ветеринарии
Из анализа форм по результатам классификации учебных пособий [23, 24, 25], представленных на рисунках 22, 23 и 24, мы можем обоснованно сделать следующие выводы:
1. Метод АСК-анализа и его программный инструментарий, в качестве которого в настоящее время выступает интеллектуальная система «Эйдос», обеспечивают качественное решение задачи автоматической классификации текстов по направлениям науки.
2. Видно, что каждое учебное пособие в несколько различной степени относится к нескольким смежным направлениям науки. Так и должно быть, т.к. по своему содержанию каждое учебное пособие охватывает группу специальностей, шифры которых совпадают по первым четырем цифрам.
Аналогично могут быть созданы семантические ядра и по другим способам классификации текстов и по ним также могут решаться задачи классификации.
3.2. Поддержка принятия решений (задача 3)
При принятии решений определяется сила и направления влияния факторов на принадлежность состояний объекта моделирования к тем или иным классам. По сути это решение задачи SWOT-анализа [17]. В системе «Эйдос» в режиме 4.4.8 поддерживается решение этой задачи. При этом выявляется семантическое ядро и семантическое антиядро (термин авт.) заданного класса. На рисунках 25 приведены семантические ядра и антиядра всех ветеринарных специальностей, а также ветеринарии в целом.
Рисунок 25. Экранные формы решения задачи SWOT-анализа, содержащие семантические ядра и антиядра по всем ветеринарным специальностям ВАК РФ и ветеринарии в целом (две последние формы)
Выходные формы, приведенные на рисунках 25, как говорят «интуитивно понятны», т.е. не требуют особых комментариев. Отметим лишь, что информация о семантических ядрах и антиядрах ветеринарных специальностей и ветеринарии в целом может быть приведена не только в приведенных, но и во многих других табличных и графических формах, которые в данной работе не приводятся только из-за ограниченности ее размера. В частности в этих формах может быть выведена значительно более полная информация (в т.ч. вообще вся имеющая в модели). Подобная подробная информация содержится в базе данных, расположенной по следующему
пути: c:\Aidos-X\AID_DATA\A0000001\System\SW0TCls0053Inf3.DBF5. В семантическом ядре приведены слова, ранжированные в порядке убывания степени их характерности для обобщенного лингвистического образа класса «06.02.00-Ветеринария», а в семантическом антиядре - слова в приведенные в порядке убывания степени не характерности.
Фрагмент этой базы приведен в таблице 6:
Таблица 6 - Семантическое ядро и семантическое антиядро обобщенного лингвистического образа класса «06.02.00-Ветеринария» (фрагмент)
Семантическое ядро Семантическое антиядро
№ Код1 Наименование-1 Значимость Значимость в % Код2 Наименование-2 Значимость Значимость в %
1 2623 животный 108,1163788 6,7682193 8790 система -26,2027434 1,6403254
2 8655 сельскохозяйственный 41,7111816 2,6111717 3311 исследование -16,0654067 1,0057151
3 1046 ветеринарный 35,6538734 2,2319767 7706 процесс -14,3711308 0,8996513
4 858 болезнь 28,4016647 1,7779794 9117 социальный -12,7568864 0,7985975
5 1053 вещество 22,6624565 1,4186979 7197 правый -11,9899072 0,7505836
6 7689 профилактика 21,4955807 1,3456500 9723 технический -11,2421168 0,7037710
7 7815 пушной 19,3738956 1,2128299 10116 управление -11,1638545 0,6988717
8 3225 инфекционный 19,0138855 1,1902928 2233 деятельность -10,9411820 0,6849321
9 2621 животноводство 18,8573589 1,1804940 9655 теория -9,9568347 0,6233107
10 4011 корм 17,4052010 1,0895872 7906 развитие -9,8439874 0,6162463
11 728 биологический 17,3650570 1,0870741 10864 экономический -8,3463820 0,5224943
12 2815 зверьё 16,4678116 1,0309054 6922 политический -8,2176255 0,5144339
13 7931 различный 15,0588179 0,9427007 7476 проблема -7,9134120 0,4953898
14 7958 разработка 14,6669884 0,9181717 3239 информационный -7,6697840 0,4801383
15 5287 наука 14,6374512 0,9163226 9729 технологический -7,5758685 0,4742591
16 4320 лечение 14,5425386 0,9103809 7170 правовой -7,2958888 0,4567320
17 6439 патология 13,7634430 0,8616086 6144 основа -6,9151801 0,4328992
18 4260 лекарственный 13,4173174 0,8399407 3334 история -6,8715004 0,4301648
19 4740 метод 13,2168550 0,8273915 4551 математический -6,8401951 0,4282050
20 7780 птица 12,5930319 0,7883394 306 анализ -6,6402468 0,4156880
21 7532 продуктовый 11,3547068 0,7108187 4552 материал -6,6228265 0,4145975
22 4812 микроорганизм 11,2799797 0,7061407 9003 создание -6,3446144 0,3971810
23 2243 диагностика 10,9477386 0,6853420 4181 культура -6,2923535 0,3939094
24 6009 опасный 8,7947483 0,5505621 6147 основный -6,1671328 0,3860704
25 4013 кормление 8,7182531 0,5457734 10326 физический -5,7619323 0,3607044
26 6437 патогенный 8,5617266 0,5359747 8592 свойство -5,4488796 0,3411069
27 7531 продуктивный 8,5617266 0,5359747 6081 организация -5,4211101 0,3393685
28 1100 вид 8,5180473 0,5332403 10319 физик -5,3236588 0,3332679
29 8959 совершенствование 8,4867420 0,5312806 5712 обеспечение -5,2802361 0,3305496
30 8492 санитарный 8,4208527 0,5271558 8320 решение -5,0732168 0,3175899
31 9227 средство 8,3231449 0,5210392 11235 язык -5,0401439 0,3155195
32 3527 качества 8,2416029 0,5159346 6232 отношение -5,0401439 0,3155195
33 5132 надзор 8,2173691 0,5144175 8975 современный -4,9028057 0,3069219
34 3298 использование 8,0936584 0,5066730 7347 прибор -4,7427439 0,2969019
35 10537 хирургический 8,0295372 0,5026590 10893 эксплуатация -4,6175231 0,2890629
36 2990 изучение 7,8709865 0,4927335 7540 проектирование -4,4471120 0,2783949
37 5853 общий 7,1964130 0,4505044 10415 формирование -4,4019216 0,2755660
38 5368 незаразный 6,7808633 0,4244904 7753 психологический -4,3983864 0,2753446
39 659 беременность 6,7182527 0,4205709 9487 сфера -4,2575129 0,2665258
40 2423 домашний 6,6556425 0,4166515 3333 исторический -4,2575129 0,2665258
41 7565 происхождение 6,6382222 0,4155609 9722 техника -4,2123226 0,2636968
42 6588 пестицид 6,5930319 0,4127320 3240 информация -4,1949023 0,2626063
43 2120 действие 6,5894966 0,4125107 5773 обработка -4,0714492 0,2548780
44 8652 селекция 6,4365058 0,4029332 10500 функционирование -4,0696815 0,2547673
45 2653 заболевание 6,3842444 0,3996616 5294 научный -4,0073279 0,2508639
46 1656 генетический 6,1686435 0,3861647 10619 цель -3,9618808 0,2480188
47 10322 физиологический 6,1547585 0,3852955 1060 взаимодействие -3,9462282 0,2470390
48 3067 инвазионный 5,8121686 0,3638490 11237 языковый -3,8975026 0,2439887
49 4791 микотоксинов 5,8121686 0,3638490 4566 машина -3,8836175 0,2431195
50 11088 эпизоотология 5,7808633 0,3618892 5778 образование -3,8035869 0,2381094
51 9795 токсичный 5,7495580 0,3599295 9371 структура -3,7758171 0,2363710
52 5730 область 5,7351594 0,3590281 10189 устройство -3,6940185 0,2312503
53 6295 оценка 5,7232990 0,3582856 4600 международный -3,6644808 0,2294012
54 2989 изучающий 5,6695271 0,3549194 9163 специальность -3,6425284 0,2280270
55 7022 порода 5,6069169 0,3509999 7004 понятие -3,6001028 0,2253711
56 7956 разрабатывающий 5,5930319 0,3501307 1983 гражданский -3,5844501 0,2243912
57 10688 частный 5,3721275 0,3363018 404 аппарат -3,5844501 0,2243912
58 7530 продуктивность 5,2017164 0,3256339 2954 изделие -3,5374922 0,2214516
59 2670 загрязнение 5,0451903 0,3158352 8141 регулирование -3,4296917 0,2147031
60 6627 питание 4,9669271 0,3109358 4746 методология -3,4122712 0,2136126
61 9191 способность 4,9356217 0,3089760 10512 характеристика -3,3809661 0,2116528
62 4012 корма 4,8434739 0,3032075 2679 задача -3,3809661 0,2116528
63 4142 кроликовый 4,8434739 0,3032075 8602 связь -3,3653134 0,2106729
64 5763 обоснование 4,8207502 0,3017849 3954 контроль -3,3496608 0,2096931
65 8834 скот 4,8121686 0,3012477 9538 также -3,3236588 0,2080653
66 6697 плод 4,7965159 0,3002678 2064 дать -3,2749332 0,2050150
5 Отметим, что dbf-файлы нормально открываются в MS Excel, в который встроен соответствующий конвертер.
Полностью данная таблица не приводится, т.к. в ней 10624 строки. Поэтому ниже приводятся лишь слова из семантического ядра для группы специальностей: «06.02.00-Ветеринария», в порядке убывания степени их характерности, но без ее указания.
Слова ядра «06.02.00-Ветеринария» в порядке убывания степени
ИХ характерности: животный, сельскохозяйственный, ветеринарный, болезнь, вещество, профилактика, пушной, инфекционный, животноводство, корм, биологический, зверьё, различный, разработка, наука, лечение, патология, лекарственный, метод, птица, продуктовый, микроорганизм, диагностика, опасный, кормление, патогенный, продуктивный, вид, совершенствование, санитарный, средство, качества, надзор, использование, хирургический, изучение, общий, незаразный, беременность, домашний, происхождение, пестицид, действие, селекция, заболевание, генетический, физиологический, инвазионный, микотоксинов, эпизоотология, токсичный, область, оценка, изучающий, порода, разрабатывающий, частный, продуктивность, загрязнение, питание, способность, корма, кроликовый, обоснование, скот, плод, мероприятие, хозяйственный, генетик, гриб, обмен, селекционный, вирус, морфология, патогенез, значение, норма, терапия, продукция, производство, организм, содержание, метода, способ, нутрия, воспроизводительный, разведение, племенной, рацион, остаток, объектовый, загрязнитель, химический, питательный, токсичность, активный, воспроизводственный, кормовой, иммунология, окружающий, фармакология, инфекция, популяция, обосновать, мониторинг, хирургия, воспроизводство, эффективный, борьба, признак, экология, морфологический, новый, проявление, направленный, биотехника, грызун, звероводство, зверь, зоокультуру, кролик, нейроэндокринный, ондатра, осеменение, рецепт, самка, сперма, фитотоксин, эпизоотологический, вводимый, обеззараживание, индикация, комбикормовый, охотничий, отравление, репродукция, шифр, бактерия, производитель, гинекологический, токсикология, разрабатываем, формула, биотехнологический, которая, семиотика, разный, метаболизм, заключаться, иммунологический, помещение, затрата, вода, физиология, фактор, этиологии, продукт, регуляция, клинический, получение, существовать, хозяйство, антропогенный, возникновение, предупреждение, экспертиза, заниматься, другой, клетка, народный, проведение, би-фенил, гамета, домик, енотовидный, животноводческий, зоогигиена, зоогигиенический, зоотехния, иммуноморфологи-ческий, контаминант, контаминированных, кормопроизводство, лисица, мелкий, микотоксикологией, нозология, норка, охота, охотоведение, песец, поголовье, полибромированных, пчела, раздача, санитария, скармливание, собака, соболий, стимуляция, сурок, тератогенный, хлордиоксинов, хорёк, шиншилла, шкурка, эмбрион, эмбриотоксического, искусственный, витаминный, генотип, иммунодефицит, клещи, культивирование, мать, выздоровление, единицу, микология, мутагенный, этология, элемент, акушерство, резистентность, этиология, вызываемый, эндогенный, микробиология, онкологический, онкология, вирусология, меховой, наименьший, репродуктивный, роды, тканевый, трансплантация, экзогенный, диагностик, повышение, генетика, типовой, травматизм, ветеринария, доза, побочный, показание, уровень, исход, ткань, фармакологический, обеспечивающий, народнохозяйственный, объективный, теоретический, влиять, введение, естественного, радионуклид, численность, насекомые, увеличение, изучаем, крупный, ликвидация, потребность, вопрос, функция, ведение, взаимосвязь, технология, нарушение, специфический, линия, выращивание, клеточный, ранний, практика, связать, состоять, регион, патологический, течение, ценность, биохимический, идентификация, биология, дифференциальный, отходы, минеральный, этой, снижение, распространение, причина, акарицидное, аллергенный, антибактериальный, антигельминтный, антидотный, антипротозойное, биотехния, биоцид, бэтаагонистов, вакци-нология, внедряем, водопоения, воспаление, всасывание, выгул, выживаемость, годный, гонадотоксического, дичераз-ведение, зооантропоноз, зоотическая, зоотических, инсектицидный, канцерогенного, кардио, кастрация, кишечные, коза, консервированный, кормоприготовления, корова, кратность, кросс, лошадь, маститый, мигрировать, микотоксикозов, микотоксикологический, микотоксинами, микробиального, млекопитающие, молодняк, молоко, накапливаться, наследуемость, нефропатология, нитрит, овца, окраска, онкогенез, опушение, отапливаемый, охотохозяйственный, очаговость, пат, питательность, плотоядный, повторяемость, поение, полихлорированных, полноценность, полноценный, полуавтоматического, премикс, препаративного, противоинфекционный, противопоказание, противоэпизоотический, раненый, респирационные, рогатый, родентицидное, родовспоможение, свинья, свободноживущий, серология, серопрофилактика, серотерапия, синдроматика, скрещивание, стадо, стильбенов, стрессовый, сырой, токсигенными, токси-генных, токсикоз, тормозящий, убойный, фармакодинамика, фетоплацентарная, чистопородный, шелкопряд, эпизоотический, ядовитый, антивирусный, благополучие, вакцина, вакцинация, вскармливание, вызывающий, гепатогенный, дезактивация, дикий, иммунопатология, импортный, наибольший, нейроактивный, оправдать, патоморфологических, подбор, полиморфизм, породоиспытание, сопряженность, стероидный, стимулирующий, успех, штамм, экстерьер, этиологию, анатом, витамин, гистология, гистохимических, диетический, желудочный, зоотехнический, иммунопатологический, исчезать, макроорганизм, микроскопический, неразрывный, патогенность, предрасположенность, производимый, пушнина, семейство, трансмиссивный, увеличить, среда, акклиматизация, биопрепарат, высококачественный, генофонд, детоксикация, концентрат, обследование, патофизиология, переливание, переносчик, приспособительный, условный, эндокринология, качеством, балансовый, белковый, гематологический, качественной, конъюнктура, недостаточность, постройка, респираторный, род, эмбриология, устойчивость, аутоиммунный, допустимый, исследующий, картирования, максимальный, моделировании, новообразование, обезвреживание, оплата, организменный, получаемый, пригодность, естественной, кадастра, морфогенез, накопление, нитрат, регенерация, рецептура, тога, толерантность, физиотерапия, опыт, период, выведение, загрязненный, кромешный, систематика, вновь, интродукция, механизированный, посредство, себестоимостью, условие, белок, перерабатывающий, популяционный, радиация, биосинтез, вариант, выяснение, диспансеризация, расстройство, результативность, хозяйствование, объект, добавка, совместимость, показатель, аномалия, гормон, кожевенный, этого, возможность, обусловленность, потеря, промысловый, выброс, размножение, уход, фонд, эндокринный, возбудитель, прогнозирование, мера, повышенный, рудный, биохимия, надежный, норматив, обусловить, видовой, восстановительный, защитный, изменчивость, иммунитет, отбор, поражение, профилактический, сохранение, военный, деть, природопользование, прогрессивный, размер, травма, характеризующий, актуальный, кровь, нормирование, половый, устранение, обобщение, представляем, протекать, радиационный, интенсификация, установление, структуральный, наследственный, низкий, автоматический, локальный, наиболее, лучевой, ними, применительно, чистый, подготовка, изыскание, позволяющий, полевой, препарат, расширение, зона, инструментальный, первичный, качественная, способствовать, динамик, собой, этих, выделение, операция, характер, единиц, специализированный, микроавтобус, открыть, испытание, механизация, тканьё, принцип, больные, используемый, страна, возраст, иметь, коррекция, определяющий, эффект, организационный, служба, адаптация, лабораторный, полый,
рост, вредный, зависимость, конструирование, реабилитация, устойчивый, рациональный, специальный, отечественный, соответствующий, поверхность, структурный, применение, дисциплина, планирование, контрольный, растительный, стандартизация, тело.
Слова антиядра «06.02.00-Ветеринария» не приводятся, т.к. их 10623.
Отметим, что система «Эйдос» обеспечивала решение этой задачи (формирование семантического ядра и антиядра) всегда, даже в самых ранних версиях. Первый акт внедрения системы «Эйдос», где об этом упоминается в явном виде, датируется 1987 годом.
у г у :•; ждав
Заведующий Кра секторов MClf '*
i/*«(
одареким {ХСР.к.ф.н. ¿.Хагущв 87г.
í т з s р i; д А в
директор, Северо-Кавказского филиала адЖ'^рУСгаг^оресурсы", к. э. к.
Э.М.Трахов 1987г.
Настоящий акт составлен комиссией б составе: Кириченко ШМ*, Ляако Г.А., Самсонов Г.А., Коренец В.И., Луценко Е.В. в том, что в соответствия с договором о научно-техническом сотрудничестве между Северо-Кавказским филиалом ¿НИЦ "АИУС-агроресурсы1' и Краснодарским сектором Института социологических исследований АН СССР СевероКавказским филиалом ЗНИЦ "АНУС-агроресурсы" выполнены следующие работы:
- осуществлена постановка задачи: "Обработка на ЭЗМ социологических анкет Крайагропрома";
- разработаны математическая модель и программное обеспечение подсистему распознавания образов, позволяющие релатъ даннуй задачу в среде персональной технологической систекы ЯЕГА-М;
- на профессиональной персональной Э8М "Иекра-226" осуществлены расчёты по задаче в объёме:
Входная информация составила 425 анкет по 9-ти предприятиям, йыходная информация - вида выходных форм объёмом 90 листов формата АЭ и 20 листов формата содержит:
- процентное распределение ответов в разрезе по социальным типам корреспондентов;
- распределение информативноетей признаков (.в битах; для распознавания социальных типов корреспондентов;
- позитивные и негативные информационные портреты 30-ти социальных типов на языке 212 признаков;
- обобщённая характеристика информативности признаков для выбора такого минимального набора признаков, Который содержит максимум информации о распознаваемых объектах (оптимизация анкет;.
Работы выполнены на высоком научно-методическом уровне и в срок.
От ИСй АН СССР: Ул.научный сотрудник
J.
М.Н.Кириченко
■рг'"1987г.
Мл.научный сотрудник
Г. А. Ляако 'ЖШ 1987г.
От СКФ ВНИЦ "АИУС-агроресурсы":
Зав.отделом аэрокосмическах и темащуеских иеысканий №4,к.э.н.
Г. А. Самсонов
" ШК 77 1987г.
оекта :{оренец
ГлавнщИ&йезруктор проекта т^-"' Е.З.Луценко ЗШSi -1937г.
Но тогда семантическое ядро называлось позитивным информационным портретом класса, а антияро - и негативные информационным портретом.
3.3. Исследование предметной области путем исследования ее модели (задача 3)
3.3.1. Нелокальные нейроны и нейронные сети
В работе [19] автором предложены нелокальные нейроны и нелокальные нейронные сети прямого счета, основанные на теории информации. Эти сети, предложенные автором 15 лет очень сходны с популярным сегодня нейробайесовским подходом [20].
Экранная форма задания на формирование изображения нелокального нейрона приведена на рисунке 26, а пример самого нелокального нейрона группы специальностей: «06.02.00-Ветеринария» в СК-модели ЮТЗ приведен на рисунке 27 (со всеми и 36 рецепторами), а фрагмент нелокальной нейронной сети в СК-модели ГЫБЗ на рисунке 28:
Выбор нелокального нейрона (класса) оля визуализации
1 Код Наименована'нелокального нейрона (класса) *
46 КЛАЕСгОб.О! .01 Общее земледелие
4? .КЛАСС-06.01.02 Мелиорация, рекультивация и оурана земель
48 р;ЛАСС:06.01.03 Агрофизика
49 КЛАСС'06.01.04 Агрохимия
50 КЛЙЕГС-06 01 05 Селекииян семеноводство :сельскснозяйственныу расге _
51 .КЛАСИ6.01.06 Луговодство и лекарственные, эфирно-масличные культ
52 чЛАССгПЁ' СП .07 Защита растений
53 клАюкоар
Подготовка визуализации нейрона:53 "КЛАСС-06.02.00" в модели:6 "ШРЗ" АКТИВИРУЮЩИЕ рецепторы и сила их влияния ТОРМОЗЯЩИЕ рецепторы и сила их влияния
ВКЛЮЧИТЬ Фильтр по Фактору
ВЫКЛЮЧИТЬ Фильтр по Фактору
Помощь
1пГ5
Как- Наименование фактора и его'ингёрвдльного значения Си/} влияния Наименование Фактора и его.ингервального-значения
26.:. СЛО ВА-животный 102 ,115 щ. СЛОВА-сисгема -26 .203
86... ЕЛО БА>сельстсонозяй'ств'еннь|й 41 711 СЛ 0 ВА-исследование -16 .065
10... СЛОВА-вегеринарный 35 554 77... СЛОВА-процесс -14 .371
858 ЕЛОВА-болезнь 2В 402 81... СЛ 0 ВА-социальный -12 .757
10... СЛОВА-вещесгво 22 ,652 .71_. :;СЛОЕА-правый -11 .990
76... "СЛО ВА-проФилактика 21 435 97... СЛ 0 ВА-текнический -11 .242
70... СЛОВА-пушной 19 374 10.. СЛ ОВА-упраеление -11 .164
32 СЛОВА-инФекционный 19 .014 22.. СЛ 0 ВА-дсяте льность -10 .941
< Г ►
ВКЛЮЧИТЬ Фильтр по Фактору
ВЫКЛЮЧИТЬ Фильтр по Фактору
НЕЙРОН
Максимальное количество отображаемый рецепторов:
Минимальный вес.коэфф.отображаемых рецепторов: | оТоОО
—Сортировать рецепторы: — (* по информативности С* по модулю информативности
-Отображать рецепторы: (• с наименованиями Г" только с кодами
Рисунок 26. Экранная форма задания на формирование изображения
нелокального нейрона
НЕЛОКАЛЬНЫЙ НЕЙРОН В МОДЕЛИ: "1^3"
Нейрон: [53]-КЛАСС-06.02.00 Приложение: АСК-анализ паспортов специальностей ВАК и формирование семантического ядра ветеринарии
Влияние рецепторов на актвацню/торможение нелокального нейрона, соотвествующего классу (система детерминации класса): Сортировка рецепторов по информативности
. ................„ 1/шлилрл < I Отображается количество рецепторов не более: 999
АКТИВИРУЩЕЕ влияние отображается линиями КРАСНОГО цвета, толщина линии (приведенная в кружочке в центре линии) отражает относительную силу влияния. Показаны связи с относительной силой влияния В1
ТОРМОЗЯЩЕЕ влияние отображается линиями СИНЕГО цвета, толщина линии (приведенная в кружочке в центре линии) отражает относительную силу влияния. Визуализация нейрона с кодами и наименованиями рецепторов
11248 рецепторов
Сортировка рецепторов по информативности
............с с _ „п,л„пп„ , , Отображается количество рецепторов не более: 36
АКТИВИРУЩЕЕ влияние отображается линиями КРАСНОГО цвета, толщина линии (приведенная в кружочке в центре линии) отражает относительную силу влияния. Показаны связи с относительной силой влияния выше: 0%
Визуализация нейрона с кодами и наименованиями рецепторов
Влияние рецепторов на актвацию/торможение нелокального нейрона, соотвествующего классу (система детерминации класса): АКТИВИРУЩЕЕ влияние отображается ТОРМОЗЯЩЕЕ влияние отображается
СИНЕГО цвета, толщина линии (приведенная в кружочке в центре линии) отражает относительную силу влияния.
НЕЛОКАЛЬНЫЙ НЕЙРОН В МОДЕЛИ: "1^3"
Нейрон: [53]-КЛАСС-06.02.00 Приложение: АСК-анализ паспортов специальностей ВАК и формирование семантического ядра ветеринарии
36 рецепторов
Рисунок 27. Нелокальный нейрон
Рисунок 28. Экранная форма задания на визуализацию Парето-подмножества одного слоя нелокальной нейронной сети и сама визуализация (показано 3,03% наиболее значимых связей)
Отметим, что системно-когнитивные модели (СК-модели), созданные в системе «Эйдос», отражают смысл каждого слова, который в данном
случае представляет собой количество информации (в битах), содержащееся в слове, о принадлежности текста с данным словом к тому или иному
классу (рисунок 29):
Рисунок 29. Семантический потенциал слова «больные» в системно-когнитивной модели ЮТ3
Информация о сходстве и различии слов по смыслу также формируется в СК-моделях. Есть в системе «Эйдос» и выходные формы, отражающие эту информацию.
3.3.2. Когнитивные диаграммы
и агломеративные дендрограммы классов
В режиме 4.2.2.1 рассчитывается матрица сходства классов, отражающая сходство-различие классов друг с другом в процентах (таблица 7).
Таблица 7 - Матрица сходства классов1
В графической форме эта таблица отображается в форме когнитивных диаграмм (рисунок 30) и агломеративной дендрограммы с графиком изменения межкластерных расстояний (рисунок 31):
Рисунок 30. Когнитивная диаграмма, отражающая сходство-различие обобщенных образов классов друг с другом
Малозначащие связи могут отфильтрованы (не отображаться). В данном случае показаны связи с силой 14% и более по модулю.
' Изображение имеет разрешение 600 dpi и может быть просмотрено в масштабе 500%
ИЗМЕНЕНИЕ МЕЖКЛАСТЕРНЫХ РАССТОЯНИИ ПРИ КОГНИТИВНОИ КЛАСТЕРИЗАЦИИ КЛАССОВ В МОДЕЛИ: "1^3" Приложение: "АСК-анализ паспортов специальностей ВАК и формирование семантического ядра ветеринарии"
кластерная формула: ((71, ((70,((69,77), (61.(66,68)))), (80,(67, ((74,79), (72,78))))», ((76,«50, (64,(47, (52,(51,(48,(49,(45,«)))))))),(65,«57,(73,75»,((7,(6,8)),(62,(63,(58,(56,(60,(61,(55,(54,^
Рисунок 31. Агломеративная дендрограмма и график изменения межкластерных расстояний, отражающие сходство-различие обобщенных образов классов друг с другом [22, 18]
Из рисунков 30 и 31 видно, что классы образуют два кластера, являющиеся смысловыми полюсами конструкта (на рисунке 31 они выделены разными цветами: красным и синим). В кластеры объединены сходные тексты (паспорта специальностей), а на полюсах конструкта находятся противоположные по смыслу кластеры.
4. Выводы (Conclusions)
4.1. Эффективность предложенного решения проблемы (задача 4)
Как показывает анализ результатов численного эксперимента предложенное и реализованное в системе «Эйдос» решение поставленных задач является вполне эффективным, что позволяет обоснованно утверждать, что цель работы достигнута.
4.2. Ограничения и недостатки предложенного решения проблемы и перспективы его развития путем
их преодоления этих ограничений и недостатков (задача 5)
Однако, длительность решения задачи агломеративной когнитивной кластеризации для одной СК-модели при 82 классах и 11248 признаках составляет несколько часов. Это является неприемлемым. С другой стороны решение этой задачи в разумные сроки представляет большой научный и практический интерес. Решить эту проблему планируется в будущих работах.
4.3. Заключение
В результате проделанной работы, с помощью системы «Эйдос» были формированы обобщенные лингвистические образы классов по паспортам специальностей научных работников ВАК РФ и по группам специальностей (семантические ядра и антиядра), и, на основе этого, решены задачи идентификации текстов по направлениям науки, поддержки принятия решений и исследования моделируемой предметной области путем исследования ее модели.
Таким образом, созданы системно-когнитивные модели высокой достоверности, поставленные задачи решены, цель достигнута, проблема решена.
Данная работа демонстрирует, что математические модели (частные и интегральные критерии), методики численных расчетов (структуры данных и алгоритмы их обработки), экранные формы управления процессами, программный интерфейс ввода текстовых данных в систему «Эйдос» и повышения степени формализации исходных данных от вербализации до нормализованных баз данных (API), экранные формы текстовых и графических выходных форм по результатам решения задач глубокой атрибуции текстов, программная реализация математических моделей, методик численных расчетов, интерфейса и когнитивной графики в системе «Эйдос» являются адекватным средством для решения поставленной и решаемой в статье проблемы.
Необходимо отметить, что системно-когнитивные модели, разработанные в системе «Эйдос», могут быть применены для решения практических задач с применением той же системы «Эйдос», в которой они созданы, причем это применение возможно в адаптивном режиме, т. е. их
можно совершенствовать в процессе эксплуатации, адаптировать к изменениям предметной области, локализовать или районировать для других регионов, и т.п, и т.д. Эти уникальные возможности обеспечиваются тем, что система «Эйдос» представляет собой не только среду для эксплуатации интеллектуальных приложений, но и является инструментом их создания и адаптации.
По мнению автора АСК-анализ и система «Эйдос» представляют собой новый инновационный, т.е. доведенный до возможности практического применения, метод искусственного интеллекта может рассматриваться как универсальный инструмент решения всех тех задач в области ветеринарии (и других наук), для решения которых используется естественный интеллект. Причем это инструмент, многократно увеличивающий возможности естественного интеллекта, примерно также, как микроскоп и телескоп многократно увеличивает возможности естественного зрения, естественно только в том случае, если оно есть. Поэтому, конечно, этих задач огромное количество.
В качестве перспектив можно было бы отметить в частности решение следующих задач ветеринарии с применением автоматизированного системно-когнитивного анализа:
- поддержка принятия решений по выбору антибактериальных препаратов в зависимости от характера микробной флоры;
- поддержка принятия решений по определению дозы и пути введения препаратов группы пенициллина;
- поддержка принятия решений по определению дозы и пути введения цефалоспоринов;
- поддержка принятия решений по выбору антибактериальных препаратов с учетом основных токсических и аллергических реакций на антибактериальные препараты;
- исследование взаимодействия антибактериальных препаратов с другими препаратами при приеме внутрь и поддержка принятия решений по выбору антибактериальных препаратов с учетом результатов этих исследований.
Область ветеринарии, в которой перечисленные выше и другие задачи решаются с применением системно-когнитивного анализа, программным инструментарием которого в настоящее время является система «Эйдос», предлагается назвать «Когнитивной ветеринарией» или шире «Математической ветеринарией»» по аналогии с математической экономикой (08.00.13), Прикладной и математической лингвистикой (10.02.21), и т.д.
Эта идея находится в русле Указа Президента РФ от 7 июля 2011 г. N 899 "Об утверждении приоритетных направлений развития науки, технологий и техники в Российской Федерации и перечня критических техноло-
гий Российской Федерации", в котором под п.8 указаны Нано-, био-, ин-
7
формационные, когнитивные технологии .
Этим и другим применениям способствует и то, что система «Эйдос» является мультиязычной интеллектуальной on-line средой для обучения и научных исследований [2, 3]8 и находится в полном открытом бесплатном доступе (причем с подробно комментированными актуальными исходными текстами: http://lc.kubagro.ru/ AIDOS-X.txt) на сайте автора по адресу: http://lc.kubagro.ru/aidos/ Aidos-X.htm.
Численные примеры решения задач ветеринарии с применением технологий искусственного интеллекта размещены как облачные Эйдос-приложения под номерами: 100, 125, 126, 127, 128, 131, 133 и доступны всем желающим в режиме 1.3 системы «Эйдос». Базовое интеллектуальное приложение, являющееся основой данной работы, размещено в Эйдос-облаке под номером 134.
Конечно, представленный в статье уровень исследования относится хотя и к развитому, но эмпирическому уровню, т.е. это просто наблюдаемые факты, эмпирические закономерности и в лучшем случае, при условии подтверждения полученных результатов другими исследователями, может подняться до уровня эмпирического закона. Для перехода на теоретический уровень познания необходимо выдвинуть гипотезы содержательной интерпретации полученных результатов (которые может выдвинуть только специалист в области ветеринарии), объясняющие внутренние механизмы наблюдаемых закономерностей. Потом необходимо подтвердить, что эти научные гипотезы имеют прогностическую силу, т.е. позволяют обнаружить новые ранее неизвестные явления, и тогда эти гипотезы переходят в статус научной теории. Эта теория позволяют обобщить эмпирический закон до уровня научного закона [34].
5. Благодарности (Acknowledgements)
Автор выражает благодарность разработчику интеллектуальных систем из Белоруссии Бандык Дмитрию Константиновичу за разработку модуля ускоренного синтеза моделей и GPU-модуля распознавания для системы «Эйдос», которые ускоряют решение этих задач иногда (т.е. на некоторых приложениях) в тысячи раз, что делает реальным формирование и исследование моделей большой размерности в разумные сроки (например, моделей, созданных и исследованных в данной работе). В заключение автор выражает благодарность проректору по научной работе Кубанского ГАУ им. И.Т. Трубилина доктору биологических наук профессору Андрею Георгиевичу Кощаеву за помощь в публикации статьи.
7 Отметим, что все приведенные выше аргументы введения научного понятия: «когнитивная ветеринария» применимы и к другим направлениям науки, например: «когнитивная агрономия», «когнитивная экономика» и т.д.. Автор пытался развивать когнитивную математику [10] и когнитивную теорию управления [10], а также применять их в других областях науки и практики.
8 http://lc.kubagro.ru/aidos/Presentation Aidos-online.pdf
Список литературы (References)
1. Луценко Е.В. Атрибуция текстов, как обобщенная задача идентификации и прогнозирования / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2003. - №02(002). С. 146 - 164. -IDA [article ID]: 0020302013. - Режим доступа: http://ej.kubagro.ru/2003/02/pdf/13.pdf, 1,188 у.п.л.
2. Луценко Е.В. Атрибуция анонимных и псевдонимных текстов в системно-когнитивном анализе / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2004. - №03(005). С. 44 - 64. -IDA [article ID]: 0050403003. - Режим доступа: http://ej.kubagro.ru/2004/03/pdf/03.pdf, 1,312 у.п.л.
3. Луценко Е.В. АСК-анализ проблематики статей Научного журнала КубГАУ в динамике / Е.В. Луценко, В.И. Лойко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №06(100). С. 109 - 145.
- IDA [article ID]: 1001406007. - Режим доступа: http://ej.kubagro.ru/2014/06/pdf/07.pdf, 2,312 у.п.л.
4. Луценко Е.В. Применение АСК-анализа и интеллектуальной системы "Эйдос" для решения в общем виде задачи идентификации литературных источников и авторов по стандартным, нестандартным и некорректным библиографическим описаниям / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №09(103). С. 498 - 544. - IDA [article ID]: 1031409032. - Режим доступа: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 у.п.л.
5. Луценко Е.В. Интеллектуальная привязка некорректных ссылок к литературным источникам в библиографических базах данных с применением АСК-анализа и системы «Эйдос» (на примере Российского индекса научного цитирования - РИНЦ) / Е.В. Луценко, В. А. Глухов // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №01(125). С. 1 - 65. - IDA [article ID]: 1251701001. - Режим доступа: http://ej.kubagro.ru/2017/01/pdf/01.pdf, 4,062 у.п.л.
6. Луценко Е.В. Автоматизированный системно-когнитивный анализ в управлении активными объектами (системная теория информации и ее применение в исследовании экономических, социально-психологических, технологических и организационно-технических систем): Монография (научное издание). - Краснодар: КубГАУ. 2002.
- 605 с. http://elibrary.ru/item.asp?id=18632909
7. Орлов А.И., Луценко Е.В. Системная нечеткая интервальная математика. Монография (научное издание). - Краснодар, КубГАУ. 2014. - 600 с. ISBN 978-5-94672757-0. http://elibrary.ru/item.asp?id=21358220
8. Луценко Е.В. Открытая масштабируемая интерактивная интеллектуальная online среда для обучения и научных исследований на базе АСК-анализа и системы «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №06(130). С. 1 - 55. - IDA [article ID]: 1301706001. - Режим доступа: http://ej.kubagro.ru/2017/06/pdf/01.pdf, 3,438 у.п.л.
9. Луценко Е.В., Универсальная автоматизированная система распознавания образов "ЭЙДОС". Свидетельство РосАПО №940217. Заяв. № 940103. Опубл. 11.05.94. -Режим доступа: http://lc.kubagro.ru/aidos/1994000217.jpg, 3,125 у.п.л.
10. Луценко Е.В., Универсальная когнитивная аналитическая система "ЭЙДОС". Пат. № 2003610986 РФ. Заяв. № 2003610510 РФ. Опубл. от 22.04.2003. - Режим доступа: http://lc.kubagro.ru/aidos/2003610986.ipg, 3,125 у.п.л.
11. Луценко Е.В., Универсальная когнитивная аналитическая система "ЭЙДОС-X++". Пат. № 2012619610 РФ. Заявка № 2012617579 РФ от 10.09.2012. Зарегистр. 24.10.2012. - Режим доступа: http://lc.kubagro.ru/aidos/2012619610.jpg, 3,125 у.п.л.
12. Луценко Е.В., Открытая масштабируемая интерактивная интеллектуальная online среда «Эйдос» («Эйдос-online»). Свид. РосПатента РФ на программу для ЭВМ, Заявка № 2017618053 от 07.08.2017, Гос.рег.№ 2017661153, зарегистр. 04.10.2017. - Режим доступа: http://lc.kubagro.ru/aidos/2017661153.jpg, 2 у.п.л.
13. Луценко Е.В. Неформальная постановка и обсуждение задач, возникающих при системном обобщении теории множеств на основе системной теории информации (Часть 2-я: задачи 4-9) / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2008. - №04(038). С. 26 - 65. -Шифр Информрегистра: 0420800012\0049, IDA [article ID]: 0380804003. - Режим доступа: http://ei.kubagro.ru/2008/04/pdf/03.pdf, 2,5 у.п.л.
14. Луценко Е.В. Синтез адаптивных интеллектуальных измерительных систем с применением АСК-анализа и системы «Эйдос» и системная идентификация в эконометрике, биометрии, экологии, педагогике, психологии и медицине / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2016. - №02(116). С. 1 - 60. - IDA [article ID]: 1161602001. - Режим доступа: http://ei.kubagro.ru/2016/02/pdf/01.pdf, 3,75 у.п.л.
15. Луценко Е.В. Метризация измерительных шкал различных типов и совместная сопоставимая количественная обработка разнородных факторов в системно-когнитивном анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. -№08(092). С. 859 - 883. - IDA [article ID]: 0921308058. - Режим доступа: http://ei.kubagro.ru/2013/08/pdf/58.pdf, 1,562 у.п.л.
16. Луценко Е.В. Инвариантное относительно объемов данных нечеткое мульти-классовое обобщение F-меры достоверности моделей Ван Ризбергена в АСК-анализе и системе «Эйдос» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал Куб-ГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №02(126). С. 1 - 32. - IDA [article ID]: 1261702001. - Режим доступа: http://ei.kubagro.ru/2017/02/pdf/01.pdf, 2 у.п.л.
17. Луценко Е.В. Количественный автоматизированный SWOT- и PEST-анализ средствами АСК-анализа и интеллектуальной системы «Эйдос-Х++» / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2014. - №07(101). С. 1367 - 1409. - IDA [article ID]: 1011407090. - Режим доступа: http://ei.kubagro.ru/2014/07/pdf/90.pdf, 2,688 у.п.л.
18. Луценко Е.В. Метод когнитивной кластеризации или кластеризация на основе знаний (кластеризация в системно-когнитивном анализе и интеллектуальной системе «Эйдос») / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2011. - №07(071). С. 528 - 576. - Шифр Информрегистра: 0421100012\0253, IDA [article ID]: 0711107040. - Режим доступа: http://ei.kubagro.ru/2011/07/pdf/40.pdf, 3,062 у.п.л.
19. Луценко Е.В. Системная теория информации и нелокальные интерпретируемые нейронные сети прямого счета / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2003. -№01(001). С. 79 - 91. - IDA [article ID]: 0010301011. - Режим доступа: http://ej.kubagro.ru/2003/01/pdf/11 .pdf, 0,812 у.п.л.
20. Artem Artemov, Eugeny Lutsenko, Edward Ayunts, Ivan Bolokhov/ Informational Neurobayesian Approach to Neural Networks Training. Opportunities and Prospects // arXiv Computer Science, Learning (cs.LG) //arXiv preprint arXiv:1710.07264. - Режим доступа: https://arxiv.org/pdf/1710.07264
21. Ричард Броди. ПСИХИЧЕСКИЕ ВИРУСЫ. Методическое пособие для слушателей курса. «Современные психотехнологии». Москва, 2002, 192 стр.
22. Луценко Е.В., Подсистема агломеративной когнитивной кластеризации классов системы «Эйдос» ("Эйдос-кластер"). Пат. № 2012610135 РФ. Заяв. № 2011617962 РФ 26.10.2011. Опубл. От 10.01.2012. - Режим доступа: http://lc.kubagro.ru/aidos/2012610135.jpg, 3,125 у.п.л.
23. Сельскохозяйственные машины: краткий курс лекций для аспирантов направления подготовки 35.06.04 Технологии, средства механизации и энергетическое оборудование в сельском, лесном и рыбном хозяйстве / Сост.: Шардина Г.Е., Хакимзянов Р.Р. // ФГБОУ ВПО «Саратовский ГАУ». - Саратов, 2014. - 80с. http://www.sgau.ru/files/pages/14691/14327973037.pdf
24. Евтефеев Ю.В., Казанцев Г.М. Основы агрономии : учебное пособие / Ю.В. Евтефеев, Г.М. Казанцев. — М. : ФОРУМ, 2013. - 368 с. : ил. - (Высшее образование). ISBN 978-5-91134-192-3. https://www.twirpx.com/file/1389251/
25. Ханников А. А. Справочник ветеринарного специалиста. Справочное пособие. - СПб.: Литагент Мельников, 2011. - 455 c. https://www.twirpx.com/file/936410/
26. Луценко Е.В. Реализация тестов и супертестов для ветеринарной и медицинской диагностики в среде системы искусственного интеллекта «Эйдос-Х++» без программирования / Е.В. Луценко, В.Е. Коржаков // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2013. - №05(089). С. 167 - 207. - IDA [article ID]: 0891305014. - Режим доступа: http://ej.kubagro.ru/2013/05/pdf/14.pdf, 2,562 у.п.л.
27. Луценко Е.В. Автоматизированный системно-когнитивный анализ в ветеринарии (на примере разработки диагностических тестов) / Е. В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: Куб-ГАУ, 2018. - №03(137). С. 143 - 196. - IDA [article ID]: 1371803031. - Режим доступа: http://ej.kubagro.ru/2018/03/pdf/31 .pdf, 3,375 у.п.л.
28. Луценко Е.В. Агломеративная когнитивная кластеризация нозологических образов в ветеринарии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал Куб-ГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2018. - №04(138). С. 122 - 139. -IDA [article ID]: 1381804033. - Режим доступа: http://ej.kubagro.ru/2018/04/pdf/33.pdf, 1,125 у.п.л.
29. Луценко Е.В. Агломеративная когнитивная кластеризация симптомов и синдромов в ветеринарии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2018. - №05(139). С. 99 - 116.
- IDA [article ID]: 1391805033. - Режим доступа: http://ej .kubagro.ru/2018/05/pdf/33.pdf, 1,125 у.п.л.
30. Луценко Е.В. Автоматизированный системно-когнитивный анализ антибиотиков в ветеринарии / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал Куб-ГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2018. - №06(140). С. 171 - 220. -IDA [article ID]: 1401806033. - Режим доступа: http://ej.kubagro.ru/2018/06/pdf/33.pdf, 3,125 у.п.л.
31. Луценко Е.В. Разработка ветеринарного теста для диагностики желудочно-кишечных заболеваний лошади на основе данных репозитория UCI с применением АСК-анализа / Е.В. Луценко, Е.К. Печурина, А.Э. Сергеев // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2018. -№07(141). С. 111 - 175. - IDA [article ID]: 1411807033. - Режим доступа: http://ej.kubagro.ru/2018/07/pdf/33.pdf, 4,062 у.п.л.
32. Луценко Е.В. Автоматизированный системно-когнитивный анализ и классификация пород крупного рогатого скота / Е.В. Луценко, Е.К. Печурина // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: Куб-ГАУ, 2018. - №08(142). С. 68 - 95. - IDA [article ID]: 1421808033. - Режим доступа: http://ej .kubagro.ru/2018/08/pdf/3 3 .pdf, 1,75 у.п.л.
33. Луценко Е.В. Математическое и численное моделирование взаимосвязи морфологического, биохимического и микроэлементного состава крови бычков герефорд-ской породы и их размеров / Е.В. Луценко, В.Г. Лежнев, Н.И. Ковелин // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2018. - №09(143). С. 49 - 88. - IDA [article ID]: 1431809033. - Режим доступа: http://ej.kubagro.ru/2018/09/pdf/33.pdf, 2,5 у.п.л.
34. Луценко Е.В. Проблемы и перспективы теории и методологии научного познания и автоматизированный системно-когнитивный анализ как автоматизированный метод научного познания, обеспечивающий содержательное феноменологическое моделирование / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета (Научный журнал КубГАУ) [Электронный ресурс]. - Краснодар: КубГАУ, 2017. - №03(127). С. 1 - 60. - IDA [article ID]: 1271703001. - Режим доступа: http://ej.kubagro.ru/2017/03/pdf/01.pdf, 3,75 у.п.л.
Spisok literatury" (References)
1. Lucenko E.V. Atribuciya tekstov, kak obobshhennaya zadacha identifikacii i prog-nozirovaniya / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Ku-banskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronnyj resurs]. - Krasnodar: KubGAU, 2003. - №02(002). S. 146 - 164. - IDA [article ID]: 0020302013. - Rezhim dostupa: http://ej.kubagro.ru/2003/02/pdf/13.pdf, 1,188 u.p.l.
2. Lucenko E.V. Atribuciya anonimny'x i psevdonimny'x tekstov v sistemno-kognitivnom analize / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauch-ny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [Flektronnyj resurs]. - Krasnodar: KubGAU, 2004. - №03(005). S. 44 - 64. - IDA [article ID]: 0050403003. - Rezhim dostupa: http://ej.kubagro.ru/2004/03/pdf/03.pdf, 1,312 u.p.l.
3. Lucenko E.V. ASK-analiz problematiki statej Nauchnogo zhurnala KubGAU v di-namike / E.V. Lucenko, V.I. Lojko // Politematicheskij setevoj e'lektronny'j nauch-ny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU)
[E'lektronny'j resurs]. - Krasnodar: KubGAU, 2014. - №06(100). S. 109 - 145. - IDA [article ID]: 1001406007. - Rezhim dostupa: http://ej.kubagro.ru/2014/06/pdf/07.pdf, 2,312 u.p.l.
4. Lucenko E.V. Primenenie ASK-analiza i intellektual'noj sistemy' "E'jdos" dlya resheniya v obshhem vide zadachi identifikacii literaturny'x istochnikov i avtorov po stan-dartny'm, nestandartny'm i nekorrektny'm bibliograficheskim opisaniyam / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2014. - №09(103). S. 498 - 544. - IDA [article ID]: 1031409032. - Rezhim dostupa: http://ej.kubagro.ru/2014/09/pdf/32.pdf, 2,938 u.p.l.
5. Lucenko E.V. Intellektual'naya privyazka nekorrektny'x ssy'lok k literatur-ny'm is-tochnikam v bibliograficheskix bazax danny'x s primeneniem ASK-analiza i sistemy' «E'jdos» (na primere Rossijskogo indeksa nauchnogo citirovaniya - RINCz) / E.V. Lucenko, V.A. Gluxov // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. -Krasnodar: KubGAU, 2017. - №01(125). S. 1 - 65. - IDA [article ID]: 1251701001. - Rezhim dostupa: http://ej.kubagro.ru/2017/01/pdf/01.pdf, 4,062 u.p.l.
6. Lucenko E.V. Avtomatizirovanny'j sistemno-kognitivny'j analiz v upravle-nii ak-tivny'mi ob''ektami (sistemnaya teoriya informacii i ee primenenie v issledo-vanii e'konomicheskix, social'no-psixologicheskix, texnologicheskix i organizacion-no-texnicheskix sistem): Monografiya (nauchnoe izdanie). - Krasnodar: KubGAU. 2002. - 605 s. http://elibrary.ru/item.asp?id=18632909
7. Orlov A.I., Lucenko E.V. Sistemnaya nechetkaya interval'naya matematika. Monografiya (nauchnoe izdanie). - Krasnodar, KubGAU. 2014. - 600 s. ISBN 978-5-94672-7570. http://elibrary.ru/item.asp?id=21358220
8. Lucenko E.V. Otkry'taya masshtabiruemaya interaktivnaya intellektual'naya on-line sreda dlya obucheniya i nauchny'x issledovanij na baze ASK-analiza i sistemy' «E'j-dos» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. -Krasnodar: KubGAU, 2017. - №06(130). S. 1 - 55. - IDA [article ID]: 1301706001. - Rezhim dostupa: http://ej.kubagro.ru/2017/06/pdf/01.pdf, 3,438 u.p.l.
9. Lucenko E.V., Universal'naya avtomatizirovannaya sistema raspoznavaniya ob-razov "E'JDOS". Svidetel'stvo RosAPO №940217. Zayav. № 940103. Opubl. 11.05.94. -Rezhim dostupa: http://lc.kubagro.ru/aidos/1994000217.jpg, 3,125 u.p.l.
10. Lucenko E.V., Universal'naya kognitivnaya analiticheskaya sistema "E'JDOS". Pat. № 2003610986 RF. Zayav. № 2003610510 RF. Opubl. ot 22.04.2003. - Rezhim dostu-pa: http://lc.kubagro.ru/aidos/2003610986.jpg, 3,125 u.p.l.
11. Lucenko E.V., Universal'naya kognitivnaya analiticheskaya sistema "E'JDOS-X++". Pat. № 2012619610 RF. Zayavka № 2012617579 RF ot 10.09.2012. Zaregistr. 24.10.2012. - Rezhim dostupa: http://lc.kubagro.ru/aidos/2012619610.jpg, 3,125 u.p.l.
12. Lucenko E.V., Otkry'taya masshtabiruemaya interaktivnaya intellektual'naya online sreda «E'jdos» («E'jdos-online»). Svid. RosPatenta RF na programmu dlya E'VM, Zayavka № 2017618053 ot 07.08.2017, Gos.reg.№ 2017661153, zaregistr. 04.10.2017. - Rezhim dostupa: http://lc.kubagro.ru/aidos/2017661153.jpg, 2 u.p.l.
13. Lucenko E.V. Neformal'naya postanovka i obsuzhdenie zadach, voznikayushhix pri sistemnom obobshhenii teorii mnozhestv na osnove sistemnoj teorii informacii (Chast' 2-ya: zadachi 4-9) / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauch-ny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2008. - №04(038). S. 26 - 65. - Shifr Inform-registra: 0420800012\0049, IDA [article ID]: 0380804003. - Rezhim do-stupa: http://ej.kubagro.ru/2008/04/pdf/03.pdf, 2,5 u.p.l.
14. Lucenko E.V. Sintez adaptivny'x intellektual'ny'x izmeritel'ny'x sistem s prime-neniem ASK-analiza i sistemy' «E'jdos» i sistemnaya identifikaciya v e'kono-metrike, bio-metrii, e'kologii, pedagogike, psixologii i medicine / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo univer-siteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2016. -№02(116). S. 1 - 60. - IDA [article ID]: 1161602001. - Rezhim dostupa: http://ej.kubagro.ru/2016/02/pdf/01.pdf, 3,75 u.p.l.
15. Lucenko E.V. Metrizaciya izmeritel'ny'x shkal razlichny'x tipov i so-vmestnaya sopostavimaya kolichestvennaya obrabotka raznorodny'x faktorov v sistemno-kognitivnom analize i sisteme «E'jdos» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2013. - №08(092). S. 859 - 883. - IDA [article ID]: 0921308058. - Rezhim dostupa: http://ej.kubagro.ru/2013/08/pdf/58.pdf, 1,562 u.p.l.
16. Lucenko E.V. Invariantnoe otnositel'no ob'emov danny'x nechetkoe mul-tiklassovoe obobshhenie F-mery' dostovernosti modelej Van Rizbergena v ASK-analize i sisteme «E'jdos» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2017. - №02(126). S. 1 - 32. - IDA [article ID]: 1261702001. - Rezhim dostupa: http://ej.kubagro.ru/2017/02/pdf/01.pdf, 2 u.p.l.
17. Lucenko E.V. Kolichestvenny'j avtomatizirovanny'j SWOT- i PEST-analiz sredstvami ASK-analiza i intellektual'noj sistemy' «E'jdos-X++» / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2014. - №07(101). S. 1367 - 1409. - IDA [article ID]: 1011407090. - Rezhim dostupa: http://ej.kubagro.ru/2014/07/pdf/90.pdf, 2,688 u.p.l.
18. Lucenko E.V. Metod kognitivnoj klasterizacii ili klasterizaciya na osnove znanij (klasterizaciya v sistemno-kognitivnom analize i intellektual'noj sisteme «E'jdos») / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2011. - №07(071). S. 528 - 576. - Shifr In-formregistra: 0421100012\0253, IDA [article ID]: 0711107040. - Rezhim dostupa: http://ej.kubagro.ru/2011/07/pdf/40.pdf, 3,062 u.p.l.
19. Lucenko E.V. Sistemnaya teoriya informacii i nelokal'ny'e interpretirue-my'e ne-jronny'e seti pryamogo scheta / E.V. Lucenko // Politematicheskij setevoj e'lek-tronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2003. - №01(001). S. 79 - 91. -IDA [article ID]: 0010301011. - Rezhim dostupa: http://ej.kubagro.ru/2003/01/pdf/11.pdf, 0,812 u.p.l.
20. Artem Artemov, Eugeny Lutsenko, Edward Ayunts, Ivan Bolokhov/ Informational Neurobayesian Approach to Neural Networks Training. Opportunities and Prospects // arXiv Computer Science, Learning (cs.LG) //arXiv preprint arXiv:1710.07264. - Rezhim dostupa: https://arxiv.org/pdf/1710.07264
21. Richard Brodi. PSIXIChESKIE VIRUSY'. Metodicheskoe posobie dlya slusha-telej kursa. «Sovremenny'e psixotexnologii». Moskva, 2002, 192 str.
22. Lucenko E.V., Podsistema aglomerativnoj kognitivnoj klasterizacii klas-sov sistemy' «E'jdos» ("E'jdos-klaster"). Pat. № 2012610135 RF. Zayav. № 2011617962 RF 26.10.2011. Opubl. Ot 10.01.2012. - Rezhim dostupa: http://lc.kubagro.ru/aidos/2012610135.jpg, 3,125 u.p.l.
23. Sel'skoxozyajstvenny'e mashiny': kratkij kurs lekcij dlya aspirantov naprav-leniya podgotovki 35.06.04 Texnologii, sredstva mexanizacii i e'nergeticheskoe oboru-dovanie v
sel'skom, lesnom i ry'bnom xozyajstve / Sost.: Shardina G.E., Xakimzyanov R.R. // FGBOU VPO «Saratovskij GAU». - Saratov, 2014. - 80s. http://www.sgau.ru/files/pages/14691/14327973037.pdf
24. Evtefeev Yu.V., Kazancev G.M. Osnovy' agronomii : uchebnoe posobie / Yu.V. Ev-tefeev, G.M. Kazancev. — M. : FORUM, 2013. - 368 s. : il. - (Vy'sshee obrazovanie). ISBN 978-5-91134-192-3. https://www.twirpx.com/file/1389251/
25. Xannikov A.A. Spravochnik veterinarnogo specialista. Spravochnoe po-sobie. -SPb.: Litagent Mel'nikov, 2011. - 455 c. https://www.twirpx.com/file/936410/
26. Lucenko E.V. Realizaciya testov i supertestov dlya veterinarnoj i medicin-skoj diag-nostiki v srede sistemy' iskusstvennogo intellekta «E'jdos-X++» bez pro-grammirovaniya / E.V. Lucenko, V.E. Korzhakov // Politematicheskij setevoj e'lektron-ny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2013. - №05(089). S. 167 - 207. - IDA [article ID]: 0891305014. - Rezhim dostupa: http://ej.kubagro.ru/2013/05/pdf/14.pdf, 2,562 u.p.l.
27. Lucenko E.V. Avtomatizirovanny'j sistemno-kognitivny'j analiz v veterinarii (na primere razrabotki diagnosticheskix testov) / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. -№03(137). S. 143 - 196. - IDA [article ID]: 1371803031. - Rezhim dostupa: http://ej.kubagro.ru/2018/03/pdf/31.pdf, 3,375 u.p.l.
28. Lucenko E.V. Aglomerativnaya kognitivnaya klasterizaciya nozologicheskix ob-razov v veterinarii / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. - №04(138). S. 122 - 139. - IDA [article ID]: 1381804033. - Rezhim dostupa: http://ej.kubagro.ru/2018/04/pdf/33.pdf, 1,125 u.p.l.
29. Lucenko E.V. Aglomerativnaya kognitivnaya klasterizaciya simptomov i sin-dromov v veterinarii / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauch-ny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. - №05(139). S. 99 - 116. - IDA [article ID]: 1391805033. - Rezhim dostupa: http://ej.kubagro.ru/2018/05/pdf/33.pdf, 1,125 u.p.l.
30. Lucenko E.V. Avtomatizirovanny'j sistemno-kognitivny'j analiz antibiotikov v veterinarii / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. - №06(140). S. 171 - 220. - IDA [article ID]: 1401806033. - Rezhim dostupa: http://ej.kubagro.ru/2018/06/pdf/33.pdf, 3,125 u.p.l.
31. Lucenko E.V. Razrabotka veterinarnogo testa dlya diagnostiki zheludochno-kishechny'x zabolevanij loshadi na osnove danny'x repozitoriya UCI s primeneniem ASK-analiza / E.V. Lucenko, E.K. Pechurina, A.E'. Sergeev // Politematicheskij sete-voj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universi-teta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. -№07(141). S. 111 - 175. - IDA [article ID]: 1411807033. - Rezhim dostupa: http://ej.kubagro.ru/2018/07/pdf/33.pdf, 4,062 u.p.l.
32. Lucenko E.V. Avtomatizirovanny'j sistemno-kognitivny'j analiz i klassi-fikaciya porod krupnogo rogatogo skota / E.V. Lucenko, E.K. Pechurina // Politemati-cheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. -№08(142). S. 68 - 95. - IDA [article ID]: 1421808033. - Rezhim dostupa: http://ej.kubagro.ru/2018/08/pdf/33.pdf, 1,75 u.p.l.
33. Lucenko E.V. Matematicheskoe i chislennoe modelirovanie vzaimosvyazi mor-fologicheskogo, bioximicheskogo i mikroe'lementnogo sostava krovi by'chkov gereford-skoj
porody' i ix razmerov / E.V. Lucenko, V.G. Lezhnev, N.I. Kovelin // Politemati-cheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo univer-siteta (Nauchny'j zhurnal KubGAU) [E'lektronny'j resurs]. - Krasnodar: KubGAU, 2018. -№09(143). S. 49 - 88. - IDA [article ID]: 1431809033. - Rezhim dostupa: http://ej.kubagro.ru/2018/09/pdf/33.pdf, 2,5 u.p.l.
34. Lucenko E.V. Problemy' i perspektivy' teorii i metodologii nauchnogo po-znaniya i avtomatizirovanny'j sistemno-kognitivny'j analiz kak avtomatizirovan-ny'j metod nauchnogo poznaniya, obespechivayushhij soderzhatel'noe fenomenologicheskoe modelirovanie / E.V. Lucenko // Politematicheskij setevoj e'lektronny'j nauchny'j zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta (Nauchny'j zhurnal Kub-GAU) [E'lektronny'j resurs]. -Krasnodar: KubGAU, 2017. - №03(127). S. 1 - 60. - IDA [article ID]: 1271703001. - Rezhim dostupa: http://ej.kubagro.ru/2017/03/pdf/01.pdf, 3,75 u.p.l.
