CC BY
52
УДК 004.67
05.00.00 Технические науки
ГИБРИДНАЯ НЕЙРО-ЭКСПЕРТНАЯ СИСТЕМА ДЛЯ ИДЕНТИФИКАЦИИ ЗНАЧИМЫХ СОБЫТИЙ НА ГРАФИКАХ ВРЕМЕННЫХ РЯДОВ
Частиков Аркадий Петрович к.т.н., профессор кафедры информационных систем и программирования ФГБОУ ВО "Кубанский государственный технологический университет ", Краснодар, Россия 350020, улица Московская, 2, Краснодар, Россия
Урвачев Павел Михайлович
аспирант кафедры информационных систем и
программирования
p.m. urvachev@ gmail.com
ФГБОУ ВО "Кубанский государственный технологический университет", Краснодар, Россия 350020, улица Московская, 2, Краснодар, Россия
Тотухов Константин Евгеньевич к.т.н, старший преподаватель кафедры информационных систем и программирования РИНЦ-SCIENCE INDEX. БРШ-код=1082-9178 [email protected]
ФГБОУ ВО "Кубанский государственный технологический университет", Краснодар, Россия
350020, улица Московская, 2, Краснодар, Россия
Данная статья раскрывает применение гибридной нейро/экспертной системы-сети к задаче отыскания значимых событий данных исследований поведения рынка. Нейронная сеть обучается методом обратного распространения ошибки и используется для выделения трендов во времени. Экспертная система используется для определения степени значимости данных
Ключевые слова: НЕЙРОННАЯ СЕТЬ, ЭКСПЕРТНАЯ СИСТЕМА, ПАТТЕРН, КОНЦЕПТУАЛЬНАЯ МОДЕЛЬ, ОБРАЗ
Doi: 10.21515/1990-4665-124-049
UDC 004.67 Technical sciences
HYBRID NEURO-EXPERT SYSTEM FOR IDENTIFICATION OF SIGNIFICANT EVENTS TO SCHEDULE TIME SERIES
Chastikov Arkadiy Petrovich
Cand.Tech.Sci., professor in the department of
information systems and programming
FGBOU VO "Kuban State Technological University",
Krasnodar, Russia
350020, Moscow street, 2, Krasnodar, Russia
Urvachev Pavel Mihaylovich p.m. urvachev@ gmail.com
FGBOU VO "Kuban State Technological University", Krasnodar, Russia 350020, Moscow street, 2, Krasnodar, Russia
Totukhov Konstantin Evgen'evich Cand.Tech.Sci., senior lecturer in the department of information systems and programming RSCI-SCIENCE INDEX. SPIN-code=1082-9178 [email protected]
FGBOU VO "Kuban State Technological University", Krasnodar, Russia
350020, Moscow street, 2, Krasnodar, Russia
This article discloses the use of hybrid neural / expertnetwork systems to the problem of finding the significant events of these studies market behavior. The neural network is trained by back propagation, and is used to highlight trends over time. The expert system is used to determine the degree of significance of data
Keywords: NEURAL NETWORKS, EXPERT SYSTEMS, PATTERN CONCEPTUAL MODEL, IMAGE
Введение
Data mining рассматривается как процесс поиска «самородков» знаний в больших базах данных. На сегодняшний день не существует универсальной технологии применения Data mining к каждой конкретной
ситуации, а есть только набор указаний о том, какие виды техник применять к различным базам. В данной статье мы предлагаем полезный, на наш взгляд, подход для баз с данными временных рядов.
Гибридная нейро-экспертная архитектура
Известно, что нейронная сеть и экспертная система могут работать дополняя друг друга там, где по отдельности у них есть слабые места. Предпринималось большое количество попыток разработать архитектуру взаимодействия данных систем. Наиболее подходящая в нашем случае используется сеть (или сети) в качестве подкомпонентов экспертной системы, как это показано на рисунке 1.
Здесь предшествующий, заранее обученный, сетевой компонент определяет значения переменных, используемых далее экспертной системой. Архитектура хорошо подходит для проблем, требующих распознавания паттернов или классификации, а также поиска причинной компоненты.
ВХОДЫ
И уапаЫсЗ = \'а]це2 ТО уапа!?|еЗ =
Рисунок 1 - Гибрид нейронной сети и ЭС. Целью работы является определение способности поисковой машины, основанной на вышепоказанной архитектуре, эффективно
находить значимые паттерны во временных рядах с исследованиями поведения рынка.
Рисунок 2 - Расположение ключевых показателей на графиках. Анализ данных исследований рынков. В нашем анализе данных показателей рынков под «самородками» понимаются зависимости, отражающие степень эффективности рекламных кампаний. Эксперты часами анализируют графики с целью выявления неэффективных рекламных кампаний и порой просматривают сотни графиков за день. Обычно авторы рекламы хотят знать о проблеме так быстро, как это возможно, чтобы предпринять необходимые меры.
Большая часть исследуемых данных поступает из торговых центров, где сведения собираются об эффективности продаж некоторого продукта и его основных конкурентов.
Ключевые показатели исследования эффективности продаж: ECUT - насколько хороший отзыв на рекламу продукта получен в сравнении с другими продуктами; BCUT - как хорошо отзываются о рекламе бренда; ATT - какой бренд люди предпочитают покупать следующим; STS - последний купленный бренд этого типа продукта; PEN - покупал ли человек когда-либо этот продукт; BSPONT - отзыв (не распознавание) на имя бренда;
SOVT - процент распространения рекламы этого продукта через телевидение в сравнении с конкурентами;
ТАЕР8 - процент распространения рекламы этого продукта через
телевидение относительно всей рекламы продукта;
АОЕХ - количество рекламы продукта в неделю;
МЕТМЕЕ8 - процент людей, кто получил сообщение через рекламу.
Наше исследование фокусируется на том, чтобы настолько быстро, насколько возможно, отыскать ситуации, где рекламная кампания не работает. В таблице 1 дан подробный результат анализа целевой рекламной кампании на эффективность. Ключевой аспект принятия решения сводится к категоризации временных рядов согласно таблице 2.
Данные на графиках рисунка 2 состоят из скользящих средних, где текущее для недели вычисляется по (1).
Скользящее среднее склонно размывать флуктуации в данных исследования, во всяком случае, при высоком п интересующиеся параметры будут стираться.
Таблица 1 - Результаты четырёхнедельной рекламной кампании
Атрибут Классификация Значение
CUT Небольш.рост 67%
BCUT Небольш.рост 89%
ATT Без измен. 73%
STS Без измен. 98%
PEN Значительн.падение 78%
Спонтанная осведомлённость о бренде Небольш.рост 74%
Реклама в магазине Последовательн.
TARPS Остаточная
SOVT 89%
NETMESS 40%
ADEX 3
Заключение 67%
Серия предварительных экспериментов показала, что на протяжении четырех недель скользящее среднее было наилучшим для применения. По совпадению, аналитики считают четыре недели идеальным сроком для обнаружения проблем рекламы.
Для эксперта целесообразно совместить очертания и зависимости кривых с другими данными, для определения значимости. Например, всегда предсказуема зависимость между температурой дня и количеством покупок мороженного и прохладительных напитков, а если этой зависимости нет, производитель должен встревожиться. Кроме того, рост продаж всегда ожидается после начала новой рекламной кампании, и следует насторожиться, если это не произошло. Также довольно часто встречается ситуация, когда реклама приводит к росту продаж у конкурента, и такие случаи нужно диагностировать максимально быстро. Одной из наиболее сложных проблем является обнаружение «точек разворота», то есть моментов резкого изменения тренда снизу-вверх или наоборот.
Целью данного исследования является поиск зависимости или значимого события, сигнализирующего о том, что рекламная кампания не даёт ожидаемого эффекта.
Приведённые выше примеры предполагают, что задачей анализа является классификация паттерна (интерпретация графа) и смысловой компонент (использование компонента знаний о событиях и их влиянии во временном ряду), и мы рассчитываем, что большая часть решения этой задачи может быть автоматизирована путём предлагаемой гибридной нейро-экспертной системы.
Мы разработали две нейро-экпертные гибридные системы. Наша первая система использовала модель, показанную на рисунке 1. Единственная классифицирующая сеть выдавала результаты для экспертной системы, определяющей была ли значимая для упоминания
ситуация на промежутке в четыре недели. Данная система оказалась неспособной обнаружить незначительные различия между переменными, так что мы создали систему с разделёнными нейросетями, по одной на каждую переменную.
Одна сеть для всех переменных. Нейронная сеть обучалась методом обратного распространения ошибки. Шесть выходных каналов соответствуют таблице 2.
Таблица 2 - Символьный выход нейронной сети
Строка Символьное значение
SRISE Небольшой рост тренда
BRISE Большой рост
SFALL Небольшое падение
BFALL Большое падение
FLAT Неизменно
INCONCLUSIVE Неизвестно
Класс INCONCLUSIVE, как правило, возникал в ситуациях, где были слишком большие флуктуации переменных. Также, некоторые атрибуты подвергались учёту масштаба скачка.
Например, если переменная мала, то её скачок на 4% не существенен, но если значение переменной находится на 50% от её шкалы, то скачок в 4% в абсолютном выражении является очень большим. Это не учитывает нейронная сеть при обучении, но это значимо для базы знаний экспертной системы. В таблице 3 показано управление выходом SRISE различными способами.
Данные для обучения представляют выборку на интервале 600 четырёхнедельных интервалов. Сначала использовался принцип 1-out-of-5.
Таблица 3 - Выходные значения для «небольшого роста»
1-out-of-5 Gaussian hill
SRISE 1.0 1.0
BRISE 0.0 0.5
SFALL 0.0 0.0
BFALL 0.0 0.0
FLAT 0.0 0.5
INCONCLUSIVE 0.0 0.0
Итогом стало медленное обучение и неприемлемая частота ошибок. Затем использовался Gaussian-hill. Результат применения подходов отображён в таблице 4.
Таблица 4 - Результаты вывода для различных принципов
1-out-of-5 Gaussian hill
Калибровка по шести параметрам 74% 80%
Средн.-квадр. откл. (СКО) 0.00043 0.0003
Эпох обучения 3500 2000
Отдельная нейронная сеть для каждой переменной. По мере работ стало понятно, что нам не удавалось приблизиться к качеству, сравнимому с уровнем анализа эксперта, поскольку около 20% тестов классифицировались с ошибками.
Общение с экспертами привело к пониманию того, что они используют разные подходы анализа для разных переменных. Стало очевидной неспособность единственной нейронной сети адекватно анализировать все типы переменных, а значит, необходима отдельная сеть под каждую переменную. Такая группа сетей обучалась гораздо быстрее и давала общий процент ошибок на уровне 8%. Но даже оставшиеся ошибки могут быть компенсированы, поскольку представляется, что некоторые атрибуты нельзя исследовать отдельно, от поведения других.
Таблица 5 - Одна нейронная сеть против нескольких
Одна сеть для всех По одной сети на
переменных переменную
Калибровка по шести 80% 92%
параметрам
Средн.-квадр. откл. (СКО) 0.00043 0.0003
Эпох обучения 2000 1500
Так, если «short term share» классифицируется как плоский, и "attitudinal share" тоже, однако последний движется едва заметно вверх и прочь от «short term share», то "attitudinal share" должен быть классифицирован как растущий.
Экспертная система. Экспертная система нами разрабатывалась по спиральной методологии, то есть от исходного прототипа через последовательные циклы накопления знаний, программирования и применения. Для накопления знаний использовался метод структурированных интервью, которые включают в себя двухнедельные встречи с экспертами. Архитектура разработанной системы показана на рисунке 3.
| РЕЗУЛЬТАТ 1
О О
ЭКСПЕРТНАЯ СИСТЕМА
О о
СИМВОЛЬНЫЕ ДАННЫЕ ]
^"ПРЕПРОЦЕССННГ ]
ДАННЫЕ СВОДОК
Рисунок 3 - Архитектура гибридной системы. Процесс консультаций предполагает, что пользователь указывает какой продукт и выборку данных он хочет проверить, а также начало и
конец интервала проверки. Гибридная система получает данные из базы и применяет их к требуемому скользящему среднему.
Данные затем разбиваются на четырёхнедельные интервалы. Восемь атрибутов предоставляются каждой из своих нейронных сетей. Символьное представление от нейронной сети, а также все прочие необходимые экспертной системе факты, такие, как доля голосового значения и состояние рекламы на интервале, добавляются в базу фактов. Затем вызывается механизм логического вывода и результат достигается методом обратного логического вывода.
Эксперимент и результаты. Наша задача в том, чтобы найти весомые события в больном объёме данных. Поэтому мы использовали понятие отклика и точности, т.е. стандартные меры качества поиска информации, чтобы оценить производительность системы. Формулы отклика и точности даны в (2) и (3).
„ Чиста □бна.опсенны}: значимых событий
(2)
Реальное число значимых событий
т Число обнаруженных значимых событий ...
(3)
Число обнаруженных ообытий
Обычно, есть компромисс между откликом и точностью. Тестирование системы показало нам наиболее важные проблемы. Во-первых, нам нужно было сравнивать производительность системы с результатами анализа экспертов на больших объёмах данных. Ведь простая выборка отрезков из всего интервала могла привести к потере некоторых редких или значимых событий. Во-вторых, определение реального числа значимых событий было достаточно затратным по времени процессом для экспертов.
В качестве компромисного решения между размером базы данных и высокой стоимостью подготовки эксперимента, мы сконструировали выборку, эквивалентную шести месяцам путём сращивания значимых
событий в цельные блоки. Выборка эквивалента 104 четырёх-недельным сегментам. Результат показан в таблице 6. Система обнаружила 25 из 29 значимых событий.
Таблица 6 - Значения отклика и точности в результатах нейросети и
системы с регрессией
Отклик Точность
Гибридная система 25/29 (86%) 25/25 (100%)
Система с линейной регрессией 21/29 (72%) 20/21 (95%)
Мы сравнили производительность нашей системы с моделью, где вместо нейронной сети используется линейная регрессия.
Мы обнаружили, что крайне важно для нашей системы точно знать уровни переключения, отличающие одну ситуацию от другой.
Таблица 7 - Разработка регрессионной системы
БЬЛТ БЯКЕ БШБЕ Порог переключения
0<ш<10 10<ш<20 20>ш 65%
0<ш<15 15<ш<25 25>ш 75%
0<ш<17 17<ш<27 27>ш 81%
0<ш<20 20<ш<30 30>ш 70%
0<ш<25 25<ш<45 45>ш 60%
Для регрессионной системы, частично, обсуждаемое положение показано в таблице 7. Диапазоны получены путём интервью с экспертами. Наиболее эффективная позиция (третья) даёт 81% результата, сопоставимый с системой с единственной нейросетью. Вторая строка таблицы 5 позволяет судить о значительном превосходстве гибридной системы над регрессионной.
Хотя мы и не можем утверждать о превосходстве гибридной системы над самой мощной регрессионной, мы должны отметить, что построение гибридной системы менее затратное по времени, так как не требует дополнительного накопления знаний экспертов об уровнях переключений, показанных в таблице 7.
Значения откликов показывают, что система в данный момент весьма строга в идентификации значимых событий. В таблице 8 приведено
сравнение характеристик результирующих систем.
Таблица 8 - Сравнение характеристик результирующих систем
Нейро-экспертная система Регрессионно-экспертная система
Сбор и классификация данных Сбор и классификация данных
Обучение нейронной сетей Определение регрессионной прямой прототипа
Поиск наилучших порогов переключения
Получение базы правил Получение базы правил
Внедрение обученных нейронной сетей в поисковую машину Введение порогов переключений в экспертную систему
Выводы
Основной задачей проекта было выяснение эффективности гибридной нейро-экспертной системы для задачи обнаружения значимых событий в данных рыночных сводок. Мы разработали такую систему, испытали её на большой базе данных рыночных сводок и обнаружили превышение точности над регрессионно-экспертной системой, которая могла быть сконструирована в рамках доступных ресурсов для реализации проекта. Стало возможным проводить анализ необходимого количества данных в течение пяти минут, на что ранее у эксперта уходили четыре рабочих дня самостоятельной проверки. Тем не менее, нам всё ещё нужны усовершенствования в области повышения отклика.
Ключевым результатом стало понимание, что решением аналитической задачи является идентификация паттернов с последующей обработка символьных данных системой, основанной на знаниях. Мы уверены, что гибридная нейро-экспертная система будет эффективной не
только для анализа рыночных сводок, но и для других баз данных, где представлены временные ряды.
Список литературы
1. Малыхина МП., Бегман Ю.В. ГИБРИДНЫЕ НЕЙРОЭКСПЕРТНЫЕ СИСТЕМЫ В ОБРАЗОВАНИИ // Инновационные процессы в высшей школе / Материалы XIV Всероссийской научно-практической конференции. 2008. С. 193-194.
2. Малыхина МП., Шичкин ДА. АСПЕКТЫ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ ЦВЕТОВОГО РАЗЛИЧИЯ ДЛЯ РАСПОЗНАВАНИЯ И ВЫДЕЛЕНИЯ ГРАНИЦ ИЗОБРАЖЕНИЙ / Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета = Polythematic online scientific journal of Kuban State Agrarian University. 2013. Т. 89. № 89-89 (09). С. 676-688.
3. Рыжков А А. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СЕТИ ХОПФИЛДА ДЛЯ РАСПОЗНАВАНИЯ И КЛАССИФИКАЦИИ ЭЛЕКТРИЧЕСКИХ СИГНАЛОВ / А. А. Рыжков // Молодой ученый. — 2012. — №5. — С. 62-67.
4. Частиков А.П., Глушко С.П., Тотухов К.Е. Система тестирования и отладки управляющих программ для промышленного робота // Журнал «Перспективы науки» № 9(11)2010 - 103 с. С. 47-51
5. Частиков А.П., Дедкова Т.Г., Алешин А.В. Системы искусственного интеллекта. От теории к практике. - Краснодар, 1998.
6. Частиков А.П., Тотухов К.Е. Создание базы знаний для интеллектуального анализа поведения виртуального робота. // Вопросы современной науки и практики. Университет им. В. И. Вернадского (ВАК) / Ассоциация «Объединённый университет им. В. И. Вернадского». - Тамбов, 2013. С.76-81
7. Частиков А.П., Тотухов К.Е. Теоретические основы интеллектуальной симуляции промышленных роботов: монография. - LAP LAMBERT Academic Publishing, 2013 г. - 111 с.: ил.
8. Частиков А.П., Тотухов К.Е., Урвачев П.М. Дерево логического вывода интеллектуальной системы функционирования виртуального робота // Современные проблемы науки и образования (ВАК). - 2013. - № 2; URL: www.science-education.ru/108-8976
9. Частиков А.П., Тотухов К.Е., Урвачев П.М. Интеллектуальная диагностика состояния виртуального робота с программным управлением // Современные проблемы науки и образования (ВАК). - 2012. - № 6; URL: www.science-education.ru/106-7507
10. Частиков А.П., Тотухов К.Е., Урвачев П.М. Теоретические основы интеллектуальной диагностики виртуального робота // Современные проблемы науки и образования (ВАК). - 2013. - № 1; URL: www.science-education.ru/107-8310
11. Частикова В. А. Исследование основных параметров генетического алгоритма метода генетических схем в интеллектуальных системах, основанных на знаниях/ В. А. Частикова //Научный журнал кубгау [Электронный ресурс]. - Краснодар: кубгау, 2011. -№ 69 (5). - Шифр Информрегистра: 0421100012/0162. - Режим доступа: http://ej .kubagro.ru/2011/05/pdf/32.pdf.
12. Частикова В.А. Оптимизация процессов поиска решений в интеллектуальных системах обработки экспертной информации на основе генетических алгоритмов. Диссертация на соискание ученой степени кандидата технических наук. -Краснодар, 2005.
13. Частикова В.А., Власов К.А., Картамышев Д.А. Обнаружение DDoS-атак на основе нейронных сетей с применением метода роя частиц в качестве алгоритма обучения // Фундаментальные исследования. 2014. № 8-4. С. 829-832.
14. Частикова В.А., Картамышев Д.А., Власов К. А. Нейросетевой метод защиты информации от ВОоБ-атак // Современные проблемы науки и образования. 2015. № 1-1. С. 183.
15. Частиков А.П., Малыхина М.П., Урвачев П.М. Анализ распознавания паттернов нейросетевыми методами // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета. 2014. № 98. С. 457-467.
16. Частиков А.П., Алешин А.В., Частикова В.А. Выявление аномалий в базах знаний интеллектуальных систем // в сборнике: Пятьдесят лет развития кибернетики Труды международной научно-технической конференции. Посвящается 100-летию Санкт-Петербургского государственного технического университета (Политехнического института). 1999. С. 123-124.
17. Малыхина МП., Бегман Ю.В. НЕЙРОСЕТЕВАЯ ЭКСПЕРТНАЯ СИСТЕМА НА ОСНОВЕ ПРЕЦЕДЕНТОВ ДЛЯ РЕШЕНИЯ ПРОБЛЕМ АБОНЕНТОВ СОТОВОЙ СВЯЗИ // Краснодар, 2011.
References
1. Malyhina MP., Begman Ju.V. GIBRIDNYE NEJROJeKSPERTNYE SISTEMY V OBRAZOVANII // Innovacionnye processy v vysshej shkole / Materialy XIV Vserossijskoj nauchno-prakticheskoj konferencii. 2008. S. 193-194.
2. Malyhina MP., Shichkin DA. ASPEKTY PRAKTIChESKOGO PRIMENENIJa CVETOVOGO RAZLIChIJa DLJa RASPOZNAVANIJa I VYDELENIJa GRANIC IZOBRAZhENIJ / Politematicheskij setevoj jelektronnyj nauchnyj zhurnal Kubanskogo gosudarstvennogo agrarnogo universiteta = Polythematic online scientific journal of Kuban State Agrarian University. 2013. T. 89. № 89-89 (09). S. 676-688.
3. Ryzhkov A.A. PROGRAMMNAJa REALIZACIJa SETI HOPFILDA DLJa RASPOZNAVANIJa I KLASSIFIKACII JeLEKTRIChESKIH SIGNALOV / A. A. Ryzhkov // Molodoj uchenyj. — 2012. — №5. — S. 62-67.
4. Chastikov A.P., Glushko S.P., Totuhov K.E. Sistema testirovanija i otladki upravljajushhih programm dlja promyshlennogo robota // Zhurnal «Perspektivy nauki» № 9(11)2010 - 103 s. S. 47-51
5. Chastikov A.P., Dedkova T.G., Aleshin A.V. Sistemy iskusstvennogo intellekta. Ot teorii k praktike. - Krasnodar, 1998.
6. Chastikov A.P., Totuhov K.E. Sozdanie bazy znanij dlja intellektual'nogo analiza povedenija virtual'nogo robota. // Voprosy sovremennoj nauki i praktiki. Universitet im. V. I. Vernadskogo (VAK) / Associacija «Ob#edinjonnyj universitet im. V. I. Vernadskogo». -Tambov, 2013. S.76-81
7. Chastikov A.P., Totuhov K.E. Teoreticheskie osnovy intellektual'noj simuljacii promyshlennyh robotov: monografija. - LAP LAMBERT Academic Publishing, 2013 g. - 111 s.: il.
8. Chastikov A.P., Totuhov K.E., Urvachev P.M. Derevo logicheskogo vyvoda intellektual'noj sistemy funkcionirovanija virtual'nogo robota // Sovremennye problemy nauki i obrazovanija (VAK). - 2013. - № 2; URL: www.science-education.ru/108-8976
9. Chastikov A.P., Totuhov K.E., Urvachev P.M. Intellektual'naja diagnostika sostojanija virtual'nogo robota s programmnym upravleniem // Sovremennye problemy nauki i obrazovanija (VAK). - 2012. - № 6; URL: www.science-education.ru/106-7507
10. Chastikov A.P., Totuhov K.E., Urvachev P.M. Teoreticheskie osnovy intellektual'noj diagnostiki virtual'nogo robota // Sovremennye problemy nauki i obrazovanija (VAK). - 2013. - № 1; URL: www. science-education.ru/107-8310
11. Chastikova V. A. Issledovanie osnovnyh parametrov geneticheskogo algoritma metoda geneticheskih shem v intellektual'nyh sistemah, osnovannyh na znanijah/ V. A. Chastikova //Nauchnyj zhurnal kubgau [Jelektronnyj resurs]. - Krasnodar: kubgau, 2011. -№ 69 (5). - Shifr Informregistra: 0421100012/0162. - Rezhim dostupa: http://ej .kubagro.ru/2011/05/pdf/32.pdf.
12. Chastikova V.A. Optimizacija processov poiska reshenij v intellektual'nyh sistemah obrabotki jekspertnoj informacii na osnove geneticheskih algoritmov. Dissertacija na soiskanie uchenoj stepeni kandidata tehnicheskih nauk. - Krasnodar, 2005.
13. Chastikova V. A., Vlasov K. A., Kartomishev D. A. Detection of DDoS-attacks based on neural networks using the method of particle swarm algorithm as training // Basic Research. 2014. № 8-4. Pp 829-832.
14. Chastikova V. A., Kartomishev D. A., Vlasov K. A. Neural network information protection method of DDoS-attacks // Modern problems of science and education. 2015. № 11. S. 183.
15. Chastikov A.P., Malyhina M.P., Urvachev P.M. Analysis of pattern recognition with neural network method // multidisciplinary network electronic scientific journal of the Kuban State Agrarian University. 2014. № 98. S. 457-467.
16. Chastikov A.P., Aleshin A.V., Chastikova V. A. Anomaly detection in knowledge bases of intellectual systems // In the collection Fifty years of development of cybernetics Proceedings of the International scientific and technical conference. Dedicated to the 100th anniversary of St. Petersburg State Technical University (Polytechnic). 1999, pp 123-124.
17. Malyhina MP., Begman Ju.V. NEURAL NETWORK EXPERT SYSTEM BASED ON THE PRECEDENT FOR SOLVING cellular subscribers // Krasnodar, 2011.
