CC BY
14
2. Киселева Т.В. Методы нечеткой логики для оценивания вероятности возникновения риска / Т.В. Киселева, Е.В. Маслова // Материалы 8-й Всероссийской мультиконференции по проблемам управления. Т. 1 - Ростов-на-Дону: изд. ЮФУ, 2015. С. 188-191.
3. Зимин В.В. Управление жизненным циклом сервисов систем информатики и автоматизации: учеб. пособие / В.В.Зимин, А.А. Ивушкин, С.М. Кулаков. - Кемерово; М.: Издательское объединение «Российские университеты»: Кузбассвузиздат - АСТШ, 2012. 437 с.
Сведения об авторах
Тамара Васильевна Киселева
д-р техн. наук, проф.
проф. каф. прикладных информационных технологий Сибирский государственный индустриальный университет Россия, г. Новокузнецк Эл. почта: kis@siu.sibsiu.ru Елена Владимировна Маслова Канд. техн. наук, асс. Каф. прикладных информационных технологий
ФГБОУ ВО «Сибирский государственный индустриальный университет» Россия, г. Новокузнецк Эл. почта: elenamaslova1805@yandex.ru
Information about authors
Tamara Vasil'yevna Kiseleva
Doctor of Technical Sciences, Professor
Professor of the Department
of Applied Information Technologies
Siberian State Industrial University
Russian Federation, Novokuznetsk
E-mail: kis@siu.sibsiu.ru
Elena Vladimirovna Maslova
Candidate of Technical Sciences
Assistant at the Department of Applied Information
Technologies
Siberian State Industrial University, Russian Federation, Novokuznetsk
E-mail: elenamaslova1805@yandex.ru
УДК 550.832 С.С Мирошниченко
ГРНТИ 37.01.77 ИжГТУ имени М.Т. Калашникова
ОСНОВЫ ФУНКЦИОНИРОВАНИЯ НЕЧЕТКИХ СИСТЕМ
Целью работы является рассмотрение методологических основ функционирования интеллектуальных систем: научный и практический. Использование методов обнаружения знаний в базах данных KDD может выделить узкую группу показателей, от которых зависит интересующая исследователя характеристика.
Ключевые слова: интеллектуальные системы, искусственный интеллект, нефтяные скважины
S.S. Miroshnichenko
Kalashnikov Izhevsk State Technical University
BASES OF FUNCTIONING OF FUZZY SYSTEMS
The aim of the work is to examine the methodological foundations of the functioning of intelligent systems: scientific and practical. The use of knowledge detection methods in KDD databases can distinguish a narrow group of indicators on which the characteristic of interest depends. Keywords: intelligent systems, artificial intelligence, oil wells
1. Методы обнаружения и извлечения новых знаний из данных (на примере геофизических исследований)
Следует выделить два основных момента, на которые могут быть направлены эти исследования: научный и практический (управленческий) [1-4]. С практической же точки зрения не всегда так уж важно, является ли установленная зависимость истинной, причинной, или только приближенной, аппроксимирующей истинную зависимость, а, возможно, отражающей взаимосвязь только внешних проявлений некоторых глубинных причин. Главное, чтобы можно было прогнозировать поведение какого-либо параметра по имеющейся совокупности признаков. С этой точки зрения методы KDD, позволяющие выявлять скрытые закономерности в большой совокупности данных, представляют несомненный интерес как для выработки практических рекомендаций, так и для принятия организационно-управленческих решений.
Организации, занимающиеся разработкой месторождений, накапливают за время своей
деятельности огромные объемы данных. Но единственное что люди могут, а в большинстве случаев и хотят получить от них - это быстрое извлечение требуемой информации. Фактически базы данных выполняют функцию памяти, или сложной записной книжки. Доступ пользователя к хранилищу данных обеспечивает только извлечение небольшой части из хранимой информации в ответ на четко задаваемые вопросы. Когда имеются огромные потоки и залежи накопленной информации, встает задача максимально целесообразно использовать эту информацию, чтобы извлечь спрятанное в данных знание с целью оптимизировать управление какими-либо процессами, улучшить деятельность организации, более точно узнать свойства и законы функционирования, присущие очень сложным объектам [5-8].
KDD - это синтетическая область, впитавшая в себя последние достижения искусственного интеллекта, численных математических методов, статистики и эвристических подходов. Цель технологии - нахождение моделей и отношений, скрытых в базе данных, таких моделей, которые не могут быть найдены обычными методами. Следует отметить, что на плечи ЭВМ перекладываются не только рутинные операции (проверка статистической значимости гипотезы), но и операции по выработке новой гипотезы. KDD позволяет увидеть такие взаимоотношения между данными, которые прежде не приходили в голову исследователю, а применение которых может способствовать увеличению эффективности процесса разведки и эксплуатации месторождений.
Построение модели дает возможность установить количественную связь между характеристиками исследуемого явления. До тех пор, пока модель не соответствует существующим реально отношениям, невозможно получить успешные результаты. Существуют два вида моделей: предсказательные и описательные. Первые используют один набор данных с известными результатами для построения моделей, которые явно предсказывают результаты для других наборов данных, а вторые описывают зависимости в существующих данных. И в том, и в другом случае модели используются для принятия управленческих решений. Технологии KDD могут не только подтвердить имеющиеся эмпирические наблюдения, но и построить новые, неизвестные ранее модели. Выявленная модель скважины не может претендовать на абсолютное знание. Но совокупность моделей, если их соединить по различным группам показателей и по месторождениям, может дать существенное преимущество в организации разработки и эксплуатации месторождений [9-10].
Наиболее важная цель KDD применительно к реальным системам - это улучшение понимания существа процессов. Понятие оптимального решения по отношению к сложным, еще не познанным (в смысле точного знания) системам имеет определенную специфику. Если методы KDD используются для поиска оптимальных решений, в наибольшей степени соответствующих представлениям человека, то необходимо уточнить приоритеты. А именно, необходимо признать, что достижение «идеального» оптимума в сложных системах (например, в организациях) зачастую может оказаться менее значимо по сравнению с процессом постоянного улучшения, выявляемого и познаваемого путем сопоставления с другими системами.
Необходимо учитывать, что KDD - это только набор средств анализа, а не ответ на все случаи жизни. KDD предполагает необходимость знания и понимания исследователем как самих данных, так и основ использованных аналитических методов. Этот набор средств может только помочь аналитикам в нахождении моделей и отношений в данных, но не скажет ничего о ценности обнаруженных моделей. Выявленная модель, взаимозависимость различных показателей, как и обыкновенная статистическая корреляция некоторых показателей, сама по себе не может свидетельствовать о причинном характере модели, о причинной взаимосвязи показателей. Каждая модель должна анализироваться людьми и проверяться в реальном мире.
Хотя инструментарий KDD, как правило, скрыт от пользователя интерпретирующих систем и ограждает его от явного знания сложностей и нюансов в применении используемых методов, он все-таки требует от пользователя понимания основ работы инструментария и алгоритмов, на которых он базируется. Технология KDD не заменяет полностью интерпретаторов и управленцев, а дает им современный, мощный инструмент для улучшения качества работы, которую они выполняют. Понятно, что технология нахождения нового знания в базе данных не может дать ответы на те вопросы, которые не были заданы исследователем.
Средства data mining (DM) отличаются от средств OLAP (On-Line Analytical Processing -«оперативной аналитической обработки») тем, что вместо проверки предполагаемых пользователем взаимозависимостей, они на основе имеющихся данных сами могут производить модели, позволяющие количественно оценить степень влияния различных исследуемых
факторов на заданное свойство. Кроме того, средства data mining позволяют производить новые гипотезы о характере неизвестных, но реально существующих отношений в данных.
Средства OLAP обычно применяются на ранних стадиях процесса KDD потому, что они помогают исследователю понять данные, фокусируя его внимание на наиболее важных переменных, определяя исключения или интересные значения переменных. Использование OLAP приводит к лучшему пониманию данных, что в свою очередь ведет к более эффективному результату процесса KDD.
Методы KDD стали развиваться в течение последних 20 лет. До этого задачи компьютерного анализа баз данных выполнялись, в основном, при помощи различного рода статистических методик, использовавшихся и до появления компьютеров, так что компьютер просто облегчил и расширил возможности их применения. Те методы интеллектуального анализа данных, которые используются сейчас, есть результат эволюции в двух направлениях: с одной стороны - это углубленное развитие, «интеллектуализация», повышение уровня методов статистики, с другой стороны - построение искусственных нейронных сетей. Два подхода - со стороны статистики и со стороны нейросетей - положили начало двум достаточно разным по своим методам и целям классам систем интеллектуального анализа баз данных, или систем KDD. Можно сказать, что отдельные статистические методы являются как бы орудиями более низкого уровня по сравнению с методами KDD. Методы KDD пользуются ими, комбинируя их в стандартных схемах решения типовых задач, так что научной задачей KDD в большой степени является разработка схем решения.
Методы KDD непосредственно связаны с теорией баз данных, поскольку должны работать с реальными базами данных, имеющими некоторую архитектуру, реляционную или какую-либо еще. Для эффективной реализации этих методов необходимо учитывать особенности организации интерфейса тех информационных систем, с которыми им придется работать.
Сильное влияние на развитие методов KDD оказывают работы по исследованию искусственного интеллекта. Традиционные задачи искусственного интеллекта (такие области, как экспертные системы, «инженерия» знаний) состоят, главным образом, в том, чтобы эффективно использовать уже имеющиеся знания экспертов, специалистов в предметных областях и на основе этих знаний осуществлять какие-либо непротиворечивые логические выводы, усложнять построенные экспертом модели. У методов KDD задача в какой-то степени обратная: самое интересное, что хочется узнать о данных, никому, в том числе и экспертам, заранее неизвестно. Есть лишь исходные, или «сырые» данные, и надо, наоборот, извлечь из данных важные правила, зависимости, модели.
Вместе с тем, поскольку полученные из данных модели должны быть использованы для принятия решений, они обычно должны, сопрягаться с уже известными, заданными экспертами моделями. Иными словами, системы, реализующие методы KDD, должны иметь интерфейс и с уже имеющимися базами знаний, и с экспертными системами. Поэтому взаимосвязь этой области с искусственным интеллектом очень сильна. Некоторые методы KDD заимствованы отчасти из такой области искусственного интеллекта, как обучающиеся системы. В частности, при решении задач классификации используются некоторые методы, разработанные при создании обучающихся систем.
2. Задачи, решаемые с помощью методов обнаружения знаний в базах данных
Можно выделить два типа задач, которые решаются с разной эффективностью разными методами KDD (реальные задачи исследования данных могут совмещать в себе оба типа).
Первый класс задач состоит в нахождении, в построении из данных различных моделей, которые могли бы быть использованы для прогноза и принятия решения в будущем, при встрече ситуации, отсутствовавшей в данных при выводе модели. При этом требуется, чтобы модель работала возможно более точно, чтобы она была статистически значима.
В задачах второго типа упор делается на понимании сути зависимостей в данных, взаимного влияния различных факторов, т.е. на построении эмпирических моделей различных систем. Важно понять взаимные влияния факторов, что чем определяется в имеющемся массиве данных. Возможно, обнаруженные закономерности будут специфической чертой именно конкретных исследуемых данных и больше нигде не встретятся, но их нужно узнать.
Эти разные типы задач решаются разными средствами. Так, нейронные сети нередко хорошо решают задачи первого типа, например, задачи прогноза (в условиях, близких условиям обучения).
Задачу построения моделей можно разбить на два важных подтипа. Во-первых, это задачи классификации. Имеются какие-то записи, или описания объектов (они могут быть заданы в разных формах), и о каждом из них заранее известно, что он принадлежит к некоторому классу из фиксированного конечного множества классов. Необходимо выработать правило или набор правил, в соответствии с которыми можно отнести описание любого нового объекта к одному из этих классов. Например, задача определения пластов-коллекторов, продуктивных пластов. Другой подтип составляют задачи прогноза какого-то непрерывного числового параметра. Это может быть, например, задача прогноза содержания углеводородов на некотором рассматриваемом участке или текущих параметров скважины. Во многих других областях исключительно важно предсказывать именно непрерывные значения. Большинство из существующих сейчас коммерческих систем KDD решают главным образом задачи классификации. Но такая ситуация сложилась не потому, что задач классификации больше, чем задач прогноза непрерывных значений, а скорее потому, что методы классификации гораздо лучше изучены и могут быть проще реализуемы, чем методы прогноза непрерывного числового значения.
Рассмотрим теперь второй тип задач - задачи описания имеющихся данных, обнаружения в них зависимостей в целях их осмысления человеком. Этот класс задач включает:
1. Задачи нахождения функциональных связей между различными показателями и переменными в интерпретируемой человеком форме. Обычно, когда говорят о функциональной зависимости, имеют в виду зависимости между непрерывными числовыми переменными. Но в принципе, можно рассматривать зависимости, включающие обычные числовые, булевы (типа «да/нет») и категориальные (нечисловые) переменные, которые могут быть закодированы числами - кодами.
2. К рассматриваемому типу относятся задачи, обобщенно называемые задачами кластеризации. Пусть имеется какой-то набор описаний объектов. Зачастую эти объекты не составляют некоторой единой массы, а естественным образом разбиваются на какие-то группы. Например, группа пластов, содержащих углеводороды и воду. Требуется выделить эти естественные группы, или кластеры, на основе имеющейся в базе данных информации (результатов анализов). Вполне может быть, что эти кластеры имеют четкий геофизический тип, и желательно понять, что означает такое группирование точек и с чем оно связано.
3. Третьей задачей, относящейся к описанию данных, является нахождение исключений, исключительных ситуаций, записей, которые резко отличаются чем-либо от основного множества записей. Знание исключений может быть использовано двояким образом. Возможно, эти записи образуют собой случайный сбой, например, ошибки операторов, вводивших данные в компьютер. Характерный случай, если оператор, ошибаясь, ставит десятичную точку не в том месте; такая ошибка сразу дает резкий отброс на порядок. Подобную «шумовую», случайную составляющую имеет смысл отбросить, исключить из дальнейших исследований, поскольку большинство методов чувствительно к наличию «выбросов» - резко отличающихся точек, редких, нетипичных случаев. С другой стороны, отдельные, исключительные записи могут представлять самостоятельный интерес для исследования, так как они могут указывать на некоторые аномальные свойства объекта. Идентификация этих записей может оказаться полезной для понимания сущности изучаемых объектов или явления.
4. Четвертая, разновидность задач, включаемая в рассматриваемый класс задач интеллектуального анализа данных, определяется термином «data summarization», т.е. краткая итоговая характеристика данных. Имеющийся массив данных подчиняется некоторым жестким ограничениям на значения входящих в него параметров, возможно сложного характера, и требуется выявить эти ограничения. Таким образом, data summarization - это нахождение каких-либо фактов, которые верны для всех или почти всех записей в изучаемой выборке данных, но которые достаточно редко встречались бы во всем мыслимом многообразии записей такого же формата и, например, характеризовались бы теми же распределениями значений полей. Можно считать, что это неявная задача классификации, но фактически задан только один класс, представленный имеющимися данными. Они классифицируются путем сравнения с мыслимым множеством возможных записей, с множеством всех остальных мыслимых случаев.
Рассмотрим основные этапы, входящие в любое исследование данных с помощью методов KDD, и выделим основной цикл извлечения нового знания и его оценки.
1. Первый этап, предшествующий анализу данных методами KDD, состоит в приведении данные к форме, пригодной для применения конкретных реализаций систем KDD. Имеющаяся сырая информация представляет собой тексты в электронном виде, но практически ни одна из
существующих систем KDD не может работать непосредственно с текстами. Чтобы работать с текстами, необходимо из исходной текстовой информации предварительно получить некие производные параметры. После выбора описывающих параметров изучаемые данные могут быть представлены в виде прямоугольной таблицы, где каждая строка представляет собой отдельный случай, объект или состояние изучаемого объекта, а каждая колонка - параметры, свойства или признаки всех исследуемых объектов. Строки подобной таблицы в теории KDD, как и в теории баз данных принято называть записями, а колонки - полями. Практически все имеющиеся системы KDD работают только с подобными прямоугольными таблицами.
2. Полученная прямоугольная таблица пока еще является сырым материалом для применения методов KDD, и входящие в нее данные необходимо предварительно обработать. Во-первых, таблица может содержать параметры, имеющие одинаковые значения для всей колонки. Если бы исследуемые объекты характеризовались только такими признаками, все исследуемые объекты были бы абсолютно идентичны, значит, эти признаки никак не индивидуализировали бы исследуемые объекты. Следовательно, их надо исключить из анализа. Если в таблице имеется некоторый категориальный признак, такой, что во всех записях его значения различны, то это поле также нельзя использовать в анализе данных, и его надо исключить. Кроме того, полей может быть очень много, и если их все включить в исследование, то это сильно увеличит время счета, поскольку практически для всех методов KDD характерна сильная зависимость времени счета от количества параметров. В качестве предобработки данных необходимо выделить то множество признаков, которые наиболее важны в контексте данного исследования, отбросить явно неприменимые из-за константности или чрезмерной вариабельности и выделить те, которые наиболее вероятно войдут в искомую зависимость. Для этого, как правило, используются статистические методы, основанные на применении корреляционного анализа, линейных регрессий, т.е. методы, позволяющие быстро, хотя и приближенно оценить влияние одного параметра на другой. Необходимо также провести предварительную очистку данных по строкам таблицы, по записям. Любая реальная база данных обычно содержит ошибки, неточно определенные значения, записи, соответствующие каким-то редким, исключительным ситуациям, и другие дефекты, которые могут резко понизить эффективность методов KDD, применяемых на следующих этапах анализа. Такие записи необходимо отбросить.
3. Третий этап - это собственно применение методов KDD. Сценарии этого применения могут включать комбинацию разных методов, особенно если используемые методы позволяют проанализировать данные с разных точек зрения. Этот этап исследования и называют data mining (DM - «извлечение данных»).
4. Верификация и проверка получившихся результатов. Наиболее часто используемый способ заключается в том, что все имеющиеся данные, которые подвергаются анализу и разбиваются на две группы. На одной группе, применяя методы KDD, получаем модели, зависимости, а на другой группе данных модели и зависимости проверяются. По разнице в точности между тестовой группой и группой, использованной для обучения, можно судить, насколько адекватна, статистически значима построенная модель.
5. Интерпретация автоматически полученных знаний человеком в целях их использования для принятия решений, добавление получившихся правил и зависимостей в базы знаний. Этот этап часто подразумевает использование методов, находящихся на стыке технологии KDD и технологии экспертных систем. От того, насколько эффективным он будет, в значительной степени зависит успех решения поставленной задачи.
При исследовании статистической надежности результата наиболее часто основываются на значениях стандартного отклонения и стандартной ошибки. Стандартная ошибка - это стандартное отклонение, поделенное на дисперсию. Наиболее значимая, или наиболее точная модель, найденная каким-либо из методов DM - модель, обладающая наименьшим значением стандартного отклонения среди всех найденных моделей.
Выводы
Экстенсивный путь использования интеллекта человека в принципе не позволяет решить эту задачу, и для ее решения требуется качественно иной подход. Не всегда получаемые аналитиками результаты являются объективными, поскольку обычно люди руководствуются, явно или неявно, теми или иными соображениями, некоторыми априорными представлениями об изучаемом предмете, что не может не отразиться на объективности получаемых ими результатов. Необходимо автоматизировать процесс анализа и сделать его более объективным, а именно: получить некоторую технологию, которая бы автоматически извлекала из данных новые нетривиальные
знания в форме моделей, зависимостей, законов и т.д., гарантируя при этом их статистическую значимость. Технология, направленная на решение этих проблем - это технология KDD -«обнаружение знаний в базах данных». KDD - аналитический процесс исследования человеком большого объема информации с привлечением средств автоматизированного исследования данных с целью обнаружения скрытых в данных структур или зависимостей. Предполагается полное или частичное отсутствие априорных представлений о характере скрытых структур и зависимостей. KDD включает предварительное осмысление и неполную формулировку задачи (в терминах целевых переменных), преобразование данных к доступному для автоматизированного анализа формату и их предварительную обработку, обнаружение средствами автоматического исследования данных (data mining) скрытых структур или зависимостей, апробация обнаруженных моделей на новых, не использовавшихся для построения моделей данных и интерпретация человеком обнаруженных моделей. Data mining («разработка данных») - исследование и обнаружение алгоритмами, средствами искусственного интеллекта) в сырых данных скрытых структур или зависимостей, которые ранее не были известны, нетривиальны, практически полезны, доступны для интерпретации человеком.
Авторы считают, что в данной работе новыми являются следующие положения и результаты: представлены методологические основы функционирования интеллектуальных систем. Использование методов обнаружения знаний в базах данных (knowledge discovery in databases - KDD) может выделить узкую группу показателей, от которых зависит интересующая исследователя характеристика, и представить обнаруженную закономерность в аналитической форме. Даже если впоследствии выяснится, что обнаруженная закономерность не является универсальной и характеризуется ограниченной областью использования, безусловная ценность полученного нового знания заключается в выделении группы наиболее чувствительных показателей, в привлечении внимания исследователя к более детальному анализу именно этих показателей и взаимозависимостей между ними, в предоставленной возможности сконцентрировать внимание на более узкой области исследований.
Литература
1. АзизХ., Сеттари Э. Математическое моделирование пластовых систем: Пер. с англ. / Под ред. М.М. Максимова. - Ижевск: Институт компьютерных исследований, 2004. 416 с. Репринтное издание. Оригинальное издание: М.: «Недра», 1982 г.
2. Juanes R. Displacement theory and multiscale numerical modeling of three-phase flow in porous media, Ph. D. Thesis, University of California, Berkeley, California, 2003.
3. Schiozer D.J. Simultaneous simulation of reservoir and surface facilities, Ph.D Thesis, Stanford University, 1994. 172 c.
4. Эрлагер Р мл. Гидродинамические методы исследования скважин. - Москва-Ижевск: Институт компьютерных исследований, 2007. 512 с.
5. Пыхачев Г.Б., Исаев Р.Г. Подземная гидравлика: Учебное пособие. - М.: «Недра», 1972. 360 с.
6. Thiele M.R. Modeling multiphase flow in heterogeneous media using streamtubes, Ph. D. Thesis, Stanford University, Stanford, California, 1994. 203 p.
7. Wesseling P. Principles of computational fluid dynamics, Springer, Berlin, 2001. 644 р.
8. Wong T.W., and Aziz K. Considerations in the development of multipurpose reservoir simulation models // First and Second International Forum on Reservoir Simulation, Alpbach, Austria, 1988 and 1989. 77-208 р.
9. Tureyen O.I., Karacali O., Caers J.A. Parallel, Multiscale Approach to Reservoir Modeling // 9th European Conference on the Mathematics of Oil Recovery, 30 August - 2 September 2004. -Cannes, France, рр. 1-8.
10. Thiele M.R., Batycky R.P. and Blunt M.J. A streamline-based 3D filed scale compositional reservoir simulator // SPE Reservoir Engineering, Oct. 5-8 1997. - San Antonio, Texas, U.S.A. рр. 1-12.
Сведения об авторе
Сергей Сергеевич Мирошниченко
асп. каф. дистанционные технологии ИжГТУ имени М. Т. Калашникова Россия, Удмуртия, г. Ижевск Эл. почта: iite@list.ru
Information about author
Sergey Sergeevich Miroshnichenko
Postgraduate Student, Dep. of Remote Technologies Izhevsk State Tech. University. M.T. Kalashnikova Russia, Udmurtia, Izhevsk Email: iite@list.ru
