CC BY
24
УДК 550.832 ГРНТИ 37.01.77
CC. Мирошниченко, В.Е. Лялин
ИжГТУ имени М.Т. Калашникова
ОБ ОСОБЕННОСТЯХ АЛГОРИТМОВ ОБРАБОТКИ ГЕОФИЗИЧЕСКОЙ ИНФОРМАЦИИ
При исследовании геофизических данных средствами DM (data mining) используется большое число различных методов и их различные комбинации. В статье рассмотрены наиболее важные алгоритмы DM, применяемые в настоящее время. Целью работы является применение нечетких при обработке геофизической информации.
Ключевые слова: геофизическая информация, нефтяные скважины, нейронные сети
S.S. Miroshnichenko, V.E. Lyalin
Kalashnikov Izhevsk State Technical University
ABOUT FEATURES ALGORITMS FOR PROCESSING OF GEOPHYSICAL DATA
In the study of geophysical data by means of DM (data mining), a large number of different methods and their various combinations are used. The article discusses the most important DM algorithms currently used. The purpose of the work is the use of fuzzy in the processing of geophysical information. Keywords: geophysical information, oil wells, neural networks
1. Методы кластеризации
Методы кластерного анализа позволяют разделить изучаемую совокупность объектов на группы «схожих» объектов, называемых кластерами, разнести записи в различные группы, или сегменты [1-4]. Кластеризация в чем-то аналогична классификации, но отличается от нее тем, что для проведения анализа не требуется иметь выделенную целевую переменную. Ее удобно использовать на начальных этапах исследования, когда о данных мало что известно. В большинстве других методов KDD (knowledge discovery in databases) исследование начинается, когда данные уже предварительно расклассифицированы, хотя бы на обучающее множество данных и данные, по которым проверяется найденная модель или для которых надо предсказать целевую переменную. Для этапа кластеризации характерно отсутствие каких-либо различий как между переменными, так и между записями. Напротив, ищутся группы наиболее близких, похожих записей. Когда кластеры обнаружены, используются другие методы DM, чтобы попытаться установить, а что означает такое разбиение на кластеры, чем оно вызвано.
В DM широко применяются методы расщепления, непосредственно разбивающие всю совокупность записей на несколько кластеров. Из них наибольшее распространение получили различные модификации метода K-средних.
Зададим число K - число кластеров, на которые мы хотим разбить записи. Случайным образом или по какому-либо правилу выбирается K исходных центров - точек в пространстве всех переменных. Не очень критично, какие именно это будут центры, процедура выбора исходных точек отразится, главным образом, только на времени счета. На первом шаге разобьем все записи на K групп, наиболее близких к одному из центров. Мерой близости может быть расстояние в пространстве всех. На втором шаге вычисляем новые центры кластеров по средним значениям переменных для записей, отнесенных к сформированным группам. Новые центры могут отличаться от предыдущих. Процедура повторяется до тех пор, пока центры кластеров (соответственно, и границы между ними) не перестанут меняться.
В реальных данных изменение одной из переменных на некоторую величину по смыслу может значить существенно больше, чем такое же изменение другой переменной. Действительные переменные можно преобразовать к равнозначному масштабу, разделив на их характерный масштаб или, если он неизвестен, на среднее значение этой переменной, на диапазон ее изменения (разность между максимальным и минимальным значением переменной) или на ее стандартное отклонение. Тогда геометрическое расстояние между точками будет примерно соответствовать нашим представлениям о близости записей. Введение метрики, расстояния между категориальными переменными или отношениями порядка имеет более сложный характер. Методы кластеризации могут работать с категориальными, булевыми переменными и с текстом. Метод K средних хорошо работает, если данные по своей естественной природе делятся на компактные, примерно сферические группы.
Другие методы кластеризации - агломеративные, или объединительные, начинаются с создания элементарных кластеров, каждый из которых состоит из одного исходного наблюдения (одной точки), а на каждом последующем шаге происходит объединение двух наиболее близких кластеров в один. Момент остановки этого процесса объединения может задаваться
исследователем путем указания требуемого числа кластеров или максимального расстояния, при котором допустимо объединение. За расстояние между кластерами можно принять, например, минимальное расстояние между отдельными записями (точками) этих кластеров.
Для решения задачи классификации результатов геофизических измерений применяются алгоритмы ненаблюдаемого обучения нейронных сетей, являются менее требовательными к объему данных [5-7]. Будем использовать нейросети, обучаемые по правилу Кохонена -самоорганизующиеся карты. Размерность входного слоя нейронов определяется размерностью вектора признаков. Число выходных нейронов равно числу предполагаемых классов. Алгоритм Кохонена предусматривает корректировку весовых коэффициентов связей между нейронами на основании их значений от предыдущей итерации.
Другой разновидностью кластеризации является метод нечеткой самоорганизации C-means. Такой алгоритм параллельно генерирует все центры самоорганизующихся нечетких кластеров и связанные с ними масштабирующие матрицы, используемые при вычислении расстояний.
К недостаткам кластеризации следует отнести зависимость результатов от выбранного метода кластеризации и от исходного преобразования данных, зависимость результатов от выбора параметров алгоритма расщепления или объединения и от выбора метрики. Кроме того, методы кластерного анализа не дают какого-либо способа для проверки достоверности разбиения на кластеры, для проверки статистической гипотезы об адекватности разбиения.
Схему применения методов KDD к реальным данным имеет основные стадии:
Постановка задачи. Анализируются задачи пользователя и особенности области приложения. Выбирается набор входных и выходных (целевых) параметров. Проводится анализ различных методов и систем KDD с точки зрения эффективности их применения к данной задаче.
Организация сбора и хранения данных. Создается хранилище данных, ориентированное на их анализ. Организуется схема сбора и обновления данных.
Предобработка. Шаг, включающий преобразование данных из формы, в которой их наиболее удобно собирать, в форму, требуемую для наиболее эффективного применения выбранных методов KDD. Она включает вычисление производных параметров, разбиение данных на обучающую и тестовую выборки, масштабирование и нормирование данных, очистку их от ошибок, и многие другие преобразования данных.
Собственно автоматический анализ данных. Применяются различные методы KDD, наиболее целесообразные для конкретной задачи. Возможно уточнение параметров найденной модели для достижения наилучших результатов.
Анализ и интерпретация полученных знаний. Включает оценку значимости и других характеристик обнаруженных знаний. Они могут быть как объективными (вычисление некоторых статистических показателей) так и субъективными - оценка осмысленности полученных моделей в контексте уже имеющихся знаний о предметной области.
Интеграция полученных знаний с другими компонентами информационной системы.
2. Развитие адаптивных систем нечеткого вывода
Адаптивные системы нечеткого вывода как класс систем, основанных на теории нечетких множеств, в настоящее время представляют собой перспективное направление в развитии теории искусственного интеллекта. Появление таких систем объясняется возросшей за последние годы потребностью в анализе больших массивов данных, накопленных в базах данных автоматизированных систем обработки информации.
Для обработки наборов данных и выявления закономерностей, присутствующих в них, разработан ряд конкурирующих подходов, которые в литературе называются методами интеллектуального анализа данных. К ним относятся искусственные нейронные сети, нечеткая логика, гибридные сети, деревья решений, когнитивное моделирование и др.
Нечеткая логика (fuzzy logic), основы которой заложил Л. Заде в 60-х годах прошлого столетия, за несколько десятилетий превратилась в мощный инструмент для построения моделей приближенных рассуждений человека в задачах принятия решений в условиях неопределенности, классификации и анализа данных. Математический аппарат теории нечетких множеств позволяет построить модель объекта, основываясь на нечетких рассуждениях и правилах. В случаях, когда знания об исследуемом объекте сосредоточены у экспертов и возникают трудности при построении математической модели традиционными методами, нечеткое моделирование -эффективный способ решения поставленной проблемы.
Исследователи выделяют три периода в развитии нечеткой логики и нечетких систем.
Первый период (конец 60-х-начало 70 гг.) характеризуется развитием теоретического аппарата нечетких множеств (Л. Заде, Л. Мамдани, Беллман). Во втором периоде (70-80-е годы) появляются первые практические результаты в области нечеткого управления техническими системами (поршневой двигатель). Одновременно исследователи стали уделять внимание вопросам построения экспертных систем, построенных на нечеткой логике, разработке нечетких контроллеров. Наконец, в третьем периоде, который длится с конца 80-х годов и продолжается в настоящее время, появляются пакеты программ для построения нечетких экспертных систем, а области применения нечеткой логики заметно расширяются. Она применяется в автомобильной, аэрокосмической и транспортной промышленности, в области изделий бытовой техники, в сфере финансов, анализа и принятия управленческих решений и многих других.
Несмотря на достоинства нечетких экспертных систем (описание проблем на естественном языке, параллельное выполнение правил, возможность использования противоречивых правил и др.), они имеют недостаток, свойственный всем остальным экспертным системам - необходимость привлечения экспертов к формированию базы знаний. В нечетких системах эксперты формируют правила и функции принадлежности. Особенно сложным этапом является выбор параметров, характеризующих функции принадлежности. Ввиду субъективности экспертов, построенные ими функции принадлежности, могут не вполне отражать реальную действительность. Кроме того, для построения функций принадлежности эксперт должен обладать высокой квалификацией, а это, в конечном итоге, увеличивает расходы на создание экспертной системы. С появлением больших массивов данных (базы данных предприятий и компаний) возникает необходимость в извлечении из них знаний и прогнозировании новых состояний рассматриваемых систем. Становится актуальной разработка методов и алгоритмов построения нечетких систем, в которых параметры функций принадлежности для правил подбираются в процессе обучения на известных экспериментальных данных. При подборе параметров функций принадлежности решается задача минимизации сложной нелинейной функции с множеством ограничений и локальных экстремумов. Найти глобальный минимум такой функции традиционными методами оптимизации практически невозможно. Выход был найден в применении эволюционных методов случайного направленного поиска - генетических алгоритмов. В последние годы появились подходы к обучению нечетких систем методами теории муравьиных колоний.
Таким образом, системы, построенные на нечеткой логике, в которых генерация правил и подбор параметров функций принадлежности ведутся в процессе обучения по имеющимся данным, относят к классу адаптивных систем нечеткого логического вывода. Если при обучении (т.е. получении неизвестных параметров) нечеткой системы используются генетические алгоритмы оптимизации, то такая система называется генетической нечеткой системой или адаптивной системой нечеткого вывода с генетическим алгоритмом обучения (genetic fuzzy system).
Задачи, которые обычно решаются с помощью компьютерных систем обработки информации можно отнести к двум основным классам:
- информационно-поисковые или информационно-справочные системы, сущность которых состоит в упорядочении, систематизации, накоплении, поиске и выдаче информации по сформулированным запросам;
- системы обработки накопленной информации по фиксированным алгоритмам, в соответствии с уже известной моделью явления.
Одной из важнейших геофизических задач является интерпретация данных каротажных исследований, ставящая своей целью определение величины и характера возможной продуктивности пластов, вскрытых скважиной. Сложность изучаемых природных процессов делают зачастую неоднозначными результаты интерпретации. В связи с этим широкое применение при решении задач ГИС находят методы классификации и распознавания образов, позволяющие упростить и упорядочить полученную информацию, учесть имеющиеся априорные данные, а также, по возможности, устранить элементы субъективности. Возникшие в конце XX века методы интеллектуального анализа данных, методы автоматизированного извлечения знаний непосредственно из исходных данных, способны решать поставленные задачи.
Ни одна программа принципиально не в состоянии учесть такого многообразия различных факторов, как ассоциативное мышление человека (интерпретатора). В то же время, если суметь направить усилия ЭВМ по поиску нового знания, скрытых в данных закономерностей, в русло, заданное аналитиком, то преимущество компьютеров в быстродействии должно привести к качественному прорыву в достижении нового знания. Системы извлечения знаний можно образно
определить как усилитель, или ускоритель человеческой мысли. Ключом к успешному применению методов извлечения знаний служит не просто выбор одного или нескольких алгоритмов, а оптимальная организация процесса извлечения знания из баз данных.
Всякое познание представляет собой моделирование. Модель - это искусственно создаваемая система, в которой отражено сходство структуры и функции с системой-оригиналом. Модель всегда упрощает и искажает оригинал. Значительное упрощение принципиально необходимо в связи с большой сложностью рассматриваемых объектов и накопленного знания. Исследования в данном направлении в последние годы получили существенное развитие. Предпосылками для исследований являются:
1. Сложный и описательный характер накопленных знаний. Практическая и, возможно, принципиальная невозможность «конструктивистского» подхода - количественно точного предсказания всех характеристик нефтяных или газовых скважин на основании известных общих закономерностей.
2. Накопление баз данных и сложность их непосредственного эмпирического анализа.
3. Развитие математических алгоритмов выявления закономерностей и поиска взаимосвязей различных показателей в базах данных, успешная апробация этих алгоритмов в других областях человеческого знания;
4. Развитие аппаратного обеспечения. Ключевой возможностью применения технологий обработки данных стало падение цен на устройства хранения информации, на процессоры с одновременным увеличением их быстродействия. Все это способствует развитию технологий, связанных с обработкой огромных массивов информации. Распространение клиент-серверной архитектуры также является необходимым атрибутом технологии обработки данных. Такой подход предоставляется возможность выполнять наиболее трудоемкие процедуры обработки данных на высокопроизводительном сервере как разработчикам проектов, так и конечным пользователям.
3. Нейронные сети
Для извлечения знаний из системы данных и для решения задач аппроксимации сложных функций многих переменных широкое применение нашли однонаправленные многослойные нейронные сети (НС). Важным свойством нейронных сетей является способность к обучению и обобщению полученных знаний. Обученная на ограниченном множестве обучающих выборок, сеть обобщает накопленную информацию и выдает реакцию на данные, не применявшиеся при обучении. Эти методы успешно решают многие задачи прогноза, задачи нахождения зависимости одних переменных от других, но строимая зависимость не представляется в ясном для понимания человеком виде. Поэтому, строго говоря, к извлечению знаний из баз данных их можно и не относить.
Нейронная сеть представляет из себя структуру, состоящую из узлов и связей между ними. Узлы нижнего уровня называются рецепторами, верхнего уровня - решающими узлами, а между узлами верхнего и нижнего уровня имеется, как правило, некоторое количество скрытых слоев. Число рецепторов равно числу полей исследуемой базы данных, число решающих узлов равно числу предсказываемых параметров. На рецепторы системы подается значение некоторой записи, с решающих узлов считываются значения предсказываемых параметров.
Основной идеей создания нейросетевых систем была попытка имитации структуры нервной ткани. Работа уже обученной системы напоминает распространение нервных импульсов. Каждому узлу (нейрону) сети приписывается некоторое числовое значение. Значение, приписываемое каждому узлу нижнего уровня, или рецептору, равно значению некоторого поля (переменной) из записи, которая в данный момент подается на вход нейронной сети. Значения, связываемые с нейронами более верхних уровней, определяются по следующему алгоритму. В обученной сети каждой связи между нейронами приписывается некоторый вес, действительное число, лежащее, как правило, в диапазоне от -1 до +1. Чтобы определить значение, связанное с каким-либо нейроном, вычисляется входной уровень нейрона - взвешенная сумма значений всех нейронов предыдущего уровня, связанных с данным нейроном; множители равны весам соответствующих связей. Каждый нейрон имеет так называемую передаточную функцию (функцию активации), которая для каждого значения порогового уровня возвращает некоторое число, приписываемое нейрону. Таким образом, последовательно вычисляются значения для нейронов все более высоких слоев, пока, наконец, не вычисляются значения для решающих узлов, т.е. предсказываемые параметры.
Для обучения нейронной сети наиболее часто применяются алгоритм обратного распространения ошибки и генетические алгоритмы.
Первоначально веса всех межнейронных связей имеют произвольные значения. Далее
многократно проводится следующий процесс. Из группы данных, используемой для обучения, для которой известно значение как входных, так и выходных переменных, берется одна запись и подается на вход нейросети. В конце обучения мы получаем сеть, которая более или менее верно описывает значения выходного параметра для обучающих примеров, и можно ожидать, что она будет так же хорошо предсказывать выходные параметры и на других данных.
Нейронные сети, как правило, могут предсказывать выходные параметры при сильно различающихся наборах весов связей. Конфигурация системы (набор весов связей) может зависеть от начальной конфигурации, с которой начали процесс обучения. При проектировании и обучении нейронных сетей необходимо соблюдать определенную осторожность, поскольку основной задачей является достижение минимальной ошибки обобщения, или прогноза, а не обучения. Негативным результатом обучения искусственной нейронной сети может быть так называемое переобучение, при котором сеть, по существу, запоминает обучающие факты; при этом она обладает минимальной предсказательной способностью, если на ее вход подаются новые факты. Переобученная нейронная сеть не будет обладать гибкостью, способностью к обобщениям. Для уменьшения вероятности переобучения необходимо, по возможности, не увеличивать количество слоев и нейронов в скрытых слоях и использовать как можно больше фактов при обучении.
Нейросетевые методы обладают рядом положительных свойств, определяющих области их использования:
1. Адаптируемость. Это свойство характеризует способность нейросетевых моделей к саморегулированию и проявляется в том, что и без участия человека (например, в форме написания алгоритмов для каждой проблемы) искусственная нейронная сеть способна автономно подбирать взвешенные соединения внутри сети для достижения лучших результатов. Адаптируемость лежит в основе присущего нейросетевым методам свойства обучаться на примерах.
2. Распределенная ассоциативная память. Распределенный характер памяти заключается в том, что элементы знаний распределены по множеству взвешенных соединений, которые и выполняют роль устройств памяти. Ассоциативность памяти состоит в том, что обученная искусственная нейронная сеть способна порождать полноценный выход в ответ на частичный вход;
3. Обобщение. Является следствием распределенности и ассоциативности памяти нейронной сети и проявляется в способности нейросетевых систем давать рациональный выход на ранее неизвестный вход. Свойство обобщения, лежащее в основе распознавания образов, заключается в способности сетей производить классификацию примеров из некоторой предметной области в группы, поддающиеся осмыслению специалистами, а затем вырабатывать обобщенный ответ. Исключительно важным является свойство нейросетей самостоятельно выполнять так называемый анализ чувствительности, выявлять силу влияния отдельных факторов, используемых при обучении, на выходные параметры. По результатам такого анализа появляется возможность исключить из рассмотрения факторы с несущественным влиянием и выявить определяющие факторы;
4. Отказоустойчивость. Это свойство заключается в том, что сеть продолжает функционировать даже тогда, когда некоторое количество нейронов и/или их связей выведено из строя. Нейросетевые системы отказоустойчивы, поскольку информация распределена по всей системе.
5. Параллельная обработка. Это форма вычислений, при которой множество вычислений выполняются одновременно. Нейросетевые методы допускают эффективную реализацию параллельных вычислений, поскольку представляют относительной простой механизм разделения вычислительной задачи на независимые подзадачи.
Выводы
Авторы считают, что в данной работе новыми являются следующие положения и результаты: представлено детальное описание и сравнение методов и алгоритмов обработки геофизической информации. Описаны методы кластеризации, представлено развитие адаптивных систем нечеткого ввода. Выявлены особенности, достоинства и недостатки каждого способа и алгоритма обработки геофизической информации по сравнению с другими. Показано применение однонаправленных многослойных нейронных систем для решения задач аппроксимации сложных функций многих переменных. Для определения геофизических данных используется большое число способов и их комбинации. Представлены самые основные алгоритмы DM, используемые на сегодняшний день для решения задач интерпретации геофизических исследований скважин, классификации и прогноза.
Литература
1. Juanes R. Displacement theory and multiscale numerical modeling of three-phase flow in porous media, Ph. D. Thesis, University of California, Berkeley, California, 2003.
2. Брусиловский А.И. Фазовые превращения при разработке месторождений нефти и газа. -М.: «Грааль», 2002. 575 с.
3. Пирвердян А.М. Физика и гидравлика нефтяного пласта. - М.: Недра, 1982. 192 с
5. АзизХ., Сеттари Э. Математическое моделирование пластовых систем: Пер. с англ. / Под ред. М.М. Максимова. - М.-Ижевск: Институт компьютерных исследований, 2004. 416 с. Репринтное издание. Оригинальное издание: М.: «Недра», 1982 г.
6. Каневская Р. Д. Математическое моделирование гидродинамических процессов разработки месторождений углеводородов. - Москва-Ижевск: Институт компьютерных исследований, 2002. 140 с.
7. Bear J. Dynamics of fluids in porous media, Dover, New York, 2005. Reprint. Originally published: American Elsevier, New York, 1972. 764 р.
Сведения об авторах Information about authors
Сергей Сергеевич Мирошниченко Sergey Sergeevich Miroshnichenko
асп. каф. дистанционные технологии Postgraduate Student, Dep. of Remote Technologies
ИжГТУ имени М. Т. Калашникова Izhevsk State Tech. University. M.T. Kalashnikova
Россия, Удмуртия, г. Ижевск Russia, Udmurtia, Izhevsk
Эл. почта: iite@list.ru Email: iite@list.ru
Вадим Евгеньевич Лялин Vadim Evgenevich Lyalin
Д-р техн. наук, д-р геол.-минер. наук, д-р экон. Doctor of Technical Sciences, Doctor of Geological Sciences,
наук Doctor of Economics
Проф. каф. Дистанционные технологии Professor of the Department of Remote Technologies
ИжГТУ имени М. Т. Калашникова Izhevsk State Tech. University. M.T Kalashnikova
Россия, Удмуртия, г. Ижевск Russia, Udmurtia, Izhevsk
Эл. почта: velyalin@mail.ru E-mail: velyalin@mail.ru
УДК 004.8 В.С. Микшина, С.И. Павлов
ГРНТИ 28.23.25 Сургутский государственный университет
ПРИНЯТИЕ РЕШЕНИЙ С ИСПОЛЬЗОВАНИЕМ АНСАМБЛЯ КЛАССИФИКАТОРОВ
В работе описан подход к получению ансамбля классификаторов для задачи прогнозирования результатов операции аортокоронарного шунтирования при остром инфаркте миокарда. В работе показано что при одинаковой точности уменьшении размеров обучающей выборки ансамбль алгоритмов демонстрирует более высокую точность проноза, по сравнению с отдельными моделями.
Ключевые слова: Ансамбль классификаторов, машинное обучение, SVM, kNN, логистическаяре-грессия, принятие решений
V.S. Mikshina, S.I. Pavlov
Surgut State University
DECISION SUPPORT USING THE ENSEMBLE OF CLASSIFIERS
The paper describes an approach to obtaining an ensemble of classifiers for the task of predicting the results of coronary artery bypass surgery in acute myocardial infarction. It is shown that, with the same accuracy, the reduction in the size of the training sample, the ensemble of algorithms demonstrates a higher accuracy of pronosis, compared with individual models.
Ключевые слова: Classifier ensemble, machine learning, SVM, kNN, logistic regression, decision making Введение
Технологии анализа данных активно применяются в различных областях науки, техники и социальной сферы с помощью информационных технологий. Одной из самых распространенных задач анализа данных является задача классификации. Классификатор - математическая модель, позволяющая вычислить, к какому из заранее определенных классов стоит отнести тот или иной
