CC BY
62
А.А. Морозов, В.А. Морозов, Ю.В. Обухов, Т.А. Строганова, М.М. Цетлин
ЛОГИКО-ВЕРОЯТНОСТНЫЙ МЕТОД ОПИСАНИЯ И ПОИСКА ЗАКОНОМЕРНОСТЕЙ В ПРОСТРАНСТВЕННО-ВРЕМЕННЫХ ДАННЫХ
БИОМЕДИЦИНСКОГО ЭКСПЕРИМЕНТА НА ОСНОВЕ ЛОГИКИ ПЕРВОГО ПОРЯДКА И МЕДИАННОГО АНАЛИЗА
В статье рассмотрен новый логико-вероятностный метод описания и поиска закономерностей в сложных пространственно-временных сигналах, основанный на логике первого порядка и медианном анализе. Рассматриваемый метод разработан в Институте радиотехники и электроники РАН в рамках проекта исследования и разработки методов анализа биомедицинских экспериментальных данных для решения практических задач анализа спектрограмм пространственно-временных сигналов - электроэнцефалограмм (ЭЭГ) человека [0,2].
Идея разработанного метода состоит в том, чтобы объединить дедуктивные возможности логического программирования (языка Пролог) и непараметрические статистические методы (а именно методы медианного анализа [3]). Такое объединение возникло естественным образом в ходе экспериментов со спектрограммами ЭЭГ мозга и обусловлено следующими предпосылками.
1. В ходе экспериментов с ЭЭГ возникла практическая необходимость проверять наличие или отсутствие у отдельных образцов ЭЭГ, а также у наборов ЭЭГ некоторых свойств, описываемых в терминах логики первого порядка, например:
3 11.1 t2,13 : < t2 < t3 : А(^) > А^2), А^2) < Л^3) ,
что означает: «На спектрограмме существуют такие моменты времени t1, t2 и t3, что при переходе между ними амплитуда сигнала статистически значимо уменьшается, а затем снова увеличивается». Приведённая выше формула является одним из возможных вариантов логического определения свойства «на спектрограмме существует двойной пик».
2. Для поиска и проверки свойств, формализованных средствами логики первого порядка, традиционно используются методы и средства логического программирования, однако в данном случае использование стандартных методов невозможно вследствие того, что атомарные предикаты ^ , >, <, >, < и др. должны иметь статистический смысл, а именно должны обозначать статистически значимые отличия выборок экспериментальных данных, относящихся к соответствующим пространственно-временным областям.
Таким образом, фактически возникла необходимость реализовать логический вывод на аксиомах (отношениях), связывающих не числа, а выборки данных. При этом эксперименты с реальными данными показали, что
1) выборки данных в нейрофизиологических экспериментах, как правило, не соответствуют нормальному закону распределения;
2) обычно при анализе ЭЭГ возникает необходимость учитывать несколько независимых факторов, а именно: время, разновидность стимула, предъявляемого в ходе эксперимента, отведение (электрод), с которого записан сигнал, полушарие (левое или правое), рассматриваемый частотный диапазон сигнала, метод усреднения сигнала (со знаком, без знака и т.п.).
Для анализа экспериментальных данных, не соответствующих нормальному закону распределения, можно использовать (приближённо) методы параметрической статистики, ориентированные на гауссовы случайные величины, или методы
непараметрической статистики, свободные от каких-либо априорных предположений о виде распределения исследуемых величин. Однако и в том, и в другом случае использование статистических методов сравнения выборок в ходе логического вывода практически осуществимо только при достаточно компактном описании массивов входных данных (выборок). Наивный подход к объединению логического программирования и математической статистики с помощью включения в логический язык встроенных процедур проверки статистических гипотез и полных массивов экспериментальных данных оказывается практически нереализуемым из-за огромного объёма данных, передаваемых в логическую программу, и неприемлемо больших расходов времени на проверку статистических гипотез при выполнении каждого элементарного сравнения.
К счастью, среди непараметрических методов сравнения выборок существуют методы, позволившие решить указанную выше проблему и выработать практически реализуемый подход к логико-вероятностному анализу сложных биомедицинских данных, - методы медианного сравнения выборок.
В статье рассмотрены основные этапы и уровни разработанного логиковероятностного метода анализа. В первой части статьи рассмотрены вопросы, связанные с медианным анализом экспериментальных нейрофизиологических данных. Во второй части статьи рассказывается о реализации базовых предикатов сравнения. Третья часть статьи посвящена логическому описанию и проверке закономерностей ЭЭГ человека.
1. Медианный анализ экспериментальных данных
Для вычисления спектрограмм ЭЭГ мы используем комплексные вейвлеты Морле [4,5], коэффициенты которых подобраны так, чтобы выделить частотные диапазоны, интересующие нейрофизиологов: Тета (4-7.5 Гц для взрослых), Альфа (8-12 Гц для взрослых), Бета (12.5-24 Гц для взрослых), Гамма 1 (24-48 Гц) и Гамма 2 (48-96 Гц). Для устранения артефактов, помех и искажений, возникающих из-за влияния внешних источников сигналов (электросеть, монитор компьютера и т. п.) и внутренних физиологических и нейрофизиологических процессов человека (сокращения мышц, усталость, изменение психофизического состояния и т.п.), мы разработали процедуры, основанные на методах робастной статистики [6].
В ходе нейрофизиологического эксперимента [0] человеку многократно предъявляются тестовый и контрольный зрительные стимулы, для того чтобы затем, «усреднив» реализации ЭЭГ («эпохи»), соответствующие различным моментам предъявления стимула, выделить из зашумлённых записей ЭЭГ исследуемый сигнал. При этом под «усреднением» можно понимать формирование различных компактных статистических характеристик, таких как выборочное (арифметическое) среднее, медиана или усечённое среднее. «Усреднять» можно непосредственно спектрограммы ЭЭГ (комплексные числа, получающиеся в результате свёртки сигнала с комплексным вейвлетом) или квадраты их абсолютных значений (то есть спектрограммы мощности). Результатом применения первого метода «усреднения» является выделение так называемого фазово-связанного компонента ЭЭГ, а второго - выделение средней мощности ЭЭГ. При этом различные способы «усреднения» выявляют принципиально разные эффекты на спектрограммах, соответствующие разным нейрофизиологическим процессам.
Таким образом, методы статистической обработки спектрограмм ЭЭГ должны учитывать следующие особенности исследуемых данных.
1. Значения спектрограмм могут быть как действительными, так и комплексными величинами, и, следовательно, существует необходимость
проверки статистических гипотез на действительных и комплексных выборках.
2. Распределение выборок значений спектрограмм, как правило, существенно отличается от гауссова. Для статистического анализа таких данных целесообразно использовать непараметрические, в частности, медианные методы.
В настоящее время в качестве компактной статистической характеристики спектрограмм мы используем усечённое среднее, при формировании которого используются статистические характеристики выборочной медианы. В данной работе усечённое среднее заданного ансамбля V (действительных) чисел вычисляется следующим образом:
1) вычисляется медиана ансамбля V;
2) вычисляется доверительный интервал [ML,MU истинного значения медианы ансамбля V с заданным Альфа-уровнем (вероятностью того, что построенный доверительный интервал не покрывает истинное значение медианы) по методу, излагаемому далее;
3) строится ансамбль значений W, включающий только значения выборки V, не выходящие за пределы доверительного интервала [ML,MU];
4) вычисляется арифметическое среднее значений выборки W. Вычисленное значение является усечённым средним исходного ансамбля V.
Для построения доверительного интервала выборки V действительных значений (в частности, для построения доверительных интервалов спектрограмм полной мощности) выполняется следующая последовательность действий:
- Вычисляется эмпирическая интегральная функция распределения выборки V, определяющая приблизительные значения f интегральной функции распределения, заданной на векторе аргументов х. Одновременно вычисляются векторы границ доверительных интервалов значений функции f, а именно, вектором flo (нижняя граница) и fup (верхняя граница) для заданной величины Альфа-уровня (вероятности того, что истинное значение интегральной функции распределения не попадает в её доверительный интервал). Для вычислений мы используем встроенную функцию Ма1ЬаЪ ecdf.
Рис. 1. Пример построения эмпирической интегральной функции распределения (непрерывная линия). Точечной линией изображён доверительный интервал, соответствующий вероятности ошибки 0.05. Диаграмма справа увеличена
Пример эмпирической интегральной функции распределения приведён на рис 1. В качестве исходной выборки в данном примере использована некоторая выборка значений спектрограмм полной мощности. Эмпирическая интегральная функция распределения изображена непрерывной линией. Границы доверительного интервала изображены точечной линией.
- Вычисляются точки пересечения эмпирической интегральной функции распределения и её доверительного интервала с горизонтальной линией, соответствующей вероятности 0.5. Эти точки являются, соответственно, медианой выборки V и границами доверительного интервала, покрывающего медиану истинной интегральной функции распределения с вероятностью, равной заданной.
На рис. 2 приведён пример построения доверительных интервалов спектрограммы полной мощности частотного диапазона Альфа. Вертикальной линией изображён момент предъявления зрительного стимула. Спектрограмма изображена жирной линией. Штрих-пунктирной линией изображено усечённое среднее значений спектрограммы в референтной предстимульной области (от 375 мс до 125 мс до подачи стимула). Все значения указаны в процентах отклонения от средней мощности сигнала в рассматриваемом диапазоне частот.
ви
в
АИ
----------------------------------- вь
А
АЬ
Рис. 3. Проверка статистических гипотез об истинных значениях медиан ансамблей действительных величин
Наличие или отсутствие статистически значимого эффекта в некоторый момент времени можно оценить, сопоставив доверительный интервал соответствующего значения спектрограммы с доверительным интервалом её референтной области. Если указанные доверительные интервалы не пересекаются, это означает, что истинное значение медианы А рассматриваемого значения спектрограммы статистически значимо отличается от истинного значения медианы В значений спектрограммы в референтной области. Если указанные доверительные интервалы пересекаются (см. рис. 3), то нулевая гипотеза об отсутствии статистически значимого эффекта остаётся в силе. Так, в рассмотренном примере на рис. 2 наблюдается статистически значимый рост мощности колебаний в частотном диапазоне Альфа в период до 0.2 сек после подачи зрительного стимула, в дальнейшем сменяющийся резким спадом.
В случае если доверительные интервалы не пересекаются, вероятность того, что истинное значение медианы А соответствующей точки спектрограммы действительно отличается от истинного значения медианы В значений спектрограммы в
ИНИР-ЧЦИ.1 Iі,"II , Г -ІПІX
о* г»*» 1ооЬ оЧ>
_ О с* Ы д У Ь * / & Э ~
Р4, АірЬа, Капкг*. Т«аІ. Сотрі*іМоіІеІ. М«0ип р 005
-05 -04 -03 -0 2-01 0 01 02 03 0 4 05
Рис. 2. Пример построения доверительных интервалов спектрограммы полной мощности
референтной области, не меньше - произведения вероятностей того, что обе величины А и В действительно находятся в своих доверительных интервалах (ча и дВ соответственно):
^ = Ча ■ 4в .
Следовательно, для того чтобы обеспечить требуемую вероятность р ошибки первого рода (вероятность того, что будет ошибочно отвергнута правильная нулевая гипотеза о равенстве А и В), достаточно сопоставить доверительные интервалы, соответствующие увеличенной вероятности Ч!:
41 =уГ%Г = л/ 1 - р .
Так, в примере на рис. 2 вероятность того, что истинное значение спектрограммы выйдет за границы её доверительного интервала, установлена равной р = 1 - ч и 0.023 . Следовательно, если доверительные интервалы не пересекаются, то вероятность того, что истинное значение медианы некоторого значения спектрограммы не отличается от истинного значения медианы значений спектрограммы в референтной области, не больше р и 0.046 (что приблизительно соответствует доверительному интервалу 2а нормального распределения).
Проверка статистических гипотез об отсутствии статистически значимых отличий выборок значений фазово-связанных составляющих спектрограмм осложнена тем, что они являются комплексными величинами. Мы рассматриваем комплексные величины как двумерные случайные величины и сравниваем отдельно действительные и мнимые компоненты комплексных значений с последующей поправкой полученного результата по методу Бонферони [7]. При этом выполняются следующие операции.
1. Осуществляется проверка нулевой гипотезы о равенстве истинных значений медиан действительных компонентов значений сравниваемых ансамблей. Проверка осуществляется методом сравнения доверительных интервалов медиан, рассмотренным выше.
2. Аналогичным образом осуществляется проверка нулевой гипотезы о равенстве истинных значений медиан мнимых компонентов значений сравниваемых ансамблей.
3. Если нулевая гипотеза была отклонена при рассмотрении действительных или мнимых компонентов комплексных значений, то нулевая гипотеза об ансамблях комплексных значений также отклоняется.
С учётом поправки Бонферони, для того чтобы обеспечить требуемую вероятность р ошибки первого рода при сравнении ансамблей комплексных чисел, при сравнении отдельно действительных и мнимых компонентов необходимо использовать доверительные интервалы, соответствующие увеличенной вероятности д2:
д2 =7 1 - р/2 ,
т. е. с вероятностью ошибки первого рода
р2 = 1 - 42 = 1 -л/ 1 - р/2 .
Например, для обеспечения вероятности ошибки первого рода не более р=0.05 достаточно построить и сопоставить доверительные интервалы, соответствующие вероятности
Ч2 = 1 -у/ 1 -0.05/2 и0.987 .
Для проверки статистических гипотез «больше», «меньше», «больше или равно» и «меньше или равно» на ансамблях действительных чисел А и В также осуществляется сопоставление границ доверительных интервалов медиан (см. рис. 3):
1. Если верхняя граница БП доверительного интервала Б не меньше нижней границы ЛЬ доверительного интервала Л, то статистическая гипотеза А > Б отвергается.
2. Аналогично, если нижняя граница БЬ доверительного интервала Б не больше верхней границы ЛП доверительного интервала Л, то отвергается статистическая гипотеза Л < В .
3. Если нижняя граница БЬ доверительного интервала Б выше верхней границы ЛП доверительного интервала Л, то отвергается статистическая гипотеза Л > Б .
4. Аналогично, если верхняя граница БП доверительного интервала Б меньше нижней границы ЛЬ доверительного интервала Л , то отвергается статистическая гипотеза Л < Б .
Для статистических гипотез «больше», «меньше», «больше или равно» и «меньше или равно» сохраняются в силе все рассуждения о вероятности доверительных интервалов, относящиеся к проверке гипотез о равенстве истинных значений медиан выборок действительных величин.
Для компактной характеристики ансамблей комплексных величин мы используем специальную скалярную метрику. Применение скалярной метрики позволяет формировать и проверять статистические гипотезы «больше», «меньше», «больше или равно» и «меньше или равно» по отношению к этим компактным характеристикам.
Рис. 4. Доверительные интервалы частей комплексного значения
Рассмотрим случай, когда доверительные интервалы действительной и мнимой частей некоторого комплексного значения V не включают ноль (см. рис. 4). Медиана действительной части Я величины V имеет доверительный интервал [RL.RU], а медиана мнимой части I величины V имеет доверительный интервал [II ^Щ, считая, что нижние границы RL и II доверительных интервалов расположены ближе, а верхние границы Яи и Ш - дальше от соответствующей оси координат. В этом случае величина амплитуды V равна VI = 4 Я2 +12 , и существует
некоторая метрика VI величины V, такая что VI ^ Яи2 + Ш2 и
VI > ^/ Я1 + II} , если истинные значения медиан Я и I находятся в пределах соответствующих доверительных интервалов.
Аналогично, в случае если доверительный интервал действительной или мнимой части некоторого комплексного значения V включает ноль, величина амплитуды V равна VI = 4 Я2 +12 . Пусть величина Я12=Я1, если доверительный
интервал истинного значения медианы Я не включает ноль, и Я12= 0 в противном случае. Аналогично, величина 112= II, если доверительный интервал истинного
значения медианы I не включает ноль, иначе ІЬ2= 0. Тогда существует некоторая метрика IV! величины V, такая что ||к|| ЯП2 + ІП2 и ||к|| ЯЬ22 + 1Ь22 ,
если истинные значения медиан Я и I находятся в пределах соответствующих доверительных интервалов.
Проверка статистических гипотез на ансамблях комплексных чисел осуществляется по тем же правилам, что и для действительных значений, но с использованием доверительных интервалов метрики V. Очевидно, что вероятность того,
что метрика VII находится в пределах указанного доверительного интервала, не
меньше произведения дм вероятностей дЯ и ч1 того, что в своих доверительных интервалах находятся истинные значения медиан Я и I:
Чы = Чк ■ Чі .
Доверительный интервал метрики ||к|| (комплексных) значений спектрограммы в референтной области вычисляется аналогично. В результате, для того чтобы обеспечить требуемую вероятность р ошибки первого рода (вероятность того, что будет ошибочно отвергнута правильная нулевая гипотеза в отношении комплексных Л и Б), достаточно сопоставить доверительные интервалы, соответствующие увеличенной вероятности Чз-
Чз =лГч^ = ^ч7 = V 1 - р .
Таким образом, на первом этапе анализа данных по каждой выборке спектрограмм, соответствующей определённому стимулу, отведению и частотному диапазону, вычисляются доверительные интервалы для оценок медиан спектрограмм с заданной вероятностью ошибки первого рода.
Рис. 5. Пример выделения сегментов спектрограммы. По оси абсцисс отложено время от момента предъявления стимула в сек, по оси ординат - частота в Гц
В настоящее время в целях увеличения статистической значимости отличий отдельных частотно-временных областей, а также сокращения объёма экспериментальных данных, мы «огрубляем» спектрограммы: исследуемая частотновременная область разбивается на сегменты «шириной» 0.024 сек и «высотой», соответствующей заданным диапазонам частот; при этом все временные отсчёты, попавшие в один сегмент, объединяются в один ансамбль значений (см. пример на рис. 5). Заметим, что выделенные сегменты спектрограмм не следует рассматривать как статистически независимые.
Вычисление доверительных интервалов осуществляется заранее для каждого сегмента всех анализируемых спектрограмм, а также для референтных областей этих спектрограмм. Вычисленные значения преобразуются в термы (элементы данных) Пролога и записываются в файлы для последующей загрузки в Акторный Пролог.
В синтаксисе Акторного Пролога [8] статистическое описание каждого сегмента спектрограммы представляется в виде так называемого недоопределённого множества вида {probationer:N, band:F, component:C, trial:S, channel:E, time:T, value: V}, где N - имя испытуемого, F - частотный диапазон ('Theta', 'Alpha', 'Beta' и т.д.), C - способ усреднения спектрограмм ('PL' - усреднение комплексных чисел, 'Total' - усреднение спектрограмм мощности и др.), S - тип зрительного стимула ('Kanisza', 'control'), E - канал записи ЭЭГ ('O1', 'O2', 'P3', 'P4' и др.), T - время после подачи стимула в микросекундах (середина соответствующего сегмента спектрограммы по оси абсцисс), V - значение спектрограммы.
Для представления действительных значений спектрограммы используются структуры вида real_median(Left,Right), где Left и Right - нижняя и верхняя границы доверительного интервала медианы соответственно. Для представления комплексных значений спектрограммы используются структуры вида complex_median([LA,RA],[[LR,RR],[LI,RI]]), где LA и RA - нижняя и верхняя гра-
нижняя и верхняя границы доверительного интервала медианы действительных частей выборки V; LI и RI - нижняя и верхняя границы доверительного интервала медианы мнимых частей выборки V.
В Акторном Прологе реализован пакет медианного анализа Median.A, содержащий предикаты, реализующие базовые операции сравнения, рассмотренные в первом разделе статьи. Например, предикат «больше» реализован в этом пакете следующим образом:
V1 > V2 :-
V1 == real median(Left, ),
V2 == real median( ,Right),!,
Left > Right.
V1 > V2 :-
V1 == complex median([Left, ], ),
V2 == complex median([ ,Right], ),!,
Left > Right.
где Left > Right - вызов встроенного предиката сравнения плавающих чисел.
Структура простейшей логической программы, проверяющей некоторую нейрофизиологическую гипотезу, включает:
1. Загрузку в базу данных файла, содержащего спектрограммы.
2. Проверку некоторого логического утверждения, описывающего рас-
В Акторном Прологе формулировка подобных логических утверждений значительно упрощается за счёт использования недоопределённых множеств и других синтаксических средств, таких как классы, наследование и имитация функций. Так, утверждение, подобное рассмотренному во введении, средствами Акторного Пролога можно записать следующим образом:
2. Реализация базовых предикатов сравнения
ницы доверительного интервала метрики
3. Логическое описание и проверка закономерностей
сматриваемую гипотезу.
search peaks(C,T1,T2,T3):-db ? find({ component:,PL',
band: 'Gamma2' , channel:C, trial:'Kanisza', time:T1, value:V1| }),
db ? find({ component:'PL',
band:'Gamma2', channel:C, trial:'Kanisza', time:T2, value:V2| }),
T2 > T1, V2 < V1, _
db ? find({ component:'PL',
band:'Gamma2', channel:C, trial:'Kanisza', time:T3, value:V3| }),
T3 > T2, V3 > V2. _
goal:-
search peaks(Channel,T1,T2,T3),
con ? writeln(Channel,”: ",T1," ",T2," ",T3),
fail.
Правило search_peaks можно прочитать следующим образом: «На спектрограмме, записанной в базе данных db, существуют такие точки T1, T2, T3, относящиеся к каналу C, визуальному стимулу Kanisza и диапазону частот Gamma 2, в которых значения фазово-связанного компонента спектрограммы V2<V1, V3>V2». Целевое утверждение goal реализует перебор с возвратом всех значений C, T1, T2, T3, удовлетворяющих правилу search_peaks, и выводит их на экран в окно con. Префикс ? в Акторном Прологе обозначает вызов предиката в заданном пространстве поиска (экземпляре класса).
Рис. 6. Исполнение логической программы
Объектно-ориентированные средства языка Акторный Пролог помогают в значительной мере ускорить логический вывод на больших наборах данных за счёт того, что данные, относящиеся к разным испытуемым, могут быть представлены в виде отдельных пространств поиска. В результате этого процесс перебора вариантов становится более целенаправленным, а пространство поиска, соответствующее отдельным ветвям логического вывода, уменьшается.
На рис. 6 приведён пользовательский интерфейс и результаты исполнения рассматриваемого примера логической программы. Программа обнаружила, что
искомый двойной пик наблюдается через 131 мс после подачи зрительного стимула на канале P4. Пользовательский интерфейс программы создан на основе предопределённых классов Акторного Пролога, поддерживающих управление текстовыми и диалоговыми окнами.
Достоинством использования логического языка для описания и проверки гипотез является то, что он позволяет описывать условия произвольной сложности, включающие неограниченное число подцелей. При этом вероятностная интерпретация результатов перебора вариантов возможных событий, описываемых в терминах Акторного Пролога, требует дальнейших исследований. Здесь мы отметим лишь, что для независимых исходов x и y вероятность ложного обнаружения событий вида X & Y приближается к суммарной вероятности индивидуальных выходов исходных величин x и y, из которых формируются X и Y, за пределы своих доверительных интервалов.
Таким образом, разработанный логико-вероятностный метод является мощным и гибким средством анализа экспериментальных данных, однако к выводам, полученным в отношении гипотез с большим количеством подцелей, следует относиться с осторожностью.
Заключение
Разработанный логико-вероятностный метод описания и поиска закономерностей в пространственно-временных данных биомедицинского эксперимента объединяет дедуктивные возможности логического программирования с возможностями (непараметрических) статистических методов. В настоящее время разработанный логико-вероятностный метод реализован на базе объектно-ориентированного логического языка Акторный Пролог и используется для анализа экспериментальных нейрофизиологических данных, полученных в рамках совместного проекта ИРЭ РАН и Психологического института РАО.
Мы хотели бы поблагодарить В.Ю. Новотоцкого, Г.Д. Кузнецову,
В.Е. Анциперова, Ю.Н. Орлова и В.И. Галиева за критические замечания и участие в обсуждении результатов работы.
Работа поддержана РФФИ, проекты 03-01-00256 и 05-01-00651, а также программой Президиума РАН «Фундаментальные науки - медицине».
БИБЛИОГРАФИЧЕСКИЙ СПИСОК
1. Морозов А.А., ОбуховЮ.В., Строганова Т.А., Цетлин М.М., Прокофьев А.О. О проблеме поиска закономерностей в пространственно-временных сигналах коры мозга человека // Искусственный интеллект, 2004, № 3, С. 499-509.
2. MorozovA.A., Obukhov Yu.V., Stroganova T.A., TsetlinM.M., OrekhovaE.V. The Search of the Regularity in the Spatio-Temporal Dynamics of the Human Visual Cortex Oscillations // Pattern Recognition and Image Analysis, 2005, Vol. 15, № 3, P. 1-3.
3. Ван дер Варден Б.Л. Математическая статистика. М.: Изд-во иностранной литературы, 1960.
4. Добеши И. Десять лекций по вейвлетам. Ижевск: НИЦ «Регулярная и хаотическая динамика», 2001.
5. Короновский А.А., Храмов А.Е. Непрерывный вейвлетный анализ и его приложения. -М.: ФИЗМАТЛИТ, 2003.
6. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. М.: Мир, 1989.
7. Electronic Statistics Textbook. Tulsa: StatSoft, Inc., 2004. http://www.statsoft.com/ text-book/stathome.html .
8. МорозовА.А. Введение в Акторный Пролог. - ИРЭ РАН: 2002. -http://www.cplire.ru/ Lab144/start/r index.html .
