CC BY
1
ИНФОРМАЦИОННЫХ ТЕХНОЛОГИЙ, МЕХАНИКИ И ОПТИКИ
МАТЕМАТИЧЕСКОЕ И КОМПЬЮТЕРНОЕ МОДЕЛИРОВАНИЕ MODELING AND SIMULATION
doi: 10.17586/2226-1494-2023-23-5-1030-1040 УДК 004.852
Доверительные липшицевы классификаторы: инструмент гарантированной надежности
Андрей Владимирович Тимофеев®
ТОО «Эквалайзум», Астана, 010000, Казахстан timofeev.andrey@gmailxomи, https://orcid.org/0000-0001-7212-5230 Аннотация
Введение. Предложен новый метод гарантированного решения задачи мультиклассовой классификации стохастических объектов. Метод. В рамках разработанного подхода результат классификации представляет собой конечное множество индексов классов, которое с заданным начальным коэффициентом доверия содержит индекс того класса, которому соответствует классифицируемый объект. При этом классификация реализована на базе использования классификатора нового типа, который назван доверительным липшицевым классификатором. Основные результаты. Дано определение доверительного липшицева классификатора и изучены его основные свойства. В том числе исследовано свойство гарантированной надежности классификации, которое выражено в построении доверительного множества ограниченного размера, которое содержит индекс истинного класса с наперед заданным коэффициентом доверия. Приведен случай ассамблеи липшицевых классификаторов, свойства которой оформлены в виде теоремы. Рассмотрен практически важный пример использования предложенного подхода в задачах компенсации динамики шумового процесса в каналах оптоволоконной системы мониторинга. Обсуждение. Разработанный подход перспективен для применения в тех классификационных задачах, в которых число классов имеет порядок выше второго. В том числе в широкомасштабных системах биометрической идентификации личности, а также в многоканальных системах мониторинга протяженных объектов. Ключевые слова
доверительный липшицев классификатор, машинное обучение, гарантированная надежность, оптоволоконная система мониторинга
Ссылка для цитирования: Тимофеев А.В. Доверительные липшицевы классификаторы: инструмент гарантированной надежности // Научно-технический вестник информационных технологий, механики и оптики. 2023. Т. 23, № 5. С. 1030-1040. doi: 10.17586/2226-1494-2023-23-5-1030-1040
Confidence Lipschitz classifiers: an instrument of guaranteed reliability
Andrey V. Timofeev®
Equalizum LLP, Astana, Kazakhstan, 010000
timofeev.andrey@gmail.com®, https://orcid.org/0000-0001-7212-5230 Abstract
A new method of guaranteed solution for multiclass classification problem of stochastic objects is proposed. Within the framework of the proposed approach, the classification result is a finite set of class indices which with a predetermined confidence coefficient contains the index of the class to which the object being classified corresponds. In this case, the classification itself is realized on the basis of using a classifier of the new type which is called a confidence Lipschitz classifier. The definition of the confidence Lipschitz classifier is given and its main properties have been studied. Among them, the property of guaranteed reliability of the classification which is expressed in the construction of a confidence set of limited size containing the index of the true class with a predetermined coefficient of confidence, has been studied. The case of the assembly of Lipschitz classifiers, the properties of which are formalized in the form of a theorem, is considered. We consider a practically important example of using the proposed approach in the problems of compensation of the noise process dynamics in the channels of the fiber-optic monitoring system. The proposed approach is promising
НАУЧНО-ТЕХНИЧЕСКИМ ВЕСТНИК ИНФОРМАЦИОННЫХ ТЕХНОЛОГИИ, МЕХАНИКИ И ОПТИКИ сентябрь-октябрь 2023 Том 23 № 5 http://ntv.ifmo.ru/
SCIENTIFIC AND TECHNICAL JOURNAL OF INFORMATION TECHNOLOGIES, MECHANICS AND OPTICS September-October 2023 Vol. 23 No 5 http://ntv.ifmo.ru/en/
ISSN 2226-1494 (print) ISSN 2500-0373 (online)
© Тимофеев А.В., 2023
for use in those classification tasks in which the number of classes has an order higher than the second, including large-scale biometric identification systems as well as multi-channel systems for monitoring extended objects. Keywords
confidence Lipschitz classifier, machine learning, guaranteed reliability, fiber optic monitoring system For citation: Timofeev A.V. Confidence Lipschitz classifiers: an instrument of guaranteed reliability. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2023, vol. 23, no. 5, pp. 1030-1040 (in Russian). doi: 10.17586/2226-1494-2023-23-5-1030-1040
Введение
В настоящее время существует высокий практический спрос на мультиклассовые системы автоматической классификации, когда мощность множества подлежащих различению (идентификации) классов может достигать сотен тысяч или даже миллионов единиц. В этом случае возникает проблема необходимости выбора единственного варианта решения из множества близких, практически неразличимых альтернатив в ситуации, когда формирование верхней границы для мощности плохоразличимых альтернатив затруднительно ввиду отсутствия формально обоснованного механизма сравнения альтернатив между собой. Типичным примером систем такого рода являются биометрические системы национального масштаба, предназначенные для идентификации личности по ее биометрическим параметрам и лежащие в основе различных криминалистических комплексов, а также систем биометрической паспортизации населения. Работая с представительными корпусами реальных биометрических образцов, исследователи постоянно сталкиваются с проблемой принципиальной биометрической неразличимости, т. е. с ситуацией, когда у группы, состоящей из двух, или более физических лиц, первичные биометрические признаки оказываются практически неразличимыми в рамках используемой системы автоматической классификации. Природа этого явления многогранна и исследована в соответствующих разделах науки, но отметим, что ни одна из известных биометрических мод не дает 100 % надежной идентификации личности. Исследователи постоянно совершенствуют алгоритмическое обеспечение, выделяют все более информативные первичные признаки, используют репрезентативные корпуса для обучения систем, но идеальная биометрическая идентификация пока недостижима. В результате суммарная ошибка первого и второго рода равная 0,1 %, для базы, состоящей из миллиона образцов, имплицирует 1000 неверных идентификаций. Существуют практические методы нивелирования этой особенности широкомасштабных систем биометрической идентификации личности, сводящиеся к привлечению дополнительной информации и позволяющие сузить целевое множество альтернативных вариантов. При этом сравнительно небольшую по объему часть работы по биометрической идентификации может взять на себя эксперт-биоме-трист. Но на практике идентификация личности в муль-тиклассовой постановке при значительном числе классов сводится к дополнительной логической обработке данных, относящихся к некоторому множеству классов, различить которые автоматически биометрическими методами не представляется возможным. Заметим, что
до сих пор отсутствует научно обоснованная методика, согласно которой упомянутое множество формируется в принципе. Аналогичная ситуация возникает, например, в задаче компенсации канальной шумовой динамики в оптоволоконных системах мониторинга Distributed Acoustic Sensor Monitoring Systems (DAS) [1-5], которая будет подробно рассмотрена в разделе «Пример использования CLC в системах обработки данных оптоволоконной системы мониторинга протяженных объектов». Настоящая работа посвящена поиску решений на перечисленные проблемы.
В работе предложен принципиально новый тип классификаторов, предназначенных для отображения пространства первичных признаков объектов классификации в конечную систему подмножеств множества индексов возможных классов. В этом случае результатом классификации является не единичный индекс класса, а некоторое непустое множество индексов с ограниченной мощностью, которое с заданным начальным коэффициентом доверия содержат искомый класс. Назовем этот тип классификаторов — доверительными. Впервые подобный подход к исследованию свойств липшициевых классификаторов был описан в работе [6]. Липшицевы классификаторы [7] образуют достаточно общий класс алгоритмов, который, в том числе, включает в себя большинство известных топологий нейронных сетей [8, 9], классические Support Vector Machines (SVM) [10], Relevance Vector Machines и Linear Programming Machines. Как показано в [6], свойства липшицевых классификаторов позволяют гарантированно оценивать точность их работы, что является решающим фактором для их использования в качестве фундамента при построении класса доверительных классификаторов.
Цель настоящей работы — выполнить описание нового типа классификаторов и понятия об ассамблее доверительных липшициевых классификаторов (Confidence Lipschitz Classifier, CLC), а также обсудить практический пример их использования.
Краткий экскурс в теорию липшицевых классификаторов
Липшицевы классификаторы представляют собой емкий класс алгоритмов, широко используемых в целом ряде практических приложений, в том числе в биометрии, системах обработки шумовых сигналов, автоматическом анализе текстов, в различных эконометри-ческих приложениях. Рассмотрим основы концепции построения липшицевых классификаторов детально, а также основы теоретического фундамента, на который опирается эта перспективная концепция. В работе [10]
описаны основы концепции разделения классов посредством гиперплоскости с широким зазором. В [10] было впервые показано, что использование принципа максимизации зазора (маржи) между элементами различных классов обучающего множества и гиперплоскостью, их разделяющую, позволяет минимизировать верхнюю границу величины эмпирического риска и, тем самым, увеличить обобщающую способность классификатора с зазором «Margin Classifier» или «Large Margin Classifier» [11]). В настоящей работе будем использовать термин «маржинальный классификатор».
Заметим, что конструирование маржинальных классификаторов состоит в достаточно близкой ассоциации с проблемой изоморфного изометрического погружения метрических пространств в банахово или гильбертово пространства [12]. В этом случае компактное пространство первичных признаков (Z, d), где d() — метрика этого пространства; Z — множество значений первичных признаков, изометрически погружено в целевое банахово пространство (B, || ||) посредством отображения (feature mapping) ф: Z ^ B. Маржинальный классификатор строится в подпространстве пространства (B, ||-||), в котором выпуклые множества разделяются гиперплоскостью согласно теореме разделения Хана-Банаха. В частности, SVM-алгоритм классификации соответствует случаю, когда метрическое пространство погружается в гильбертово пространство. Итак, маржинальный классификатор представляет собой такое классификационное правило, при котором элементы обучающего множества разносятся «далеко» от разделяющей классы гиперплоскости H в пространстве B (в результате обучения достигается максимальное значение величины зазора (маржи) между классами). Пусть {(zi, y^i = 1, ..., n} с Z х{±1} — обучающее множество.
Представим выпуклую оболочку множества F в виде:
C(F) = (icz la = 1, v a > о, z e f, \/| <
lis/ iel iel )
Пусть F+, F- — обучающие множества для двух классов «+» и «-», при условии C(F+) П C(F-) = 0; а — коэффициенты выпуклой оболочки; zi — элементы множества F; / — множество индексов.
В работе [13] показано, что конструирование маржинального классификатора эквивалентно определению расстояния (отступа или маржи) d(C(F+), C(F-)) между множествами C(F+) и C(F-). В этом случае d(C(F+), C(F-)) = /nf \p+ - p-||. В [13] доказано,
p+eC(F+),p-eC(F-) что d(C(F+), C(F-)) = sup /nf (T, p+ -p->\\T|\-1,
TeB'p+eC(F+),p-eC(F-) а конструирование маржинального классификатора, в итоге эквивалентно решению следующей оптимизационной задачи:
/nf \\T|| при условии V (yi((T, z> + b) > 1), (1)
TeB',b
i=l
где Т — элементы пространства В'; В' — сопряженное к В пространство; Ь — элемент одномерного вещественного пространства. Маржинальный классификатор,
служащий решением задачи (1), представим в форме функции следующего вида: f(z) = (T, z> + b.
В этом случае величина маржи равна ||T \\-1. Обозначим: AE(Z) — пространство Аренса-Эльса [14]; AE(Z~)' — пространство, сопряженное к AE(Z) (пространство всех непрерывных линейных форм на AE(Z)); Lip(Z) — множество липшицевых функций:
Lip(Z) := fVf 3 Le]0, ®[: Vx, y e Z: f(x) -
-fy)| < Ld(x, y)}. (2)
Определим как Lf) минимальную константу L, для которой выполняется неравенство |fx) - fy)| < Ld(x, y) при всех x, y e Z. В [7] предложено изометрически погружать Z в соответствующее банахово пространство
AE(Z):
Ф: Z ^ AE(Z), Lip(Z) ^ AE(Z)',
где Ф — отображение, которое представляет собой изометрическое погружение пространства Z в пространство AE(Z); ¥ — отображение между пространствами Lip(Z) и AE(Z)' при условии, что Lip(Z) из (2) является изометрически изоморфным пространству AE(Z)'. Конструировать маржинальный классификатор предложено посредством решения следующей оптимизационной задачи:
n
/nf L(f) при условии V (yj(xi) > 1). (3) feLip(Z) i=1
Решением задачи (3) является, так называемый, жесткий маржинальный липшициев классификатор (Hard Margin Lipschitz Classifier) [7]. В (3) получена величина маржи 1/Lf). С другой стороны, мягкий маржинальный липшициев классификатор (Soft Margin Lipschitz Classifier) [7] представляет наибольший практический интерес и является решением следующей оптимизационной задачи:
/nf XL(f) + n-1^l(ylf(zi)),
feLip(Z) i
где l(ylf(z)) = max{0,1 - ylf(zi)},
где X — регуляризирующая константа; I — функция невязки.
Фактически, широко известный SVM-классифи-катор является мягким маржинальным липшицевым классификатором. Кроме рассмотренного изометрического погружения (Z, d) в AE(Z), существуют другие изометрические погружения, также пригодные к использованию в качестве платформы для построения маржинального классификатора. Например, в работе [15] изучено погружение метрического пространства Z в пространство непрерывных функций, известное как погружение Куратовского. Каким-либо образом построенный липшицев классификатор по определению обладает решающей (дискриминирующей) функцией с малой константой Липшица, что полностью согласуется с принципом регуляризации, который предполагает избегать использования в классификаторах решающих функций с высокой вариацией. Интуитивно хорошо
воспринимается и факт того, что величина маржи, достигнутая при разделении классов липшицевым классификатором, обратно пропорциональна константе Липшица решающей функции этого классификатора.
Точечная классификация посредством липшицевых классификаторов
Пусть, аналогично с разделом «Краткий экскурс в теорию липшицевых классификаторов», (Z, d) представляет собой компактное метрическое пространство первичных признаков. Обозначим: кардинальное число некоторого множества X символом |X|; Diam(Z) — диаметр множества Z: Diam(Z) = sup ||zх - z2||, где ||-|| —
Zl, Z26Z
норма пространства признаков (Z, d). Каждый объект, подлежащий классификации, имеет индекс 9 и описан наблюдаемым набором первичных признаков z(9) 6 Z.
Множество возможных классов конечно, а их индексы совместно образуют множество 0 = {9^} £ R1, |0| < При этом 92 ф 91 6 0: d(z(92), z(91)) > 0. Примем, что d(z(92), z(91)) эквивалентно d(92, 91). Обучающая выборка представляет собой совокупность конечных множеств ^(0) = U ^(е), где
960
V(9 6 0, Q(9) = Щ0)): Q(9) = = {(z/9), 9)|z/e) 6 Z; j 6 {1, ...|Zj(9)|}; |zy(9)| < да}.
На основании изучения свойств наблюденного образца z(9#) 6 Z, автоматический классификатор должен выбрать из множества 0 индекс класса, которому, с точки зрения классификатора, принадлежит представленный для классификации образец z(9*). Здесь 9* 6 0 — ненаблюдаемый индекс целевого класса, от значения которого наблюдение z(9*) зависит имплицитно.
Отметим, что в настоящей работе рассмотрены только классификаторы, работающие со стационарными (независящими от времени) объектами классификации. Любой классификатор оценивает степень соответствия опытного образца z(9*) произвольному классу с индексом 9 6 0 посредством исследования величины специальной случайной функции 7(9|z(9*)), i/(9|z(9*)) 6 R1. Эта функция называется решающей или дискриминирующей функцией. По значению функции /(9|z(9*)) можно сделать вывод о том, в какой степени образец z(9*) соответствует гипотетическому классу с индексом 9 6 0. Обозначим индекс класса, которому реально принадлежит полученный образец z(9*), x(z(9*)). Очевидно, что 9* = x(z(9*)).
Классификатор f Z ^ 0 представляет собой функцию, которая разделяет пространство (Z, d) на m = |0| классов. В свою очередь, f(9|z(9*)) — стохастическая функция, эксплицитно зависящую от индекса проверяемой гипотезы 9 6 0 и имплицитно от индекса целевого класса 9* 6 0.
Определение 1. Классификаторf(9|z(9*)) называется точечным липшицевым классификатором (PLC), если одновременно выполняются следующие условия:
— классификатор является мягким маржинальным липшицевым классификатором;
— |0| >> 2, |0| < да;
— классификационное решение представляет собой множество 9 = {9|Arg Maxf^zW))}, |9| = 1. 960
Очевидно, что дискриминирующая функция /(9|) PLC липшицируема на 0, а выходное множество индексов классов 9 состоит из единственного элемента. Именно поэтому PLC и называются точечными.
Понятие доверительного липшицевого классификатора
Приведем определение и рассмотрим некоторые свойства нового типа классификаторов — CLC. CLC, в отличие от точечных классификаторов, обладают гарантированными точностными показателями и удобны в задачах с большим числом классов |0| > 1. Особенно CLC полезны тогда, когда часть классов из множества 0 принципиально плохоразличима в пространстве первичных признаков (Z, d). Часто, плохоразличимость этих групп классов представляет собой внутренне присущее свойство изучаемой объектовой совокупности. И поэтому никакие дополнительные манипуляции с пространствами первичных признаков и/или перебор различных типов точечных классификаторов неспособны существенно повысить точность решения классификационной задачи. Для решения классификационных задач в этом случае разумно использовать классификатор CLC.
Определение 2. Кортеж ¥(9f(-), z(9*), c(Pc)) = = (/(9|z(9*)), c(Pc)) называется CLC, если одновременно выполняются следующие условия:
— классификатор (/(9|z(9*)), 9 6 0, z(9*) 6 Z является мягким маржинальным липшицевым классификатором, отображающим пространство первичных признаков (Z, d) на множество индексов классов 0;
— |0| > 2, |0| < да;
— скалярный параметр Pc, называемый коэффициентом доверия, таков, что 0 < Pc < 1;
— скалярный параметр c(Pc), называемый порогом доверия и зависящий от величины коэффициента доверия, таков, что 0 < c(Pc) < да;
— результатом использования ¥(9|/(-), z(9*), c(Pc)) для классификации образца z(9*) является непустое замкнутое множество Е(9|/(-), z(9*), c(Pc)) £ 0 такое, что
— »(ё^*)/;-), z(9*), c(Pc)) = {9 6 0||Де(z(е*))|z(е*)) --f^z^*)) < c(Pc)}, где 9(z(9*)) = ArgMax(/(9|z(9*)));
960
— P(9* 6 S(9[/( ), z(9*), c(Pc)) > Pc.
В отличие от точечного, CLC гарантированно проецирует пространство первичных признаков на непустое множество индексов объектов, которое с заданным начальным коэффициентом доверия содержит индекс целевого класса. Точечный классификатор, наоборот, проецирует пространство первичных признаков в единственный индекс класса, причем точностные характеристики этого преобразования никак не гарантированы. CLC ¥(9/(-), z(9*), c(Pc)) называется построенным на базе PLC /(•).
Рассмотрим PLC стационарных объектов f^z^). Решающая функция PLC допускает следующее представление в виде:
y(0|z(e*)) = Ee*A0|z(e*)) + n(0|z(e*)),
где Ee*/(0|z(e*)) — условное математическое ожидание случайной функции /(0|z(0*)) с фиксированными параметрами e*, e 6 0; n(e|z(e*)) — случайная функция, зависящая от параметров e*, e 6 0.
В работе [1] исследованы свойства CLC. В частности, доказана следующая теорема.
Теорема 1 [5]. Пусть выполнены следующие условия:
1) vee* 6 0: Ee*(n(e|z(e*))) = 0;
2) ve* 6 0: (Max(E0*/(0|z(0*))) = E0*/(0*|z(0*)),
e6®
|(e# 6 0|EO*/(0#|z(O*)) = Ee^Xe*|z(e*))}| = 1};
3) vebe2,e* 6 0 з l 6]0, |^e1|z(0*)) -/(02|z(0*))|| <
< Ld(01, 02) п.н.;
4) c(Pc) = LDiam(Z)(1 - Pc)-0,5 и Pc 6]0, 1[.
Тогда имеет место утверждение:
V0* 6 0: Pe*(0* 6 S(0(z(0*))|/(^), z(0*), c(Pc))) > Pc.
Условие 2 Теоремы 1 требует, чтобы математическое ожидание от дискриминирующей функции достигало максимума на индексе целевого объекта. Это необходимое условие для успешной классификации с помощью выбранной дискриминирующей функции /(•). На стадии обучения классификатора его параметры выберем таким образом, чтобы условие 2 Теоремы 1 достигалось хотя бы на тренировочном наборе данных. Если достичь этого условия не удается, тогда определим положительную константу fl*(0) 6 R1, определяющую минимальную верхнюю грань для величины (Max(Ee*/(0|z(0*))) - Ee*/(0*|z(0*))), 0* 6 0.
06®
Тогда:
fl*(0) = In/fl 6 R1|V0* 6 0:
((Max(Ee^X0|z(0*))) - Ц^*^)) < fl)}.
060
Величину fl*(0) оценим численными методами на ^(0). Нетрудно показать, что утверждения Теоремы 1 выполнены при условии c(Pc) = fl*(0) + + LDiam(Z)(1 - Pc)-0,5.
Таким образом, результатом классификации образца z(0*) посредством CLC является ограниченное множество S(0l/(), z(0*), c(Pc)), которое с заданным коэффициентом доверия Pc содержит индекс целевого класса e*.
Определение 3. Процедуру применения CLC ¥(0|Д-), z(0*), c(Pc)), построенного на базе PLC/(•) для классификации образца z(0*), назовем ^-проектором, а множество S(0(z(0*))l/(^), z(0*), c(Pc)), являющееся результатом применения ^-проектора к образцу z(0*) — множеством Pc-неразличимости целевого класса 0*.
Практически, класс Pc-неразличимости S(0(z(0*))l/(^), z(0*), c(Pc)) представляет собой множество индексов классов, которые фактически невозможно различить в рамках используемого алгоритма классификации. Важно то, что сама по себе неразличимость является не только, и не сколько, следствием используемого метода точечной классификации, но в значитель-
ной степени имплицируется различающими характеристиками пространства первичных признаков. Иначе говоря, чем хуже различимы классы в пространстве первичных признаков, тем больше мощность класса Рс-неразличимости. Напомним, что плохая различимость классов в пространстве первичных признаков часто является следствием естественно высокой идентичности классов, подлежащих классификации. Например, достаточно трудно различить однояйцовых, однополых близнецов по оцифрованному фотографическому изображению их лиц, какие бы первичные признаки, автоматически выделяемые из оцифрованных изображений, не использовались бы для этой цели.
Качество классификации, реализованной в ^-проекторе, оценим путем использования усредненной по всей совокупности классов величины шен-ноновской энтропии, естественно сопровождающей принятие решения о значении истинного индекса целевого класса. В этом случае необходимо сделать выбор из множества альтернатив, составляющих класс Рс-неразличимости. Другими словами, чем больше мощность класса Рс-неразличимости, тем выше энтропия этого класса. Полагая равновероятными гипотезы из любого класса Рс-неразличимости Е(0^(0*))!Д-), z(0*), с(Рс)), 0* 6 0, получаем простой вид для величины реализовавшейся в ^-проекторе энтропии:
й(9*) = еОС»^0^)^), с(Рс))|)). (4)
В выражении (4) усреднение выполнено по всем возможным реализациям z(0*) при фиксированном значении целевого параметра 0* 6 0. В силу мультиклас-совости постановки задачи, желательно иметь ориентиры для достигнутого качества классификации по всему множеству возможных значений целевого параметра. Обозначим символом Z(0) = ^(0^|0* 6 0} — множество всех возможных реализаций элементов множества первичных признаков из пространства (Т, й). Если ^-проектор применен ко всему множеству реализаций из Х(0), то в результате будет получена совокупность н(0) = {»(0^(0*))!до, ^0*), с(Рс))|0* 6 0, ^0*) 6 г<0)} множеств Рс-неразличимости. Реализовавшаяся совокупность Н(0), совместно характеризует качество использованного ^-проектора. Однако, с практической точки зрения, существенно важнее знание верхней границы для достигнутой величины усредненной шен-ноновской энтропии, соответствующей некому обобщенному классу из 0. Легко видеть, что эта граница имеет следующий простой вид: Н(0) = |0|-1 X Л(0*),
0*60
причем, чем меньше величина Н(0), тем более высокое качество классификации достигнуто ^-проектором по всему множеству классов 0. Получим, что величина Н(0) представляет собой верхнюю границу для величины усредненной шенноновской энтропии классификационного решения, полученного в проекторе ¥(0|Д-), z(0*), с(Рс)). В [6] приведены результаты практического использования СЬС для решения задачи идентификации диктора по цифровой записи его голоса. Для уменьшения громоздкости записи ^-проектор обозначим как ¥(0|Х Рс).
CLC по ассамблее PLC
Ассамблеи классификаторов широко используются для стабилизации (баггин-схема, [16]) и повышения эффективности (бустинг-схема, [17]) классификационных процедур. При этом формирование интегрального классификационного решения строится по различным схемам комбинирования результатов классификации, полученным отдельными классификаторами, входящими в ассамблею. Рассмотрим построение CLC по ассамблее PLC.
Пусть Z = {(Zk, dk)k\k 6 {1, ..., m}} представляет собой множество компактных метрических пространств первичных признаков, где dk — метрика k-го пространства из Z; Zk — множество значений первичных признаков k-го пространства Zh
Обозначим символом F(Z|0*) = {/k(0|z(ke*))|k = 1, m} ассамблею статистически независимых PLC мощностью m, сформированную при значении искомого класса 0* 6 0. Каждая дискриминирующая функция fk(0|z(0*)) соответствует определенному пространству (Z, d) 6 Z, и допустимо следующее представление:
/k(0|zf)) = Ee*/k(0|zf)) + nk(0|zf>),
где k 6 {1, ..., m}; zf) 6 Zk; E0^/k(0|zf)) — условное математическое ожидание случайной функции /k(0|z(ke*)) с фиксированными параметрами 0*, 0 6 0; nk(0|z)0*^) — случайная функция, зависящая от параметров 0*, 0 6 0.
Символом/kN\0\zf')) обозначим результат нормализации дискриминирующей функции /¿(0^®*^) при условии/k(N)(0|zf)) 6 [0, 1].
CLC по ассамблее F(Z|0*) представляет собой пару
¥(0FO, F(Z|0*), c(Pc)) = (F(0|F(Z|0*)), c(Pc)),
где F(0|F(Z|0*)) — интегральная дискриминирующая функция, построенная для ассамблеи F(Z|0*).
Найдем функцию F(0|F(Z|0*)), соответствующую ассамблее PLC F(Z|0*), в виде выпуклой оболочки F(0|F(Z|0*)) = Iak/k(N)(0|zf)), где ^ = 1, Vc^ > 0. k k k
Набор коэффициентов {ak\k 6 {1, m}} сформируем на стадии оптимизации интегральной дискриминирующей функции в соответствие с выбранным критерием оптимизации. В качестве критерия оптимизации выберем математическое ожидание от функции потерь интегрального классификатора, аргументом которой является сумма классификационных ошибок первого и второго рода. Примем, что каким-либо образом набор коэффициентов {ak} — фиксирован.
Рассмотрим множество:
S(0(Z|0*\F(O, Z, c(Pc)) = = {0 6 0||F(0(Z|0*)|F(Z|0*)) - F(0|F(Z|0*))| < c(Pc)},
где 0(Z|0*) = ArgMax(F(0|Z|0*)).
060
Теорема 2. Пусть одновременно выполнены следующие условия:
1) Случайные величины (nk(e|z(k'*^)|k E {1, ..., m}] вза-
имно независимы;
2) Vk; e, e* E ®: Ee*(nk(e|zf))) = О;
3) V 3 ak, bk E R1: (Ш^Р) E [ak, b^ £ R1, \ak - bk\ < ®);
k
4) /k(N)(e|zf)) = (/k(e|zf)) - bk)|ak - bk \-1;
5) Vk; e* E ®: (Max^/k^zf))) = Eb*/^*^,
eE®
\(e# E ®|Eв*/k(e|zf)) = Eb*/^*^)]! = 1]; 6) Vk; e1,e2,e* E ® 3 Lk E]0, «,[: /(e^zf)) -/^zf^ < < Lkdk (B1, e2) п. н.;
7) c(Pc) = (xak2(LkN)Diam(Zk))2)0'5(1 - Pc)
CJ 0'5, где
Рс е]0, 1[ и = Ьк\ак- Ьк<гК
Тогда истинно следующее утверждение:
уе* е ©: ?е*(0* е »(0(г|0*)\^о, г, с(Рс))) > Рс.
Доказательство. В тексте доказательства использованы обозначения — запись «X ^ Y» обозначает то, что «X имплицирует Y»; «ю(1) с ю(2)» — «событие ю(1) влечет событие ю(2)»:
— 0 = 0(г|0*);
— пГ(0^Г) = Пк(0^Г)|аг -
— Д«0, 0) = (пПе^Р) - пГ(0|^Г)));
— 5 = с(Рс) - ХакДп(г'^)(0, 0);
к
— Ф(0, 0|0*) = Ха^ак^^Р)) - Eе*(/f0(е|zP))).
к
Очевидно следующее представление:
Ха/кПё^)) - Ха/к^^Р) =
к к
= Ха^ОкПе^Г)) - Eе*(/k(N)(0|z(ke*)))) +
+ Ха,((пГ(Не*)) - пО^Р))) =
к
= Ф(0, 0|0*) + ХагДп(к^(0, 0).
i
Вследствие условия 5 Теоремы 2 запишем:
0 £ 0: Ф(0, 0|0*) =
= Xa^Eef^lzf))) - Ee*(f(N)(0|z(e*)))) < 0.
к
Величина |Ф(0, 0|0*)| не может быть равна нулю, когда Ха-Дп^ё, 0) ф 0. В случае, когда |Ф(0, 0|0*)| = 0,
i
основываясь на условии 5 Теоремы 2, имеем: |Ф(0, 0|0*)| = 0 и 0 = 0*, так как 0 = ArgMax(F(0|(Z, 0*)).
0£0
Таким образом, получим следующую импликацию:
(Ф(в, e|e*) = о) ^ (e = e*).
Допустимо следующее представление:
S(B\fO, z, c(pc)) = = (e e ®||Ф(В, e|e*) + xakAn(kN)(e, e)| < c(pc)].
(5)
к
к
Рассмотрим события:
®о: 0)| < cP)},
к
Ю1: {0 < |Ф(0, 0|0*)| < c(Pc)}, œ2: {Ф(0, 0|0*) = 0}, ш3: {0* £ S(0|Z, c(Pc))}.
Учитывая (5), на множестве S(0|Z, c(Pc)) введем условие:
œ0 с ш1 з œ2 с œ3.
(6)
Далее, с учетом взаимной независимости величин (П^^Г^к 6 {1, ..., т}}, имеем:
Ев*ШктФ^р)) - Ха/Г(0ИГ))2 =
к к
= Ее*(Ф(0, 0|0*))2 + Ее*(ХакДп(к,^)(0, 0))2.
к
Для любого к 6 {1, ..., т} допустимо аналогичное представление:
Е/(0^Р) - /Г(^Р))2 = (е/А^) -
- Е/^^Р)))2 + Е0*(Дп(к'^)(0, 0))2.
Заметим, что:
Ук; 01,02,0* 6 0: /Г^К9*)) -/Г(0^Г)| =
\ak-bk\
Lk
< :-^dk(01,02) = (7)
\ак-Ък\
= ^¡крйк(01,02).
С учетом, что (Ее/^НГ)) - Ее*/Л(0^Р)))2 > 0 и (7), найдем:
Ук: Е0*(Дп(к,^)(0, 0))2 < е/^^Г) -/РЩ0*)))2 <
ад
< | /к(Л°(0|*Г) -/Пе^ГЬУрые, 0,0*)йх <
-ад
< (¿кУ))2й2(0, 0)р(х|0, 0,0*)йх <
-ад
< (¿к^ТсРф, 0) ад р(х|0, 0, 0*)йх < (1{Р)2(В1ат(Тк))'2,
-ад
где р(х|0, 0, 0*) — плотность распределения случайной величины (/кПё^Г) -/РШР)). В результате получим:
УУ0, 0 6 0: Ее*(Дп(к^(0, 0))2 < (1{к)(В1ат(1к))2.
к
Отсюда, с учетом взаимной независимости случайных величин (п(Л^(0^р)|к 6 {1, ..., т}}:
Ее*(!акДп(к'^)(0, 0))2 = Ха2Ее*(Дп(к>^(0, 0))2 <
к к
< Ха1(1Т]01ат(Тк))2. (8)
к
Учитывая второе условие доказываемой теоремы, найдем:
Ее*(ХакДп( к^(0, 0)) = 0.
к
На основании неравенства Чебышева и выражения (8), для любого С > 0 имеет место следующее неравенство:
У(0, 0, 0* 6 0, С > 0): Ре*(|ХакДп(к,^)(0, 0)| < С) >
к
Ее.(Ха*Дт1(*9))2 ^а2^1ат(гк))2
> 1 ----^-> 1 - --^-.
О С1
Далее,
У(0, 0, 0* 6 0): Ре*(|ХакДп(к'^(0, 0)| < с(Рс)) >
к
Ха№Ыат{2к)?
> 1 - --;-.
с(Ре)2
Учитывая условие 7 Теоремы 2 получим:
Ха№Ыат(2к))2
1 - ^
-;-= Pc•
ОРс? c
В этом случае
V(0, 0, 0* £ 0): Pe*(Ea/^n(k'W)(0, 0)|, c(Pc)) > Pc.
к
С учетом (6)
Р0*(Шз) = P0*(0* £ S (0^(0, Z, c(Pc))) > Pc.
Теорема доказана ■
Условия Теоремы 2 во многом аналогичны условиям Теоремы 1. В этом случае CLC ¥(0|F(-), F(Z|0*), c(Pc)) реализована на базе PLC F(0|F(Z|0*)).
Можно показать, что при увеличении величины m (мощности ассамблеи статистически независимых классификаторов F(Z|0*)), при фиксированной величине параметра Pc, величина порога c(Pc) уменьшается, что, в свою очередь, служит причиной уменьшения математического ожидания мощности соответствующего доверительного множества S(). Следовательно, уменьшается и величина H(0), представляющая собой верхнюю границу для величины усредненной шен-ноновской энтропии классификационного решения, полученного в ^-проекторе. Другими словами, при увеличении мощности ансамбля независимых классификаторов будет, в среднем, улучшаться и точность доверительного оценивания истинного значения класса.
Пример использования CLC в системах обработки данных оптоволоконной системы мониторинга протяженных объектов
В качестве примера практического использования CLC рассмотрим задачу выбора параметров компонента идентификации целевых событий (КИЦС) системы обработки данных оптоволоконной системы мониторинга протяженных объектов (DAS-система монито-
ринга) [1-5] таким образом, чтобы стабилизировать процесс идентификации целевых событий в условиях нестабильной шумовой обстановки. DAS-системы мониторинга предназначены для контроля инфраструктуры значительной протяженности, в том числе трубопроводов, железнодорожного полотна, периметров режимных объектов, подводных коммуникаций и др. Одной из основных задач DAS-систем мониторинга является обнаружение и классификация сейсмоакустиче-ских (виброакустических) событий, которые были реализованы в области чувствительности оптоволоконного сенсора системы. Данные от оптоволоконного сенсора (линии) в систему DAS-мониторинга поступают от пространственно-разнесенных каналов CH = ширина которых имеет величину 5-10 м. Как правило, величина \Cffl (число каналов) в системах данного класса имеет третий порядок. Причем различные каналы расположены в различных областях контролируемого пространства и могут быть расположены на расстояния в десятки километров друг от друга, находясь в различных шумовых сейсмоакустических (виброакустических) контекстах. Иначе говоря, шумовая обстановка, которая типична для двух любых, пространственно-разнесенных каналов, различна. В некоторых случаях, эта разница — кардинальна, в других — невелика, но она всегда объективно существует. Таким образом, хотя шумовой контекст в области пространственного расположения различных каналов различен, стохастическая динамика этого шума подчиняется определенной системе. Эта система определяется технологическими режимами эксплуатации объекта, временем суток, временем года, наличием постоянных источников сейсмоакустической эмиссии, расположенных в определенных областях расположения оптоволоконного сенсора системы мониторинга. В общем случае система вероятностного распределения шумов вдоль оптоволоконного сенсора вполне может быть описана с точностью до совокупности групп пространственно-смежных каналов (ГПСК) DAS-системы. Важно то, что стохастическая динамика шумовых сигналов в каналах конкретной ГПСК стационарна (стабильна) в течение определенных временных интервалов. Множество ГПСК всего оптоволоконного сенсора, элементы которого соответствуют определенному временному интервалу, определяет конфигурацию пространственного шума вдоль сенсора. Эта конфигурация может считаться стабильной на протяжении определенных интервалов времени в смысле сохранения стационарности вероятностных распределений шумового процесса в каналах ГПСК в течение этих интервалов. Так как общее число каналов системы имеет третий порядок, а длина сенсора достигает пятидесяти километров, то имеет место случай значительного числа ГПСК. В итоге получается значительное число различных конфигураций пространственного шума вдоль сенсора. С целью повышения эффективности функционирования компоненты идентификации целевых сигналов на фоне шумов данная компонента может быть адаптирована к каждой из возможных конфигураций пространственного шума, но это практически нереально в силу их значительного числа. Таким образом логично определить на множестве шумовых
конфигураций систему непересекающихся подмножеств, состоящих из конфигураций, близких по определенному критерию, и адаптировать компонент идентификации к каждому из этих подмножеств. Число таких подмножеств (классов), как правило, не превышает нескольких десятков единиц. При этом возникают следующие проблемы: создание научно обоснованного критерия включения конфигурации в шумовой класс, а также идентификация наиболее близкого шумового класса по наблюдениям текущего фонового процесса. Так как КИЦС обрабатывает информацию от каждого канала chi £ CH, становится актуальной задача определения порога, отделяющего целевой сигнал (целевое сейсмоакустическое или виброакустическое событие) от фонового шума, так как некорректно установленный порог, как на этапе обучения КИЦС, так и на этапе его эксплуатации, является причиной снижения эффективности функционирования КИЦС. Один из простых, но практически эффективных подходов сводится к выполнению следующих шагов.
Шаг 1. В течение определенного интервала времени T, как правило, в течении 40-60 ч, набирается массив Y статистики по фоновым сигналам, который содержит данные по наблюденному фоновому шуму для каждого ch¡ £ CH, по нескольким частотным полосам в диапазоне [0, 300] Гц.
Шаг 2. Период T разбивается на малые, непересекающиеся временные интервалы T = {tp} равной длины Vp!|tp| = Д, в течении которых фоновые сигналы по ch¡ £ CH коррелированы. Как правило, на практике величина Д не превышает 1 мин.
Шаг 3. В каждом канале ch¿ £ CH формируется статистическая модель фонового помехового процесса mnoise(t|chi), t £ T, которая может иметь или регрессионный, или авторегрессионный тип [6].
Шаг 4. С использованием моделей, описанных в [6], для {mnoise(t|chi)} формируется множество поканальных наборов порогов Tr = {tr(tp)\tp £ T} такое, что для заданной величины PT £ [0, 1] имеет место утверждение:
V(ch, £ CH, tp £ T): Vt £ tp: P(mn0„e(t|ch,)| < tr(tp)) > P^
Шаг 5. Методами кластерного анализа набор данных Tr разбивается на N кластеров, образующих множество {Trk}. На практике величина N, как правило, не менее 100 и не более 200. Для каждого tr £ {Trk} определяются группы смежных каналов, внутри которых величины порогов tr не отличаются друг от друга на заранее заданную величину 5 > 0. Группы каналов такого типа называются однородными.
Для конкретного интервала tp £ T, число групп однородных каналов, как правило, не более пятидесяти на один километр оптоволоконного сенсора, инсталлированного в области расположения протяженного объекта. Результат разбиения линии на однородные канальные группы называется пространственной конфигурацией фона на линии (ПКФЛ) и обозначается символом conh, где h — индекс конфигурации. Полученные таким образом конфигурации образуют множество Con = {conh}. Каждая однородная группа каналов внутри conh обозначает X(i, h), где i — индекс группы.
Шаг 6. Множество Con, методами кластерного анализа, разбивается на M кластеров, каждый из которых содержит условно близкие конфигурации разбиения линии, и формируется множество классов: Соие, где 0 £ 0, 0 = {1, 2, ..., M} — множество индексов классов. Классы Сощ совместно образуют множество ConSet. Для каждого класса Сощ £ ConSet, методом усреднения, формируется типичная ПКФЛ, которую обозначим символом С0. Величина |С0| равна количеству групп однородных каналов в c0.
Шаг 7. Для Con определяется компактное метрическое пространство первичных признаков (Z, d), основанных на элементарной геометрии в пространстве R1. В результате получим множество значений первичных признаков TO(0|Con) в (Z, d), соответствующее множествам 0 и Con, Щ0) = U ^(0).
0
Шаг 8. Множество TO(0|Con) разбивается на обучающую и тестовую выборки, которые используются для обучения и тестирования CLC Y(0f Pc) соответственно. В качестве f используется обычный SVM, Pc = 0,95. Для каждого Q(0) формируется соответствующая конфигурация системы КИЦС. Конфигурация КИЦС представляет собой набор классификаторов целевых сейсмоакустических (виброакустических) событий, соответствующий ПКФЛ Q(0). Таким образом, формируется M конфигураций КИЦС, каждая из которых актуализируется в зависимости от текущей ПКФЛ. Для класса Сощ £ Con Set верно следующее правило: чем меньше величина |С01, тем удобнее и практичнее конфигурация С0, соответствующая классу Сощ.
Шаг 9. В процессе определения текущей конфигурации КИЦС, для поканального набора tr(t) определенного в течение интервала времени t, вычисляется его ^-проекция на 0 в виде множества индексов E(0(tr(t))f Pc). Таким образом, получен класс Рс-неразличимости ПКФЛ. Фактически, все предвычис-ленные ПКФЛ, включенные в S(0(tr(t))f Рс), являются равновозможными, при этом каждая ПКФЛ подразумевает соответствующую конфигурацию КИЦС.
Шаг 10. Для стабилизации функционирования КИЦС, в качестве оценки текущей ПКФЛ выбирается следующее «осторожное» решение:
0* = Arg Max (|c0|).
eeH(e(ir(t))|/; Pc))
Тогда ПКФЛ Ce*, состоящая из максимального на множестве S(0(tr(t))|/ Pc) числа однородных групп {Х(/, 0*)}, отвечает наиболее сложной конфигурации КИЦС, что выражается в том, что в данном случае для обработки данных по линии используется наибольшее число автономно настроенных классификаторов (каждый классификатор настраивается на соответствующую группу X(i, 0*)). Такая конфигурация является гарантом сохранения устойчивости КИЦС в условиях общей неопределенности относительно реальной конфигурации ПКФЛ.
На рисунке приведена диаграмма типа Waterfall, соответствующая тридцати каналам системы DAS-мониторинга, предназначенной для контроля трубопроводной конструкции в условиях динамичной шумовой обстановки. Диаграмма соответствует частотному диапазону [0, 10] Гц и построена по данным DAS-системы мониторинга, полученным в процессе полигонных испытаний в зимне-весенний период. На приведенной диаграмме отсутствуют целевые виброакустические сигналы, а вся зафиксированная в данном частотном диапазоне суточная виброакустическая активность вдоль оптоволоконного сенсора (линии) является следствием влияния фоновых шумовых процессов. Con(1), ..., Con(6) обозначают схематические (иллюстративные) изображения последовательностей ПКФЛ (вертикальные полосы), а Х(1), Х(2), Х(3) — однородные группы каналов внутри ПКФЛ Con(4) (цветные фрагменты полос).
На рисунке, в разделе цветовой шкалы, символ k обозначает третий порядок при характеристике интенсивности вибрационной динамики трубопроводной конструкции. Данная цветовая шкала имеет иллю-
Интенсивность
25 к
15 к
Время, часы, минуты
Рисунок. Суточная временная развертка интенсивности DAS-сигналов в полосе [0, 10] Гц по 30 каналам Figure. Daily time plot of DAS signal intensity in the band [0, 10] Hz for 30 channels
стративный характер, который определяется простым правилом: цвета, с большими значениями интенсивности (справа), соответствуют большим амплитудам виброакустической динамики. Легко представить, что при |СЯ| = 6000 число однородных канальных групп, соответствующих конкретной ПКФЛ, вполне может составлять несколько сотен единиц. Таким образом, задача идентификации текущей ПКФЛ с точностью до класса из множества Con становится нетривиальной. Применение к данному случаю технологии, описанной шагами 1-10, показало, что, в среднем, при |СЯ| = 2100 (длина сенсора 10 200 м, ширина канала 5 м) величина |E(0(/r(t))|/¡ Pc)| не превышает 10. Применение CLC на шаге 10, при среднем темпе изменения ПКФЛ на линии один раз в 5 мин, обеспечивает величины показателей качества классификации TPR (полнота) и PPV (точность) не хуже 0,95. Тестирование выполнено на наборе данных, собранном по результатам работы реальной DAS-системы мониторинга в течение трех суток. Список целевых виброакустических события для данного случая: механические удары по трубопроводной конструкции, пиление материала трубопроводной конструкции, имитация утечки транспортируемого агента. Данные типы целевых событий генерировались в дневное время, на фоне интенсивных фоновых шумов (отношение сигнал/шум не более 2-3 дБ). Среднее число целевых событий в течение часа: не менее 30. В условиях неиспользования CLC (в этом случае на шаге 10 применялся обычный точечный классификатор на базе SVM) величины показателей TPR и PPV не превышали 0,9. Таким образом, использование модели CLC позволило значительно повысить качество классификации целевых событий в условиях динамического шума высокой интенсивности.
Заключение
В работе рассмотрены основы нового подхода к решению задачи классификации стохастических объектов в мультиклассовой постановке для случая, когда часть классов плохоразличимы в пространстве первичных признаков. Предложенный подход позволил определить конечное множество классов, которое с заданным коэффициентом доверия содержит индекс класса, которому соответствует классифицируемый объект. Мощность этого множества, в которое гарантированно попадает искомый класс, зависит от множества факторов, в том числе от плотности распределения классов в пространстве первичных признаков, от степени различимости классов в этом пространстве, от величины заданного коэффициента доверия. Свойства предложенных алгоритмов строго доказаны, а экспериментальные исследования показали их практическую работоспособность. Величина кардинального числа |2| доверительного множества 2 в значительной мере определена величиной константы Липшица Ь: чем меньше Ь, тем меньше величина |2|. Для хорошо обученных систем величина Ь невелика, что на практике обуславливает приемлемо невысокое значение величины |2|. Например, для качественно обученных систем классификации широкополосных шумоподобных сигналов, при Рс = 0,9, величина |2|, как правило, не превышает 2-3 % от величины |0|. Описанный в работе подход перспективен для применения в многоканальных системах обработки данных мониторинга протяженных объектов, в практической биометрии, а также и иных областях в случае, когда множество альтернативных классов состоит из сотен или даже тысяч элементов при условии, что некоторые классы являются плохоразли-чимыми в силу своей природы.
Литература
1. Korotaev V.V., Denisov V.M., Timofeev A.V. Analysis of seismoacoustic activity based on using optical fiber classifier // Proc. of the Latin America Optics and Photonics Conference. OSA, 2014. P. LM4A.22. https://doi.org/10.1364/LAOP.2014.LM4A.22
2. Aktas M., Akgun T., Demircin M.U., Buyukaydin D. Deep learning based multi-threat classification for phase-OTDR fiber optic distributed acoustic sensing applications // Proceedings of SPIE. 2017. V. 10208. P. 102080G. https://doi.org/10.1117/12.2262108
3. Korotaev V.V., Denisov V.M., Rodrigues J.J.P.C., Serikova M.G., Timofeev A. Monitoring of deep-sea industrial facilities using fiber optic cable // Proceedings of SPIE. 2015. V. 9525. P. 95253Q. https:// doi.org/10.1117/12.2184741
4. Timofeev A.V., Denisov V.M. Multimodal heterogeneous monitoring of super-extended objects: modern view // Studies in Systems, Decision and Control. 2016. V. 62. P. 97-116. https://doi. org/10.1007/978-3-319-32525-5_6
5. Тимофеев А.В., Грознов Д.И. Классификация источников сей-смоакустической эмиссии в оптоволоконных системах мониторинга протяжённых объектов // Автометрия. 2020. Т. 56. № 1. С. 59-73. https://doi.org/10.15372/AUT20200107
6. Timofeev A.V. The guaranteed estimation of the Lipschitz classifier accuracy: Confidence set approach // Journal of the Korean Statistical Society. 2012. V. 41. N 1. P. 105-114. https://doi.org/10.1016/j. jkss.2011.07.005
7. Von Luxburg U., Bousquet O. Distance-based classification with Lipschitz functions // Journal of Machine Learning Research. 2009. V. 5. P. 669-695.
References
1. Korotaev V.V., Denisov V.M., Timofeev A.V. Analysis of seismoacoustic activity based on using optical fiber classifier. Proc. of the Latin America Optics and Photonics Conference, OSA, 2014, pp. LM4A.22. https://doi.org/10.1364/LAOP.2014.LM4A.22
2. Aktas M., Akgun T., Demircin M.U., Buyukaydin D. Deep learning based multi-threat classification for phase-OTDR fiber optic distributed acoustic sensing applications. Proceedings of SPIE, 2017, vol. 10208, pp. 102080G. https://doi.org/10.1117/12.2262108
3. Korotaev V.V., Denisov V.M., Rodrigues J.J.P.C., Serikova M.G., Timofeev A. Monitoring of deep-sea industrial facilities using fiber optic cable. Proceedings of SPIE, 2015, vol. 9525, pp. 95253Q. https://doi.org/10.1117/12.2184741
4. Timofeev A.V., Denisov V.M. Multimodal heterogeneous monitoring of super-extended objects: modern view. Studies in Systems, Decision and Control, 2016, vol. 62, pp. 97-116. https://doi.org/10.1007/978-3-319-32525-5_6
5. Timofeev A.V., Groznov D.I. Classification of seismoacoustic emission sources in fiber optic systems for monitoring extended objects. Optoelectronics, Instrumentation and Data Processing, 2020, vol. 56, no. 1, pp. 50-60. https://doi.org/10.3103/s8756699020010070
6. Timofeev A.V. The guaranteed estimation of the Lipschitz classifier accuracy: Confidence set approach. Journal of the Korean Statistical Society, 2012, vol. 41, no. 1, pp. 105-114. https://doi.org/10.1016/j. jkss.2011.07.005
7. Von Luxburg U., Bousquet O. Distance-based classification with Lipschitz functions. Journal of Machine Learning Research, 2009, vol. 5, pp. 669-695.
8. Fazlyab M., Robey A., Hassani H., Morari M., Pappas G.J. Efficient and accurate estimation of Lipschitz constants for deep neural networks // NIPS'19: Proc. of the 33rd International Conference on Neural Information Processing Systems. 2019. P. 11427-11438.
9. Latorre F., Rolland P., Cevher V. Lipschitz constant estimation of Neural Networks via sparse polynomial optimization // Proc. of the 8th International Conference on Learning Representations (ICLR 2020).
10. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов: Статистические проблемы обучения. М.: Наука, 1974. 415 с.
11. Advances in Large Margin Classifiers / ed. by A. Smola, P. Barlett, B. Scholkopf, D. Schuurmans. MIT Press, 2000. 412 p.
12. Hein M., Bousquet O., Schölkopf B. Maximal margin classification for metric spaces // Journal of Computer and System Sciences. 2005. V. 71. N 3. P. 333-359. https://doi.org/10.1016/jjcss.2004.10.013
13. Bennett K.P., Bredensteiner E.J. Duality and geometry in SVM classifiers // Proc. of the International Conference on Machine Learning (ICML). 2000. P. 57-64.
14. Arens R., Eells J. On embedding uniform and topological spaces // Pacific Journal of Mathematics. 1956. V. 6. N 3. P. 397-403. https:// doi.org/10.2140/pjm.1956.6.397
15. Hein M., Bousquet O. Maximal margin classification for metric space // Lecture Notes in Computer Science. 2003. V. 2777. P. 72-86. https://doi.org/10.1007/978-3-540-45167-9_7
16. Breiman L. Bagging predictors // Machine Learning. 1996. V. 24. N 2. P. 123-140. https://doi.org/10.1007/bf00058655
17. Rangel P., Lozano F., Garcia E. Boosting of support vector machines with application to editing // Proc. of the 4nd International Conference on Machine Learning and Applications (ICMLA'05). 2005. https:// doi.org/10.1109/icmla.2005.13
8. Fazlyab M., Robey A., Hassani H., Morari M., Pappas G.J. Efficient and accurate estimation of Lipschitz constants for deep neural networks. NIPS'19: Proc. of the 33rd International Conference on Neural Information Processing Systems, 2019, pp. 11427-11438.
9. Latorre F., Rolland P., Cevher V. Lipschitz constant estimation of Neural Networks via sparse polynomial optimization. Proc. of the 8th International Conference on Learning Representations (ICLR 2020).
10. Vapnik V.N., Chervonenkis A.Ia. Pattern Recognition Theory: Statistical Problems of Learning. Moscow, Nauka Publ., 1974, 415 p. (in Russian)
11. Advances in Large Margin Classifiers. Ed. by A. Smola, P. Barlett, B. Scholkopf, D. Schuurmans. MIT Press, 2000, 412 p.
12. Hein M., Bousquet O., Schölkopf B. Maximal margin classification for metric spaces. Journal of Computer and System Sciences, 2005, vol. 71, no. 3, pp. 333-359. https://doi.org/10.10167j.jcss.2004.10.013
13. Bennett K.P., Bredensteiner E.J. Duality and geometry in SVM classifiers. Proc. of the International Conference on Machine Learning (ICML), 2000, pp. 57-64.
14. Arens R., Eells J. On embedding uniform and topological spaces. Pacific Journal of Mathematics, 1956, vol. 6, no. 3, pp. 397-403. https://doi.org/10.2140/pjm.1956.6.397
15. Hein M., Bousquet O. Maximal margin classification for metric space. Lecture Notes in Computer Science, 2003, vol. 2777, pp. 72-86. https://doi.org/10.1007/978-3-540-45167-9_7
16. Breiman L. Bagging predictors. Machine Learning, 1996, vol. 24, no. 2, pp. 123-140. https://doi.org/10.1007/bf00058655
17. Rangel P., Lozano F., Garcia E. Boosting of support vector machines with application to editing. Proc. of the 4nd International Conference on Machine Learning and Applications (ICMLA'05), 2005. https:// doi.org/10.1109/icmla.2005.13
Автор
Author
Тимофеев Андрей Владимирович — доктор технических наук, научный директор, ТОО «Эквалайзум», Астана, 010000, Казахстан, sc 56689367600, https://orcid.org/0000-0001-7212-5230, timofeev. andrey@gmail.com
Andrey V. Timofeev — D.Sc., Scientific Director, LLP "EqualiZoom", Astana, 010000, Kazakhstan, sc 56689367600, https://orcid.org/0000-0001-7212-5230, timofeev.andrey@gmail.com
Статья поступила в редакцию 21.05.2023 Одобрена после рецензирования 24.06.2023 Принята к печати 17.09.2023
Received 21.05.2023
Approved after reviewing 24.06.2023
Accepted 17.09.2023
©
Работа доступна по лицензии Creative Commons «Attribution-NonCommercial»
