CC BY
10
УДК 004.021; 004.932; 519.673+519.24+621.391
МОДИФИЦИРОВАННАЯ ОЦЕНКА ПРЭТТА-ЯСКОРСКОГО В ОБОБЩЕННОМ ПОКАЗАТЕЛЕ КАЧЕСТВА АЛГОРИТМОВ КОНТУРНОГО ДЕТЕКТИРОВАНИЯ
Кочегуров Александр Иванович1,
kaicc@tpu.ru
Дубинин Дмитрий Владимирович2,
dmitrii.v.dubinin@tusur.ru
Виктор Герингер3,
geringer@dhbw-ravensburg.de
1 Национальный исследовательский Томский политехнический университет, Россия, 634050, г. Томск, пр. Ленина, 30.
2 Томский государственный университет систем управления и радиоэлектроники, Россия, 634050, г. Томск, пр. Ленина, 40.
3 Баден-Вюртембергский объединенный государственный университет, Германия, 88045, Фридрихсхафен, Фалленбруннен, 2.
Актуальность работы. Получение количественных оценок эффективности алгоритмов анализа изображений является весьма актуальной задачей, в том числе и задача оценки эффективности контурных детекторов. Выбор надежных алгоритмов выделения контуров на изображениях волновых полей имеет особое значение при построении цифровых двойников нефтяных месторождений. Так, для изучения околоскважинного и межскважинного пространства необходимо использовать алгоритмы оконтуривания, обладающие высокой помехоустойчивостью в сложных сейсмогеологических условиях. Выбор таких алгоритмов должен быть основан на комплексном анализе качества выделяемых контуров, включающем такие элементы, как смещение, разрыв и смазывание границ. В этом плане большой интерес представляет метод получения оценок эффективности контурных детекторов на основе расчета обобщённого показателя качества выделения границ, предложенный в работе I. Boaventura и A. Gonzaga в 2009 г. Обобщённый показатель качества определён авторами статьи в виде нормы вектора в евклидовом пространстве. Одну из координат вектора составляет обратная величина метрики Прэтта, которая учитывает интегральную величину смещения элементов обнаруженного контура. Остальные координаты вектора формируются на основе бинарной классификации. В работах Д.В. Дубинина, А.И. Кочегурова и В. Герингера приведены исследования эффективности показателя качества I. Boaventura и A. Gonzaga путем вычислительного эксперимента. Эталонные изображения в процессе эксперимента аппроксимировались двумерным точечным потоком восстановления, что позволило реализовать принципы постановки эксперимента по Фишеру (принцип Рандомизации). Анализ полученных экспериментальных данных показал ряд недостатков обобщённого показателя качества A. Gonzaga и I. Boaventura. В частности, при малых отношениях сигнала к шуму (с/ш) были получены завышенные значения критерия Прэтта, что, в свою очередь, приводило к заниженным оценкам обобщённого показателя качества. Действительно, будучи чувствительным к локальным смещениям границы, критерий Прэтта плохо реагирует на пропуски элементов в разорванных контурах, что и приводит к неоправданно высоким значениям критерия при малых отношениях с/ш. Это утверждение было высказано А.В. Яскорским еще в 1987 г. и нашло свое доказательство в результатах вычислительного эксперимента. Таким образом, существует реальная необходимость повышения достоверности оценок качества детектирования, получаемых на основе обобщённого показателя I. Boaventura и A. Gonzaga. С этой целью предлагается в обобщенный показатель качества вместо критерия Прэтта ввести его модифицированный аналог (Modification Pratt's Figure of Merit), предложенный и детально рассмотренный нами в более ранних работах. Вопросам исследования обобщённого показателя I. Boaventura и A. Gonzaga с модифицированным критерием Прэтта посвящена настоящая работа.
Методы и средства исследования: системный анализ, стохастическое имитационное моделирование, цифровая обработка изображений, методы визуализации данных. Также применялись методы анализа, основанные на постепенной формализации моделей путем активизации интуиции специалистов. Вьнислительный эксперимент проводился в среде «Delphi», а вали-дация численной модели осуществлялась с использованием среды «Mathcad». Результаты исследования дадут возможность выбора объективного критерия оценки качества построения контурных границ при создании цифрового двойника нефтяного месторождения.
Ключевые слова:
Стохастическое моделирование, обработка изображений, цифровой двойник нефтяного месторождения, оценки эффективности, критерий качества, критерий Прэтта, бинарная классификация.
Введение
К настоящему времени создано достаточно большое количество алгоритмов сегментации, скелетиза-ции и оконтуривания, которые широко используются в таких областях, как дактилоскопия, идентификация личности, распознавание текста, обработка изобра-
жений, спутниковых и рентгеновских снимков, построение геологических разрезов при поиске нефтяных и газовых месторождений и т. д., что требует построения объективных критериев для сравнения разработанных алгоритмов. Для оценки этих алгоритмов, в том числе операторов получения контурного рису н-
168
DOI 10.18799/24131830/2021/9/3366
ка [1-10], предложено немало методов, в том числе и в последнее время [11-13]. Однако, несмотря на большое количество предложенных критериев для оценки качества алгоритмов оконтуривания, трудно найти критерий, позволяющий получить объективные оценки с высокой степенью достоверности, особенно при наличии интенсивной шумовой составляющей в сигнале. В связи с этим представляет значительный интерес дальнейшее исследование существующих критериев и создание на их основе новых, более мощных критериев сравнения эффективности контурных детекторов. Одним из подходов к созданию таких критериев является модификация показателя качества алгоритмов детектирования, предложенного в работе [14]. Авторы статьи предлагают получать оценки качества детекторов на основе вычисления нормы вектора с четырьмя компонентами: IMP-оценка Прэтта [15], вероятность правильного обнаружения, вероятность пропуска границы (ошибка первого рода), вероятность ложного выделения границ (ошибка второго рода). Такой подход позволяет достаточно объективно оценивать качество работы детекторов при высоких отношениях сигнала к шуму. При малых отношениях сигнал/шум достоверность получаемых оценок существенно снижается, что, прежде всего, связано с завышением значений критерия Прэтта [16]. Эти утверждения следуют из результатов исследований показателя качества DL на программном комплексе статистического моделирования «КИМ СП» [17], где были построены оценки качества по критерию Прэтта в зависимости от мощности шума для нескольких алгоритмов оконтуривания, а также получены ошибки первого и второго рода. Данное обстоятельство привело к необходимости доработки критерия Прэтта [18] и построения модификации этого критерия качества Modification Pratt's Figure of Merit. В настоящей работе предлагается изменить комплексный статистический показатель качества DL [14] путем замены составляющей критерия качества, а в частности метрики Прэтта на её модифицированный аналог - метрику Прэтта-Яскорского [18], провести модификационное изменение обобщённого показателя качества и его нормировку в базисе выбранного евклидового пространства, на основе нового обобщённого комплексного показателя качества MDL провести оценку ряда алгоритмов поиска и локализации границ.
Математическая формализация задачи
В работе [14] авторами был предложен обобщённый комплексный показатель качества в виде нормы вектора:
DL =
P "I)' + (PFoM-1)2 + P + p
(1)
где Pco - вероятность правильного обнаружения; PFoM - оценка качества по критерию Прэтта (Pratt's Figure of Merit); Pa - вероятность пропуска границы (ошибка первого рода, False Negative); Pp - вероятность ложного выделения границ (ошибка второго рода, False Positive).
К основным недостаткам данного показателя, как уже отмечалось выше, необходимо отнести завышенные значения критерия Прэтта при низких отношениях с/ш (PSNR: Peak Signal-to-Noise Ratio), а также линейную зависимость элементов, входящих в показ а-тель.
Для устранения недостатков обобщённого комплексного показателя качества из [14] проведем следующие рассуждения. Вначале напомним, что первым, еще до появления обобщенного показателя в [14], на высокие значения критерия Прэтта обратил внимание А.В. Яскорский. Поэтому он предложил в критерий Прэтта внести дополнительную метрику так, чтобы данный критерий учитывал не только смещение контура, но и число пропущенных элементов в отдельных разрывах контура, а также и само число разрывов. Однако никаких экспериментальных исследований, предложенных Яскорским по модификации критерия Прэтта проведено не было, что не позволило оценить эффективность предлагаемого подхода. Следующим шагом видоизменения критерия Прэтта-Яскорского является его модифицированный, мультипликативный количественный критерий (MPFoM: Modification Pratt's Figure of Merit), предназначенный для оценки детекторов границ [18]. Модифицированный критерий обобщает уже три основные метрики, оценивающие следующие ошибки: a) смещения границ (LE: Localization Error); б) смазывание или утолщение границ (MRE: Multiples Responses Error); с) разрыв границ (OE: Omission Error). Его обобщённый вид представлен в следующей мультипликативной форме:
MPFoM = FoMle • FoMmre • FoMoe , (2)
где MPFoM - модифицированный критерий Прэтта-Яскорского; FoMLE - метрика, учитывающая смещение границ; FoMMRE - метрика, учитывающая смазывание или утолщение границ; FoMOE - метрика, учитывающая разрыв границ.
Подробные исследования данного критерия освещены в [18] и показали объективность получаемых оценок при низком отношении с/ш.
Поэтому при формировании нового обобщённого комплексного показателя качества, вместо критерия Прэтта, принятого в показателе DL, будем использовать модифицированный критерий Прэтта-Яскорского (2). Также обратим внимание, что в выражении (1) присутствуют элементы, линейно связанные между собой, а именно вероятность правильного обнаружения Pco и вероятность пропуска границы Pa:Pa=1-Pco. Исходя из соображений, что отдельно взятые элементы по возможности не должны иметь прямой зависимости, мы исключим из показателя качества MDL вероятность пропуска границы Pa и проведем нормировку результата.
Тогда модифицированный обобщённый комплексный показатель качества MDL принимает вид:
MDL =
(pco -1)2 + (MPFOM -1)2+P; (3)
3
где MPFoM является модификацией Pratt's Figure of Merit. Значения комплексного обобщённого показателя качества MDL находятся в интервале от 0 до 1. Оптимальное значение нормы вектора можно получить в точке с координатами T(Pco=1, MPFoM=1, P(5=0). Эти значения являются наилучшими значениями координат вектора в базисе евклидового пространства К3.
Оценка вероятности правильного обнаружения Pco вычисляется по формуле:
ного описания контурного рисунка. Вид контурной структуры, её свойства задаются в ходе подготовки эксперимента. Векторное описание самого контурного рисунка создаётся с использованием случайного точечного потока восстановления. Знание «a priori» вида контурной структуры, её морфологии, размеров и положения контурных элементов в эталонном изображении позволяет записать метрику, учитывающую смещение границ в форме:
P =
N
(4)
ii - CN
SI
1
+ a- d (i)2
(5)
где N1 - число точек контура в эталонном растровом контурном поле изображения; МТР - число точек контура, найденных контурным детектором в ходе детектирования.
Теперь для проведения вычислительного эксперимента кратко остановимся на специфике подготовки эталонных растровых изображений в среде «КИМ СП» [17], а также приведем необходимые математические выражения для вычисления метрик. Эталонные изображения строятся с помощью вектор-
где I - число элементов в идеальном контурном поле изображения; СМ - количество точек на реальном контурном изображении, которые не участвуют в вычислении метрики (смещение /-й точки выделенного контура от идеального контура по нормали превышает размеры анализируемой области (5x5), где 4тах= 2); 4(/) - смещение /-го элемента выделенного контура от идеального контура по нормали (рис. 1); а - масштабный множитель, который учитывает величину штрафа за смещение контура.
Область с идеальной границей Область с локально смещённой границей
Рис. 1. Локально смещённая граница (ошибка типа: LE - localization error) Fig. 1. Locally offset boundary (type error: LE - localization error)
Учёт ошибок, связанных с утолщением контура и его смазыванием, производится следующей метрикой:
I,
FoM,,
1
I, -CNC , 1 i=1
S i
1
+ ß- b (i)2
(6)
где CNC - количество элементов на реальном контурном изображении, которые не участвуют в вычислении метрики (так, например, точка в центре элемента 170 алфавита морфологии «А»); в - масштабный множитель, который учитывает величину штрафа за утолщение (смазывание) контурной линии (рис. 2); b(i) - число смазанных точек идеального контура в i-й области (при размерах анализируемой области 5x5, bmax=4).
Таким образом, ошибки, вызванные локальным смещением (Localization Error) и смазыванием -утолщением границ (Multiples Responses Error), учитываются метриками (5) и (6).
Учёт ошибок, связанных с пропуском элементов границ контура и длиной разрывов (последовательность точек контурного рисунка, примыкающих друг к другу, утерянных в процессе детектирования), описывается метрикой:
FoM„
1 N
=-s-n s1
1
+ %■ n (j)
(7)
где N - количество анализируемых литер размером (5x5); х - масштабный множитель для учета штрафа за число пропущенных точек в отдельно взятой области (рис. 3); и(/') - число пропущенных точек контура в у-й анализируемой области. Значения масштабных множителей - а=1/9, р=1/2 и х=1/2 модифицированного критерия качества Прэтта были выбраны исходя из проведённых исследований с учётом наибольшей чувствительности MPFoM и рекомендаций [15, 19].
1
Область с утолщённой границей размерностью 5x5 точек
Рис. 2. Смазанная или утолщённая граница (ошибка типа: MRE - multiples responses error) Fig. 2. Blurred or thickened border (type error: MRE - multiples responses error)
Область с идеальной границей Разорванная гран una Рис. 3. Разорванная граница (ошибка типа: OE - ommision error) Fig. 3. Broken boundary (type error: OE - ommision error)
Таким образом, модифицированный обобщённый комплексный показатель качества MDL, описываемый выражением (3), был далее использован в вычислительном эксперименте для оценки качества алгоритмов оконтуривания изображений.
Результаты вычислительного эксперимента
Получение результатов и накопление статистики осуществлялось на основе проведения вычислительного эксперимента в программном комплексе «КИМ СП». Эталонные контурные структуры изображения получены при использовании двумерного точечного потока восстановления. В качестве базового алфавита в ходе реализации математической модели среды была выбрана совокупность литер ¿i={0, 10, 34, 40, 42, 130, 136, 138, 160, 162, 168, 170}. Размеры отдельных литер соответствовали размерам анализи-
руемой области и были выбраны равными 5x5. В базисе Li строился простейший тип контурной структуры поля на основе элементов LA={0, 34, 136, 170} со значениями финальных вероятностей r0=0,49; r1=0,42; r2=0,09. Для построения границы контура на эталонных изображениях применялась модель идеального перепада (eng.: Step Edge). Средние значения яркости (La: Average Luminance) и контрастности (CRMS: Root Mean Square Contrast) для заданных отношений сигнала к шуму варьировались в пределах LA {0,41-0,48}, CRMS {0,32-0,42}. Значение «Delt», показывающее минимальную разницу яркости сегментов изображения равнялось 60 [18]. Эталонные растровые изображения, построенные на основе полученных контурных структур, были подвергнуты воздействию аддитивного нормального шума. Эта методика моделирования была выбрана с целью формирования эталон-
ных изображений для проведения сопоставления операторов поиска и локализации границ на основе предполагаемой модификации обобщённого комплексного показателя качества MDL. В соответствии с планом эксперимента полученные изображения обрабатывались различными контурными детекторами. В результате были получены бинарные растровые изображения контуров, а также необходимые экспериментальные данные. Все составляющие показателя качества нормировались и оценивались по принципу: чем меньше значение MDL, тем лучше оценка оператора оконтуривания.
На рис. 4 приведены обобщённые результаты работы модифицированного комплексного статистического показателя качества выделения контурного рисунка MDL для трех контурных детекторов («Canny», «Marr-Hildreth» и «ISEF») и различных отношений сигнала к шуму на примере растрового эталонного изображения, построенного на базе контурной структуры типа «A».
Из рис. 4 видно, что представленный в данной статье метод для оценки качества растрового контурного поля дает возможность получать достаточно объективную оценку эффективности контурных детекторов и производить их количественное сравнение между собой.
Рис. 4. Зависимость модифицированного обобщённого показателя качества MDL от отношения сигнал/шум для трех алгоритмов оконтуривания Fig. 4. Dependence of the modified generalized quality indicator MDL on the signal-to-noise ratio for three delineating algorithms
Как было показано выше, модифицированный комплексный показатель качества MDL (3) обобщает три составляющие, описываемые выражениями (5)-(7). Одна из составляющих - MPFoM - является модифицированным критерием качества Прэтта-Яскорского и представлена на рис. 5, а.
Carmy Edge Detector H Marr-Hildreth A Igorithm ISEF (Shen Castcm Algorithm) j
Рис. 5. Зависимости критерия Прэтта и модифицированного критерия Прэтта-Яскорского от отношения сигнал/шум для трех алгоритмов окон-туривания
Fig. 5. Dependences of the Pratt's criterion and the modified Pratt-Yaskorsky criterion on the signal-to-noise ratio for three edge detection algorithm
На рис. 5, б показана зависимость критерия качества Прэтта из выражения (1) от отношения сигнал/шум для трех алгоритмов оконтуривания. Из сравнения рис. 5, a и б следует, что при малых отношениях с/ш значения критерия Прэтта (PFoM: Pratt's Figure of Merit ) сильно завышены. Как известно [18], эта метрика учитывает только смещение границ LE, а ее расчёт производится в соответствии с формулой
(5). Оценка, учитывающая смазывание или утолщение границ (MRE: Multiples Responses Error, формула
(6)) приведена на рис. 5, в. Результаты работы метрики, учитывающей разрывы границ (OE: Ommision Error) показаны на рис. 5, г. Из рис. 5 следует, что модифицированный критерий Прэтта-Яскорского позволяет получать объективные оценки качества алгоритмов оконтуривания, вводя штраф за три вида ошибок: смещение границы, смазывание и утолщение границы, разрыв границы, вносимых детекторами контуров.
Как следует из выражения (3), обобщенный показатель качества определяется не только модифицированным критерием Прэтта-Яскорского, но также зависит от вероятностей правильного обнаружения (4) и ложного выделения границ, которые в свою очередь характеризуют эффективность бинарной классификации операторов поиска и локализации границ. Для оценки качества бинарной классификации алгоритмов детектирования, исследуемых выше, предварительно рассмотрим степень разделимости классов (DP: Discriminatory Power): контур, задний план. На рис. 6 представлена одна из матриц ошибок бинарной классификации.
Классификация (a-posteriori )
Классификация (a-priori) Класс(контур) Класс (задний план)
Класс (контур) А'тр A^FP
Класс (задний план) N FN ArTN
Количество точек Количество точек контурного рисунка Количество точек заднего плана
Рис. 6. Матрица ошибок бинарной классификации (eng.:
confusion matrix) Fig. 6. Binary classification error matrix (eng.: confusion matrix)
Исходя из матрицы ошибок, расчёт a-posteriori дисбаланса размеров классов проводился по следующий формуле:
( ntn + nFP )
где Ntn - количество правильно выделенных точек класса «задний план»; NFP - количество ложно проде-тектированных точек класса «задний план»; NTP - количество правильно выделенных точек класса «контур»; Nfn - количество ложно продетектированных (пропущенных) точек класса «контур».
Известно [20], что данные считаются сбалансированными по классам, когда отношение KD размера большего класса к меньшему лежит в пределах от 1 до 5. Значения дисбаланса размеров классов (8) в ходе проведения эксперимента находились в интервале ^={от 1,61 до 2,74}. Предельные значения дисбаланса размеров классов для контурной структуры поля на основе элементов LA={0, 34, 136, 170}, с учётом зашумления растрового изображения, не превышали Kd=3,46. Таким образом, используемая нами методика создания и дальнейший анализ данных исключают дисбаланс классов.
Теперь, учитывая, что классы сбалансированы, проведем расчет индекса Юдена для трех рассматриваемых ранее алгоритмов оконтуривания. В ROC-анализе (ROC: Receiver Operating Characteristic) значения индекса Юдена являются одним из определяющих значений близости ROC-характеристики к точке с максимальной чувствительностью и специфичностью (точка в верхнем левом углу ROC-диаграммы). Идекс Юдена описывает расстояние между ROC-характеристикой и диагональю AUC=0,5 (AUC: Area under Curve). Причём чем ближе ROC-характеристика подходит к этой точке, тем выше эффективность метода поиска и локализации границ, а значение индекса Юдена приближается к единице. На рис. 7 показаны усреднённые значения индексов Юдена (eng.: Youden's index) для трёх операторов поиска и локализации границ, рассчитанные в зависимости от отношения с/ш.
PSNR [дБ]
П.
H
Canny Edge Detector Marr-Hildreth .4 Igorit/mi J —□— 1SEF (Shen Сas/an Algorithm) j
kd =
( Ntp + Npn )'
(8)
Рис. 7. Усреднённые значения индекса Юдена для трёх
операторов поиска и локализации границ Fig. 7. Averaged Youden 's index values for three search operators and boundary localization
Известно [20], что значения индекса Юдена даже в случае дисбаланса зависят только от суммарного про-
цента ошибок в двух классах и не изменяются при различном распределении ошибок между классами. Поэтому результаты, представленные на рис. 7, дают наглядное представление о качестве выделения границ тремя алгоритмами в зависимости от отношения с/ш.
Рис. 8. а) вероятность пропуска границы; б) мощность алгоритмов поиска и локализации границ в зависимости от отношения с/ш Fig. 8. а) probability of skipping the border; б) power of the algorithms for finding and localizing the borders depending on the ratio of s/n
На рис. 8, а представлена вероятность пропуска границы (ошибка первого рода), а на рис. 8, б - мощность алгоритмов выделения контурного рисунка (1-Pp) для трех алгоритмов детектирования в зависимости от отношения с/ш. В данном случае физический смысл ошибок первого рода заключается в вероятно-
СПИСОК ЛИТЕРАТУРЫ
1. Venkatesh S., Kitchen L. Edge evaluation using necessary components // Computer Vision, Graphics, and Image Processing. - 1992. - V. 54. - № 1. - P. 23-30.
2. Salotti M., Bellet F., Garbay C. Evaluation of edge detectors: critics and proposal // Proceed. of the ECCV Workshop on Performance Characteristics of Vision Algorithms. - Cambridge, UK, 1996. - P. 81-97.
3. Papari G., Petkov N. Edge and line oriented contour detection: state of the art // Image and Vision Computing. - 2011. - V. 29. -№ 2. - P. 79-103.
4. Contour detection and hierarchical image segmentation / P. Arbelaez, M. Maire, C Fowlkes., J. Malik // IEEE transactions on pattern analysis and machine intelligence. - 2011. -V. 33. -№ 5. - P. 898-916.
сти ложного детектирования точек класса «контур», а мощность критерия характеризует изменение вероятности ошибок второго рода, чем выше значение мощности, тем меньше вероятность ошибок второго рода.
Результаты бинарной классификации на примере использования трех алгоритмов детектирования, представленные на рис. 7, 8 наряду с результатами исследования модифицированного критерия Прэтта-Яскорского (рис. 5, а-г), позволяют говорить об объективности и надежности обобщенного показателя оценки качества детектирования (3), предложенного в данной работе.
Заключение
Рассмотрен комплексный показатель качества детектирования, включающий не только метрики, позволяющие оценивать геометрические параметры контурного рисунка, но и метрики для оценки статистических параметров процесса бинарной классификации. Полученные результаты вычислительных экспериментов на программном комплексе «КИМ СП» показали, что обобщённый комплексный показатель MDL, рассмотренный в данной работе, дает объективную оценку качества алгоритмов выделения границ. В зависимости от типа морфологии, лежащей в основе построения искусственных эталонных изображений, проведенные исследования дали возможность найти наиболее предпочтительную область применения для каждого из рассмотренных алгоритмов детектирования. При этом следует отметить, что правильный выбор показателя качества для решения конкретной задачи в определённой предметной области является одним из ключевых шагов в исследовании и дальнейшей оптимизации численной модели эксперимента. Корректный выбор обобщённого показателя качества обеспечит возможность детального анализа и позволит наиболее гибко подойти к проверке разрабатываемых алгоритмов и выявлению их недостатков. Это даёт возможность увеличить эффективность стохастического моделирования с целью решения поставленной задачи.
Таким образом, предлагаемый обобщенный показатель качества позволит дать рекомендации по выбору алгоритма детектирования при решении реальных практических задач, в том числе при исследовании межскважинного и околоскважинного пространства нефтяных месторождений.
5. An efficient method to evaluate the performance of edge detection techniques by a two-dimensional Semi-Markov model / D.V. Dubinin, V.E. Geringer, A.I. Kochegurov, K. Rayf // IEEE Symposium Series on Computational Intelligence - 4 IEEE Symposium on Computational Intelligence in Control and Automation (SSCI - CICA 2014), Proceedings. - № 7013248. -P. 1-7.
6. О количественной оценке эффективности алгоритмов анализа изображений / П.П. Кольцов, А.С. Осипов, А.С. Куцаев, А.А. Кравченко, Н.В. Котович, А.В. Захаров // Компьютерная оптика. - 2015. - Т. 39. - № 4. - С. 542-556.
7. A new reference-based edge map quality measure / K. Panetta, C. Gao, S. Agaian, S. Nercessian // IEEE Transactions on Systems, Man, and Cybernetics: Systems. - 2016. - V. 46. - № 11. -P. 1505-1517.
8. Magnier B., Le A., Zogo A. A quantitative error measure for the evaluation of roof edge detectors // 2016 IEEE International Conference on Imaging Systems and Techniques (IST). - Chania, Greece: IEEE, 2016. - P. 429-434.
9. Deza M., Deza E. Encyclopedia of distances. - Berlin, Heidelberg: Springer, 2016. - 756 p.
10. Magnier B., Abdulrahman H., Montesinos P. A review of supervised edge detection evaluation methods and an objective comparison of filtering gradient computations using hysteresis thresholds // Journal of Imaging. - 2018. - V. 4. - № 6. - P. 2-63.
11. Lopez-Molina C., Baets B., Bustince H. Quantitative error measures for edge detection // Pattern Recognition. - 2013. -V. 46. - № 4. - P. 1125-1139.
12. Magnier B. Edge detection evaluation: a new normalized figure of merit // ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). - Brighton, United Kingdom: IEEE Pres, 2019. - P. 2407-2411.
13. Dubinin D.V., Kochegurov A.I., Geringer V.E. Improving the criteria for quality assessment of image processing algorithms // Journal of Physics: Conference Series. - 2021. - V. 1862. -№ 012011. - P. 1-5.
14. Boaventura I., Gonzaga A. Method to evaluate the performance of edge detector // SIBGRAPI 2009: XXIInd Brazilian Symposium on Computer Graphics and Image Processing. - Rio de Janeiro, 2009. - P. 1-3.
15. Abdou I., Pratt W. Quantitative design and evaluation of enhancement/thresholding edge detectors // Proceedings of the IEEE. - 1979. - V. 67. - № 5. - P. 753-763.
16. Shahan C. Nercessian, Sos S. Agaian, Karen A. Panetta. A new reference based measure for objective edge map evaluation // Proc. SPIE, V. 7351, Mobile Multimedia/Image Processing, Security, and Applications. - 2009. - № 73510J. - P. 1-12.
17. Оценка эффективности контурных детекторов на основе точечного потока восстановления / А.И. Кочегуров, Д.В. Дубинин, В.Е. Герингер, К. Рейф // Известия Томского политехнического университета. Инжиниринг георесурсов. - 2019. -Т. 330. - № 3. - C. 204-216.
18. Dubinin D., Kochegurov A., Geringer V. The results of a complex analysis of the modified Pratt-Yaskorskiy performance metrics based on the two-dimensional Markov-Renewal-Process // Lecture Notes in Computer Science. - 2016. - V. 9875. - P 187-196.
19. Яскорский А.В. Критерии оценки качества работы детекторов контуров // Автометрия. - 1987. - № 3. - C. 127-128.
20. Старовойтов В.В., Голуб Ю.И. Сравнительный анализ оценок качества бинарной классификации // Информатика. - 2020. -Т. 17. - № 1. - C. 87-101.
Поступила 25.08.2021 г.
Информация об авторах
Кочегуров А.И., кандидат технических наук, доцент отделения информационных технологий Инженерной школы информационных технологий и робототехники Национального исследовательского Томского политехнического университета.
Дубинин Д.В., кандидат технических наук, доцент кафедры радиоэлектроники и защиты информации Томского государственного университета систем управления и радиоэлектроники.
Герингер В., кандидат технических наук, заведующий лабораториями автомобильной электроники и ме-хатронных систем/энергетики и экологической инженерии Баден-Вюртембергского объединенного государственного университета.
UDC 004.021; 004.932; 519.673+519.24+621.391
MODIFIED EVALUATION OF PRETT-YASKORSKY IN THE GENERALIZED QUALITY INDICATOR
OF CONTOUR DETECTION ALGORITHMS
Alexander I. Kochegurov1,
kaicc@tpu.ru
Dmitriy V. Dubinin2,
dmitrii.v.dubinin@tusur.ru
Viktor Geringer3,
geringer@dhbw-ravensburg.de
1 National Research Tomsk Polytechnic University, 30, Lenin avenue, Tomsk, 634050, Russia.
32 Tomsk State University of Control Systems and Radioelectronics, 40, Lenin avenue, Tomsk, 634050, Russia.
3 Baden-Wuerttemberg Cooperative State University, 2, Fallenbrunnen, Friedrichshafen, 88045, Germany.
Relevance. Obtaining quantitative estimates of the efficiency of image analysis algorithms is a very urgent problem, including the problem of evaluating the efficiency of contour detectors. The choice of reliable algorithms for extracting contours on images of wave fields is of particular importance when constructing digital twins of oil fields. So, to study borehole and interwell space, it is necessary to use contouring algorithms that have high noise immunity in difficult seismic and geological conditions. The choice of such algorithms should be based on a comprehensive analysis of the quality of the selected contours, including such elements as displacement, break and blurring of boundaries. In this regard, the method of obtaining estimates of the efficiency of contour detectors based on the calculation of the generalized indicator of the quality of boundary detection proposed in the work of I. Boaventura and A. Gonzaga in 2009 is of great interest. The generalized quality indicator is defined by the authors of the article in the form of a vector norm in Euclidean space. One of the coordinates of the vector is the reciprocal of the Pratt metric, which takes into account the integral value of the displacement of the elements of the detected contour. The rest of the coordinates of the vector are formed on the basis of binary classification. The works of D.V. Dubinin, A.I. Kochegurov and B. Goringer introduce the studies of the efficiency of the quality indicator of I. Boaventura and A. Gonzaga by a computational experiment. In the course of the experiment, the reference images were approximated by a two-dimensional point recovery stream, which made it possible to implement the principles of setting up an experiment according to Fischer (the principle of randomization). The analysis of the obtained experimental data showed a number of shortcomings of the generalized quality indicator of A. Gonzaga and I. Boaventura. In particular, at low signal-to-noise (s/n) ratios, overestimated values of the Pratt's criterion were obtained, which in its turn led to underestimated estimates of the generalized quality indicator. Indeed, being sensitive to local displacements of the boundary, Pratt's criterion reacts poorly to omissions of elements in broken contours, which leads to unjustifiably high values of the criterion at low s/n ratios. This statement was made by A.V. Yaskorskiy in 1987 and found its proof in the results of a computational experiment. Thus, there is a real need to improve the reliability of the detection quality estimates obtained on the basis of the generalized index of I. Boaventura and A. Gonzaga. For this purpose, it is proposed to introduce into the generalized quality indicator instead of the Pratt's criterion its modified analogue (Modification Pratt's Figure of Merit), proposed and considered in detail by us in earlier works. This work is devoted to the study of the generalized indicator of I. Boaventura and A. Gonzaga with the modified Pratt criterion. Methods and means of research: system analysis, stochastic simulation modeling, digital image processing, data visualization methods, as well as the methods of analysis, based on the gradual formalization of models by activating the intuition of specialists. The computational experiment was carried out in the Delphi environment, and the numerical model was validated using the Mathcad environment. The research results will make it possible to choose an objective criterion for assessing the quality of building contour boundaries when creating a digital twin of an oil field.
Key words:
Stochastic modeling, image processing, oilfield digital twin, performance evaluations, quality criterion, Pratt's criterion, binary classification. REFERENCES
1. Venkatesh S., Kitchen L. Edge evaluation using necessary components. Computer Vision, Graphics, and Image Processing, 1992, vol. 54, no. 1, pp. 23-30.
2. Salotti M., Bellet F., Garbay C. Evaluation of edge detectors: critics and proposal. Proceed of the ECCV Workshop on Performance Characteristics of Vision Algorithms. Cambridge, UK, 1996. pp. 81-97.
3. Papari G., Petkov N. Edge and line oriented contour detection: State of the art. Image and Vision Computing, 2011, vol. 29, no. 2, pp. 79-103.
4. Arbelaez P., Maire M., Fowlkes C., Malik J. Contour detection and hierarchical image segmentation. IEEE transactions on pattern analysis and machine intelligence, 2011, vol. 33, no. 5, pp. 898-916.
Dubinin D.V., Geringer V.E., Kochegurov A.I., Rayf K. An efficient method to evaluate the performance of edge detection techniques by a two-dimensional Semi-Markov model. IEEE Symposium Series on Computational Intelligence - 4 IEEE Symposium on Computational Intelligence in Control and Automation (SSCI - CICA 2014), Proceedings, no. 7013248, pp. 1-7.
Koltsov P.P., Osipov A.S., Koutsaev A.S. Kravchenko A.A., Kotovich N.V., Zakharov A.V. On the quantitative performance evaluation of image analysis algorithms. Computer Optics, 2015, vol. 39, no. 4, pp. 542-556. In Rus.
Panetta K., Gao C., Agaian S., Nercessian S. A new reference-based edge map quality measure. IEEE Transactions on Systems, Man, and Cybernetics: Systems, 2016, vol. 46, no. 11, pp. 1505-1517.
8. Magnier B., Le A., Zogo A. A quantitative error measure for the evaluation of roof edge detectors. 2016 IEEE International Conference on Imaging Systems and Techniques (IST). Chania, Greece, IEEE, 2016. pp. 429-434.
9. Deza M., Deza E. Encyclopedia of Distances. Berlin, Heidelberg, Springer, 2016. 756 p.
10. Magnier B., Abdulrahman H., Montesinos P. A review of supervised edge detection evaluation methods and an objective comparison of filtering gradient computations using hysteresis thresholds. Journal of Imaging, 2018, vol. 4, no. 6, pp. 2-63.
11. Lopez-Molina C., Baets B., Bustince H. Quantitative error measures for edge detection. Pattern Recognition, 2013, vol. 46, no. 4, pp. 1125-1139.
12. Magnier B. Edge detection evaluation: a new normalized figure of merit. ICASSP 2019 - 2019 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP). Brighton, United Kingdom, IEEE Pres, 2019. pp. 2407-2411.
13. Dubinin D.V., Kochegurov A.I., Geringer V.E. Improving the criteria for quality assessment of image processing algorithms. Journal of Physics: Conference Series, 2021, vol. 1862, no. 012011, pp. 1-5.
14. Boaventura I., Gonzaga A. Method to evaluate the performance of edge detector. SIBGRAPI 2009: XXIInd Brazilian Symposium on Computer Graphics and Image Processing. Rio de Janeiro, 2009. pp. 1-3.
15. Abdou I., Pratt W. Quantitative design and evaluation of enhancement/thresholding edge detectors. Proceedings of the IEEE, 1979, vol. 67, no. 5, pp. 753-763.
16. Shahan C. Nercessian, Sos S. Agaian, Karen A. Panetta. A new reference based measure for objective edge map evaluation. Proc. SPIE, vol. 7351, Mobile Multimedia/Image Processing, Security, and Applications, 2009, no. 73510J, pp. 1-12.
17. Kochegurov A.I., Dubinin D.V., Geringer V.E., Reif K. Estimation of the efficiency of Contour Detectors on the Basis of a Point Recovery Flow. Bulletin of the Tomsk Polytechnic University. Geo Assets Engineering, 2019, vol. 330, no. 3, pp. 204-216. In Rus.
18. Dubinin D., Kochegurov A., Geringer V. The results of a complex analysis of the modified Pratt-Yaskorskiy performance metrics based on the two-dimensional Markov-Renewal-Process. Lecture Notes in Computer Science, 2016, vol. 9875, pp. 187-196.
19. Yaskorsky A.V. Kriterii otsenki kachestva raboty detektorov konturov [Criteria for assessing the performance of edge detectors]. Avtometriya, 1987, no. 3, pp. 127-128.
20. Starovoitov V.V., Golub Y.I. Comparative study of quality estimates of binary classification. Informatics, 2020, vol. 17, no. 1, pp. 87-101. In Rus.
Received: 25 August 2021.
Information about the authors
Alexander I. Kochegurov, Cand. Sc., associate professor, National Research Tomsk Polytechnic University. Dmitriy V. Dubinin, Cand. Sc., associate professor, Tomsk State University of Control Systems and Radioelectronics. Viktor Geringer, Dr./VAK Moskau, Head of Laboratories, Baden-Wuerttemberg Cooperative State University.
