CC BY
15
УДК 61:621.397.13/.398
А.В.ЛЯШЕНКО, Л.С. ГОДЛЕВСЬКИЙ, Д.М.БАЯЗ1ТОВ
Одеський нацюнальний медичний унiверситет
А.Б.БУЗИНОВСЬКИЙ
КУ «Одеська обласна клiнiчна лжарня»
ЗАСТОСУВАННЯ АЛГОРИТМА НА ОСНОВ1 ДЕСКРИПТОРА ТЕКСТУРИ В РОЗП1ЗНАВАНН1 В1ДЕОЛАПАРОСКОП1ЧНИХ ЗОБРАЖЕНЬ
Анализ за дескрипторами текстури лапароскопiчного зображення дозволяе визначити наявтсть патологiчних змт та прийняти ршення щодо остаточного дiагнозу. В роботi вивчали ефективтсть застосування алгоритму розп1знавання дшянок вiдеолапароскопiчних зображень оргатв черевно'1 порожнини застосуванням каскадного класифжатора, який було навчено з використанням дескрипторiв текстури типових патологiчних процеав. Результати застосування алгоритму засвiдчило, що найбшьш високим число ктинно-позитивних дiагнозiв було при дiагностицi цирозу (83,4%) та гепатиту (82,9%).
Ключовi слова: лапароскотчна хiрургiя, комп'ютерний зiр, анализ зображень, тдтримкаршень.
А.В.ЛЯШЕНКО, Л.С. ГОДЛЕВСКИЙ, Д.Н.БАЯЗИТОВ
Одесский национальный медицинский университет
А.Б.БУЗИНОВСКИЙ
КП «Одесская областная клиническая больница»
ПРИМЕНЕНИЕ АЛГОРИТМА НА ОСНОВЕ ДЕСКРИПТОРА ТЕКСТУРЫ В РАСПОЗНАВАНИИ ВИДЕОЛАПАРОСКОПИЧЕСКИХ ИЗОБРАЖЕНИЙ
Применение дескрипторов текстуры при анализе лапароскопических изображений позволяет определить наличие патологических изменений и принять решение в отношении окончательного диагноза. В работе изучали эффективность применения алгоритма распознавания участков видеолапароскопических изображений органов брюшной полости применением классификатора, который был обучен с применением дескрипторов текстуры типических патологических процессов. Результаты применения алгоритма свидетельствуют о том, что наиболее высоким число истинно-позитивных диагнозов было при диагностике цирроза (83,4%) и гепатита (82,9%).
Ключевые слова: лапароскопическая хирургия, компьютерное зрение, анализ изображений, поддержка решений.
А. V.LYASHENKO, L.S.GODLEVSKY, D.N.BAYAZITOV
Оdessa National Medical University
А. B.BUZINOVSKY
Odessa Regional Hospital
THE USAGE OF ALGORYTHM BASED ON TEXTURE DESCRIPTOR IN THE RECOGNITION
OF VIDEOLAPAROSCOPIC IMAGES
In accordance to texture descriptor exploration in the course of automatic laparoscopic images analysis it is possible to identify the presence of pathological changes and undertake the decision on the final diagnosis. In the work the effectiveness of the algorithm of the automatic diagnostics of zones of videolaparoscopic images of abdominal cavity on the basis of cascade classifier was investigated. The cascade classifier was learned with texture descriptors of typical pathological processes. The results on the usage of algorithm revealed that largest number of true positive diagnoses were registered in case of cirrhosis (83,4%) and hepatitis (82,9%) diagnostics.
Keywords: laparoscopic surgery, computer vision, analysis of images, support of decisions.
Постановка проблеми
Останшм часом дослщження текстури бюмедичних цифровых зображень визначае ефектившсть д1агностичних процедур при автоматизованому розшзнаванш захворювань шшри, офтальмоскошчних порушень, д1агностищ кар1есу, а також при вивченш стану шших бюлопчних поверхонь, включаючи внутршш органи, яш в1зуал1зують тд час д1агностичного лапароскотчного дослщження [3, 6, 9]. Дослщження текстури поверхш бюлопчного об'екту полягае у визначенш регулярних та випадкових (нерегулярних) перепад1в яскравосп та кольору з наявними контурними характеристиками.
Формалiзувати завдання опису ознак текстури можливо за допомогою розмiрностi множин ознак класу [10].
Таким чином, застосування дескрипторiв текстури на зображеннях, як1 отримують тд час лапароскопiчного, чи ендоскопiчного дослщження е важливим iнформативним показником у встановленш вiдмiнностi вiд норми та дiагностицi вiдповiдних патологiчних станiв [1, 4].
Аналiз останнiх дослiджень i публiкацiй
Ефективнiсть дослiдження текстури зображення, як iнформацiйного дiагностичного критерiю, доведено при застосуванш комп'ютерно! автоматизовано! дiагностики (КАД) злояк1сних пухлин урази [5]. Саме порушення регулярних характеристик текстури за умов норми е дiагностичним критерiем щодо розвитку пухлинного ураження ендометрiю. Зважаючи на складнiсть передачi текстури, як шформативно! ознаки, яка мае дiагностичне значения, унiверсальним методом автоматизованого аналiзу зображень - порiвняння !х до вщповщно! норми, е використання бiнарних зображень [7, 10]. Так, для норми пстероскошчних зображень характерним е бшьш висока медiана сiрого кольору, а також бшьша гомогеннiсть та менша контрастнiсть у порiвняннi до ендометрiю з патолопчними змiнами [5]. В практицi лапароскошчно! дiагностики до текстурних особливостей вшносять макроскопiчнi прояви артерiальноl та венозно! гшеремп у виглядi судинно! сггки на поверхнi тканини, в якш розвиваеться запалення [2]. Подiбнi прояви i !х автоматизована iдентифiкацiя можуть слугувати унiверсальним покажчиком наявностi запалення, що певною мiрою реалiзовано в дiагностицi апендициту [1, 2]. Пошук та iдентифiкацiя вiдповiдних текстурних дескрипторiв для ранньо! дiагностики патологiчних змш органiв черевно! порожнини е актуальним завданням для створення систем КАД захворювань оргашв черевно! порожнини тд час лапароскопiчного дiагностичного втручання [1, 11].
Формулювання мети дослiдження
Метою роботи було створення та дослщження ефективносп використання алгоритму розпiзнавання об'екпв - дiлянок вiдеолапароскопiчних зображень оргашв черевно! порожнини навчанням класифiкатора за дескрипторами текстури.
Викладення основного матерiалу дослiдження
Загальна схема КАД базувалась на реалiзацi! алгоритму, який передбачав захоплення вшео-зображення, гама-корекцiю, масштабний аналiз текстури зображення, екстракцiю характерних ознак з наступною селекщею та на завершальному етапi - класифжацш зображень [1]. Причому, класифiкацiя зображень вшбувалась за використання бази даних вшповшних зображень та технологiй навчання класифiкатора за каскадними ознаками [6].
В дшснш роботi алгоритм визначення текстури грунтуеться на векторному значеш шаблонних лапароскопiчних зображень (ЛЗ). Завдання алгоритму полягае в навчанш класифжатора за допомогою набору числових параметрiв, як1 дають повну характеристику текстури об'екта. При цьому застосування методу навчання за допомогою опорних векторiв, вшбуваеться за рахунок порiвняння шаблонних ЛЗ з дослщжуваним зображенням, де в результата обчислюеться вiдповiдний вектор вшмшносп. В алгоритмi використовуеться локальний дескриптор, тобто попередньо маемо видшену область або частину зображення, яку необхшно описати.
Для опису текстури застосовували модифжований метод локальних бшарних шаблонiв (ММЛБШ) [8, 12]. За допомогою даного методу можна видшити основнi групи критерпв, без дотримання чiтких вимог до умов зйомки. Також за допомогою ММЛБШ можна реалiзувати обчислення текстурних ознак в режимi реального часу.
Таким чином, шдхвд до розпiзнавання зображень в алгорштш мае властивiсть вiзуально! подiбностi з еталонними вiдеокадрами та фотографiями, описаними при сегментацп або класифжацп еталонних текстур.
Зображення представленi з використанням фотометричних властивостей пiкселiв, як1 використовують точковий детектор. Наприклад, текстура цирозу печшки може вiдрiзнятися, але ключовi точки розтзнавання допоможуть iдентифiкувати перiодичнiсть i симетрiю.
Вхiдне ЛЗ з ознаками патолопчних змiн /(. , необхщно представити у вигладi локалiзованих
областей , де г - зони областi х = 1, ^ , у = 1, и*. Так як вибiрка текстур мае показник зображень
100, то значення и=100. Як наслщок, формування текстурних ЛЗ проводиться з використання ММЛБШ. Суть методу полягае в збшьшенш радуса аналiзу пiкселiв, починаючи вiд центрального пiкселя, з можливютю видiлення ключових позначок. Видели основнi текстурнi особливостi у виглядi ознак сумiжних точок (Рис. 1).
За допомогою накладання на зображення спки розбивали ЛЗ на квадрати, таким чином, щоб кожна зона видшеного квадрата включала 16 точок з радiусом окружиостi 2. Зображення переводиться в градацш сiрого для бшьш безальтернативного визначення граничного значення кольору - бший (0), чорний (1).
Ознаки текстури за допомогою методу локальних бшарних шаблошв (ЛБШ) обчислювали за [4]. Таким чином, ММЛБШ можемо представити у виглядi [5] (1):
ММЛБШ.
16,2
16
2 g(s-s ), якщо Q < Q mo g(x) =
p = 1
p с
2
P +1, тше
J 1,x > 0 10,x < 0
(1)
де
P - число сусiднiх пiкселiв; Q - змша показник1в 0 або 1;
s c - точки пiкселiв окружностi; Q2 - порогове значення;
g - функцiя (x), яка описуе значення iнтенсивностi елеменпв кола;
Виходячи з вище представленого, формували гiстограми текстур окремих дмнок, як1 е дескрипторами виявлення патологи за заданими значеннями еталона. Пстограми цих дiлянок будуть визначеннi, як (2):
H. = 2I (ММЛБШ (x, y) = г), i = 1,..,n -1 (2)
x, y
де
H.
гiстограма, яка складаеться зi стовпцiв бiнарного коду; i
n - число шаблошв; I (x, y) - ЛЗ в градацп арого;
ММЛБШ(x,y) - значення яскравостi пiкселiв з координатами (x, y) .
,P
При цьому якщо враховуючи суадш зош пiкселiв, то я = 2 , тобто величина n залежить вiд кiлькостi P .
Таким чином, функщя I (x), описуе значення текстурних характеристик, але спотворення ЛЗ у виглядi iнсуфляцiйних газiв та капель рщини не дае провести повний аналiз зображення. Для забезпечення швидкостi виявлення та роботи алгоритму, достатньою для проведення аналiзу в реальному режимi часу проводили подiл показник1в на значущi i незначущi.
При аналiзi зображення поверхнi печiнки при гепатит! ставили 9 характерних для гепатиту патершв. У вiдсiюваннi незначущих показнишв орiентувалися на появу порiдiлих наборiв мiток (Рис. 1), з допомогою яких ставили перший i другий рiвень розпiзнавання.
А Б
Рис. 1. Зображення текстури иовермм здорово'1 печiнки пiд час aHa4i3y методом модифжованих
бшарних шаблошв
Позмачки: A- гктограма зображення повер\нi печшки, Б - ама. мзоваме зображення поверхш
здорово'1 печiнки
Ступiнь рiвномiрностi мiж центральним пiкселем та сусiднiми визначае юльшсть переходiв бiнарного значення (3), рiвномiрними вважаються патерни як1, мають не бiльше двох бiнарних переходiв в циклiчному представленнi ознаки:
16
и(ММЛБШ16 2) =
g(s16-sc)-g(s0-sc)
+ 2 Р = 1
g (s 1 - s )
0 p -1 c
(3)
де ЩММЛБШ^ - ступiнь рiвномiрностi.
Вираз для обчислення ознак текстури з однаковим показником рiвномiрностi, представлено у виглядi [6] (4, 5):
ММЛБШ
и 16.2
де
вСММЛБШ 2(х,у)) = •
ls(ММЛБШ16,2(x,y)), : • 270,
0, 269, 15
якщ4ДММЛБШ16 ) < 2 якщои(ММЛБШ16 2) > 2
ММЛБШ, ^ „ = 0 16,2
ММЛБШ, ^ „ = 255 16,2
16 2 §(8 - 8 ) -15 + 1^(1ах), при ММЛБШ Ф 0,255 р = 0 § с 2 16,2
(4)
Ознаки iнварiантнi до змiн купв огляду шдвищують стiйкiсть показник1в щодо проявiв спотворення порогово! функцп:
ММЛБШ
гш2 16,2
15
2 -зД р = 0
17,
§ с
якщо и(ММЛБ^ 2) < 2 якщо И(ММЛБ^6 2) > 2
(5)
де ММЛБШ™^ - ознака, яка виражае особливостi текстурних поворопв та граничних лiнiй.
Отримаш результати навчали класифiкатор i використовували для подальшого порiвняння та виявлення об'ектiв з огляду на типовi особливостi текстури: точки, лши, кути, кра!.
Ефективнiсть методу при тестуванш текстурних ознак в режимi реального часу дозволило забезпечити розтзнавання текстур тканин печшки.
З метою оцшки точностi розпiзнавання текстури в вщеопотощ обчислювали значения показника Б за формулою (6):
Б = (6)
Е
де
Ер - к1льк1сть позитивно розпiзнаних захворювань; E - загальна к1льк1сть вiдеофрагментiв з наявним захворюванням.
Середня швидк1сть розрахунку розпiзнавания ознаки текстури обчислюеться за допомогою формули значения сшввщношення пiкселiв в секунду [12] (7):
Rate = ■
П П
x у
1 У N т N 2 = 1Ti
(пiкселiв /с)
(7)
де п п - розмiр ЛЗ в пiкселях;
x у
N - число запусков розрахунку вiдповiдних ММЛБШ ознак для ЛЗ;
Г. - фiксований час роботи алгоритму.
Вiдносна частота щентифжацп дослiджуваних захворювань при навчаннi класифжатора методом ММЛБШ зростала в порiвияннi з такою при застосуваннi для навчання методу локальних бiнарних шаблошв на 8% (гепатит), 4% (цироз) i на 7% (патологiя яечнишв).
Алгоритм розпiзнавания за ознаками текстури представлений на Рис. 2, де описуеться кадр вщео потоку в реальному чай. В результата роботи методу МЛБШ отримуемо бiльшу економш пам'ятi та збiльшения швидкостi розтзнавання, чим при роботi класичного методу ЛБШ.
Початок
1 г
Вхщне зображення патологи
ш
Бшаризащя зображення
В режимi аналiзу проводиться розрахунок значень МЛБШ
Формування значень хеш-функцiй (первиннi ознаки дескрипторiв)
Побудова гiстограм хеш-значень и(ММЛБШ16 )
Формування набору ознак
Класифiкатор образiв дескриптора
Кiнець
Аналiз гiстограм - пошук значень як1 < 1
Рис. 2. Алгоритм локалiзащT патологи за рахунок роботи текстурного алгоритму
Проведений у робот аналiз результатiв дiагностики за розробленою технолопею показав, що загальна ефективнiсть - число ютинно-позитивних дiагнозiв склала 58,3% (табл. 1).
Таблиця 1
Ефектившсть дiагностики захворювань орпимв черевноТ порожнини i малоТ миски при
№ Нозолопчш Загальна к1льк1сть Число Число Число
форми тестових вщео з ютинно- хибно- хибно-
захворювань пiдтвердженими позитивних позитивних негативних
дiагнозами дiагнозiв дiагнозiв дiагнозiв
1 Метастази 25 13 (52,0) 6 (24) 6 (24)
2 Пухлини придатков матки 160 101 (63,1) 25 (15,6) 34 (21,3)
3 Цироз 12 10 (83,4) 1 (8,3) 1 (8,3)
4 Гепатит 35 29 (82,9) 4 (11,4) 2 (5,7)
5 Юста печiнки 25 12 (48,0) 10 (40,0) 3 (12,0)
6 Холецистит 120 55 (45,8) 33 (27,5) 32 (26,7)
Всього 377 220 (58,3) 79 (21,0) 78 (20,7)
Загальна шльшсть хибно-позитивних i хибно-негативних результапв розпiзнавания склали вiдповiдно 21,0% i 20,7%. При цьому найбiльшим числом вщзначалися хибно-негативнi результати при дiагностицi холециститу (26,7%) i метастатичного ураження печiнки (24,0%). За ознакою зниження
кшькосп хибно-позитивних результапв дослщжеш нозолопчш форми захворювання розташовувалися наступним чином: к1ста печшки (40,0%), холецистит (27,0%), метастази печшки (24,0%), пухлини придатшв матки (15,6%), гепатит (11,4%), цироз (8,3%) (Табл. 1).
Таким чином, отримаш результати засввдчили, що дескриптори текстури при навчанш каскадного класифжатора е ефективними щодо д1агностики певних захворювань оргашв черевно! порожнини. Зокрема, використання розробленого алгоритму з використанням розроблено! системи КАД найбшьш ефективно дозволяе розтзнати цироз та гепатит, як взагал1 е досить складними в розшзнаванш при застосуванш шших дескриптор1в [1, 2]. Слщ також зазначити, що вогнищев1 ураження е бшьш складними в автоматизованш д1агностиц1 за ознаками дескриптор1в текстури. Цей результат вказуе на необхшшсть застосування текстурних дескриптор1в в комплекс! з шшими дескрипторам, перш за все контуру, для тдвищення ефективносп автоматизовано! д!агностики под!бних захворювань [10, 12].
Висновки
1. Застосування розробленого алгоритму на основ! текстури в каскадному класифжатор! дозволяе ефективно проводити д!агностику цирозу та гепатиту при яких спостер!гались найб!льш висок! показники !стино- позитивних д!агноз!в - 83,4% та 82,9% вшповшно.
2. Використання розробленого алгоритму е менш ефективним при д!агностищ вогнищевих патолопчних зм!н при яких !стинно позитивш д!агнози приймали значення в!д 61,% (пухлини придатшв матки) до 45,8% (гострий холецистит).
Список використаноТ л^ератури
1. 1нформац!йно-техн!чна система автоматизовано! лапароскотчно! д!агностики / А.В.Ляшенко, М.Р.Баяз!тов, Л.С.Годлевський [i сп!вав.] // Рад!оелектрон!ка, шформатика, управл!ння. -2016. -№4(39). - С. 90-97.
2. Гуревич Н.А. Новые информационные технологии в профилактике интраоперационных осложнений лапароскопических операций в экстренной хирургии органов брюшной полости /
H.А. Гуревич, А.Н. Лызиков, А.Р. Гуревич // Новости хирургии. - 2007. - Т. 15, № 1. - С. 39-52.
3. Application of mobile photography with smartphone cameras for monitoring of orthodontic correction with dental brackets/ [L.S.Godlevsky, E.A.Bidnyuk, N.R.Bayazitov et al.]// Chinese Journal of Modern Medicine. - 2014. - No15. - P. 10-14.
4. Boisvert J. Segmentation of laparoscopic images for computer assisted surgery/ J. Boisvert, F. Cheriet, G.Grimard // 13th Scandinavian Conference Image Analysis, June 29 - July 2, 2003, Halmstad, Sweden: Proceedings. Lecture Notes in Computer Sciences, 2003. - Vol. 2749. - P. 587-594.
5. Computer-aided diagnosis in hysteroscopic imaging/ [M.S.Neofytou, V.Tanos, I.Constantinou et al.] // IEEE J.Biomed.Health Inform. - 2015. - Vol. 19(3). - P.1129-1136. DOI: 10.1109/JBHI.2014.2332760.
6. Deep Filter Banks for Texture Recognition, Description, and Segmentation/ M.Cimpoi, S.Maji,
I.Kokkinos, A.Vedaldi // Int. J. Comput. Vis. - 2016.- Vol.118.- P.65-94.
7. Di Cataldo S., Ficarra E. Mining textural knowledge in biological images: Applications, methods and trends/ S.Di Cataldo, E.Ficarra // Comput. Struct.Biotechnol.- 2016.-Vol. 24;15: 56-67.
8. Ledoux A, Losson O, Macaire L. Color local binary patterns: compact descriptors for texture classification. Journal of Electronic Imaging, Society of Photo-optical Instrumentation Engineers 2016; 25(6): 061404. Available on http://dx.doi.org/10.1117/1.JEI.25.6.061404
9. Liu X, Shi J, Zhou S, Lu M. An iterated Laplacian based semi-supervised dimensionality reduction for classification of breast cancer on ultrasound images. 2014 36Th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 2014. p. 4679-82.
10. Ojala T, Pietikainen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. Pattern Analysis and Machine Intelligence, IEEE Transactions on 2002; 24(7): 971-87.
11. Tissue classification for laparoscopic image understanding based on multispectral texture analysis / [Y.Zhang, S.J.Wirkett, J.Iszatt et al.] // Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. - March 18, 2016 : SPIE Proceedings.- 2016.- Vol.9786; doi: 10.1117/12.2216090
12. Zhu C, Bichot CE, Chen L. Multi-scale color local binary patterns for visual object classes recognition, Proc ICPR 2010: 3065-3068. DOI 10.1109/ICPR.2010.751.
