CC BY
5
УДК 004.932.2 DOI: 10.20998/2411-0558.2020.01.12
Т. О. Б1ЛОБОРОДОВА, канд. техн. наук, доц., СНУ iM. В. Даля,
Северодонецьк,
С. О. ПРИЙМАК, мапстр, СНУ iM. В. Даля, Северодонецьк,
М. О. КОВЕРГА, асп., СНУ iM. В. Даля, Северодонецьк
СУКУПН1СТЬ ЕТАП1В РОЗРОБКИ МОДЕЛ1 ВИЗНАЧЕННЯ ОБ'еКТШ У СИСТЕМАХ МЕДИЧНО1 В1ДЕОЗЙОМКИ
Представлено виршення задач1 розробки модел1 визначення об'екпв у системах вщеозйомки медичних процеав за рахунок встановлено! сукупносп етатв. В ход1 роботи систематизовано сукупшсть етатв розробки модел1, проведено експеримент з передобробки, анотацп зображень в1деокадр1в, навчання та тестування модел1 на даних лапароскотчно! операцп. Розглянуто основш кроки навчання та тестування модел1 з використанням мереж1 Faster R-CNN. Точшсть на тестових даних визначена з використанням середньо! оцшки точносп модел1 i дор1внюе 96.3%. 1л.: 4. Б1блюгр.: 12 назв.
Ключовi слова: визначення об'екпв; системи медично! вщеозйомки; навчання та тестування; моделц анотащя зображень в1деокадр1в.
Постановка проблеми. Сучасш пiдходи до проведения медичних процедур е орiентованими на пащента i передбачають зниження заподiяиия шкоди пащенту. Це обумовлюе здiйсиеиия медичних процедур через природш отвори тша або иевеликi штучиi розрiзи, за рахунок чого зменшуеться травматизм пащенпв та скорочуеться час перiоду реабштаци. Разом з тим, це призводить до обмеження бачення та рухливосп лiкаря, ускладнення координаци його рук i очей, що обумовлюе удосконалення засобiв вiзуалiзацii, контролю та управлшня медичними процедурами з використанням вщеозйомки. Системи вiдеозйомки, що використовуються при проведенш медичних дослiджеиь, процедур або оперативних втручань, е джерелом велико! кшькосп даних вiдеозображеиь, якi можуть бути використаш для пiдтримки прийняття клiиiчиих рiшеиь, виявлення патологiчиих дiагностичних елементiв, прогнозування взаемоди хiрургiчних шструменпв i тканини внутрiшнiх органiв, тд час проведення процедури. Важливим етапом аналiзу даних медичних систем вщеозйомки е розробка моделi визначення об'екпв у вiдео. Визначення хiрургiчних шструменпв з бiльш точним просторовим розташуванням в вщео медичних процедур не тшьки допомагае забезпечити безпеку пащента за рахунок зниження частоти ускладнень, але також мае
© Т.О. Бшобородова, С.О. Приймак, М.О. Коверга, 2020
значення для ощнки роботи xipypra. 1снуе багато факторiв, що впливають на точнють визначення об'eктiв у вщео медичних процедур: pозподiльнa здaтнiсть вщеокамери, нaявнiсть у поpожнинi гaзiв, диму, запо^вання лiнзи камери, iндивiдyaльнi особливосп анатомп тощо.
Анал1з останн1х дослщжень i публжацш. Визначення об'eктiв - це метод комп'ютерного зору, що дозволяе iдентифiкyвaти i визначати мюце розташування об'ектiв на зобpaженнi або вщео [1]. Традицшш дослiдження визначення об'екпв у вiдео-медичниx процедурах зосереджеш на пpоцесi розробки моделi визначення об'екпв у медичних вiдеозобpaженняx з використанням заздалегщь анотованих даних. Дослщження [2] проведене з використанням анотованих даних вщео мiкpоxipyprii сiткiвки ока. Запропонована авторами CLS архитектура згортково'1 нейронно'1 меpежi показала найвищу точнють розтзнавання. Сеpеднiй кpитеpiй точностi розтзнавання становив 92.6%.
У pоботi [3] автори використовують швидкi глибокi нейронш меpежi з навчанням, керованим знаннями та прогнозованими областями штереав для виявлення вщеооб'екпв у pежимi реального часу Для навчання моделi використаш aнотовaнi дaнi. Найвищу точнiсть отримано при використанн запропоновано'1 меpежi. Результат становив 92.37%. Автори також зазначили, що використання обласп штереав дозволило скоротити час розтзнавання вщео.
В дослщженш [4] запропонована модульовану яюрну мережу для виявлення iнстpyментiв лапароскотчно'1' xipypгii на основi Faster R-CNN, яка успадковуе переваги використання обласп iнтеpесiв, що надае високу швидкють pозпiзнaвaння. Навчання проведено з використанням анотованих даних. Точнють моделi при проведент експеpиментiв на двох piзниx вiдеодaниx становила 69.6% та 76.5%.
В дослщженш [5] розглядаеться використання бшарних мгток, що позначають присутнють або вiдсyтнiсть iнстpyментy у вщеокадрт Автори використовують ConvLSTM для навчання моделi та виявлення пpисyтностi шструменту, просторово'1' локaлiзaцii та вiдстеження руху. Якiсть моделi визначена з використанням критерш середньо'1 точностi, що склав 92.9%.
Автори [6] запропонували пщхщ, який спираеться на слабм анотац11, пpедстaвленi у виглядi смуг поверх piзниx об'ектiв на зображенш, i частково'1 крос-ентроп11 як функцп втрат повнiстю згортково'1 нейронно'1 меpежi для отримання щiльноi карти прогнозування на piвнi пiкселiв.
Найбшьш yспiшнi дослiдження визначення об'ектiв у вщео медичних процедур використовують власноруч анотоваш даш. Зазвичай, aнотaцiя зображень вiдеокaдpiв дозволяе отримати вищу точнють
визначення об'екпв у вщео при використанш ïx для навчання модель Автори [7] запропонували натвавтоматичний метод анотаци вщео xiрургiчниx операцш. При застосуванш запропонованого методу необхщно анотувати невелику частину вiдеосегментiв у необробленому вщео. Результати проведеного експерименту показали, що точнють визначення об'екпв залежить вщ вщсотку анотованих сегментiв вiдео. Точнють визначена для вщео з 5% та 10% анотованих сегментсв. Бшьш точш результати отриманi при 10% анотованих сегментсв.
Проведений аналiз дослщжень показав, що вища точнiсть розтзнавання вщео досягаеться за рахунок цiльовоï анотацГï даних вiдеозображень. Також, застосування обласп iнтересiв у визначеннi об'екпв дозволяе досягти зменшення часу розтзнавання. Ц факти обумовлюють актуальнiсть поставленоï мети та вибiр методiв ïï реалiзацiï'.
Мета статт1. Метою дослщження е систематизащя сукупностi етапiв розробки моделi визначення об'ектiв у системах вщеозйомки медичних процесiв.
Основна частина. Запропонована сукупнють етапiв розробки моделi визначення об'ектiв у системах вщеозйомки медичних процеав. Вона систематизована як представлено на рис. 1.
Етапами розробки моделi визначення об'екпв у вщео-медичних процеав е передобробка, анотування зображень вiдеокадрiв, навчання та тестування модель
Етап 1. Передобробка вщеоданих. Передобробка вiдеоданиx включае перетворення вщео на серш зображень, видалення нешформативних зображень вiдеокадрiв та зворотне перетворення серш зображень на файл з вщео.
Етап 2. Анотащя зображень вiдеокадрiв. Анотащя зображень е необхщним етапом для отримання високоï точностi визначення об'ектiв у вщео системи медичноï вiдеозйомки. В даному дослщженш анотащя об'екпв проводиться ручною розмггкою дослщжуваних об'ектiв у вщео з використанням спецiалiзованого програмного забезпечення [8].
Етап 3. Навчання модель Для навчання моделi використовуеться 80% анотованих даних зображень вiдеокадрiв. Навчання моделi проведене з використанням мережi Faster R-CNN. Навчання моделi визначення об'екпв у вщео включае наступш кроки: генеращя пропозицiй; виявлення векторiв властивостей (feature vector extraction) та класифшащя областей.
Рис. 1. Загальна сукупнють етатв розробки моделi визначення об'екпв для систем вщеозйомки медичних процес1в
Генеращя пропозицш. Пщ час генерацп пропозицш мета полягае в пошуку областей на зображенш, як1 можуть мютити об'екти. Ц обласп називають обласп штереав (regions of interest - ROI). Для того, щоб виявити шформацш про об'екти, що мають рiзнi розмiри та спiввiдношення сторiн, розмiр вхiдних зображень приводиться до рiзного масштабу, та використовуються ковзнi вшна для просування по цим зображенням.
Виявлення векторiв властивостей. Пiд час другого етапу на кожнiй позицп зображення з вжна виводиться вектор фасовано! довжини з властивостями (features) для збору семантично! шформацп охоплено! область
Класифiкацiя областей. На третьому крощ областi зображення використовуються як визначеш ознаки мiток (labels).
Схематично архитектуру Faster R-CNN представлено на рис. 2.
Faster R-CNN мае двi мережi [9]: мережу пропозицiй областей (region proposal networks - RPN) для генерацп пропозицш областей та мережу Fast R-CNN, що використовуе щ пропозицп для визначення об'екпв.
Рис. 2. Архитектура Faster R-CNN
RPN приймае зображення будь-якого розм1ру як вхщш даш та виводить наб1р пропозицш рамок з об'ектами, кожен з яких мае ощнку об'ектностг Для генераци пропозицш мшьмережа пересуваеться по карт характеристик (conv feature map), що було отримано на виход1 останнього шару згортково'' мережг Кожне вжно проектуеться на вектор меншого вим1ру 256-d, що е пром1жним шаром (intermediate layer). Цей вектор подаеться на вхщ шару регресп рамок (reg layer) та шар класифкацп рамок (cls layer).
У кожному положенш вiкна одночасно прогнозуеться к пропозицш областей, так що у шарi регресп е 4к виходи, що кодують координати к полiв. Шар класифшацп областi мае 2к виходiв, якi оцiнюють ймовiрнiсть наявностi об'екта чи фону в областi. Пропозици зроблено вiдносно до к яюрних регiонiв (anchor boxes). Якорi ввдграють важливу роль у Faster R-CNN. Кожен яюр розмiщений у цешр регюну, та описаний масштабом (1282, 2562 або 5122 пiкселiв) та вiдношенням сторiн (1:1, 1:2, 2:1) [10]. У конф^урацп Faster R-CNN за замовчуванням е 9 якорiв для кожно'' позици в зображенш.
Для навчання RPN кожному якорю присвоюеться бiнарна мiтка класу - чи це об'ект, чи ш. Позитивна мiтка присвоюеться двом типам якорiв - якорям, що мають максимальне IoU (intersection over union) перекриття з регiоном основно'' правди; та якорям що мають коефщент перекриття IoU з будь-яким регюном основно'' правди бiльший нiж 0.7. Кожна область основно'' правди може присвоювати позитивну мiтку декiльком якорям. Якщо непозитивний якiр мае коефщент перекриття IoU для всiх областей основно'' правди менш нiж 0.3, то йому присвоюеться негативна мггка. Якорi якi не мають позитивно'' або негативно'' мггки не приймають участь в навчаннi.
Функцiя втрат для зображення мае наступний вигляд (1):
L([p,}, t}) = TT ZL
cls (Pi, P* ) + 1 Z P*Lreg (t, , t! X (1)
cls i reg i
де i - це iндекс якорю, а pi - це прогнозована Bipor^rncib того що якiр i е об'ектом; MiTKa основно! правди p i мае значення 1 якщо якiр е позитивним, або 0 - якщо ш; ti - це вектор з чотирьох параметризованих координат прямокутного регюну, що було спрогнозовано, а t i - це прямокутний регюн основно! правди, що вiдноситься до позитивного якорю; Lcls - це logloss вiд двох клaсiв (чи об'ект/чи нi). При розрахунку функцп втрат для регреси використовуеться формула (2). Термш p*L означае що функщю втрат для регреси активовано тiльки для позитивних якорiв, тобто p* = 1, та виключено в шшому випадку (p* = 0). Два термiни нормaлiзуються за допомогою Ncis
i Nreg, та балансуючо! ваги X
Lreg (ti, t* ) = R(t, - ti ):
(2)
де R - це функщя втрат Хьюбера Li, що обчислюеться за формулою (3)
[0.5, якщо | х |< 1,
(х) = ■
iнaкше | х | -0.5.
(3)
Координати для регрес
i параметризуються за формулами (4):
= (х - ^ )/wa,
= (У - У a )/ha, = log(w / Wa X = log(h / ha ),
= (х*- Ха )/Wa,
= (Уya )/ha,
= log(w* / Wa X = log(h* / ha X
(4)
де х та y - це координати центру обласп рамки, w та h - ширина та висота обласп, а х, xa та х (так само як i y, w, h) означають координати прогнозовано! i яюрно! областей та обласп основно! правди.
RPN реалiзована як глибока згорткова нейронна мережа i може бути натренована за допомогою зворотного поширення та методу стохастичного градieнта. Кожна мЫ-партя виходить з одного зображення, яке мютить багато позитивних i негативних якорiв. Якщо на зображенш менше 128 позитивних зразюв, то пар™ доповнюсться негативними зразками. Bci новi шари iнiцiалiзуються випадково, витягуючи ваги iз розподiлу Гауса iз нульовим середшм зi стандартним вiдхиленням 0,01.
Етап 4. Тестування моделг. Для тестування моделi використовусться 20% анотованих даних зображень вiдеокадрiв. Тестування проводиться з використанням навчено'1 моделi та мережi Faster R-CNN. На крощ класифкацп областей за допомогою навчено'1 моделi областям зображення присвоюються мггки. Навчена модель визначае класи об'екпв та 1'х можливе розташування у кадрг
Для оцiнки точностi моделi використано критерiй середньо'1 точностi (MAP), що визначае середню точнiсть для набору запипв.
Результати експерименту. Експеримент по застосуванню систематизованих етапiв для розробки моделi проведено з використанням вщео лапароскотчно'' хГрурпчно'' операци, що мютить наступш об'екти: внутрГшнГ орган черевно'1 порожнини, медичнi iнструменти хГрурпчного комплексу DaVinci. Реалiзовано наступнi етапи: передобробка вщео, анотащя зображень вiдеокадрiв, навчання та тестування моделi з використанням мереж Faster R-CNN. Також, проведено експеримент з визначення об'екпв у вщео лапароскотчно! операци з використанням камери мобшьного телефону i мобшьного додатку, що було розроблено у рамках цього дослщження, та розроблено'1 моделi.
В якостГ об'екпв анотаци визначенi iнструменти хГрургГчного комплексу DaVinci. Комплекс DaVinci мае можливють роботи з наступними змшними шструментами: скальпелi (scalpel), ножицГ (scissors), клш-аплкатори (clip applier), голки (needle driver), тнцет (graspers). Для цих шструмеш^в було створено наступнi мГтки: Scalpel, Scissors, ClipApplier, NeedleDriver, Graspers.
Для анотаци та навчання моделi використано вщео з вщкритих джерел, що демонструють роботу з комплексом DaVinci [11, 12]. Для полшшення якосп даних проведено перетворення вiдео на серш зображень з метою подальшого видалення кадрiв, що не мютять цГльових об'ектiв розпiзнавання або ^дрГв, що мають низьку якГсть зображення. Пюля вилучення кадрiв, що не мютять потрГ6них об'ектiв та ^дрГв з низькою якГстю зображення потрГ6них об'ектiв, решта зображень знов перетворена на вщео.
Результат анотаци одного з кадрiв методом обмежуючо'1' рамки вщображено на рис. 3.
Файл анотацш мютить перелш ycix анотованих вiдеозображень, координати кожного анотованого об'екту та його мггку. 80% цих даних використано для навчання моделi з використанням мережi Faster R-CNN. Тестування проведено з використанням 20% анотованих даних. Отримано наступш результати тестування модель Середня точнють визначення об'екпв складае 96.3%.
Рис. 3. Процес анотаци об'екпв зображення вщеокадру
Експеримент з визначення об'екпв у вiдео лапароскотчно'1' операцп з використанням розроблено'1' моделi проведено в режимi реального часу. Визначення об'екпв реалiзовано з використанням розробленого мобшьного додатку та розроблено'1' модель Додаток за допомогою камери, що вбудована в мобiльний телефон, отримуе вщео у реальному часi, та помiчае обмежyючi рамки прогнозованих об'екпв, пщписуе мiткy об'екта та точнють його розпiзнавання. Приклад процесу визначення об'екпв у вщео лапароскотчно'1' операцп представлений на рис. 4.
Висновки. Метою дослщження було систематизащя сукупносп етапiв розробки моделi визначення об'екпв у системах вщеозйомки медичних процеав. Систематизовано етапи розробки моделi визначення об'екпв, що включають передобробку вщео медичних процеав, анотацiю зображень вiдеокадрiв, навчання та тестування моделi з використанням мережi Faster R-CNN. Вщмшною перевагою використання ще'1' мережi е крок генераци пропозицiй. Пiд час генераци пропозицiй мережа за допомогою ковзного вжна знаходить областi на зображенш, що можуть мiстити об'екти, на пiдставi чого формуе вектор ознак, що використовуеться далi згортковою нейронною мережею для класифшаци зображень вiдеокадрiв.
Phc. 4. BH3HaneHHa 06'eKiiB y Bigeo nanapocKoniHHoi onepa^i
npoBegeHO eKcnepuMeHT 3 po3po6KH Mogern 3a BH3HaneHoro cyKynmcrro eTaniB. Cepegra TonHicTb BH3HaneHHA o6'eKTiB Ha TecroBHx gaHux cTaHoBH^a 96.3%. 3 BHKopHcraHHAM po3po6^eHoi Mogern peam3oBaHo eKcnepuMeHT 3 BH3HaneHHa o6'eKTiB y Bigeo .nanapocKomHHoi onepa^i (puc. 4). BroHaneHHA o6'eKTiB npoBegeHo b pe^HMi pea^bHoro nacy 3 BHKopHcTaHH^M po3po6^eHoi Mogern, B6ygoBaHoi KaMepu Mo6i^bHoro Tene^oHy Ta po3po6^eHoro Mo6i^bHoro gogaTKy.
References:
1. Kong, Y. and Fu, Y. (2018), Human action recognition and prediction: A survey. arXiv preprint arXiv:1806.11230.
2. Laina, I., Rieke, N., Rupprecht, C., Vizcaino, J. P., Eslami, A., Tombari, F., and Navab, N. (2017), "Concurrent Segmentation and Localization for Tracking of Surgical Instruments. Medical Image Computing and Computer-Assisted Intervention", MICCAI2017, pp. 664-672.
3. Cao, W., Yuan, J., He, Z., Zhang, Z., and He, Z. (2018), "Fast Deep Neural Networks With Knowledge Guided Training and Predicted Regions of Interests for Real-Time Video Object Detection", IEEE Access, 6, pp. 8990-8999.
4. B. Zhang, S. Wang, L. Dong and P. Chen (2020), "Surgical Tools Detection Based on Modulated Anchoring Network in Laparoscopic Videos", In IEEE Access, vol. 8, pp. 2374823758,.
5. Nwoye, C. I., Mutter, D., Marescaux, J., and Padoy, N. (2019), "Weakly supervised convolutional LSTM approach for tool tracking in laparoscopic videos", International Journal
of Computer Assisted Radiology and Surgery.
6. Fuentes-Hurtado, F., Kadkhodamohammadi, A., Flouty, E. et al. (2019), "EasyLabels: weak labels for scene segmentation in laparoscopic videos", Int J. CARS 14, pp.1247-1257.
7. Zhiwei Fan, Congliang Chen, & Tingting Jiang (2017), "A semi-automatic editing method for surgery videos", 2017 IEEE International Conference on Multimedia & Expo Workshops (ICMEW).
8. New Computer Vision Tool Accelerates Annotation of Digital Images and Video. URL: https://www.intel.ai/introducing-cvat/#gs.irfx8h (access 31.03.2020)
9. Ren S, He K, Girshick R, Sun J. (2015), "Faster r-cnn: Towards real-time object detection with region proposal networks", In Advances in neural information processing systems 2015, pp. 91-99.
10. Lu Y., Javidi T., Lazebnik S. (2016), "Adaptive object detection using adjacency and zoom prediction", in: CVPR.
11. Inferior Vena Cava (IVC) Thrombectomy - da Vinci Robotic Surgery. URL: https://www.youtube.com/watch?v=5JM8KhWhrus (access 31.03.2020)
12. Laparoscopic Cholecystectomy. URL: https://www.youtube.com/ watch?v=n18zxNGJdLE (access 31.03.2020)
Статью представил д.т.н., проф. Национального технического университета "Харковский политехнический институт " А.А. Серков.
Надшшла (received) 31.03.2020
Biloborodova Tetiana, Cand.Sci.Tech, Assotiate Professor Volodymyr Dahl East Ukrainian National University 59-a Central avenue, Severodonetsk, Luhansk region, Ukraine, 93400 tel./phone: (064) 522-89-97, e-mail: beloborodova.t@gmail.com ORCID ID: 0000-0001-7561-7484
Prymak Serhiy, master student
Volodymyr Dahl East Ukrainian National University
59-a Central avenue, Severodonetsk, Luhansk region, Ukraine, 93400
tel./phone: (064) 522-89-97, e-mail: sprymak@gmail.com
Koverha Mark, PhD student
Volodymyr Dahl East Ukrainian National University
59-a Central avenue, Severodonetsk, Luhansk region, Ukraine, 93400
tel./phone: (064) 522-89-97, e-mail: healthunder@gmail.com
УДК 004.932.2
Сукупшсть еташв розробки моделi визначення об'екив у системах медичноТ ввдеозйомки / Бiлобородова Т.О., Приймак С.О., Коверга М.О. // В1сник НТУ "ХП1". Сер1я: 1нформатика та моделювання. - Харк1в: НТУ "ХП1". - 2020. - № 1 (3). - С. 143 -153.
Представлено виршення задач1 розробки модел1 визначення об'ект1в у системах вщеозйомки медичних процес1в за рахунок встановлено1 сукупност1 етап1в. В ход1 роботи систематизовано сукуин1сть етаи1в розробки модель проведено експеримент з передобробки, анотацп зображень в1деокадр1в, навчання та тестування модел1 на даних лапароскошчно1 операцп. Розглянуто основн1 кроки навчання та тестування модел1 з використанням мереж1 Faster R-CNN. Точн1сть на тестових даних визначена з використанням середньо1 оц1нки точност1 модел1 i дор1внюе 96.3%. 1л.: 4. Б1блюгр.: 12 назв.
Ключовi слова: визначення об'екпв; системи медично1 в1деозйомки; навчання та тестування; моделц анотац1я зображень в1деокадр1в.
УДК 004.932.2
Совокупность этапов разработки модели определения объектов в системе медицинской видеосъемки / Белобородова Т.А., Приймак С.А., Коверга М.А. //
Вестник НТУ "ХПИ". Серия: Информатика и моделирование. - Харьков: НТУ "ХПИ". -2020. - № 1 (3). - С. 143 - 153.
Представлено решение задачи разработки модели определения объектов в системах видеосъемки медицинских процессов за счет установленной совокупности этапов. В ходе работы систематизирована совокупность этапов разработки модели, проведен эксперимент по предобработке, аннотации изображений видеокадров, обучения и тестирования модели на данных лапароскопической операции. Рассмотрены основные шаги обучения и тестирования модели с использованием сети Faster R-CNN. Точность на тестовых данных определена с использованием средней оценки точности модели и равна 96.3%. Ил.: 4. Библиогр.: 12 назв.
Ключевые слова: определение объектов; системы медицинской видеосъемки; обучение и тестирование; модели; аннотация изображений видеокадров.
UDC 004.932.2
A stages of the development of objects detection model for medical video system / Biloborodova T.O., Prymak S.O., Koverha M.O. // Herald of the National Technical University "KhPI". Series of "Informatics and Modeling". - Kharkov: NTU "KhPI". - 2020. -№ 1 (3). - P. 143 - 153.
The solution of the problem of developing a model for objects detection in video systems of medical processes due to the established set of stages is presented. In the course of the work, the set of stages of model development was systematized, an experiment was conducted on preprocessing, annotation of video frame images, training and testing of the model using laparoscopic surgery data. The basic steps of training and testing the model using the Faster R-CNN network are considered. The accuracy on the test data was determined using an mean average precision of the model equal to 96.3%. Figs.: 4. Refs.: 12 titles.
Keywords: objects detection; medical video recording systems; training and testing; models; abstract images of video frames.
