CC BY
43
УДК 004.855.5 https://doi.org/ 10.35546/kntu2078-4481.2019.3.10
АС. ГРИЦАЙ
Приазовський державний техшчний ушверситет, м. Марiуполь
ORCID: 0000-0001-6896-4269 Т.О. ЛЕВИЦЬКА
Приазовський державний технiчний унiверситет, м. Марiуполь
ORCID: 0000-0003-3359-1313
1НТЕЛЕКТУАЛЬНА СИСТЕМА ВИЯВЛЕННЯ АНОМАЛ1Й В РЕНТГЕН1ВСЬКИХ ЗН1МКАХ 13 ЗАСТОСУВАННЯМ МЕТОД1В
DEEP LEARNING
Моделi виявлення паmологiчних структур за допомогою нейронних мереж (НМ), дозволяють прискорити процес дiагностики захворювань i знижують частину помилок та повторних обстежень пацieнтiв. У статтi розглядаються проблеми i методи машинной класифiкацii та розп1знавання рентгенiвських знiмкiв (CXR), а також питання удосконалення штучних НМ, яш використовуються для пiдвищення якостi класифкацИ рентгенологiчних синдромiв. НМ iдеальнi для розпгзнавання захворювань з використанням сканувань, осюльки немае необхiдностi надавати конкретний алгоритм для визначення захворювання. На основi огляду останнiх дослiджень i публтацт сформульован основт завдання, ят необхiдно вирiшити при моделюваннi системи. Крiм того, були проаналiзованi архтектури НМ. Описанi Их недолжи i переваги. Встановлено, що сучаст методи виявлення аномалш (хвороб) в CXR мають складнощi з недостатньою ктьюстю учбових даних, стандартизацт зображень i з попередньою сегментацieю навчального набору. Сформован конкретш засоби розв'язання описаних проблем з якими стикаються НМ при аналiзi даних. В якостi ршення запропоновано використання методiв глибоко навчання, а саме згортковоi НМ на основi зворотного розповсюдження помилки i стохастичного градieнтного спуску з попередньою сегментацieю тренувально'1' вибiрки та застосовування трансферного навчання для категоризацИ хвороб на медичних зображеннях. Для реалгзацИ поставлених завдань обраш сучасш iнформацiйнi технологи. Розроблена архтектура ттелектуально'1' системи мае можливкть розпгзнавати аномалП в CXR на рiвнi лiкарiв та рентгенологiв й використовуе середовище глибинного навчання. Зроблено висновок, що незважаючи на багатообiцяючi, в деяких випадках вражаючi, результати iнтелектуальних систем, серйознi проблеми залишаються, особливо в тому, що стосуеться теоретично'1' основи, яка б чтко пояснила способи визначення оптимального вибору моделi, типу i структури для конкретного завдання або для глибокого розумiння причин, за якими конкретна архтектура або алгоритм ефективн в цьому завданн чи ш.
Ключовi слова: глибоке навчання; згорткова нейронна мережа; методи розтзнавання образiв; попередня обробка даних; рентгенограмма; трансферне навчання.
А.С. ГРИЦАЙ
Приазовский государственный технический университет, г. Мариуполь
ORCID: 0000-0001-6896-4269 Т.А. ЛЕВИЦКАЯ
Приазовский государственный технический университет, г. Мариуполь
ORCID: 0000-0003-3359-1313
ИНТЕЛЛЕКТУАЛЬНАЯ СИСТЕМА ВЫЯВЛЕНИЯ АНОМАЛИЙ В РЕНТГЕНОВСКИХ СНИМКАХ С ПРИМЕНЕНИЕМ МЕТОДОВ DEEP LEARNING
Модели выявления патологических структур с помощью нейронных сетей (НС), позволяют ускорить процесс диагностики заболеваний и снижают часть ошибок, а также повторных обследований пациентов. В статье рассматриваются проблемы и методы машинной классификации и распознавания рентгеновских снимков (CXR), а также вопросы совершенствования искусственных НС, которые используются для повышения качества классификации рентгенологических синдромов. НС идеальны для распознавания заболеваний с использованием сканирования, поскольку нет необходимости предоставлять конкретный алгоритм для определения заболевания. На основе обзора последних исследований и публикаций сформулированы основные задачи, которые необходимо решить при моделировании системы. Кроме того, были проанализированы архитектуры НС. Описаны их недостатки и преимущества. Установлено, что современные методы обнаружения аномалий (болезней) в CXR имеют сложности с недостаточным количеством учебных данных, стандартизации изображений и предварительной сегментацией учебного набора. Сформированы конкретные способы
решения описанных проблем, с которыми сталкиваются НС при анализе данных. В качестве решения предложено использование методов глубоко обучения, а именно сверточных НС на основе обратного распространения ошибки и градиентного спуска с предварительной сегментацией тренировочной выборки и применения трансферного обучения для категоризации болезней на медицинских изображениях. Для реализации поставленных задач выбраны современные информационные технологии. Разработана архитектура интеллектуальной системы, которая имеет возможность распознавать аномалии в CXR на уровне врачей и рентгенологов используя среду глубинного обучения. Сделан вывод, что несмотря на многообещающие результаты интеллектуальных систем, серьезные проблемы остаются, особенно в том, что касается теоретической основы, которая бы четко объяснила способы определения оптимального выбора модели, типа и структуры для конкретной задачи или для глубокого понимания причин, по которым конкретная архитектура или алгоритм эффективны в этой задаче.
Ключевые слова: глубокое обучение; сверточная нейронная сеть; методы распознавания образов; предварительная обработка данных; рентгенограмма; трансферное обучения.
A.S. HRYTSAI
Pryazovskyi state technical university, Mariupol
ORCID: 0000-0001-6896-4269 T.A. LEVITSKAYA
Pryazovskyi state technical university, Mariupol
ORCID: 0000-0003-3359-1313
INTELLIGENT SYSTEM FOR DETECTING ANOMALIES IN X-RAY IMAGES USING DEEP LEARNING METHODS
Models for identifying pathological structures using neural networks (NN) can accelerate the process of diagnosing diseases and reduce the proportion of errors and re-examination of patients. The article discusses the problems and methods of machine classification and recognition of X-ray images, as well as issues of improving artificial NN, which are used to improve the quality of classification of X-ray syndromes. NN are ideal for the recognition of diseases using scanning, since there is no need to provide a specific algorithm for determining the disease. Based on a review of recent studies and publications, the main tasks are formulated that need to be solved when modeling the system. In addition, the architecture of the NN was analyzed. Their disadvantages and advantages are described. It has been established that modern methods for detecting anomalies (diseases) in radiographs have difficulties with insufficient training data, standardization of images, and preliminary segmentation of the training set. Specific ways of solving the described problems that NN faced when analyzing data have been formed. As a solution, it is proposed to use deep learning methods, namely convolutional NSs based on the back propagation of error and gradient descent with preliminary segmentation of the training sample and the use of transfer training to categorize diseases in medical images. For the implementation of the tasks selected modern information technology. An intelligent system has been developed that has the ability to recognize anomalies in radiographs at the level of doctors and radiologists and uses a deep learning environment. It is concluded that despite the promising, in some cases impressive, results of intelligent systems, serious problems remain, especially with regard to the theoretical basis, which would clearly explain how to determine the optimal choice of model, type and structure for a specific task or for a deep understanding the reasons why a particular architecture or algorithm is effective in this task.
Keywords: deep learning; convolutional neural network; pattern recognition methods; preliminary data processing; roentgenogram; transfer training.
Постановка проблеми
Сьогодш пльки близько 10% населения в свт мають доступ до яшсного медичного обслуговування, а б№ша частина свиу навиъ не мае доступу до основних медичних послуг. В розвинутих крашах система охорони здоров'я перебувае тд напругою, 3i зростаючою варпстю i тривалим часом оч^вання. Медичш установи можуть генерувати сотш, якщо не тисячi рентгенограмм (CXR) в день. У загальному випадку читання CXR е досить складним завданням як для рентгенолопв, так i для лiкарiв. Цей процес вимагае високого ступеня майстерносп i концентраций Середнш час, необхщний добре навченому рентгенологу, щоб прочитати CXR, становить близько 1-2 хвилин.
Дослщження за допомогою нейронних мереж (НМ) стикаються з наступними проблемами:
- шльшсна оцшка невизначеносп. Засноваш на глибокому навчанш ршення для бюмедичних застосувань можуть ютотно виграти ввд гарантш надшносп прогнозiв i шльшсного визначення невизначеносп. Внаслвдок бюлопчно! мшливосп i меж точности обладнання бюмедичш даш складаються не з точних вимiрювань, а з оцшок з шумом. Отже, вкрай важливо отримати мiри невизначеносп, яш фжсують, як шум у вхвдних значеннях поширюеться через глибош НМ;
- обмеження даних. Ввдсутшсть великомасштабних, високояшсних, правильно маркованих даних впливае на глибоке навчання майже в уах напрямках;
- апаратш обмеження 1 масштабування. Ефективне масштабування глибокого навчання е складним завданням. З навчанням НМ 1 !х використанням для прогнозування пов'язаш велик! обчислювальш витрати (наприклад, час, пам'ять 1 енерпя);
- спшьне використання даних, коду 1 модель Надшна культура обм1ну даними, кодом 1 моделями прискорить прогрес в цш область Культурш бар'ери для обм1ну даними, найкраще уловлюються з використанням визначення «дослщницький паразит» для опису вчених, що використовують даш шших дослвднишв. В обласп, яка враховуе пльки ввдкриття, а не важку роботу по збору корисних даних, важко заохотити вчених дшитися сво!ми насилу завойованими даними;
- обмежена шльшсть даних навчання. Бюмедичш набори даних часто мютять обмежену к1льк1сть прим1рник1в або мггок, це може призвести до низько! продуктивносп алгоршшв глибокого навчання. Методи навчання переносу, також в1дом1 як адаптация домену, дозволяють переносити витягнуп шаблони м1ж р1зними наборами даних 1 навиъ доменами.
Аналiз останнiх дослвджень i публiкацiй
Ряд дослвджень було проведено для д1агностики захворювань грудно! клггани з використанням методологи штучного штелекту. Зпдно з1 статтею «Можливосп та перешкоди для глибокого вивчення бюлоги 1 медицини» глибоке навчання може бути застосовано, щоб в1дпов1сти на фундаментальш бюлопчш питання. Це особливо тдходить для використання великих обсяпв даних з дослщжень з високою пропускною здатшстю [1].
Для пор1вняльного анал1зу 1 класифжаци рентгенолопчних захворювань грудно! клггани розглядаеться три методи: НМ зворотного поширення, конкурентна НМ 1 згорткова НМ [2].
Моделювання хвороб грудно! клггани за допомогою НМ зворотного поширення (ВР№Ы).
НМ зворотного розповсюдження базуеться на алгоритм! вони дуже важлив! ! корисн! при
проблемах розтзнавання образ!в. Навчання мереж зворотного поширення включае оновлення параметр!в для отримання добрих результат!в класифжацп. Для цього застосовуеться р!зна к!льк1сть прихованих нейрошв, швидшсть навчання та !мпульс для отримання кращого результату класиф!кац!!. Помилки накопичен! на вих!дному шар! поширюються назад в мережу для коригування ваг.
Архитектура спроектовано! НМ зворотного поширення для зображення розм!ром 32 х 32 описана на рис. 1.
1при1 1ауег
Рис. 1. Зворотне поширення НМ
Осшльки мережа зворотного поширення використовуе керований алгоритм навчання, тому необхщно, щоб дан! навчання були маршроваш.
Моделювання хвороб грудно! клггани за допомогою конкурентно! НМ (Ср№Ы).
Для класифшацп захворювань грудно! клггани використовуеться CpNN, що використовуе нетдтримуваний алгоритм навчання. Використовуючи той факт, що таю мереж! не потребують ручного маркування даних для навчання, вони економлять час на процес маркування. Конкурентне навчання працюе шляхом п!двищення спец!ал!зац!!' кожного вузла в мереж!. Правило конкурентного навчання засноване на трьох елементах:
- наб!р однакових нейрон!в з випадково розпод!леними синоптичними вагами, що приводять до р!зно! реакц!! нейрошв на заданий наб!р вх1дних шаблошв;
- обмеження накладено на значення «сили» кожного нейрона;
- мехашзм, який дозволяе нейронам конкурувати за право реагувати на п!дмножину вхвдних даних, влаштований таким чином, що тшьки один вих1дний нейрон (або пльки один нейрон у груш) е активним за один раз.
На рис. 2 показана архитектура конкурентно! нейронно! мереж!
'1024) Input layer
Рис. 2. Архгтектура конкурентно!' НМ
Ц мереж! використовують стратегш «переможець отримуе все», коли пльки ваги, пов'язанi з нейроном-переможцем, оновлюються в конкретну епоху, в той час як iншi ваги не оновлюються. Цей процес навчання призводить до посилення кореляцп мiж вхгдними даними i вГдповгдними нейронами -переможцями в процес навчання.
Моделювання хвороб грудно! клггини за допомогою згорткових НМ (С№Ы).
Згорткова НМ - алгоритм глибокого навчання, який може приймати вхгдне зображення, присвоювати важливiсть (навчальнi ваги та ухили) рiзним аспектам / об'ектам на зображеннi та мати можливють вiдрiзняти один вгд шшого. Попередня обробка, необхгдна для роботи мереж! значно нижча порiвняно з шшими алгоритмами класифшаци. Хоча в примггавних методах фГльтри виробляються вручну, при достатньому навчанш мережа мае можливють вивчати щ фГльтри/характеристики. Для ефективного навчання використовуеться оптимзаща за допомогою стохастичного градГентного спуску [3].
Ввдповвдш значення параметрГв навчання мереж! визначаються за допомогою експерименпв.
На рис. 3 показана архггектура згортово! НМ.
Svbiampling Convolutions
Рис. 3. Архггектура згортковог НМ
Результати порiвняння роботи НМ представленi в табл. 1. Тренувальна вибiрка для Bcix CPNN та BPNN складалась з 1000 зображень, CNN - 100 000 зображень.
Таблиця 1
Модель Тренувальний Ввдсоток Середньоквадратична Максимальна
час, с розпiзнавання, % помилка шлькють iтерацiй
BPNN 630 80,04 0,0025 5000
CPNN 300 89,57 0,0036 1000
CNN 2500 92,4 0,0013 40000
Аналiзуючи табл. 1 можна зробити висновки, що CNN досягла найвищого рiвня розпiзнавання для навчання i тестування даних, в порiвняннi з шшими використовуваними мережами. Але ця перевага CNN над шшими мережами вимагае бшьш тривалого часу i б№шо1 кiлькостi iтерацiй навчання, шж у BPNN i CpNN. Крiм того, можна бачити, що три мереж! досягли низько! середньоквадратично1 помилки
(MSE), тодi як CNN отримала найнижчу (0,0013). Час, необхщний для сходження CNN, вище, нiж час BPNN i CpNN. Це пов'язано з глибиною структури згортково! НМ, яка зазвичай потребуе тривалого часу, зокрема, коли шльюсть входiв велика. Проте, ця глибока структура е основним фактором у досягненш бшьш високого ввдсотка розтзнавання у порiвняннi з iншими мережами, такими як BPNN i CpNN.
Формулювання мети дослiдження
Для шдвищення достовiрностi постановки дiагнозу використовуючи рентгешвсьш знiмки потрiбна реалiзацiя методiв i алгоритмш розпiзнавання образiв, як1 ввдсутт в сучасних автоматизованих системах аналiзу та класифiкацiï CXR.
Основне завдання - створити ефективну архiтектуру НМ для виявлення аномалiй в рентгешвських знiмках, розробити алгоритм навчання НМ, визначити переваги та недолiки розробленоï НМ.
На основi iснуючих методiв виршення проблеми можна сформулювати завдання дослвдження, яке полягае в застосування НМ з метою виршення складнощiв виявлення аномалш на рентгенiвсъких знiмках.
Постановка завдання:
- виявити ефективнi методи попередньо1 обробки даних;
- розробити модель з використанням методiв глибокого навчання, а саме за допомогою згортковоï НМ для виявлення аномалш в рентгешвських зшмках;
- зробити висновки та визначити ефектившсть НМ.
Викладення основного матер1алу досл1дження
Проаналiзувавши iснуючi статтi й дослвдження були виявлеш проблеми в областi розтзнавання аномалш на CXR i для 1х вирiшення пропонуються методи i шдходи описанi нижче.
Метод зворотного поширення помилки. Це практика точного налаштування ваг НМ на основi частоти помилок, отриманих в попередню епоху. Правильна настройка ваг забезпечуе бiлъш низький рiвенъ помилок, що робить модель надiйноï за рахунок збiлъшення ïï узагальнення. НМ поширюе сигнал вхiдних даних в прямому напрямку через сво1' параметри до моменту прийняття рiшення, а попм поширюе iнформацiю про помилку в зворотному напрямку по мереж1, щоб вона могла змiнювати параметри. Це ввдбуваеться крок за кроком:
- мережа робить припущення про даш, використовуючи 1х параметри;
- мережа вимiрюеться за допомогою функцiï втрат;
- помилка зворотно поширюеться для налаштування неправильних параметрiв.
Сегментацiя навчально1' вибiрки. Виявлення часток легень е критичною стащею обробки в
автоматичному аналiзi CXR для легеневих розлащв. Точна локалiзацiя областi легень i обробка зображень позитивно впливае на загальну продуктившсть систем дiагностики / виявлення, пвдвищуе ïï точнiстъ i ефектившсть [4].
Полшшення зображення легень. Вихiдне зображення мае низьку контрастшсть, i подалъшi методи обробки зображень можуть привести до небажаних результата, тому е необх1дним початковий крок полшшення контрастность Результатом цього кроку е покращене зображення, на якому область легких чiтко вiдрiзняеться вiд фону.
Методи вирiшення недостатньо)! кiлъкостi учбових даних. Велик! медичш набори даних нелегко знайти з р!зних причин. Ручне анотування CXR е досить трудомютким. Кгашчт експерти зазвичай надають ильки невелик! набори даних. В останш роки дшитися клшчними даними стае все важче через сувор! закони про конфщенцшшсть пацiентiв.
Для того щоб виршити проблему недостатнъоï кшькосп даних в робот! використовуються комбшащя наступних метод!в доповнення:
- переклад. Переклад являе собою зсув щодо центру тренувального образу;
- обертання. Стратепя обертання тренувальних образ!в на дов!льну шльшсть градуав;
- розтягування. Анатом!чн! структури можуть проявлятися по-р!зному в р!зних рентгешвських зображеннях. Випадкове збшьшення або зменшення масштабу може додати вар!ацш до таких змш;
- зрушення. Стратепя розтягування зображення в двох протилежних напрямках одночасно;
- контрастш зб!льшення. Медичш зображення, отримаш з використанням обладнання р!зних виробнишв, можуть представляти ввдмшносп в iнтенсивностi зображення.
Для того щоб отримати найкращi результати навчання НМ необхiдно використовувати генератор випадковосп типу i величини доповнення для кожноï' ви6!рки. Приклади застосування доповнень зображень представленi на рис. 4.
Рис. 4. Приклади застосування доповнень до CXR
Архтгектура НМ. Для побудови модел НМ вибрана згорткова НМ.
CNN - це тип модел глибокого навчання для обробки даних, що мають аткову структуру. CNN - це математична конструкщя, яка зазвичай складаеться з трьох титв шар1в: згортки, об'еднання i повтстю пов'язаних шарiв. Першi два, шари згортки i об'еднання, виконують витяг об'ектiв, тод як третш, повнiсIЮ пов'язаний шар, вТдображае витягнуп об'екти в кТнцевий результат, такий як класифiкацiя. Переваги використання CNN:
- не вимагае ручного вилучення ознак;
- архтгектура CNN не обов'язково вимагае сегментацп пухлин або оргашв людськими експертами.
Недол1ки:
- CNN вимагае набагато бТльше даних через багату шлькють доступних для оцшки параметрiв i, отже, е бшьш дорогим в обчислювальному вiдношеннi, що призводить до необхiдностi в графiчних процесорах (GPU) для навчання моделi.
Як правило, для навчання НМ з нуля потрТбно багато даних, але доступ до цих даних не завжди доступний. За допомогою трансферного навчання можна побудувати надiйну модель машинного навчання з ввдносно невеликими даними, осшльки модель вже пройшла попередню тдготовку. КрТм того, час навчання скорочуеться, оск1льки для навчання складно! НМ з нуля шодТ потрТбш дш або навiть тижнт Трансферне навчання - це повторне використання попередньо навчено! моделi для виршення ново! проблеми. Трансферне навчання мае калька переваг, але основними перевагами е економiя часу на навчання, шдвищення продуктивносп НМ i ввдсутшсть необхiдностi у великий шлькосп даних. Це дуже корисно, осшльки в бТльшосп реальних проблем зазвичай немае мТльйошв помiчених точок даних для навчання складних моделей.
Висновки
В результата були розроблеш методи та подходи для розв'язання проблеми виявлення аномалiй на CXR, як1 дозволяють розробити ефективну архiтектуру НМ й шдвищити точшсть розпiзнавання патологiчних структур на рентгенограмах.
Глибоке навчання значно вплине на практичну реальнiсть анал1зу медичних зображень. Глибок НМ в даний час не використовуються в кттчшй практищ для медично! вТзуал1зацп, хоча деяш з них знаходяться в ктшчних випробуваннях. Компанп починають застосовувати перш! продукти, заснованi на глибокому навчаннт Цей процес займе деякий час, так як попереду ще е проблеми. Необхвдно збТльшити шльшсть медичних зображень для навчання моделей НМ, необхвдно отримати бiльше досввду з 3D-зображеннями, а медичне спiвтовариство повинно стандартизувати отримання зображень.
Якщо НМ зможуть перевершити людей з розтзнавання зображень, це не означае, що лшарТ залишаться без роботи. Майбутне глибоких НМ змусить !х працювати разом з л1карями, а не змшити !х.
Незважаючи на багатообТцяючТ результати, серйозш проблеми залишаються, особливо в тому, що стосуеться теоретично! основи, яка б чттко пояснила способи визначення оптимального вибору модел1, типу i структури для конкретного завдання або для глибокого розумшня причин, за якими конкретна архтгектура або алгоритм ефективш в цьому завданш чи нт
Список використаноТ лiтератури
1. Траверс Ч. Можливосп та перешкоди для глибокого вивчення бюлоги та медицини / Ч. Траверс. -Вкник штерфейсу корол1вського сусшльства - 2018. - 141с.
2. РабТх Г. Глибок1 згортковТ нейронш мереж! для виявлення хвороб грудно! кл1тини / Г. РабТх. -ВТсник штерфейсу корол1вського сусшльства - 2018. - 141с.
3. Вейнховен Р.Г. Швидке тренування виявлення об'екпв Тз використанням стохастичного градТентного випуску: матерТали мТжнародно! конференцп за наявшстю образу (ICPR) / Р.Г. Вейнховен - Цукуба, Япошя, 2010 р - 424 с.
4. Паттрашсетвонг П. Автоматична сегментация легких при рентгенографп грудно! клтгини з використанням теневого фшьтра: матерiали конференцiй IEEE / П. Паттрашсетвонг. -Манчестер, Великобриташя, 2016.
References
1. Travers Ching. Opportunities and obstacles for deep learning in biology and medicine, J Healthc Eng, 2018, 15(141), doi: 10.1098/rsif.2017.0387.
2. Rahib H. Abiyev, Mohammad Khaleel Sallam Ma'aitah. Deep Convolutional Neural Networks for Chest Diseases Detection, J Healthc Eng, 2018, doi: 10.1155/2018/4168538.
3. Wijnhoven R.G. Fast Training of Object Detection Using Stochastic Gradient Descent, International Conference on Pattern Recognition, 2010, doi: 10.1109/ICPR.2010.112
4. Pattrapisetwong P. Automatic lung segmentation in chest radiographs using shadow filter and multilevel thresholding, International Computer Science and Engineering Conference (ICSEC), Manchester, 2016, doi: 10.1109/ICSEC.2016.7859887.
