CC BY
8очистки рассола от гипса: это степень концентрирования солей (ш), время перемешивания (тпер), время отстоя (тотс) и количество затравки (ф. Для определения зависимости степени очистки рассола
от указанных факторов был реализован ортогональный план второго порядка с числом опытов в центре плана по = 1. По результатам предыдущих исследований были приняты следующие интервалы и уровни варьирования (таблица 2).
Таблица 2. Факторы и уровени варьирвания
Уровни Факторы
Степень концентрирования солей m (xi) Время перемешивания, тпер, мин. (х2) Время отСТОЯ Т0тс, мин. (х3) Количество затравки q, г/г, (Х4)
(-) 4 10 20 0,1
(+) 10 40 40 0,3
(0) 7 25 30 0,2
(-1,414) 2,758 4 16 0,07
(+1,414) 11,242 46 34 0,34
Литература.
1. Разработка безотходной технологии переработки сточных вод с повышенным содержанием / Наука, техника и разование, №5. Т1, 2017 с 32-35.
2. Хамский Е.В. Кристаллизация в химической промышленности. М: Химия, 1971
3. Шицкова А.П. , Новиков Ю.В. и др Охрана окружающей среды нефтеперерабатывающей промышленности.- Химия, 1980-176 с
4. Унирицированные методы анализа вод. Под. ред Лурьс Ю.Ю., М: Химия, 1971
5. Клячко В.А, Апельцин И.Э Очистка природных вод. М. : Стройиздат, 1991
6. Ахназарова С.Л., Каряков В.В. Оптимизация эксперимента химии и химической технологии. М.: Высшая школа. - 1978.
Музиченко В.1.
магiстр кафедри техмчно! тбернетики Нацюнального технiчного утверситету Украти «Кигвський полтехтчний тститут iменi 1горя Сжорського»
Корнага Я. I.
кандидат техтчних наук, доцент кафедри технiчноi тбернетики Нацюнального технiчного утверситету Украти «Кшвський полтехтчний тститут iменi 1горя Сжорського»
PATTERN RECOGNITION OF DEFECTIVE BONES X-RAY USING ARTIFICAL NEURAL
NETWORK
ВИР1ШЕННЯ ЗАДАЧ ЛОКАЛ1ЗАЩ1 ОБТКТ1В ЗА ДОПОМОГОЮ ЗГОРТКОВИХ НЕЙРОНИХ
МЕРЕЖ
Summary: Recently, applications with image recognition function are involved in many areas, ranging from research, medicine, and to crime detection through fingerprint recognition. For any X-ray doctor, photos of bones play a very large and important role in the resolution of diagnoses, sometimes it should be the basis for surgical operations. This article combines two sections (recognition of bone defects) by learning a simple artificial neural network using an error-reversal algorithm to identify five types of normal and five types of defective bones on X-rays and then evaluate the accuracy of the recognition. From the learning process of the network it is clear that the greater the number of hidden neurons increases processing time. The shape of the images plays an important role in the recognition process. Obviously, the network should choose the minimum number of hidden neurons, so that it still determines the maximum network performance.
Key words: neural network, pattern recognition, bones, X ray image, back propagation algorithm.
В ходе опытов определяли остаточное содержание кальция и по выражения (Сг..2+ /Сг„2+ )• 100
у Саотс Саисх
рассчитывали степень очистки, где С 2+ и С 2+ -
Саисх Саотс
концентрация исходных и остаточных ионов кальция соответственно. Полученные значения искомой величины заносили в ортогональную матрицу планирования. Проведя расчеты по методике приведенной в /4/ получили уравнение регрессии следующего вида:
У = 26,72-37,45х1-3,95х2-3,19х1х2-1,19хзх4+21,8х2+9,8х2 (1)
В натуральном масштабе уравнение регрессии примет вид:
У = 26,72 - 37,45ш-3.95тпер - 3,19 ш- тпер-1,Щ-т2+21,8 ш2+9,8тПер (2)
Таким образом получили уравнение регрессии которое может быт рекомендовано для определения оптимальных условий очистки остаточных рассолов установок умягчения от гипса.
Анотащя: Остантм часом додатки з функщею розтзнавання o6pa3iB 3aAiHHi в багатьох областях, починаючи з наукових дослщжень, медицини, i до боротьби 3i злочиннiстю шляхом розпiзнaвaння вiдбиткiв пальщв. Для будь-якого лiкaря рентген зтмки исток грають дуже велику i важливу роль в по-стaновi дiaгнозiв, iнодi це мае бути тдставою до хiрургiчних оперaцiй. У цш стaттi об'eднaнi два роздши (розпiзнaвaння дефектiв к1сток) шляхом навчання просто! штучно! нейронно! мереж! з використанням алгоритму зворотного поширення помилки, щоб розпiзнaти п'ять вид!в нормальних i п'ять вид!в дефектних исток на рентгешвських зображеннях, а попм оцшити точшсть розпiзнaвaння. З процесу навчання мереж1 ясно, що бiльшa ильисть прихованих нейронiв збшшуе час обробки. Форма зображень грае важливу роль в процес розтзнавання. Очевидно, що мережа повинна вибирати мшмальну к1льк1сть прихованих нейронiв, щоб вона як i рaнiше визначала максимальну продуктившсть мереж!.
Ключовi слова: нейронна мережа, розпiзнaвaння обрaзiв, истки, рентгешвське зображення, алгоритм зворотного поширення помилки.
Постановка проблеми
Робота над штучними нейронними мережами, з самого початку була мотивована завдяки визнанню того, що людський мозок обчислюе зовсiм iнакше, шж звичайний цифровий комп'ютер. Мозок - дуже складна, нелшшна i паралельна система обробки iнформацii. Вш мае можливiсть ор-ганiзовувати своi структурнi складовi, котрi вiдомi як нейрони, для виконання певних обчислень (наприклад, розпiзнавання образiв, сприйняття, управлшня моторикою) у багато разiв швидше, нiж найшвидший з сучасних цифрових комп'ютерiв.
Аналiз досл1джень та публшацш
Мозок зазвичай виконуе завдання розтзнавання сприйняття (наприклад, розтзнаючи знайоме обличчя, в незнайомiй сценi) приблизно через 100-200 мс, тодi як, використовуючи звичайний комп'ютер, завдання з набагато меншою склад-шстю можуть зайняти цiлi днi. Для шшого прикладу розглянемо сонар кажана. Sonar - це активна система ехолокацп. На додаток до передачi шфор-мацй' про те, як далеко знаходиться цш (наприклад, комаха), сонар кажана передае шформацш про ввдносну швидкость цш, розмiри цiлi, рiзних розмiрнi ознаки цiлi та азимута i висоти цш. Складнi нейроннi обчислення, необхвдщ для отри-мання всiеi mei' iнформацii' з цiльового ввдбитого звуку, вщбуваються в мозку розмiром з сливу. Дшсно, коефiцieнт успiху ехолоцп кажана, котра може успiшно захопити свою тль не зважаючи на перешкоди, може бути предметом заздросп для будь-якого радюлокатора. Як же тодi мозок людини або мозок кажана робить це? При народженш мозок мае складну структурну здатшсть створювати своi власнi правила котрi ми зазвичай називаемо «до-сввдом». Дшсно, досввд формуеться з найбшш вра-жаючим розвитком людського мозку, який тривае протягом перших двох роив з моменту народ-ження, але розвиток продовжуеться i набагато шзшше цього етапу [1].
Видшення мевир1шеми\ рашше частин про-блеми
Головне питання полягае в тому, чи можна за допомогою нейронноi мережi з алгоритмом зворотного поширення помилки локал1зувати об'екти на зображеш, в даному випадку кустки людського тша, з високою точнiсю та достатньою швидистю, та визначити шляхи ошгашзацп роботи системи.
Цiль статт
Визначення необхвдних умов для устшного навчання нейронно! мереж1, та дослщити можлив! фактори впливу на !! роботу. Опис необх1дних ета-niB для подготовки та навчання нейронно! мереж!, таких як зб!р зображень для навчання, !х шдготовка та обробка. Визначення впливу змши параметр!в на результати роботи нейронно! мереж!
Викладення основного матерiалу
1. Нейронш мереж1
Останшм часом нейронна мережа стае бшш популярною як техшка для розтзнавання образ!в. Було дослвджено, що нейронш мереж! можуть за-безпечити високу точшсть розтзнавання. Нейронш мереж! здатш забезпечити хороше розтзнавання образ!в з наявшстю шуму, тод! коли методи зазвичай не спрацьовують.
Штучна нейронна мережа (ANN) - це парадигма обробки шформацп, яка взяла наднення з бюлопчною нервовою системою як прикладом (1), таким як мозок, шформащя про процес. Ключовим елементом те! парадигми е нова структура системи обробки шформацп. Вона складаеться з велико! илькосп взаемопов'язаних оброблених елеменпв (нейрошв), що працюють в ушсон для виршення конкретних проблем. ANN, як i люди, вчаться на приклад!. ANN, показаний на малюнку (2), налаштовуеться для конкретного додатка, такого як розтзнавання образ!в або класифжатя даних, через процес навчання. Навчання в бюлопчних системах включае в себе коригування синаптичних зв'яз-ив, що юнують м1ж нейронами. Це вщноситься ! до ANN. Нейронш мереж! з !х чудову здатшсть витя-гувати сенс з! складних або неточних даних можуть використовуватися для отримання шаблошв ! вияв-лення тенденц!й, як! занадто складн!, щоб !х помггили люди або шш! комп'ютерш методи. Навчена нейронна мережа може розглядатися як «експерт» в категори шформацп, яку вона давала анал!зу.
2. Зворотний алгоритм поширення помилки
Навчання шляхом зворотного поширення помилки стало найпопуляршшим методом навчання нейронних мереж. Причиною популярносл е простота ! вщносна потужшсть алгоритму. Поширення назви насправд! походить ввд термша, використо-вуваного Розенблатта (1962) для його спроби уза-
гальнити алгоритм навчання одного шару нейроме-режi на багатошаровий випадок [4,5]. BPN (back propagation) - це свого роду контрольована нав-чальна нейронна мережа, вона е один з найб1льш часто використовуваних метод1в навчання в нейронних мережах. Принцип, що лежить в основ1 BPN, полягае в використанш методу град1ентного спуску для досягнення мшмума функцп. Загальна модель BPN мае архитектуру, що складаеться з трьох р1вн1в, включаючи вхвдний р1вень, прихова-ний р1вень i вихвдний р1вень. Два вузла кожного сум1жного шару безпосередньо пов'язаш один з одним, що називаеться з'еднанням. Кожне з'еднання мае зважене значення, яке представляе стутнь вiдношення мiж двома вузлами. Процес навчання, що описуеться наступними рiвняннями (включаючи рiвняння помилки i рiвняння ваги), оновлюе цi зважеш значення.
Rumelhart i McClelland визначають термiн помилки, який залежить вiд рiзницi мiж вихвдними значениями, як повинен мати вихвдний нейрон, який називають цiльовим значенням Tj, i значенном, яке воно фактично мае в результатi прямих об-числень подачi, Oj. Термш помилки являе собою показник того, наскшьки добре мережу тренуеться в певному навчальному наборi. Рiвняння (1) шстить визначення помилки. Нижиiй iндекс p по-значае, яке значення для даного шаблону
£р = ; = 1Г; ■ (ГР; - ОР/) ■ 2 (1)
Мета навчального процесу - мiнiмiзувати цю помилку за вама прикладами навчання. Вихвд нейрона у вихвдному шарi е функцiею його вве-дення, або Oj = f (Ij). Перша похвдна ше!' функцiï f '(Ij) е важливим елементом поширення зворотного зв'язку. Для нейрошв вихвдного шару величина, яка називаеться сигналом помилки, представлена Aj, яка визначена в рiвняннi (2).
= / '((/) 07 - о;) = (г; - о;)о; (1 - о; ) (2)
Значення помилки повертаеться назад i вико-нуються вiдповiднi коригування ваги. Це робиться шляхом накопичення A для кожного нейрона всь-ого набору тренувань, додавання !х i поширення помилки на основi загально!' суми A. Це називаеться перюдичним (епохальним) навчанням [19]. 1снують два основних параметри, як1 впливають на здатшсть навчання нейронноï мереж1. По-перше, коефщент навчання , який визначае навчальну здатнiсть нейронно! мереж1. По-друге, коефiцiент
iмпульсу визначае швидк1сть, з якою вчиться нейронна мережа. Це можна скорегувати до пев-ного значення, щоб запобiгти проникненню нейронно! мереж в так званi локальш енергетичнi мiнiмуми. Обидвi швидкостi можуть мати значення ввд 0 до 1. Кожна вага мае бути встановлений на по-чаткове значення. Зазвичай виконуеться випадкова iнiцiалiзацiя. Корекщя ваги виконуеться поетапно, починаючи з кшця фази подачi вперед i повертаю-чись назад до входiв прихованого шару.
Ваги, як1 складають вих1дний шар (Wjh), оновлюються з використанням рiвняння (3). Сюди також входять ваги змiщення на нейронах вихвд-ного шару. Однак, щоб уникнути ризику потрап-ляння нейронно! мереж1 в локальнi мiнiмуми, можна додати момент iмпульсу, як в рiвняннi (4)
W/ft (new) = Wyft (oZd) + Д/Oft (3) W/ft (new) = Wyft (oZd) + 4/0ft + a [W/ft (oZd)] (4)
Де Wjh (минулий) означае попередня змiна ваги. Термш помилки для вихвдного шару визна-чаеться в рiвняннi прихованого шару, це не просто, однак визначення Румельхарта i Макклелланд опи-суе термш помилки для прихованого нейрона, як в рiвняннi (5), а попм в рiвняннi (6).
4ft = / '( /ft) (5)
4ft = Oft (1 - Oft ) (6)
Регулювання ваги для з'еднань, яш представля-ють в прихований шар з вхвдного шару, обчислю-ються аналогiчно тим, яш подають вих1дний шар.
Ц коригування розраховуються з використанням рiвняння (7)
Wfti (new) = Wfti (oZd) + 4ft Oi + a [Wfti (oZd)] (7)
Змщення ваги в нейронах прихованого шару оновлюються, аналопчно, використовуючи рiвняння (7).
3. Опис рентгешвських промочив ккток
Штучна нейронна мережа, може розтзнавати рiзноманiтнi символи з дефектами на рентгешвських зшмках i без них.
На блок-схемi нижче показаш три этапи алгоритму:
v
Тренування мереж1 на тестових зображенннх
>
Тестування Результат
Рисунок 1 - Блок-схема системи
4. Отримання бази даних
Спочатку природш i дефектш зображення ренттешвських зшмив, 3i6paHi з 1нтернету, o6pi3a-ються програмою Photoshop, потiм зберiтaються як (.jpg) зображення, шсля чого Bei зображення змiнюються в розмiрaх i цей розмiр становить 200 х 200 пiкселiв, тут предстaвленi 5 форм зображень исток використовуваш в цш стaттi 3 форми !х для навчання, а решта 2 для тестування навченото ANN. Для тренувальних зображень використовуються зображення природних к1сток, поверненi зображення вправо i поверненi зображення зл1ва. Для те-стових зображень використовуються: дефектш зображення исток i перевернут дефекти до 180 тра-дуав, потiм наступний приклади, як1 використовувалися для навчання i тестування ANN.
5. Оперший модифжаци
На цьому рiвнi зображення модифiкуються для подaчi в штучну нейронну мережу, i ця оперaцiя складаеться з трьох частин: спочатку змiнa розмiр вах зображень, перетворiть в двiйкову форму (режим аро! шкали), а попм третя частина повинна виправдати значення пiкселiв, роздiливши зна-чення кожного пiкселя на 255, щоб зaфiксувaти значення всix пiкселiв в зобрaженнi мiж нулем i оди-ницею.
6. Обробка
Шсля збору зображень i пiдготовки !х до заван-таженни до нейронно! мережi, вона навчаеться за допомогою алгоритму Back Propagation з викори-станням трьох типiв навчальних образiв. Щоб нав-чити штучну нейронну мережу, потрiбно спочатку знайти реальш компоненти алгоритму Back Propagation, а попм потрiбно визначити функцiю активаци, кiлькiсть вхвдних i вихвдних нейрошв, е деяк1 елементи (елементи навчання), таи як функцiя фактично! помилки, швидисть навчання, коефiцiент iмпульсу, та шш! У таблицi 1 показаш всi навчальнi елементи, як1 використовувалися в навчанш штучно! нейронно! мереж! для розтзна-вання образiв. Алгоритм працюе обчислюючи по-милку м!ж фактичним результатом i метою тре-нування, коли значення цiе! помилки дорiвнюе або менше бажаного результату, який вводиться як гiперпараметр, як показано в таблиц (2). Тепер у нас е навчена нейронна мережа, яка готова для тестування за допомогою тестових зображень. На стадп тестування зображення завантажуються до нейронно! мереж! та проходять ус! шари нейронно! мереж1 без зворотнього поширення помилки, це зроблено для того, щоб побачити як добре неронни мережа була навчена. Шсля цього можна ро-зрахувати точшсть для тренувальних даних та тестових.
Wschodnioeuropejskie Czasopismo Naukowe (East European Scientific Journal) #3(31), 2018 ЙМЙ 45 Таблиця 1 - Основт елементи_
Юльшсть вхвдних нейронiв 40000
Юльшсть прихованих нейронiв 80
К1льк1сть вихiдних нейрошв 5
Швидшсть навчання 0,16
Коефiцiент iмпульсу 0,41
Помилка 0,0001
Юльшсть iтерацiй 137
Максимальна iтерацiя 10000
Час тренування 1с
Час тестування 0,0718с
Точнiсть навчання 98,54%
Точшсть тестування 75,85%
На рис.2 видно, що Bci необхвдш параметри будь-яко! нейронно! мереж можуть бути HaB4eHi виконанню завдання. Ц параметри е вх1дним шаром, який мiстить число вхвдних нейрошв, в даному випадку 40000 нейрошв вщ 200 х 200 mкселiв, це розм1р зображення, прихований шар, який \пстить
прихованi нейрони та фiксуeться на 80 нейронах ввдповщно до продуктивностi мереж i, нарешп, вихвдний шар, який мiстить число вихвдних нейронiв, тобто 5, що е к1льк1стю навчальних зоб-ражень.
Рисунок 2 - Нейронна мережа системи
Висновки та пропозицп
Нейронна мережа зi зворотнiм поширенням помилки може застосовуватися до багатьох додат-к1в, таких як розпiзнавання образiв, класифiкацiя моделей i наближення функцш З ше! статгi був зроблений висновок про те, що для усшшного нав-чання нейронно! мереж1 потрiбно вибрати вiдповiдний алгоритм навчання, i виявлено, що шум впливае на продуктивнiсть мережi, якщо невеликий шум може покращувати точшсть нейроно! мереж1 завдяки своерiднiй регуляризацп, то при збiльшеннi кiлькостi шуму мережа не може розшзнати навчену базу даних, як i людина, не може розпiзнати тестовi приклади якщо вони дуже сильно зменшуються. Пiд час обробки був отрима-ний коефiцiент точностi навчання 98,54% i точнiсть тестування 75,85%. З тренувань процесу тре-нування неронно! мережi стало ясно, що бшьше число нейронiв прихованого шару збшшуе час обробки. Очевидно, що повинна бути вибрана мiнiмальна к1льк1сть нейрошв яка може задовшь-нити бажану як1сть, так як вона як i ранiше визначае
максимальну продуктившсть мереж. Також очевидно, що збшшуючи швидк1сть навчання, можна отримати бiльш короткий час навчання, але вщсо-ток розпiзнaвaння обрaзiв зменшуеться. Змiнюючи параметри (швидк1сть навчання, коефщент iм-пульсу i число нейрошв прихованого шару), полш-шуються результата розшзнавання i усуваються ло-кальш мiнiмуми, як1 зустрiчaються на граф^ гге-рaцi! проти помилки.
Список лггератури
1. Howard Demuth, MarkBeale: Neural Network Toolbox. 1992 - 2002 by The MathWorks, Inc. URL : http://www.im-
age.ece.ntua.gr/courses_static/nn/matlab/nnet.pdf
2. S Jayaraman, S Esakkirajan, T Veerakumar, "Digital Image Processing", Tata McGraw Hill Education, 2009
3. J. C. Griffiths, "Defects in Long Bones from Severe Neglected Osteitis", TheJournal of Bone and Joint Surgery, Salford, England, November 1968, Vol.50B, No.4
4. Nervous system. URL: http://en.wikipe-dia.org/wiki/Nervous_system
5. David E. Rumelhart, "Back Propagation, Theory, Architectures, and Applications", 1995.
6. Peter Norvig. Artificial Intelligence. 2010. URL:
http://www.cs.wisc.edu/~dyer/cs540/hw/hw3/hw3.htm l
7. M. Russel, S. Mandayam and S. Jensen, ""The Intellgent" valve: A diagnostic framework for integrated systems health management of a rocket engine
test stand", IEEE Transactions on Instrumentation and Measurement, Volume 60, Issue 4, March 2011, Pages: 1489-1497
8. Mostofi F. and Khashman A. (2014). Intelligent Recognition of Ancient Persian Cuneiform Characters. In Proceedings of the International Conference on Neural Computation Theory and Applications - Volume 1: NCTA, (IJCCI 2014) ISBN 978-989-758-054-3, Pages 119-123
Музиченко B.I.
маггстр кафедри техмчно! юбернетики Нацюнального технгчного утверситету Украти «Кигвський полтехтчний тститут 1мет 1горя Сжорського»
Корнага Я. I.
кандидат техтчних наук, доцент кафедри техшчно! тбернетики Нацюнального технгчного утверситету Украти «Кигвський полтехнгчний iнститут 1мет 1горя Сжорського»
REGION-BASED CONVOLUTIONAL NEURAL NETWORKS ДОСЛ1ДЖЕННЯ МЕТОДУ «ПРОПОЗИЦ1Й РЕГЮШВ» У ЗГОРТКОВИХ НЕЙРОННИХ
МЕРЕЖАХ
Summary: Deep convolutional neural networks (CNNs) have had a major impact on most areas of image comprehension, including categorizing objects. When detecting objects, methods such as R-CNN, have received excellent results by integrating CNN with networks that generate regions by selective search. This article explores the role of region generation in detectors using CNN and the region suggestion model to determine whether the region proposal model is a necessary simulation component encoding important geometric information about the internal state of the image, or is simply a way to accelerate detection without loss of quality. This is done by designing and evaluating a detector that uses a "trivial area" generation pattern that is constant for each image. Combined with the Spatial Pyramid Pooling, it provides an excellent and fast detector that does not require image processing using algorithms other than CNN itself.
Keywords: CNN, neural networks, image understanding, object category detect, region generation.
Анотащя: Глибош згоргковi нейронш мережi (CNN) зробили великий вплив на бшьштсть областей розумшня зображень, включаючи визначення категори об'екпв. При виявленш об'екпв так методи, як R-CNN, отримали ввдмшш результати за рахунок штеграци CNN з мережами яш генеруют регюни, за допо-могою вибiркового пошуку (selective search). У цш статп дослщжуеться роль генераци репошв в детекторах за допомогою CNN та моделi пропозицш репошв, щоб визначити, чи е модель пропозици репошв необхщним компонентом моделювання, що кодуе важливу геометричну шформацш про внутршнш стан зображення, або це просто споаб прискорити детекцш без втрати якосп Це робиться, за допомогою про-ектування та оцшювання детектора, який використовуе схему генераци "тривiальноi обласп", постшну для кожного зображення. У поеднанш з стльним об'еднання трашди (Spatial Pyramid Pooling) це дае вщмшний i швидкий детектор, який не вимагае обробки зображення за допомогою алгорштшв окрiм самi CNN.
Ключовi слова: CNN, нейроннi мережi, розпiзнавання зображень, визначення категори об'екпв, гене-рашя регiонiв.
Постановка мроблеми
Детекцiя об'екпв - одна з основних проблем в штелектуальнш обробш зображень. До недавнього часу найбшьш ефективнi детектори в найбшьш по-пулярних тестах, таких як PASCAL VOC, були зас-новаш на поеднаннi евристично згенерованих ознак зображення, таких як SIFT, HOG i Vector Fisher, а також форми структуровано! регреси вихiдного сигналу, WTF(вiд моделей розсувних вжон до мо-делi деформованних деталей).
Аналiз досл1джень та публшацш
Однак ocTaHHiM часом джерела засноваш на поeднаннi евристично згенерованих ознак стали значно ввдставати вiд моделей, яю заснованi на гли-бокому навчаннi, яке автоматично набувае уяв-лення про особливостi даних за допомогою згор-тальних нейронних мереж (CNNs). На данний момент кращi детектори на основi CNN засноваш на конструкци R-CNN [9, с. 17]. Концептуально R-CNN дуже простий: вiн видiляе обласп зображення за допомогою механiзму пропозицш та вибiрковий
