CC BY
32УДК 004.8
11 2 2 П.А. Шагалова , Э.С. Соколова , Т.Г. Щербатюк , М.И. Яшанова
РАСПОЗНАВАНИЕ КРИСТАЛЛИЧЕСКИХ СТРУКТУР ПЛАЗМЫ КРОВИ НА ОСНОВЕ СВЕРТОЧНЫХ НЕЙРОННЫХ СЕТЕЙ
Нижегородский государственный технический университет им. Р.Е. Алексеева1, Нижегородская государственная медицинская академия2
Цель: Исследование применения сверточных нейронных сетей в задаче распознавания кристаллических структур плазмы крови.
Методология / подход: аппарат искусственных нейронных сетей.
Результаты: предложен подход, основанный на сверточной нейронной сети, позволяющий выполнить поиск кристаллических структур, специфических при диагностике сахарного диабета.
Применение: описанный в работе подход позволяет выполнить поиск визуальных шаблонов кристаллических структур биожидкости.
Оригинальность / значение: данное исследование может быть использовано при разработке системы автоматизации метода диагностики, основанного на анализе кристаллических структур биологической жидкости.
Ключевые слова: сверточная нейронная сеть, машинное зрение, кристаллическая структура, биологическая жидкость.
Клиновидная дегидратация [6] - медицинский метод диагностики, основанный на визуальном анализе структур, полученных в результате кристаллизации биологической жидкости. Этот метод является простым, оперативным, дешевым, безреагентным, малоинвазивным и в настоящее время реализуется специалистами вручную. Автоматизация метода позволит исключить человеческий фактор, снизит трудозатратность и стоимость метода. Задача поиска и распознавания кристаллических структур, образующихся при возникновении патологии, является одной из важных подзадач автоматизации метода. Анализ существующих подходов и разработка алгоритмов, позволяющих выполнить поиск таких структур, и является целью данного исследования.
Постановка задачи и входные данные
Любое изменение биохимического состояния внутренней среды организма отражается на структуре биожидкости. В данной работе анализируемой биожидкостью является плазма крови и производится поиск элементов, специфических для сахарного диабета. В норме при высыхании капли плазмы крови можно наблюдать регулярные и однородные структуры. При возникновении патологии наблюдаются аномальные и специфические структуры. На рис. 1 приведены примеры изображений, полученных в результате высыхания капли плазмы крови и отмечены кристаллические структуры, которые мы будем рассматривать далее.
Рассматриваемая нами задача относится к классу задач машинного зрения [5]. Входными данными являются изображения пленки, полученной в результате высыхания капли плазмы крови. Для поиска на этих изображениях специфических элементов будем использовать свер-точные искусственные нейронные сети [1-3]. Нейронные сети - мощный и гибкий инструмент, для решения задачи предложена архитектура, разработанная и успешно применяемая для распознавания образов. Она активно используется, лежит в основе множества систем распознавания и демонстрирует высокую точность даже в сложных условиях (например, в условиях внутриклассовой изменчивости, перекрытия объектов, изменения освещения).
Предложен следующий алгоритм решения задачи: • подготовка обучающей выборки;
© Шагалова П.А., Соколова Э.С., Щербатюк Т.Г., Яшанова М.И., 2016.
• обучение сверточной нейронной сети для решения задачи распознавания искомых структур;
• проход скользящим окном по входному изображению и применение обученного классификатора для каждого окна;
• использование скользящего окна не только на исходном изображении, но и на его уменьшенных копиях (для поиска объектов разных размеров);
• удаление множественных срабатываний(откликов).
Рис. 1. Фотографии пленки, полученной в результате кристаллизации капли крови. Слева - норма, справа - сахарный диабет
Экспериментальная часть
В базе данных имеется 300 изображений, содержащих требуемые объекты. Из этих 300 изображений 200 были использованы для подготовки обучающей выборки, а остальные 100 - для тестирования системы. Каждый обучающий пример представляет собой фрагмент изображения, размер которого должен быть равен размеру скользящего окна.
Рис. 2. Обучающая выборка. Слева - примеры искомых структур, справа - примеры фона
Предварительно каждое изображение было преобразовано из цветного в полутоновое и использован медианный фильтр для устранения импульсного шума. Далее была составлена обучающая выборка, в которую вошли примеры двух классов (рис. 2). Основной класс -фрагменты изображений, содержащие искомые структуры, второй класс - фрагменты фона. На изображениях, предназначенных для обучения, было выделено 350 объектов основного класса. Указанное количество является недостаточным для обучения нейронной сети, поэтому был применен метод, позволяющий сгенерировать дополнительные примеры из существующих. Метод заключается в получении новых примеров путем небольшого смещения или поворота существующих примеров. Применение этого метода дало дополнительно 750 примеров. Фрагменты фоновых обучающих примеров на первом этапе были выбраны произвольно. Количество обучающих примеров второго класса было выбрано равным 8000 с учетом того, что их количество должно в разы превышать количество искомых элементов.
Для разработки архитектуры и обучения нейронной сети был выбран пакет MatConvNet. Выбор именно этого инструмента обусловлен его простотой, функциональностью, гибкостью, наличием документации и возможностью смоделировать любую из известных сверточных нейронных сетей. Подбор параметров искусственной нейронной сети для каждой конкретной задачи осуществляется эмпирическим путем.
В качестве метрик оценки эффективности разрабатываемой системы были использованы точность (precision) и полнота (recall), формулы (1, 2). Первая метрика отражает процент объектов, действительно являющихся объектами основного класса среди всех объектов, распознанных системой как основной класс. Вторая метрика отражает отношение количества найденных объектов основного класса к общему количеству объектов основного класса.
Precision = tp , (1)
tp+fp
где tp - количество объектов основного класса, распознанных системой; fp - количество ложных срабатываний;
Recall = (2)
tp+fn
где tp - количество объектов основного класса, распознанных системой; fn - количество объектов основного класса, не распознанных системой;
После проведения ряда экспериментов была получена следующая структура нейронной сети (рис. 3).
Рис. 3. Архитектура нейронной сети
Представленная архитектура была обучена на сформированной выборке, затем для каждого тестового примера, согласно предложенному алгоритму, была построена пирамида
изображений (размеры каждого последующего изображения на 10% меньше предыдущего). Каждое изображение было сканировано скользящим окном, применена обученная нейросеть, составлена карта откликов. Далее удалены повторные срабатывания, подведена статистика по всем тестовым примерам, и рассчитаны метрики.
В результате обучения были получены следующие результаты: точность - 63%, полнота - 71%.
В нашей задаче приоритетным является повышение значения первой метрики -точности. Низкое значение первого параметра обусловлено большим количеством ложных срабатываний. Для сокращения числа ложных срабатываний были выполнены следующие действия:
• нейросеть сеть была применена к обучающему множеству изображений и сохранены фрагменты, на которых сеть ошиблась (т.е. примеры, являющиеся для сети сложными);
• обучающая выборка была дополнена, примерами ложных срабатываний, полученных на предыдущем этапе;
• произведено повторное обучение сети на новой выборке.
В результате получена точность и полнота соответственно равные 84% и 71%, из чего следует, что удалось существенно поднять точность распознавания, путем повторного обучения сети на сложных примерах. На рис.4 представлен результат работы сети.
Д Figure 1: Result М^ИН
File Edit View Insert Tools Desktop Window Help *
сиз и ¿j fe |\чг■ a □ о
Рис. 4. Пример работы сети
Для дальнейшего увеличения точности можно воспользоваться априорным знанием о возможном местоположении объектов. Искомые объекты располагаются в так называемой периферийной зоне. Выделение центральной и периферийной зон на изображении является
одной из подзадач автоматизации метода клиновидной дегидратации и может быть реализована, используя алгоритмы текстурной сегментации.
Выводы
В ходе исследования было проанализировано использование сверточных нейронных сетей в задаче распознавания кристаллических структур плазмы крови. Был предложен подход, позволяющий адаптировать использование нейросетевого подхода к рассматриваемой задаче. В рамках работы произведена реализация предложенного подхода для поиска и распознавания структурных элементов, используемых при диагностике сахарного диабета. Исходя из полученных результатов, можно сделать вывод о том, что подход, предложенный в работе, обеспечивает требуемую точность и может быть использован для решения поставленной задачи.
Библиографический список
1. Бухнин, А. В. Оптимизация баз знаний экспертных систем с применением нейронных нечетких сетей / А. В. Бухнин, Ю. С. Бажанов // Нейрокомпьютеры: разработка, применение. - М., 2007. № 11.
2. Дмитриев, Д.В. Адаптация генетических алгоритмов к решению задач назначения точек контроля в объектах с большим числом состояний / Д.В. Дмитриев, Э.С. Соколова, С.Н. Капранов // Нейрокомпьютеры. М., 2007. № 11.
3. Соколова Э.С. Выделение детерминированной компоненты временных рядов методом спектрального анализа / Э.С. Соколова, Д.А. Ляхманов // Вестник Нижегородского университета им. Н.И. Лобачевского. 2011. №5. Часть 1. С.181-184.
4. Хайкин, С. Нейронные сети: полный курс / Саймон Хайкин. - М.: Издательский дом «Виль-ямс», 2006. -104 с.
5. Ясницкий, Л.Н. Введение в искусственный интеллект : учеб. пособие / Л.Н. Ясницкий. -2-е изд. - М.: Издательский дом «Академия», 2008. -176 с.
6. Щербатюк, Т.Г. Возможность наличия оценки окислительного стресса у больных сахарным диабетом типа 2 с помощью метода клиновидной дегидратации / Т.Г. Щербатюк, О.В. Зано-зина, Н.Н. Боровков, Е.С.Клинцова // Российский медико-биологический вестник им. академика И.П. Павлова. 2009. №4. С. 92-97.
Дата поступления в редакцию 16.05.2016
P.A. Shagalova, E.S. Sokolova, T.G. Shcherbatyuk, M.I. Yashanova
RECOGNITION OF CRYSTAL STRUCTURES OF THE BLOOD PLASMA BASED ON CONVOLUTIONAL NEURAL NETWORK
Nizhny novgorod state technical university n.a. R.E. Alexeyev, Nizhny Novgorod State Medical Academy
Purpose: Researching of convolutional neural network for recognition of crystal structures of the blood plasma. Design / methodology / approach: Application of artificial neural networks.
Findings: Implement of neural network system for detection of crystal structures used for diagnosis of diabetes. Research limitations / implications: current research is used for detection of patterns of crystal stractures of biological fluids.
Originality / value: The ability to use of the offered approach for automation of method based on analysis of crystal structures of biological fluids.
Key words: convolutional neural network, computer vision, crystal structure, biological-LIC fluid.
