CC BY
13
СИСТЕМЫ ТЕЛЕКОММУНИКАЦИЙ И СЕТЕВЫЕ ТЕХНОЛОГИИ
DOI: 10.24143/2072-9502-2021 -2-66-74 УДК004.932.4
ТЕЛЕКОММУНИКАЦИОННЫЙ КОНВЕРТЕР ДЛЯ СИСТЕМЫ ВИЗУАЛИЗАЦИИ И НАВИГАЦИИ ПРИ ИСПОЛЬЗОВАНИИ МАЛОИНВАЗИВНЫХ МЕДИЦИНСКИХ МАНИПУЛЯЦИЙ1
С. Д. Шибайкин, А. А. Аббакумов, В. В. Никулин, М. С. Соколова
Национальный исследовательский Мордовский государственный университет им Н. П. Огарёва, Саранск, Республика Мордовия, Российская Федерация
Развитие информационных и телекоммуникационных технологий - основа развития современной медицинской диагностики, в которой в настоящее время преобладает использование цифровых технологий. Медицинские изображения в цифровом виде легко анализировать, хранить и пересылать по телекоммуникационным каналам связи. Большинство производителей поддерживают медицинский стандарт DICOM, содержащий полную, но во многих случаях избыточную информацию. Рассматривается процесс разработки кроссплатфор-менного телекоммуникационного конвертера медицинских изображений для системы визуализации и навигации при малоинвазивных медицинских манипуляциях. Подробным образом рассмотрен популярный формат медицинских изображений DICOM. Разработан алгоритм преобразования данных из формата DICOM в типовые стандарты графических файлов. Проанализированы результаты работы конвертера на примере таких характеристик, как «сжатие», «уровень сигнал/шум» и «скорость сжатия».
Ключевые слова: медицинские изображения, формат, сжатие, телекоммуникационный конвертер, обработка изображений, системы визуализации, малоинвазивные медицинские манипуляции.
Для цитирования: Шибайкин С. Д., Аббакумов А. А., Никулин В. В., Соколова М. С. Телекоммуникационный конвертер для системы визуализации и навигации при использовании малоинвазивных медицинских манипуляций // Серия: Управление, вычислительная техника и информатика. 2021. № 2. С. 66-74. DOI: 10.24143/2072-9502-2021-2-66-74.
Введение
Современные информационные и телекоммуникационные технологии позволяют применять математический аппарат при анализе и обработке медицинских изображений, а также при компьютерном моделировании и визуализации для малоинвазивных медицинских манипуляций. Изображения создаются и анализируются при проведении компьютерной томографии (КТ), магнитно-резонансной томографии (МРТ), маммографии, рентгенографии, ультразвукового исследования и других диагностических методов [1].
Термин «медицинское изображение» включает совокупность методических, методологических, понятийных и технологических процессов и описывает структурно-функциональный образ органов человека, предназначенный для диагностики заболеваний и изучения анатомо-физиологической картины организма. Необработанное трехмерное изображение, будь то изобра-
1 Работа выполнена при финансовой поддержке Фонда содействия инновациям по программе «Умник» в рамках договора 15546ГУ/2020 от 05.07.2020 г. «Разработка программного обеспечения для определения абсолютной координаты точки по ультразвуковым изображениям».
жение КТ, МРТ или микроскопии, представляет собой трехмерный массив вокселей или пикселей. Каждый воксель имеет диапазон оттенков серого от 0 до 65535 в случае 16-битного пикселя или от 0 до 255 в случае 8-битного пикселя. Большинство медицинских систем визуализации генерируют изображения с использованием 16-битного диапазона шкалы серого. Трехмерное изображение обычно имеет большое количество пикселей и требует больших вычислительных ресурсов для обработки, такой как сегментация и распознавание образов. С другой стороны, сегментированное изображение обеспечивает гораздо более простое описание объектов, что позволяет создавать трехмерные модели поверхности или отображать объемные данные.
Медицинские изображения могут быть представлены как в специализированных форматах от фирм-разработчиков медицинского оборудования, так и в стандартных (jpg, bmp, tiff и т. д.). Исходные изображения в специализированных форматах занимают большой объем памяти, поэтому для ускорения их передачи по каналам связи и для более рационального хранения в памяти компьютера их сжимают или конвертируют в более экономичные. При этом важным параметром является сохранение качества изображения [2]. На сегодняшний день не существует программных продуктов, позволяющих конвертировать медицинские изображения пакетами, с возможностью автоматической сортировки по ориентации и положению изображения, а также его масштабирования. Несомненным преимуществом разработанного нами конвертера является возможность генерации сортированного облака точек исследуемого объекта.
Анализ и обработка медицинских изображений позволяет получить трехмерные модели объектов, что является ключевым моментом при проведении малоинвазивных медицинских манипуляций и использовании роботизированных установок с техническим зрением и автоматической навигацией. Эффективным методом восстановления формы 3D-объектов из наборов данных 2D DICOM является обработка данных на основе методов обработки цифровых изображений для получения трехмерного облака точек. Этот шаг включает в себя извлечение функций, границы формы, удаление зашумленных данных и вставку новых пикселей для получения обычного набора данных для каждого среза DICOM. На следующем этапе выполнятся реконструкция трехмерного объекта на основе алгоритмов триангуляции Делоне или Marching Cubes трехмерного облака точек, а далее - рендеринг и визуализация объектов трехмерных медицинских изображений.
Анализ и описание работы конвертера
Практически любое оборудование для цифровой лучевой диагностики помимо своего стандарта на изображения поддерживает стандарт DICOM. Он охватывает файлы, созданные с целью переноса и просмотра медицинских снимков в стандартизированном формате. Изображения МРТ, а также другие медицинские снимки хранятся в этом формате вместе с данными о пациенте и другой связанной с этим информацией. Формат DICOM обеспечивает сохранение масштаба полученных снимков, что позволяет проводить точные измерения тех или иных анатомических структур. Однако основные программы просмотра снимков в данном формате имеют ограниченный функционал, не позволяющий производить целый ряд усложненных измерений, зачастую необходимых для качественного анализа снимка [3].
В некотором смысле определение объектов DICOM аналогично объектно-ориентированному программированию. Детализируя определения информационных объектов (IOD), DICOM детализирует определения информационных объектов (IOD), позволяя обмениваться виртуальными объектами, определяемыми аналогично ориентированному программированию между различными приложениями [4].
Информационная модель стандарта DICOM для DICOM-файла состоит из 4-х ступеней (рис. 1).
Рис. 1. Упрощенное представление модели данных DICOM
По результатам каждого исследования формируется файл, который содержит данные пациента, наименование и параметры оборудования, наименование медицинской организации, данные медицинского персонала и т. д.
DICOM-файл является объектно-ориентированным файлом с теговой разметкой. Каждый элемент имеет тег, тип данных с именем VR, длину и значение. Более подробно структура формата описана в [3].
Исходя из вышесказанного, считаем целесообразной разработку конвертера, который осуществлял бы преобразование всех файлов формата *.dcm, содержащихся в выбранном каталоге, в графический файл необходимого формата, текстовый файл с медицинскими данными и файл облака точек. В качестве базовой платформы для разработки предлагаемого конвертера была выбрана кроссплатформенная система Eclipse и язык Java. Конвертер состоит из 7 классов (рис. 2):
- DcmConverter - основной класс конвертера, который содержит в себе описания полей (тегов), параметры и типы фалов и т. д.;
- DcmDeconverter - класс для считывания тегов из DICOM файла;
- DcmDict - класс, содержащий в себе описание тегов (словарь);
- FileRead - класс для чтения данных из медицинских файлов (используется классом DcmConverter);
- FileOpen - класс открытия файлов медицинских изображений;
- ByteVector - вспомогательный класс для работы с массивами;
- FileInform - класс чтения атрибутов медицинского файла (высота, ширина изображения, типы сжатия и цветовые пространства изображений и т. д.).
Рис. 2. Диаграмма классов конвертера
Алгоритм работы конвертера представлен на рис. 3.
В качестве входящего параметра принимается строка, которая содержит в себе адрес каталога с DICOM-файлами. Затем определяется количество DICOM-файлов и выделяется память под массивы позиционирования и масштабирования (по осям координат). Далее, в зависимости от входящих параметров, выполняется преобразование DICOM-файла в тип Mat, в массивы позиционирования и масштабирования записываются соответствующие параметры. Далее, в зависимости от входящих параметров, выполняется преобразование DICOM-файла либо в тип Mat, с одновременной записью в массивы позиционирования и масштабирования соответствующих параметров, либо в графические файлы соответствующего (заданного) типа. Массив изображений типа Mat передается в систему визуализации и обработки.
Рис. 3. Схема работы конвертера
Изначально, как было сказано выше, DICOM-файл содержит в тегах избыточную текстовую информацию, которая не требуется после конвертации. Как правило, данная информация содержит в себе сведения об оборудовании, учреждении, данные о пациенте и т. д. В процессе конвертации отбираются следующие поля: толщина слоя, расстояние между слоями, позиция и положение пациента, ориентация слоя, цветовое пространство, ширина, высота, разрядность, расстояние между пикселями изображения.
Конвертер выполняет преобразование всех файлов формата *.dcm, которые содержатся в выбранном каталоге (и вложенных каталогах). По окончании процесса конвертации в текущем каталоге создается графический файл соответствующего формата (JPEG, TIFF и т. д.), а также текстовый файл с медицинскими данными. Так как в одном каталоге находятся, как правило, результаты одного потокового сканирования, полная текстовая информация находится в первом (в алфавитном порядке) файле, а в остальных файлах - только изменяющиеся параметры. Дополнительно в текущем каталоге создается файл облака точек. Данный файл содержит в себе координаты точек последовательности изображений, при этом в качестве координат х и у выступают координаты пикселей изображения. Координата z вычисляется на основании данных Position of Patient и Orientation of image slice. Цвет точки совпадет с цветом пикселя.
В процессе анализа существующего программного обеспечения по обработке и визуализации медицинских данных (MultiVox DICOM Viewer, MeVisLab, 3D-Doctor и т. д.) были выявлены как его достоинства, так и недостатки. В качестве основных недостатков таких систем можно выделить следующие:
- отсутствует пакетное сжатие (когда результаты диагностики представляют собой вложенные папки с медицинскими файлами);
- отсутствует сжатие однотипных текстовых данных;
- не создается файл облака точек для создания трехмерных тел.
В разрабатываемом программном комплексе предлагается сжимать текстовые данные за счет отсеивания постоянно повторяющейся информации для потокового сканирования, а также предлагается возможность выбора для сохранения в конвертируемом файле требуемых полей.
В табл. 1-3 приведены результаты конвертации телекоммуникационным конвертером различных медицинских изображений формата DICOM (КР/ЦР, УЗИ, КТ/МРТ и т. д.) с разрядностью пикселей 8, 16, 24 бит в различные форматы графических изображений (JPG, BMP, TIFF и т. д.). В таблицах для конвертированных медицинских изображений первым значением указывается размер после конвертации, вторым - величина PSNR. В последнем столбце указывается размер отфильтрованной текстовой информации из DICOM-файла.
Таблица 1
Размер изображений после конвертации (24 бит) и PSNR (уровень сигнал/шум)
Процедура DICOM JPG BMP TIFF PNG JP2 TXT
Кб
КР/ЦР 549 67/50 258/œ 181/œ 152/œ 107/200 4
УЗИ 549 58/49 253/œ 208/œ 131/œ 109/220 4
Эндоскопия 549 59/54 207/œ 223/œ 154/œ 99/210 4
МГ 549 52/49 185/œ 196/œ 133/œ 105/230 4
МРИ 549 50/49 168/œ 163/œ 126/œ 94/221 4
КТ/МРТ 549 56/48 196/œ 156/œ 142/œ 100/227 4
Таблица 2
Размер изображений после конвертации (16 бит) и PSNR (уровень сигнал/шум)
Процедура DICOM JPG BMP TIFF PNG JP2 TXT
Кб
КР/ЦР 241 29/48 113/œ 79/œ 67/œ 47/230 5
УЗИ 241 30/50 105/œ 93/œ 56/œ 51/210 5
Эндоскопия 241 34/52 93/œ 105/œ 48/œ 47/215 5
МГ 241 31/47 109/œ 101/œ 46/œ 48/226 5
МРИ 241 34/52 104/œ 115/œ 54/œ 45/228 5
КТ/МРТ 241 33/53 89/œ 110/œ 45/œ 45/235 5
Таблица 3
Размер изображений после конвертации (8 бит) и PSNR (уровень сигнал/шум)
Процедура DICOM JPG BMP TIFF PNG JP2 TXT
Кб
КР/ЦР 90 11/45 42/œ 30/œ 25/œ 18/200 3
УЗИ 90 9/50 37/œ 31/œ 22/œ 18/230 3
Эндоскопия 90 9/51 37/œ 31/œ 20/œ 18/180 3
МГ 90 10/49 32/œ 31/œ 17/œ 22/160 3
МРИ 90 12/53 36/œ 36/œ 18/œ 26/252 3
КТ/МРТ 90 12/55 38/œ 42/œ 22/œ 24/250 3
Для сравнения исходного и полученного изображений можно использовать метрики:
- PSNR (peak signal-to-noise ratio) - отношение сигнал/шум;
- SSIM (structural similarity index measure) - индекс структурного сходства.
В конвертере предлагается использовать метрику PSNR, т. к. SSIM является более избыточной с точки зрения сложности определения различности изображений:
PSNR = 10lg
( MN(2n -1)2
О "л /л/, j) -12 (i, j))2
где n - битность изображения; M, N - размеры изображений; I1, I2 - матрицы пикселей исходного и результирующего (конвертируемого) изображения.
Размер полученного конвертированного изображения также является важной характеристикой, т. к., например, при компьютерной или магнитно-резонансной томографии объем памяти для одного среза изображения размерами 512 х 512 пикселей и разрядностью 16 бит составляет около 0,5 Мб, а типичный стек изображений может иметь около 200 срезов, что может составить более 100 Мб. По компактности полученных изображений можно выделить PNG, JPG, JP2. Причем разница между исходным DICOM-изображением и конвертированным файлом более критична с увеличением размера изображения.
На основании определения метрики PSNR чем хуже качество полученного изображения, тем ниже ее значение. Важной характеристикой при конвертации DICOM-изображений является
размер полученного изображения, который зависит от алгоритмов сжатия. Данные характеристики являются взаимосвязанными, поэтому приводятся в одной таблице. Наиболее оптимальным с точки зрения уровня сигнал/шум является конвертирование изображений в форматы PNG, BMP и TIFF.
В табл. 4-6 приведена скорость работы телекоммуникационного конвертера медицинских изображений формата DICOM на процессоре Intel® Core™ i3-3240 CPU 3,40 GHz и ОЗУ 4 Гб при конвертации изображений в те же графические форматы с различным уровнем разрядности (8, 16, 24 бит).
Таблица 4
Скорость конвертации изображений (24 бит)
Процедура DICOM JPG BMP TIFF PNG JP2 TXT
ills
КР/ЦР 70 3 3 11 6 225 1
УЗИ 70 3 3 13 6 254 1
Эндоскопия 70 3 3 14 5 259 1
МГ 70 3 3 12 4 241 1
МРИ 70 3 4 9 5 195 1
КТ/МРТ 70 3 3 9 5 186 1
Таблица 5
Скорость конвертации изображений (16 бит)
Процедура DICOM JPG BMP TIFF PNG JP2 TXT
ills
КР/ЦР 62 5 3 7 5 238 1
УЗИ 62 5 3 6 6 245 1
Эндоскопия 62 6 3 6 7 233 1
МГ 62 5 3 6 6 272 1
МРИ 62 4 3 5 6 297 1
КТ/МРТ 62 5 3 5 6 297 1
Таблица 6
Скорость конвертации изображений (8 бит)
Процедура DICOM JPG BMP TIFF PNG JP2 TXT
ills
КР/ЦР 31 1 2 1 1 25 1
УЗИ 31 1 2 1 1 26 1
Эндоскопия 31 1 3 1 1 27 1
МГ 31 1 3 1 1 25 1
МРИ 31 1 4 2 1 29 1
КТ/МРТ 31 1 4 2 1 31 1
Для наглядности данные из табл. 1-3 в виде гистограмм объединены на рис. 4.
■ 24 бит
□ 16 бит
□ 8 бит
DICOM JPG BMP TIFF PNG
Рис. 4. Усредненные значения размеров изображений
Наиболее важный параметр - «Размер изображения» - представлен в усредненном по типам медицинских изображений виде.
По скорости конвертации изображений наиболее удовлетворительные результаты продемонстрировали форматы JPG, BMP и PNG. Таким образом, сравнение данных трех характеристик позволяет сделать вывод о том, что наиболее оптимальным с точки зрения PSNR, качества и скорости сжатия можно назвать форматы PNG и JPG.
Важным условием при разработке конвертера была его кроссплатформенность. Работа предлагаемого конвертера была проверена на всех современных платформах (Windows, Linux, MacOS, Android) с предустановленной виртуальной машиной Java и показала устойчивые результаты.
Заключение
Предложенный в работе кроссплатформенный конвертер для медицинских изображений стандарта DICOM позволяет получать их компактное представление в различных графических форматах для дальнейшей обработки или передачи по каналам связи. При этом конвертер позволяет выбирать тип экспортируемого изображения, предоставляет возможность выбора степени сжатия, а также позволяет контролировать получение и сжатие данных без содержания артефактов. Во время тестирования телекоммуникационного конвертера было обработано более 100 тыс. медицинских изображений и не выявлено ни одного сбоя в его работе. Методы конвертера можно использовать для обработки изображений в составе других программных комплексов, а также фреймворков (OPENCV, Aforge, libVLC, ImageJ и т. д.).
Результаты работы также позволят ИТ-специалистам, даже не связанным с медицинской сферой, более эффективно использовать медицинские изображения для разработки классификаторов на основе алгоритмов машинного обучения.
СПИСОК ЛИТЕРА ТУРЫ
1. Шибайкин С. Д., Аббакумов А. А., Никулин В. В. Разработка программного обеспечения системы визуализации и навигации для малоинвазивных медицинских манипуляций на основе 3-D модели построенной по УЗ-изображениям // Науч.-техн. вестн. Поволжья. 2020. № 2. С. 50-53.
2. Королюк И. П. Медицинская информатика: учеб. Самара: ООО «Офорт»; ГБОУ ВПО «СамГМУ», 2012. 244 с.
3. Шибайкин С. Д., Аббакумов А. А., Плеханова А. Д., Лебедев М. А., Пинимаскин В. А. Разработка телекоммуникационного конвертера для медицинских УЗ-изображений // Науч.-техн. вестн. Поволжья. 2020. № 10. С. 51-54.
4. DICOM. Официальная страница стандарта. URL: https://www.dicomstandard.org/current/ (дата обращения: 20.12.2020).
Статья поступила в редакцию 12.02.2021
ИНФОРМАЦИЯ ОБ АВТОРАХ
Сергей Дмитриевич Шибайкин - канд. техн. наук, доцент; доцент кафедры инфокоммуникационных технологий и систем связи; Национальный исследовательский Мордовский государственный университет им. Н. П. Огарёва; Россия, 430005, Саранск; [email protected].
Андрей Александрович Аббакумов - канд. техн. наук, доцент; доцент кафедры автоматизированных систем обработки информации и управления; Национальный исследовательский Мордовский государственный университет им. Н. П. Огарева; Россия, 430005, Саранск; [email protected].
Владимир Валерьевич Никулин — канд. техн. наук, доцент; зав. кафедрой инфокоммуникационных технологий и систем связи; Национальный исследовательский Мордовский государственный университет им. Н. П. Огарева; Россия, 430005, Саранск; [email protected].
Мария Сергеевна Соколова — аспирант кафедры инфокоммуникационных технологий и систем связи; Национальный исследовательский Мордовский государственный университет им. Н. П. Огарёва; Россия, 430005, Саранск; [email protected].
TELECOMMUNICATIONS CONVERTER FOR VISUALIZATION AND NAVIGATION SYSTEM IN LOW-INVASIVE MEDICAL MANIPULATIONS
S. D. Shibaikin, A. A. Abbakumov, V. V. Nikulin, M. S. Sokolova
National Research Ogarev Mordovia State University, Saransk, Republic of Mordovia, Russian Federation
Abstract. The article highlights the progress of information and telecommunication technologies as a basis for studying modern medical diagnostics, where digital technologies are widely used. Digital medical images can be easily analyzed, stored, and transmitted over telecommunications channels. Most manufacturers support the DICOM medical standard which contains complete, but in many cases redundant, information. There is considered the process of developing a cross-platform telecommunications converter of medical images for the system of visualization and navigation in low-invasive medical manipulations. The popular medical image format DICOM is considered in detail. An algorithm for converting data from the DICOM format into standard graphic files has been developed. The results of the converter operation are analyzed in the case of such characteristics as compression, signal-to-noise level and compression rate.
Key words: medical image, format, compression, telecommunication converter, image processing, visualization systems, low-invasive medical manipulations.
For citation: Shibaikin S. D., Abbakumov A. A., Nikulin V. V., Sokolova M. S. Telecommunications converter for visualization and navigation system in low-invasive medical manipulations. Vestnik of Astrakhan State Technical University. Series: Management, Computer Science and Informatics. 2021;2:66-74. (In Russ.) DOI: 10.24143/2072-9502-2021-2-66-74.
REFERENCES
1. Shibaikin S. D., Abbakumov A. A., Nikulin V. V. Razrabotka programmnogo obespecheniia sistemy vizual-izatsii i navigatsii dlia maloinvazivnykh meditsinskikh manipuliatsii na osnove 3-D modeli postroennoi po UZ-izobrazheniiam [Developing software for visualization and navigation systems low-invasive medical procedures based on 3-D model built from ultrasound images]. Nauchno-tekhnicheskii vestnikPovolzh'ia, 2020, no. 2, pp. 50-53.
2. Koroliuk I. P. Meditsinskaia informatika: uchebnik [Medical informatics: textbook]. Samara, OOO «Ofort»; GBOU VPO «SamGMU», 2012. 244 p.
3. Shibaikin S. D., Abbakumov A. A., Plekhanova A. D., Lebedev M. A., Pinimaskin V. A. Razrabotka tele-kommunikatsionnogo konvertera dlia meditsinskikh UZ-izobrazhenii [Developing telecommunication converter for medical ultrasound images]. Nauchno-tekhnicheskii vestnik Povolzh'ia, 2020, no. 10, pp. 51-54.
4. DICOM. Ofitsial'naia stranitsa standarta [DICOM. Official page of standard]. Available at: https://www.dicomstandard.org/current/ (accessed: 05.02.2021).
The article submitted to the editors 12.02.2021
INFORMA TION ABOUT THE A UTHORS
Sergei D. Shibaikin — Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department of Infocommunication Technologies and Communication Systems; National Research Ogarev Mordovia State University; Russia, 430005, Saransk; [email protected].
Andrei A. Abbakumov - Candidate of Technical Sciences, Assistant Professor; Assistant Professor of the Department of Automated Systems of Data Processing and Management; National Research Ogarev Mordovia State University; Russia, 430005, Saransk; [email protected].
Vladimir V. Nikulin - Candidate of Technical Sciences, Assistant Professor; Head of the Department of Infocommunication Technologies and Communication Systems; National Research Ogarev Mordovia State University; Russia, 430005, Saransk; [email protected].
Maria S. Sokolova - Postgraduate Student of the Department of Infocommunication Technologies and Communication Systems; National Research Ogarev Mordovia State University; Russia, 430005, Saransk; [email protected].
