Метрики качества медицинских изображений

Батищев Денис Сергеевич

Т Т Д Т—Т Т Батищев Д.С. Метрики качества медицинских изображений//Научный результат.

^^Л^ -г уЛт , 7Т д Информационные технологии. - Т.4, №3, 2019

РЕЗУЛЬТАТ

УДК 004.932 Батищев Д.С.

DOI: 10.18413/2518-1092-2019-4-3-0-4 МЕТРИКИ КАЧЕСТВА МЕДИЦИНСКИХ ИЗОБРАЖЕНИЙ

Белгородский государственный национальный исследовательский университет, ул. Победы д. 85, г. Белгород, 308015, Россия

e-mail: batishchev@bsu.edu.ru

Аннотация

Данная статья посвящена проблеме определения качества медицинских изображений. Сейчас многие цифровые медицинские аппараты представляют выходные данные в виде цифрового снимка, и в силу различных факторов изображения могут быть расфокусированы, зашумлены, иметь другие недостатки, которые препятствуют нормальному анализу человеку или алгоритмам компьютерного зрения. Авторы описывают несколько метрик, подходящих для определения качества медицинских изображений: меры размытости, сегментации, энтропии изображения, резкости, уровня шумов. Вычислив данные меры для интересующего изображения можно предположительно сказать, насколько изображение подходит для анализа человеческим глазом или алгоритмами компьютерного зрения.

Ключевые слова: обработка изображений; компьютерное зрение; качество изображений.

UDC 004.932

Batishchev D.S.

MEDICAL IMAGE QUALITY METRICS

Belgorod State National Research University, 85 Pobedy St., Belgorod, 308015, Russia

e-mail: batishchev@bsu.edu.ru

Аbstract

This article is about the problem of calculating the quality of medical images. Nowadays many digital medical devices present the output in the form of a digital image, and due to various factors, images can be out of focus, noisy, and have other drawbacks that interfere with normal human analysis or computer vision algorithms. Authors describe several metrics that are suitable for determining the quality of medical images: measures of blurriness, segmentation, image entropy, sharpness, noise level. With these metrics for the image of interest, we can say with some probability if the image is suitable for analysis by the human eye or computer vision algorithms. Keywords: image processing; computer vision; image quality.

ПРОБЛЕМА

Ранжирование изображений по их качеству является одной из наиболее распространенных проблем во многих областях прикладной науки и техники. Медицина не является исключением -при обследовании пациентов генерируются существенные объемы визуальных данных, которые сложно анализировать одновременно. Предварительная обработка этих данных путем извлечения лучших изображений для дальнейшей диагностики может сэкономить время для отбора подходящих изображений. Так же можно разработать улучшающие качество фильтры, которые сделают данные изображения более удобными для человека или алгоритмов компьютерного зрения.

В данной работе рассматривается качество как характерная для изображения характеристика, воспринимаемая средним человеком-наблюдателем. В настоящее время часто измеряют качество изображения с помощью одной из метрик, например, контрастность, размытость и т.п.

Практическая цель - найти ограниченный набор функций, которые описывают воспринимаемое качество. Такой набор является первым шагом в решении практической задачи

Т Т Д Т—Т Т Батищев Д.С. Метрики качества медицинских изображений//Научный результат.

^^Л^ -г уЛт , 7Т д Информационные технологии. - Т.4, №3, 2019

РЕЗУЛЬТАТ

ррдрАКСК АР5Ч1Т|

разработки инструмента вычисления качества медицинских изображений, а также инструмента, улучшающего их качество.

МЕТОДЫ

Мера размытости

Даже частично размытое изображение влияет на восприятие качества. Именно рассматривается размытость как важный фактор восприятия качества изображения. В этой работе используется две разные меры размытия.

Первый, описанный Ф. Критом и Т. Долмиром [6], использует фильтр нижних частот и основан на принципе, согласно которому уровень серого цвета соседних пикселей в менее размытом изображении изменяется с большей вариацией, чем в его размытой копии. Таким образом, они рассчитывают абсолютную разность Б по вертикали и горизонтали для соседних пикселей в исходных и размытых изображениях (1):

Ярег(х,у) = \К*,у) - 1(х - 1,у)\,х = 2 ...ы,у = 1 ..Л, (1а)

ОПог{х,у) = \Кх,у) - Кх,у - 1)\,х = 1...™,У = 2...К, (1б)

где I (х, у) - значение интенсивности в пикселе (х, у), к и н - высота и ширина изображения. После этого необходимо вычислить вариативность соседних пикселей до и после размытия: если разница велика, исходное изображение считается достаточно резким. В вычислении вариативности участвуют только уменьшающуюся разницу, отсюда V для вертикального и горизонтального направлений (2):

УуеЛ*,у) = тах(0,0уег{ху) - 0ВреЛху)),х = 1 - 1,у = 0 ...И. - 1, (1) где Вв (ху) - модуль разницы для размытого изображения В. Наконец, размытость для вертикального направления вычисляется:

£ _ Ьх,у=1 иуег(х,у) Ьх,у=1 *уег(х,у) ..»ч

гЫигиег = ^-1^-1 п (3)

ьх,у=1 иуег(х,у)

Горизонтальная размытость рассчитывается таким же образом. В качестве окончательной меры размытия выбирается максимум : РЬ1иг = тах(РЪ1иГ11ог, РЪ1иГуег). Далее - РЫигЛ.

Еще одна мера размытости была представлена Мин Гу Чой [12], основанная на выделении краев с использованием градиента интенсивности. Авторы определяют значение модуля разности пикселей по горизонтали и вертикали, вычисляемое как разность между его левым и правым или верхним и нижним соседними пикселями. Затем они получают средние горизонтальные и вертикальные абсолютные разности 0Пог для всего изображения, как в (4).

°погтеап = '^у-Л \(х,у -1)- Кх,у + (4)

Затем каждое значение пикселя сравнивается со средними значениями модуля горизонтальной разности, вычисленными для всего изображения, чтобы выбрать потенциальные граничные пиксели как С}10Г (х, у):

с (ху) = \°и(х,У), если Оп(х,у) > 0ПоГтеап погУ >У) { о, в остальных случаях ' )

Если потенциальный пиксель Спог(х, у) имеет модуль горизонтального значения больше, чем его горизонтальные соседи, этот пиксель будет классифицирован как краевой пиксель Епог(х,у), как показано в (6).

£ (х у) _ I1, еСЛи ^Пог(х,у) > max(^hor(X'У-l), ^hor(X'У+l)) ^^

ог ' [ 0, в остальных случаях

Каждый краевой пиксель проверяется, чтобы определить, соответствует ли он размытому краю или нет. Во-первых, горизонтальная размытость пикселя вычисляется согласно (7).

ВЫгк„(Х.у) = ''^'ГГ^' (7)

Т Т Д Т—Т Т Батищев Д.С. Метрики качества медицинских изображений//Научный результат.

^^Л^ -г уЛт , 7Т д Информационные технологии. - Т.4, №3, 2019

РЕЗУЛЬТАТ

BF5FARCH R F 5 U Г. Т |

Вертикальное значение получается таким же образом, выбирается максимум из двух значений для окончательного решения. Пиксель считается размытым, если его значение превышает предопределенный порог (например, 0.1, вычисляется эмпирически).

!1,если max(Blurhor(x,y),Blurver(x,y)) > 0.1 and

0, в остальных случаях (8)

Наконец, результирующая мера размытия для всего изображения называется инвертированной размытостью и вычисляется как отношение количества пикселей с размытыми краями к количеству краевых пикселей (9).

Рыиг = 1 - №S=iB(x,y)/TZ5=1E(x,y)) (9)

Далее будем называть эту меру Fbiur_2, чтобы отличить ее от размытия, описанного в [6].

Предположим, что увеличение размытости должно негативно повлиять на качество восприятия, потому что очень размытое изображение потеряет важную информацию и будет менее привлекательным.

Мера энтропии изображения

Основная идея энтропии заключается в измерении неопределенности изображения. Чем больше информации и меньше шума содержится в изображении, тем более оно будет полезным, и можно будет связать полезность изображения с его объективным качеством. В исследовании энтропия по Шеннону была рассчитана для всего изображения, его переднего плана и фона согласно (10).

Pent = -Y.nk=lP(lk)*log2P(lk). (10)

где р(1к) - вероятность конкретного значения интенсивности Ik.

Предполагается, что более высокая энтропия должна означать, что в изображении содержится больше сигнала. Например, если есть меньше деталей и больше плоских поверхностей, энтропия будет меньше. Однако изображение с шумом будет иметь большую энтропию, поэтому необходимо рассматривать энтропию для трех уровней изображения.

Мера сегментации

В [11] показано, на сколько разных сегментов изображения могут быть разделены. В работе используется простейшая, но наиболее интуитивная реализация, сравнивая два основных сегмента: фоновое изображение (seg1) и передний план (seg2). В данном случае просто вычисляется среднее значение интенсивности и используется все пиксели с более низкой интенсивностью в качестве фона, в то время как остальные пиксели классифицируются, как объектные. Чтобы вычислить меру сегментации, средняя разность U для соседних пикселей в скользящем окне 3х3 вычисляется для каждого сегмента изображения (11):

2

USeg(X,y) = Ilm,n=-l(i(x,y) -1(Х-П,у-т)) (11)

приводя к следующей мере W:

1 1

W =--^(x^eseg. USeg1(x,y) + Т,-Z(x,y)eseg2 Useg2(x,J) (12)

"segl nseg2

Далее вычисляется средняя интенсивность пикселей в каждом сегменте и получается квадратная разница между средними интенсивностями самой пары сегментов. Сумма квадратов разностей средних интенсивностей называется B:

В = [Nsegi ^(x,y)eseg1 Useg1(x,y) — N 2 %(x,y)eseg2 Useg2(x,y)j (13)

Результирующая мера вычисляется как:

Fsep = 1000*W + B(14)

и она будет высокой для изображений с высокой разницей между сегментами и низкой разницей внутри сегмента.

Мера резкости

Эта мера [12] основана на предположении, что различия соседних пикселей больше изменяются в областях с острыми краями. Поэтому авторы вычисляют разность второго порядка

Т Т Д Т—Т Т Батищев Д.С. Метрики качества медицинских изображений//Научный результат.

^^Л^ -г уЛт , 7Т д Информационные технологии. - Т.4, №3, 2019

РЕЗУЛЬТАТ

BF5FARCH R F 5 U Г. Т |

для соседних пикселей в качестве дискретного аналога второй производной для изображения, прошедшего через шумоподавляющий медианный фильтр:

AD2(x,y) — [Im(x + 2,у) - 1т(х,у)] - [1т(х,у) - 1т(х - 2,у)], (15)

где 1т - оригинальное изображение, пропущенное через медианный фильр.

Далее авторы определяют вертикальную резкость для каждого пикселя Sver как:

SVer(x,y) — I x-t=k=x+t x-t=k=x+t

\I(k,y)-I(k-1,y)\, (16)

и каждый пиксель считается резким, если его резкость превышает 0.0001. Число резких пикселей NSver вычисляется, и краевые пиксели находятся с помощью метода Canny, число NEyER равно их количеству. Затем тот же процесс повторяется в горизонтальном направлении, и отношение острых краевых пикселей для вертикального и горизонтального направлений вычисляется как:

(»)

Предполагается, что резкое изображение более привлекательно для глаза и содержит больше полезной информации. Мера уровня шумов

Естественно предположить, что наличие шума может отрицательно сказаться на качестве воспринимаемого изображения. Поэтому включили меру шума, разработанную Масаюки Т. [13]. В данной работе уровень шума описывается как стандартное отклонение гауссовского шума. Авторы предлагают кусочный алгоритм. Сначала исходное изображение раскладывается на перекрывающиеся участки, а модель для всего изображения записывается как Pi — щ, где zt -это часть исходного изображения с i-м пикселем в центре, преобразованным в одномерный вектор, и pi - наблюдаемый участок (также преобразованный в вектор), искаженный гауссовским шумом, который представлен как вектор щ. Чтобы оценить уровень шума, нужно получить неизвестное стандартное отклонение, используя только наблюдаемое искаженное изображение с шумом.

Все участки изображения обрабатываются как данные в евклидовом пространстве, его дисперсия может проецироваться на одну ось, направление которой определяется вектором u. Дисперсия данных V, спроецированных на u, может быть записана как:

V(uTPi) — V(uTZi)+ri , (18)

где - стандартное отклонение гауссовского шума.

Минимальное отклонение направления данных определяется по принципу анализа основных компонентов (PCA). Сначала матрица ковариации данных п определяется как:

n^^Pi - m)(pi - т)Т (19)

где b - количество исправлений, m - среднее значение в наборе данных (pj. Затем дисперсия исходных данных проецируется на направление минимальной дисперсии, равное минимальному собственному значению Am £ п:

Кт(л) — Кт(Ф) + °П, (20)

где ф - ковариационная матрица для бесшумных кусков z.

Уровень шума можно оценить, если мы разложим минимальное собственное значение ковариационной матрицы шумных участков, что является некорректной проблемой, поскольку минимальное собственное значение для ковариационной матрицы бесшумных участков неизвестно. Поэтому авторы предлагают выбирать слабо текстурированные участки из изображений с шумом, потому что такие пятна охватывают низкоразмерное пространство, а минимальное собственное значение их ковариационной матрицы близко к нулю, поэтому их уровень шума Fnoiseможно оценить как:

iНе можете найти то, что вам нужно? Попробуйте сервис подбора литературы.

Fnoise = ), (21)

где n' - ковариационная матрица слабо текстурированных участков изображения.

Несомненно, наиболее важной частью предложенного алгоритма является выбор слабо текстурированных участков. Основная идея состоит в том, чтобы сравнить максимальное

Т Т Д Т—Т Т Батищев Д.С. Метрики качества медицинских изображений//Научный результат.

^^Л^ -г уЛт , 7Т д Информационные технологии. - Т.4, №3, 2019

РЕЗУЛЬТАТ

BF5FARCH R F 5 U Г. Т |

собственное значение градиентной ковариационной матрицы участка с некоторым порогом. Градиентная ковариационная матрица C участка j вычисляется как:

CjGjTGj, (22)

где Gj = [Dhorj,Dverj], а Dhor и Dver являются горизонтальными и вертикальными производными операторами.

Чтобы выбрать слабо текстурированный участок, проверяется статистическая гипотеза. Нулевая гипотеза (участок имеет слабую плоскую текстуру) принимается, если максимальное собственное значение ее собственной градиентной ковариационной матрицы Cj меньше порогового значения. Порог т для максимального собственного значения градиентной ковариантной матрицы можно найти как:

т = riF-1 (8,^,2tr(DhorTDflor)), (23)

где о - уровень значимости (например 0,99), F-1 - кумулятивная функция распределения с обратной гаммой с формой b/2 и параметром масштаба 2tr(DhorTDhor). Интегральная обратная гамма-функция распределения определяется как:

F(x,a,fr=i^, (24)

где Г( ) обозначает гамма-функцию, a - параметр масштаба, ( - параметр формы. Гамма-функция для положительного целого числа n определяется как:

F(n) = (n-1)\ (25)

We assume that noisier images would have worse quality and would be less informative. Предполагается, что более шумные изображения будут иметь худшее качество и будут менее информативными.

Заключение и дальнейшее исследование

Используя описанные метрики можно разработать автоматизированную систему [1], которая будет осуществлять предварительную фильтрацию изображений для врача/исследователя, либо же можно размечать изображение с выделением проблемных участков, чтобы далее применить функции, обратные для «проблемной» метрики этого участка изображения, таким образом повысить качество восприятия исходного изображения.

БЛАГОДАРНОСТИ

Грант РФФИ номер 19-07-00133 А «Разработка интеллектуальных высокопроизводительных методов распознавания медицинских изображений и создание компьютерной системы поддержки принятия решений в виде облачного сервиса для прогнозирования и диагностики в персональной медицине».

Список литературы

1. Сойникова Е.С., Батищев Д.С., Михелев В.М. О распознавании форменных объектов крови на основе медицинских изображений. Научный результат. Информационные технологии. Т. 3., № 3. 2018. С. 54-65.

2. Chen F., Doermann D., Kumar J. Sharpness estimation for Document and Scene Images. Pattern Recognition (ICPR), 2012.

3. Bishop C. M. Pattern Recognition and Machine Learning. Springer. 2006.

4. Bloom Jeffrey A., Chen C. A blind reference-free blockiness measure. Proceedings of the Pacific Rim Conference on Advances in Multimedia Information. part I. 2010.

5. Chel H., Sodhani P. Blind quality assessment of JPEG compressed images. Conference: Progress in Electromagnetics Research Symposium. 2017

6. Dolmiere T., Ladret P. Crete F. The Blur Effect: Perception and Estimation with a New No-Reference Perceptual Blur Metric. SPIE Electronic Imaging Symposium. Conference: Human Vision and Electronic Imaging. 2007.

7. Ganesh A. A novel approach for image noise estimation and its removal. 2018

НАУЧНЫЙ РЕЗУЛЬТАТ

RESEARCH RES

Батищев Д.С. Метрики качества медицинских изображений// Научный результат. Информационные технологии. - Т.4, №3, 2019

8. K. De. A new no-reference image quality measure to determine the quality of a given image using object separability. Machine Vision and Image Processing (MVIP). 2012.

9. Komander B., Lorenz Dirk A., Vestweber L. Denoising of Image Gradients and Total Generalized Variation Denoising. Journal of Mathematical Imaging and Vision. 2017

10. Marziliano P., Dufaux F., Winkler S., Ebrahimi T. A No-Reference Perceptual Blur Metric. Conference: Image Processing. 2002

11. Monica P. Carley-Spencer, Jeffrey P. Woodard. No-Reference image quality metrics for structural MRI. Neuroinformatics. vol. 4, 2006.

12. Serir A. Kerouh F. A no-reference blur image quality measure based on wavelet transform. Digital Information Processing and Communications. 2012.

13. Tanaka M., Okutomi Xinhao Liu. M. Noise Level Estimation Using Weak Textured Patches of a Single Noisy Image. IEEE International Conference on Image Processing (ICIP). 2012.

14. Wang Z., Bovik A., Sheikh Hamid R., Simoncelli Eero P. Image Quality Assessment: From Error Visibility to Structural Similarity. IEEE Transactions on Image Processing. 2004.

References

1. Soynikova E.S., Batishchev D.S., Mikhelev V.M. On the recognition of shaped blood objects based on medical images. The scientific result. Information Technology. T. 3, No. 3. 2018. S. 54-65.

2. Chen F., Doermann D., Kumar J. Sharpness assessment for Document and Scene Images. Pattern Recognition (ICPR), 2012.

3. Bishop C. M. Pattern Recognition and Machine Learning. Springer 2006.