CC BY
66
Информационные технологии Вестник Нижегородского университета им. Н.И. Лобачевского, 2012, № 5 (2), с. 266-275
УДК 004.925.3
ОЦЕНКА КАЧЕСТВА ВИЗУАЛИЗАЦИИ МЕДИЦИНСКИХ И НАУЧНЫХ ДАННЫХ В ВЕЛИЧИНАХ ОТНОШЕНИЯ ПИКОВОГО СИГНАЛА К ШУМУ
© 2012 г. Н.И. Гаврилов, В.Е. Турлапов
Нижегородский госуниверситет им. Н.И. Лобачевского
Поступила в редакцию 30.09.2012
Несмотря на обилие подходов к оптимизации алгоритма объёмного рендеринга в терминах качества и производительности, в литературе практически отсутствует формальный подход к количественной оценке качества изображений, получаемых в ходе визуализации научных и медицинских пространственных данных. В статье предложен метод оценки артефактов алгоритма объёмного рендеринга, связанных с недостаточно малой длиной шага луча в методе испускания лучей. На основе предложенного метода оценки в ходе экспериментов сравниваются различные подходы, призванные улучшить качество рендеринга, для разных случаев визуализации выявляются оптимальные из этих подходов по критерию качество/производительность.
Ключевые слова: медицинская визуализация, научная визуализация, оценка качества, объёмный рендеринг, трассировка лучей, GPU, GPGPU.
Введение
Одним из современных высокоинформативных методов в медицинской диагностике является компьютерная томография (КТ). Трехмерная реконструкция томограмм позволяет представить в трёхмерном пространстве локализацию сосудов, патологий и других особенностей, делая эту методику наглядной для врача-клинициста. В настоящее время длительность томографии всего тела с толщиной среза менее 1 мм составляет около 10-15 секунд, а результатом исследования являются от нескольких сотен до нескольких тысяч изображений. Фактически современная многосрезовая КТ (МСКТ) является методикой объемного исследования всего тела человека, т.к. полученные аксиальные томограммы составляют трехмерный массив данных, позволяющий выполнить любые реконструкции изображений, в т.ч. многоплоскостные реформации, объемную визуализацию, виртуальные эндоскопии.
Трехмерная реконструкция томограммы может быть также эффективным инструментом обучения в медицинском образовании. На настоящий момент в мире, и в России в частности, достигнута производительность 3D-реконструк-ции, достаточная для создания виртуальных анатомических столов. Пока, правда, с минимальной функциональностью. Первое применение такого анатомического стола состоялось в Стэндфордском университете (http://youtu.be/ 28XhiI2bG3g).
Техника прямого объёмного рендеринга (Direct Volume Rendering, DVR) и, в том числе, техника испускания лучей (Ray Casting, RC) широко применяется для визуального анализа объёмных данных в научной и медицинской визуализации. Сегодня существует множество подходов [8], позволяющих производить объёмную визуализацию в реальном времени с использованием высокопроизводительных вычислений на GPU. Существуют успешные реализации объёмного рендеринга, полностью выполняемого на центральном процессоре. Движок компании Fovia для объёмного рендеринга High Definition Volume Rendering® (http://www.fovia. com/) обеспечивает визуализацию в реальном времени для данных большого размера. Высокое качество рендеринга достигается (http://www.vizworld.com/2010/10/high-definition-volume-rendering-fovia-cpu/) за счёт адаптивного изменения шага луча. Подобные оптимизации хорошо применимы для программ на CPU, тогда как для GPU-программ такие подходы должны быть пересмотрены.
Основные артефакты DVR
В простейшем методе Volume Raycasting луч движется с неким шагом через объём с данными, делая на каждом шаге выборку значения из данных с использованием какой-либо интерполяции. Текущему значению данных передаточная функция ставит в соответствие оптические свойства, которые вносят вклад в
искомый цвет и непрозрачность пикселя. То есть луч пошагово «накапливает» цвет и непрозрачность. Однако на отрезке, соединяющем два соседних шага луча, могут находиться точки, которые в соответствии с передаточной функцией существенно отличаются по оптическим свойствам от точек на концах отрезка.
Причём из-за регулярности расположения стартовых позиций лучей артефакты также имеют вид концентрических замкнутых линий. Путём сдвига стартовых позиций лучей на случайный вектор, сонаправленный их движениям, можно избавиться от регулярности артефактов, превратив их в шум с нулевым матожиданием. Накопление таких зашумлённых изображений даст усреднённое изображение без шума. Существуют и другие варианты сдвигов стартовых позиций лучей [5], но только случайность позволит накопить усреднённое изображение.
в)
Рис. 1. Артефакты в виде полос (а); артефакты в виде шума (б); усреднённое изображение без артефактов (в)
Накопление кадров целесообразно применять при отсутствии мощного графического процессора, который был бы способен произвести рендеринг в реальном времени с достаточно малым шагом луча, так как обычно при шаге менее 1/8 от размера вокселя артефакты уже практически исчезают.
Существует также вид артефактов, связанных с недостаточной гладкостью исходных данных. При использовании обычной трилинейной интерполяции (фильтрации) исходных данных при визуализации могут появляться артефакты
в виде «ступенек». Иногда эта ступенчатость может быть устранена путём использования трикубической интерполяции. Мы расширили опубликованный алгоритм бикубической фильтрации [6] на трёхмерный случай. Для выполнения одной выборки с такой фильтрацией необходимо выполнить 8 выборок с трилинейной фильтрацией. На рис. 2 томограмма имеет слишком большое расстояние между соседними слоями, из-за чего соседние слои настолько отличны друг от друга, что три-кубическая интерполяция лишь сглаживает артефакты, но не устраняет их полностью.
Рис. 2. Непрозрачная изоповерхность для данных сосудов головного мозга: а) ступенчатость из-за большого различия между соседними слоями; б) сглаживание ступенчатости при помощи трикубической фильтрации
Рис. 3. Сравнение результатов рендеринга КТ томограммы при использовании обычной трилинейной (слева) и трикубической интерполяции (справа)
На рис. 3 для КТ-данных трикубическая интерполяция полностью устраняет ступенчатость, поскольку данные имеют достаточно хорошее разрешение.
Рис. 4. Сравнение билинейной и бикубической интерполяций для двумерного изображения (взято из публикации [6])
Алгоритмы рендеринга
1. Рендеринг без оптимизаций (UDVR - Unoptimized Direct Volume Rendering).
2. Предынтегрированный объёмный рендеринг (PDVR - Preintegrated Direct Volume Rendering).
3. Метод разбиения шага с линейной интерполяцией (SDM - Step Division Method).
4. Метод разбиения шага с кубической интерполяцией (SDMC - Step Division Method with Cubic interpolation).
5. Метод адаптивного шага (ASM - Adaptive Step Method).
Стоит заметить, что для каждого из этих RayCasting-методов можно варьировать длину шага луча, меняя при этом качество и производительность метода. Шаг луча в исследованиях измеряется в долях длины диагонали вокселя.
Метод адаптивного шага луча (ASM). Несмотря на возможность компенсировать недостаточно большой шаг луча техникой накопления кадров, более правильным подходом для рендеринга на видеокартах высокого класса является рендеринг одного изображения высокого качества с малым шагом луча - объёмный рендеринг высокого разрешения (High definition volume rendering). Современные графические процессоры могут обеспечивать визуализацию в реальном времени больших данных с частотой выборки 8 на один воксель. Однако производительность такого рендеринга можно значительно повысить, изменяя длину шага луча в зависимости от значения данных в текущей позиции, не ухудшая при этом качества рендеринга.
Поскольку в литературе мы не встретили описания методов с изменяемым шагом луча для алгоритма испускания лучей для объёмного рендеринга, мы разработали два метода с подразбиением шага. Один из них производит выборку из данных на каждом шаге луча, алгоритм проиллюстрирован на рис. 5. Мы трассируем луч с неким большим регулярным шагом (0.5 от размера вокселя) и на каждом шаге делаем выборку из данных в текущей позиции луча. Если мы попали в область видимых данных (то есть значение текущей выборки не соответствует полной прозрачности), мы сдвигаем наш луч на шаг назад и начинаем идти с шагом 1/8 от стандартного шага. При этом делается 8 шагов и накапливается цвет и непрозрачность та же, как в обычном рендеринге с постоянным шагом луча. На видеокарте GeForce GTX 580 при шаге луча 1/8 такая оптимизация ускоряет рендеринг в среднем в 3 раза, при шаге 1/16 - в 6.2 раза.
В предложенном методе выборка из данных
осуществляется на каждом шаге луча, оптимизация состоит в увеличении длины шага, если это значительно не повлияет на результат, однако при этом мы избегаем большого числа ненужных выборок из данных, что существенно повышает производительность. Следующие ниже методы призваны улучшить качество без увеличения частоты выборок из данных.
Разбиение шага луча без увеличения количества выборок из данных (SDM, SDMC). Второй метод, предлагаемый нами, - метод разбиения шага. Для того, чтобы лучу не пропустить ни одного вокселя на своём пути, достаточно двигаться с шагом 0.5 от длины стороны вокселя. Однако из-за того, что за такой шаг луч может пропустить интерполированные значения данных, имеющие самые различные оптические свойства, возникают артефакты. Уменьшение длины шага часто устраняют видимые артефакты, при этом резко возрастает количество выборок, которые необходимо сделать лучу, что приводит к падению производительности.
Мы применили метод разбиения шага луча: в 10 раз уменьшили шаг луча, но выборку из данных делаем только каждые 10 шагов, используя интерполированные значения данных на остальных шагах, т. е. выборка из данных проводится только на регулярных шагах. Уже линейная интерполяция даёт значительное улучшение качества. Кубическая интерполяция (аппроксимация кубическим полиномом), которая использует 4 выборки из подряд идущих шагов луча, даёт дальнейшее улучшение качества.
Как правило, при объёмном рендеринге медицинских данных по ходу продвижения луча значение выборок только возрастает. Исключение составляют лучи, прошедшие по касательной к какой-либо поверхности. Поэтому, если учитывать не только значения в точках выборок, но и промежуточные значения между двумя выборками, то мы не пропустим значений данных, которые могут иметь особые оптические свойства согласно передаточной функции. Эту идею также использует метод предынтег-рированного рендеринга, описанный ниже.
Предынтегрированный объёмный рендеринг (PDVR). Довольно эффективным методом устранения артефактов, связанных с пропуском лучом видимых особенностей в пространстве, является предынтегрированный объёмный рендеринг (Pre-Integrated Volume Rendering) [7]. Данный метод отличается от метода разбиения шага луча тем, что здесь мы стараемся точно вычислить интеграл на отрезке между соседними шагами луча. Здесь также идёт интегрирова-
ние непосредственно передаточной функции, но не во время выполнения алгоритма рендеринга, а заранее, на центральном процессоре. Вместо выполнения промежуточных шагов, мы берём заранее вычисленное значение интеграла. В данном методе используется прединтегриро-ванная таблица, которая для любых двух значений данных (й, Ь) хранит цвет и непрозрачность, которые должен накопить луч, при проходе по отрезку, в начальной точке которого выборка из данных была равна a, в конечной -Ь. При изменении передаточной функции таблица пересчитывается.
Однако градиент приходиться вычислять, как и прежде, на каждом шаге, и если шаг луча выбирается достаточно большим (0.5 от размера вокселя), то в местах быстрого изменения градиента могут появиться артефакты. В этом заключается один из недостатков данного подхода - нам с хорошей точностью известен цвет и непрозрачность, которая будет накоплена на любом отрезке, но это результаты интегрирования без учёта локального освещения в точках отрезка. Также, в случае использования многомерных передаточных функций понадобятся многомерные предынтегрированные таблицы.
Рис. 5. Иллюстрация некоторых методов рендеринга.
Белые точки обозначают выборки из данных 1) UDVR - все лучи идут с одинаковым постоянным шагом; 2) SDM, SDMC - чёрные штрихи обозначают разбиение шага - вместо выборок в этих точках используются интерполированные значения; 3) ASM -в областях, где находятся видимые данные, выборки из данных учащаются
Оценка качества изображений объёмного рендеринга
Для артефактов, связанных с длиной шага луча, существует возможность их «зашумле-ния», сдвинув стартовые позиции лучей случайным образом в направлении их последующего движения. Таким образом, области пикселей с шумом будут свидетельствовать о наличии артефактов рендеринга.
Причём повторный рендеринг с того же ракурса и тех же настройках даст уже иное изо-
бражение, отличающееся от предыдущего больше в тех в областях, где выше уровень шума.
а) б) в)
Рис. 6. Результат UDVR для шага луча 1 (a), 0.25 (б)
и SDMC (в) с использованием трикубической фильтрации и шагом 0.25
Соответственно, чем ниже уровень шума, тем выше качество изображения. Поскольку врачи зачастую пользуются монохромными мониторами, в данной работе цветные изображения объёмного рендеринга преобразовывались в монохромные по следующей формуле:
I = (RED*0.3 + GREEN*0.59 +
+ BLUE*0.11)* ALPHA.
Все 4 компоненты пикселя лежат в пределах от 0 до 1, т. е. значения пикселей соответствующих монохромных изображений также лежат в этом интервале. Было рассмотрено три различных подхода к оценке шума изображений объёмного рендеринга.
1. Сравнение с оригиналом. Если для заданных пользователем настроек визуализации (положение камеры, передаточная функция и т.д.) мы можем вычислить изображение K, которое считаем за образец, то за качество получаемого изображения I можно считать некую степень сходства изображения I с оригиналом K. Этот подход используется для оценки качества сжатия изображений с потерями, где нам известен оригинал. В качестве ошибки пикселя обычно используется квадрат разности интенсивностей:
Error(i,j) = |I(iij) - K(ij)|2.
Качество (Q) пикселя измеряется в децибелах и вычисляется по следующей формуле:
Q(i, j) = 10 log10 (Error (i, j)-1).
Данное приведение к логарифмической шкале использовалось и при вычислении качества двумя другими способами. Но данный способ в ходе экспериментов оказался неэффективным из-за практической невозможности синтезировать идеальное изображение K. Даже при выборе длины шага луча, равной 1/16 от диагонали
вокселя, во многих случаях изображение, полученное неоптимизированным методом ИБУЯ, продолжало содержать шум, тогда как остальные методы было бы неправильно считать пригодными для синтеза идеального изображения.
2. Сравнение с соседними пикселями. Если мы ничем не располагаем, кроме полученного изображения, качество которого мы хотим оценить и сравнить с качеством изображений, полученных иными методами, можно анализировать шум изображения, считая, что «зернистость» изображения - это признак шума. В случае объёмного рендеринга ЯС-методом на один пиксель изображения обычно приходится только малая часть вокселя, поэтому сильное отличие значения единичного пикселя от значений его соседей часто свидетельствует об артефактах. Ошибка пикселя вычислялась по следующей формуле:
Еггог(//) = Д//) - (7(7+1,/) + 1,7') +
+ Ду + 1) + Ду—1)) / 4|2.
Однако кроме шума за артефакты в данном случае считаются все резкие границы, вносящие значительный вклад в ошибку, не будучи артефактами. На рисунке ниже для различных методов рендеринга границы воспринимаются, как артефакты, хотя на деле, как правило, именно эти области меньше всего подвержены артефактам.
а) б) в)
Рис. S. Оценка качества третьим методом (тёмные участки соответствуют низкому качеству): a) DVR с шагом G.5; б) DVR с шагом G.1; в) метод разбиения шага с кубической интерполяцией
Пиковое отношение сигнала к шуму
Для оценки суммарной ошибки изображения было использовано пиковое отношение сигнала к шуму (PSNR - Peak Signal-to-Noise Ratio), которое наиболее часто используется для измерения уровня искажений при сжатии изображений, однако PSNR также может легко быть применено для анализа качества изображений объёмного рендеринга [l]. В объёмном рендеринге этот подход используется обычно при оценке ухудшения качества при сжатии самих объёмных данных [2], [3], но не для оценки артефактов рендеринга. Ниже представлена общая формула вычисления PSNR:
і m-1 П-1
MSE = N Ц|! (i, j) - K (i, j)|2,
i=G j=G
а) б) в)
Рис. 7. Качество изображений по оценке вторым методом (тёмные участки соответствуют низкому качеству): a) DVR с шагом 0.5; б) DVR с шагом 0.1; в) метод разбиения шага с кубической интерполяцией
3. Сравнение ряда изображений. Если получение изображения представляет собой стохастический процесс, и каждый пиксель является случайной величиной, то при наличии ряда выборок, т.е. ряда изображений, для каждого пикселя может быть вычислена его дисперсия. Чем выше разброс значений пикселя, тем ниже качество изображения в данном пикселе, т. е. в данном случае за ошибку пикселя мы считаем дисперсию его интенсивности:
Error(y) = D(I(y)) = M\M(I(ij)) - /(у)!2.
РБЫК = 101о&0 ШХ'[ ,
10 ШБЕ
Ду) — пиксель изображения, качество которого мы оцениваем; Ку) — пиксель исходного изображения; ШБЕ - среднеквадратичная ошибка; ШАХ7 - максимально возможное значение пикселя, в нашем случае равное 1; N - количество нефоновых пикселей, которое обычно равно п*т (в нашем случае есть смысл игнорировать фоновые пиксели, которые не содержат шума и ошибка в них будет нулевая). Фоновые пиксели занимают значительную часть изображений объёмного рендеринга и их учёт будет завышать качество изображения.
В формуле также фигурирует исходное изображение К. Однако вместо пикселя оригинального изображения также может быть использовано математическое ожидание Д/,7), либо взвешенная сумма значений примыкающих пикселей. Таким образом, РБКЯ было использовано для оценки качества изображений с применением трёх рассмотренных ранее подхо-
дов к оценке ошибки пикселя. В дальнейшем оценка качества визуализации будет проводиться подходом с оценкой дисперсии пикселей, т.е. среднеквадратичная ошибка вычисляется следующим образом:
1 m-1 n-1
MSE = — XZD (I (*', j)),
N i=0 j=0
PSNR обычно измеряется по логарифмической шкале в децибелах. Например, если PSNR = = 20дБ, это означает, что MSE = 100-1, т.е. в среднем ошибка пикселя составляет 10% от максимального значения пикселя. Типичные значения PSNR для сжатия изображений лежат в пределах от 30 до 40 дБ.
Условия экспериментов
Помимо метода объёмного рендеринга на производительность и качество визуализации влияет достаточно много факторов: визуализируемые данные, ракурс камеры, передаточная функция, размеры окна вывода, разбиение данных на блоки (размер блока), используемая видеокарта (влияет только на производительность).
1. В качестве исходных данных для визуализации использовались различные КТ-томо-граммы, свободно доступные в интернете в формате DICOM (http://www.osirix-viewer.com /datasets/). Томограммы в экспериментах представляли из себя 12-битные массивы размерами от 512х512х420 до 512х512х1610.
2. По умолчанию использован ракурс, показанный на скришотах ниже. Как правило, ракурс выбирался так, чтобы томограмма занимала большую часть экрана;
3. Случаи 1, 2 и 3 соответствуют рендерингу одной и той же томограммы, но с использованием трёх разных передаточных функций;
4. Размеры окна вывода были от 500х500 до 1832х973 пикселей;
5. Данные разбиты на блоки 256х256х256;
6. Использовалась видеокарта GeForce GTX 580 3Gb.
В ходе экспериментов выяснилось, что ни расстояние от камеры до объекта визуализации, ни размеры окна вывода не влияют на качество рендеринга, меняется лишь его производительность и точность вычисления качества (из-за большего числа пикселей).
Размеры же блоков выбраны исключительно для максимальной производительности использованной видеокарты. Кроме того, для некоторых методов рендеринга не удалось полностью избавиться от артефактов на стыках блоков,
поэтому иногда соответствующие стыкам блоков пиксели имеют относительно высокую дисперсию.
Рис. 9. Случаи рендеринга, использованные в экспериментах. Размеры слоев всех томограмм - 512х512 пикселей, различно только количество слоёв: 1) непрозрачная поверхность кожи с тонким красным слоем, 460 слоёв; 2) кости и сосуды (как побочный эффект раскраски сосудов, к поверхности кости прилегает тонкий красный слой), 460 слоёв; 3) кости, сосуды и полупрозрачный слой кожи синего цвета, 460 слоёв; 4) человек во весь рост, 1203 слоя; 5) рождественская ёлка, 999 слоёв; 6) 743 слоя; 7) 1624 слоя; 8) 708 слоёв; 9) сосуды мозга, 554 слоя
Распределение шума на изображении
Очевидно, что при вычислении Р8КЯ мы оцениваем суммарное качество рендеринга. Однако, используя ту же логарифмическую шкалу, можно оценить качество каждого отдельного пикселя. Ниже показано попиксельное распределение качества визуализации при различных его суммарных значениях (Р8КЯ). Качество визуализации регулировалось выбором длины шага луча.
Таким образом, приемлемое качество для объёмного рендеринга лежит от 30 дБ и выше, и после 40 дБ улучшение качества практически незаметно на глаз, т.к. в этом случае среднее отклонение интенсивности цвета пикселя от своего математического ожидания меньше 1%. Отдельные области изображения могут продолжать содержать видимый шум, когда остальные пиксели имеют высокое качество, но практически всегда качество рендеринга 40 дБ можно считать идеальным.
Рис. 10. Качество рендеринга при различном выборе длины шага луча. Сверху представлены распределения шума в дБ (синие и зелёные области указывают на хорошее качество рендеринга), снизу -соответствующие результаты рендеринга
Рис. 11. Качество рендеринга (Р8МЯ) для различных методов оптимизации качества. Длина шага луча: 0.5, случай рендеринга 3
Соотношение качество-производительность
При сравнении различных методов рендеринга необходимо учитывать не только качест-
во изображений, генерируемых алгоритмами ЯС с заданной длиной шага луча, но и производительность алгоритмов. Например, при одной и той же длине шага метод ББМС даёт лучший результат, чем метод ББМ, из-за использования кубической интерполяции. Однако производительность метода ББМ выше, и если для этих методов подстраивать шаг луча так, чтобы производительность равнялась 20 Гр8, то практически всегда метод ББМ будет иметь более высокое качество из-за более короткого шага луча.
Таким образом, для сравнения методов рендеринга были построены графики зависимости качества от производительности. Каждая линия графика соответствует одному из методов рендеринга, которые мы сравниваем. Линии построены путём варьирования длины шага луча в интервале [0.2,1.0], т.е. варьированием соотношения качество/производительность. Хотя отношение качество/производительность должно быть взаимно однозначным, иногда на практике бывает иначе. Существуют также другие способы построения подобных диаграмм: в работе [4] каждая точка линии графика соответствует положению камеры в пространстве, т.е. варьируется положение камеры.
Оптимизация методов рендеринга
Перед сравнением методов были проведены оптимизации их параметров: в методах ББМ, ББМС и ЛБМ есть возможность выбора числа разбиений шага. Очевидно, что чем больше это число, тем выше будет качество этих методов, однако при этом будет падать производительность. Для каждого из этих трёх методов были построены диаграммы соотношения качество-производительность, где каждая линия соответствует числу разбиений шага луча. Были исследованы результаты для числа разбиения от 1 до 15 и выяснилось, что для подавляющего большинства случаев оптимальным является разбиение 3, причём для всех трёх методов.
р$м
СІВ
6 7 8 9
число разбиений
10 11 12 13 14 15
-1=1
■|_ = 0;9 -1=0,8 -1=0,7 -1=0,6 -1=0,5 -1_=0,4 -1=0,3 1=0,2 -1=0,1
Диаграмма 2. Зависимость качества рендеринга от числа делений для метода 8БМ. Разные графики соответствуют различным длинам шага луча (Г)
Диаграмма 3. Диаграммы соотношений качество-производительность (усреднённый результат) для случая трилинейной фильтрации. Слева диаграмма для случаев без использования локального освещения
в алгоритмах, справа - с использованием
Диаграмма 4. Диаграммы соотношений качество-производительность (усреднённый результат) для случая трикубической фильтрации. Слева диаграмма для случаев без использования локального освещения
в алгоритмах, справа - с использованием
Использование менее, чем трёх промежуточных шагов даёт слишком низкое качество изображения, которое не компенсируется даже уменьшением длины шага луча, тогда как, начиная с трёх делений, качество почти не улучшается, а производительность продолжает падать. Оставшиеся методы ИБУЯ и РБУЯ не содержат подобных параметров, которые можно было бы подобрать для достижения максимальной эффективности методов.
Сравнение методов рендеринга
При проведении экспериментов использовались различные опции, влияющие на качество и
производительность: в подписях к диаграммам указано, была ли использована трикубическая фильтрация и/или локальное освещение. Диаграммы отображают усреднённые результаты для разных исходных данных, ракурсов камеры, размеров окна вывода и передаточных функций. Каждая точка графика соответствует определённой длине шага луча, поэтому на усреднённой диаграмме каждая точка каждого графика -это пара чисел «средняя производительность, среднее качество». Обобщив результаты, из диаграмм можно заключить следующее.
1. На всех диаграммах видна несостоятельность неоптимизированного рендеринга ИБУЯ, который уступает любому методу с оптимиза-
цией. Например, при одном и том же качестве в 30 дБ неоптимизированный рендеринг медленнее метода ББМ в 3 раза;
2. Предынтегрированный рендеринг (РБУЯ), выигрывая в производительности, в случаях использования локального освещения даёт недостаточно хорошее качество из-за нарушения учёта локального освещения, таблица предын-тегрированных величин хранит результаты интегрирования без учёта освещённости. Таким образом, предынтегрированный рендеринг хорошо работает в случае отсутствия опции локального освещения, а также при наличии тонких слоёв в объекте. Есть также случаи, когда предынтегрированный рендеринг может проигрывать в производительности другим методам. Это происходит, когда лучам приходится трассировать относительно большое пустое пространство: в этих условиях обращение к пре-дынтегрированной таблице (2Б-текстуре размером 512х512 пикселей) обходится дороже обращения к передаточной функции (обычно, Ш-текстуре из 512 пикселей);
3. Метод ЛБМ хорошо показывает себя только в случае трилинейной фильтрации, т.к. выборки из данных производятся на каждом шаге, в отличие от методов ББМ и ББМС. Градиент также вычисляется на каждом шаге, поэтому метод даёт хорошее качество при использовании локального освещения. Однако из-за необходимости делать много выборок метод отстаёт по производительности.
4. Методы с разбиением шага (ББМ, ББМС) менее производительны, чем РБУЯ, поэтому во многих случаях ему уступают. Наиболее выгодны эти методы в наиболее ресурсозатратном случае: локальное освещение при трикубиче-ской фильтрации. Общее падение производительности из-за трикубической фильтрации делает накладные расходы на разбиение шага менее заметными, а в случае метода ББМС дополнительно улучшается качество благодаря интерполяции значений кубическим сплайном, т. к. эти значения получены с применением трику-бической же фильтрации.
Влияние способа интерполяции и локального освещения на уровень шума
К сожалению, связанные со способом интерполяции артефакты нельзя преобразовать в шум, как артефакты, связанные с длиной шага луча. Однако артефакты трилинейной интерполяции также являются зонами повышенной за-
шумлённости и поэтому опция трикубической интерполяции немного улучшает качество рендеринга при той же длине шага луча.
Использование локального освещения в рендеринге обычно понижает уровень шума, но это связано с падением интенсивности пикселей изображения в затенённых областях объекта, т. е. с уменьшением дисперсии.
Оригинал PSNR = 14.4 дБ PSNR = 14.8 дБ
(1) (2) (3)
PSNR = 37.4 дБ (4)
PSNR = 41.6 дБ (5)
Рис. 12. Сравнение качества рендеринга с применением трилинейной (2, 4) и трикубической (3, 5) фильтрации: (1) - результат рендеринга, (2, 3) - качество метода UDVR, (4, 5) - качество метода SDMC
Заключение
Предложен метод оценки артефактов DVR, вызванных недостаточно малой длиной шага луча в методе испускания лучей. Хотя в ходе экспериментов не было выявлено RC-алгоритма, оптимального с точки зрения качества и производительности в любых условиях визуализации, метод оценки показал целесообразность оптимизации как таковой, поскольку неоптимизированный подход UDVR уступает остальным подходам в любых условиях визуализации, несмотря на свою высокую производительность. Использование отношения PSNR позволило привести уровень шума к логарифмической шкале в дБ и оказалось, что используемый для сжатия изображений диапазон значений от 30 до 40 дБ, соответствующий приемлемому качеству сжатия с потерями, также соответствует приемлемому качеству в случае применения в методе Volume Raycasting. Артефакты, возникающие при трилинейной интерполяции, хоть и влияют на шум рендеринга, но не зависят от длины шага луча и требуют иного подхода к их оценке.
Работа выполнена при поддержке ФЦП «Научные и научно-педагогические кадры инновационной России», гранта Президента РФ М НШ-1960.2012.9 и гранта Правительства РФ М11. G34.31.0066.
Список литературы
1. Nagayasua D., Inoa F., Hagiharaa K. Adecompres-sionpipeline for acceleratingout-of-corevolumerendering of time-varyingdata // Computers & Graphics. June 2008. Vol. 32. Is. 3. P. 350-362.
2. Fout N., Ma K.-L. Transform coding for hardware-accelerated volume rendering // Visualization and Computer Graphics. 2007. Vol. 13. Is. 6. P. 1600-1607.
3. Guthe S., Strasser W. Advanced techniques for high quality multiresolution volume rendering // Computers & Graphics. Elsevier Science. 2004. P. 51-58.
4. Ammann L., Genevaux O., Dischler J.M. Hybrid rendering of dynamic heightfields using ray-casting and mesh rasterization // Proceeding GI '10 Proceedings of Graphics Interface. 2010. P 161-168.
5. Scharsach H. Advanced GPU raycasting // Proceedings of CESCG '05. 2005. P. 67-76.
6. Ruijters D., ter Haar Romeny B.M., Sue-tens P. Efficient GPU-based texture interpolation using uniform B-splines // IEEE Transactions J. Graphics. GPU & Game Tools. 2008. Vol. 13, No 4. P 61-69.
7. El Hajjar J.-F., Marchesin S., Dischler J.-M., Mongenet C. Second order pre-integrated volume rendering // IEEE Pacific Visualization Symposium. March 2008. P. 9-16
8. Engel K., Hadwiger M., Kniss J.M., Rezk-Salama C. Real-time volume graphics. New York: A.K. Peters, 2004.
VISUALIZATION QUALITY ASSESSMENT OF MEDICAL AND SCIENTIFIC DATA IN TERMS OF THE VALUES OF PEAK SIGNAL-TO-NOISE RATIO
N.I. Gavrilov, V.E. Turlapov
A formal approach to quantitative image quality assessment in visualizing medical and scientific data is practically absent in the literature to date despite the abundance of approaches to optimizing the volume rendering algorithm in terms of quality and performance. A method to evaluate volume rendering artifacts related to an insufficient sampling rate of volume ray-casting (RC) algorithms is proposed. Different RC-quality optimization approaches are experimentally compared on the basis of the proposed assessment method and for different visualization cases the optimal ones are identified by the quality/performance criterion.
Keywords: medical imaging, scientific visualization, quality assessment, volume rendering, ray tracing, GPU, GPGPU.
