Научно-образовательный журнал для студентов и преподавателей «StudNet» №6/2021
АКТУАЛЬНОСТЬ РАЗВИТИЯ ТЕХНОЛОГИИ DLSS И ЕЁ РОЛЬ ПРИ УСКОРЕНИИ ЧАСТОТЫ СМЕНЫ КАДРОВ
RELEVANCE OF DEVELOPMENT OF DLSS TECHNOLOGY AND ITS ROLE IN ACCELERATING FRAME RATE
УДК 004.2
Бергер Екатерина Геннадьевна, Руководитель работы, к.э.н., доцент МИРЭА - Российский технологический университет (РТУ МИРЭА) 119454, Россия, г. Москва, проспект Вернадского, 78, e-mail: ekgevo@rambler.ru Бублик Иван Юрьевич, Студент 3 курса, МИРЭА - Российский технологический университет (РТУ МИРЭА) 119454, Россия, г. Москва, проспект Вернадского, 78, e-mail: vanya.bublik1998@mail.ru
Berger E.G., Head of work, Ph.D., Associate Professor MIREA - Russian Technological University (RTU MIREA) 119454, Russia, Moscow, Vernadsky prospect, 78, e-mail: ekgevo@rambler.ru
Bublik I.Yu. 3rd year student, MIREA - Russian Technological University (RTU MIREA) 119454, Russia, Moscow, Vernadsky prospect, 78, e-mail: vanya.bublik1998@mail.ru
Аннотация
На сегодняшний день идет активное развитие и применение искусственного интеллекта для рендеринга в реальном времени. В данной статье будет рассмотрена технология DLSS и ее роль при ускорении частоты смены кадров.
Annotation
Today, there is an active development and application of artificial intelligence for real-time rendering. This article will explore DLSS technology and its role in accelerating frame rates.
Ключевые слова: масштабирование, сглаживание, рендеринг, DLSS. Key words: scaling, anti-aliasing, rendering, DLSS.
Введение
Целесообразность любого научного исследования в области информационных технологий определяется в конечном итоге необходимостью совершенствования уже существующих технологий, созданием более функциональных аналогов или же продвижение совершенно новых методов в работе систем с целью повышения качества их работы во всех возможных сферах деятельности человека при меньших затратах вычислительных мощностей используемых устройств.
На сегодняшний день, по мнению компаний Sony и Microsoft, развитие компьютерной графики, применяемой для создания 3D объектов, уже достигло своей пиковой составляющей, но качество итогового изображения, которое видит человеческий глаз, все также продолжает расти. В частности, это достигается за счет внедрения таких технологий как трассировка лучей, отражения, HairWorks. Безусловно, данные технологии достаточно ресурсоемки, что требует наличия соответствующей вычислительной мощности со стороны видеокарт, на которые и поступает основная нагрузка. Но также нагрузка на видеокарты идет и из-за количества обрабатываемых кадров в секунду или же количества пикселей на экране. А так как пиксели имеют прямоугольную форму, то при многократном увеличении изображения возможно увидеть угловатость неровных линий, которые образуют контуры объектов - это и называют ступенчатостью.
Зачастую ступенчатость возникает при визуализации мелких деталей объекта, при прорисовке ребер и границ или же при анимации мелких деталей. Особенно сильно эффект будет проявляться, если наблюдатель смотрит за моделью в экраны с одинаковой диагональю, но разным разрешением, находясь при этом на одинаковом расстоянии от этих экранов. На экране с более низким разрешением эффект будет заметнее, так как эффект ступенчатости напрямую зависит от размера и количества пикселей на один дюйм. Отсюда очевидно, что чем больше пикселей на 1 дюйм экрана, тем более гладкими будут казаться 3D модели (если речь идет о родном разрешении, а не искусственно растянутом изображении), ведь как уже отмечалось выше, эффект ступенчатости возникает только на неровных поверхностях. Однако уменьшение размера пикселя есть наиболее сложный процесс, достижение которого также приводит к необходимости увеличения вычислительной мощности устройств, которые будут обрабатывать их большее количество на той же площади. Основная цель и её возможные решения
Исходя из вышеперечисленного можно постановить в необходимости создания технологии, улучшающей качество графических моделей после рендеринга, но не снижающей частоту смены кадров.
Именно поэтому и были придуманы технологии сглаживания, новейшей из которых и является DLSS. Но, прежде чем перейти к ее рассмотрению, стоит упомянуть и другие ее наиболее распространенные аналоги: [4].
• SSAA (Super sample anti-aliasing) - самая первая из технологий, предлагает одно из наиболее качественных сглаживаний за счет искусственного увеличения картинки с ее последующим сжатием в исходное состояние. Хотя важно отметить, данный метод является и самым тяжелым в плане нагрузки на видеокарту.
• FXAA (Fast approximate anti-aliasing) - быстрое сглаживание образцов. Данный метод размывает контуры модели и добавляет пиксели среднего тона.
Однако в следствие этого итоговое изображение становится мыльным, хотя в счет простоты метода практически отсутствует потеря кадров, что позволяет применять его на широком спектре устройств.
• MSAA (Multi sample anti-aliasing) - улучшенный метод SSAA, потребляющий гораздо меньше ресурсов системы. Сглаживает лишь края текстуры или объекта. Восьмикратное сглаживание MSAA равносильно четырехкратному сглаживанию SSAA, что предоставляет большую вариативность настроек в зависимости от мощности системы. Так как каждая из вышеупомянутых технологий либо ухудшает производительность, и возникает потеря кадров в секунду, что недопустимо в связи с постепенным переходом скорости воспроизведения частоты кадров с 60 к/с до более высоких значений, либо ухудшает саму картинку (см. Рис.1). В связи с этим все так же актуально стоит вопрос о создании более функциональных аналогов технологий сглаживания. Именно таковой и является DLSS (Deep learning super sampling). [2].
Рис.1 - Пример работы сглаживаний SSAA и FXAA
Данная технология сопоставима с привычным anti-aliasing, только вместо использования мощности самого графического процессора DLSS полагается на тензорные ядра. Это отдельный блок в чипе видеокарт Nvidia серии RTX, который оптимизирован для работы с искусственным интеллектом, нейросетями и глубоким обучением. Сама же технология, со слов компании
Nvidia, работает путем анализа сцен и изображений, и последующего улучшения качества сглаживания, но без значительного влияния на производительность. [3]. Это крайне эффективно при работе с разрешением 4К, в котором прочие методы сглаживания потребляют много ресурсов, в то время как DLSS позволяет вывести четкую картинку при этом сохраняя частоту кадров. Это обусловлено тем, что технология содержит в себе алгоритмы искусственного интеллекта, что ускоряет рендеринг моделей почти в два раза, но без потери качества изображения. Стоит отметить, что сложность сцен с использованием графики в реальном времени постоянно растет, увеличивается число объектов, требующих детальной прорисовки в каждом кадре, также в определенных случаях может быть необходима соответствующая динамика передвижения каждого из объектов. Как итог, возникает падение частоты кадров, что крайне нежелательно, ведь сейчас человек способен невооруженным взглядом увидеть разницу межу 30, 60 или 120 к/с учитывая, что человеческое зрение способно распознавать до 1000 к/с. Очевидно, что плавность изображения зависит от частоты кадров, но и нагрузка на видеокарту также от этого зависит. Особенность технологии DLSS как раз и заключается в том, что она повышает производительность видеокарты, но также использует первый в своем роде алгоритм ИИ, который обеспечивает стабильные изображения в высоком качестве без артефактов. Исходя из материалов, представленных Nvidia, можно постановить, что компания тренирует нейросеть на основе двух наборов изображений — одни со сглаживанием, другие без. На основе этого нейросеть создает модель того, как работает сглаживание и может применять алгоритм самостоятельно. То есть, DLSS обучена добавлять и/или менять пиксели на изображении так, чтобы они создавали качественную картинку (см. Рис.2).
гхгоом 2х гоом ~]Ц
Л \
01.55 ОРР Иау Тгэапд - Ере, 1080р. 20Б0 ___
V
Рис.2 - Пример работы DLSS
Из изображения видно, что при включенной технологии объект после рендеринга становится более четким, а частота кадров почти вдвое выше. При этом нейросеть, используемая в данной технологии работает с объектами при низком качестве рендеринга, которые прорисовываются очень быстро, и учится воспроизводить их в высоком разрешении без явного воздействия на производительность, а зачастую и повышая её, так как за работу технологии отвечают специализированные процессоры (тензорные ядра). [1].
Заключение
Подводя итог, стоит отметить, что технология DLSS на данный момент является уникальной в своем роде, ведь помимо повышения частоты смены кадров улучшается и качество итогового изображения. Сама технология также активно продолжает развиваться путем увеличения коэффициента масштабирования, ускорения работы нейронной сети и иных аспектов, позволяющих задействовать в первую очередь работу отдельного блока ядер, нежели стандартного набора ядер графического процессора. Также ведутся работы по внедрению DLSS для VR устройств и работы с разрешением 8К, что в очередной раз доказывает превосходство использования и развития данной технологии в сравнении с ее аналогами.
Литература
1. Nvidia [Электронный ресурс] URL: https://www.nvidia.com/ru-ru/geforce/news/nvidia-dlss-2-0-a-big-leap-in-ai-rendermg/ (дата обращения: 06.02.2021)
2. Overclockers [Электронный ресурс] URL: https://overclockers.ru/lab/show/103286/obzor-i-testirovanie-tehnologii-nvidia-dlss-2-0 (дата обращения: 06.02.2021)
3. Shazoo [Электронный ресурс] URL: https://shazoo.ru/2018/08/24/69366/chto-takoe-nvidia-dlss-i-pochemu-tehnologiya-znachitelno-povyshaet-chastotu-v-igrah (дата обращения: 07.02.2021)
4. Soft-tuning [Электронный ресурс] URL: https://soft-tuning.ru/zhelezo/40-сглаживание.Ыт1 (дата обращения: 07.02.2021)
Literature
1. Nvidia URL: https://www.nvidia.com/ru-ru/geforce/news/nvidia-dlss-2-0-a-big-leap-in-ai-rendering/ (access date: 06.02.2021)
2. Overclocers URL: https://overclockers.ru/lab/show/103286/obzor-i-testirovanie-tehnologii-nvidia-dlss-2-0 (access date: 06.02.2021)
3. Shazoo URL: https://shazoo.ru/2018/08/24/69366/chto-takoe-nvidia-dlss-i-pochemu-tehnologiya-znachitelno-povyshaet-chastotu-v-igrah (access date: 07.02.2021)
4. Soft-tuning URL: https://soft-tuning.ra/zhelezo/40-сглаживание.html (access date: 07.02.2021)