NVIDIA 發表「DLSS 5」由 3D 繪圖引導 AI 神經渲染將於 9/3 日 NBA 2K27 搶先首發

NVIDIA 正式發表 DLSS 5 神經渲染技術，並將在 9/3 日隨著正式版《NBA 2K27》遊戲推出。DLSS 5 主要功能是加入「3D 繪圖引導 AI 神經渲染」的新技術，這效果類似於遊戲渲染後藉由後期加入一些濾鏡效果，但 NVIDIA 希望藉助 DLSS 5 讓「即時渲染」可更貼近「Photorealism」的真實感。

當然對於玩家來說這可能會破壞遊戲開發者的美術設計，但 NVIDIA 將這技術的鑰匙（Mask、Model Control）交給開發者決定是否使用這技術，而眾多遊戲中《NBA 2K27》這款擷取自真實 NBA 賽事的擬真籃球遊戲，正適合用來展示 DLSS 5 的效果。NVIDIA 也提到即便現在 RTX 5090 再使用路徑追蹤與 DLSS 4 加速後，想要達到「好萊塢 VFX」視覺特效等級還有一段距離。

而現實中有兩種方法可達到上述的「Photorealism」的照片級真實感：1. 傳統的 3D 影像渲染、2. 利用大型模型通過 AI 推論生成。第一個作法其實就是現在的遊戲，但要做到「即時」的「Photorealism」渲染，但相對耗費的硬體資源相當高。而第二種通過 AI 模型推論生成，但缺點則是生成後的連續性不足，這也是很多 AI 影片的毛病。

DLSS 5 採用「3D 繪圖引導 AI 神經渲染」，遊戲引擎一樣將遊戲渲染影像 Frame、Color 與 Motion Vector 等資料輸入，再加上輔助的 Character 角色資訊、Scene 場景資訊、Lighting Semantic Preservation 光照保留等資訊，同步輸入 DLSS 5 的 Pixel Space Diffusion Transformer 模型當中， 藉此達到「即時的照片級真實感」影像渲染輸出。

DLSS 5 的模型訓練宗旨即是「盡可能保留藝術意圖」，包含角色的辨識、臉部、輪廓、服裝，以及場景的物件、材質與彼此的關係，還有光照保留的資訊包含方向、強度、氣氛，最後還有整個影像的運鏡、構圖等資訊。

而且 DLSS 5 訓練包含渲染影像、Surface Albedo、Lighting Semantic、Surface Normal、Motion Vector 等資料，最終訓練出可實際發表的 DLSS 5 模型。

遊戲開發者在套用 DLSS 5 技術後，可藉由開發者控制功能直接調整最終效果，包含 Model A、B、C 三種不同等級的反射模型效果，以及 Structure Intensity、Tone Intensity 與 Maskin 等控制，讓開發者能決定最終 DLSS 5 效果呈現的強度，是否符合該作品的美術效果。

最終效果比較，下圖一左：光柵化渲染、右：路徑追蹤渲染，這是關閉 DLSS 5 也就是遊戲引擎原生的渲染效果。

緊接著則是開啟 DLSS 5，下圖一左：光柵化渲染、右：路徑追蹤渲染，可發現 DLSS 5 對於路徑追蹤渲染的效果最明顯。

下圖是《NBA 2K27》遊戲的截圖比較，開啟 DLSS 5 之後人物臉部更寫實，肌肉線條的陰影更清晰，以及籃球的陰影呈現更真實。

效能方面，設定為 Ultra、光線追蹤、DLSS 5、FG 6x 多畫格生成、SR 超解析度效能模式。在 4K 解析度下 RTX 5090 可達到 370 FPS、RTX 5080 則是 232 FPS。

同樣遊戲設定下 2K 解析度則是 RTX 5070 Ti 平均 352 FPS、RTX 5070 平均 261 FPS。

最後 1080p 解析度 RTX 5060 Ti 平均 324 FPS、RTX 5060 平均 258 FPS。

不過小編比較好奇是在同樣的遊戲設定、解析度、DLSS SR、FG 設定下，單純比較開啟 DLSS 5 與關閉的效能差異。而 DLSS 5 的本亦是提供「即時照片級真實感渲染」，而且 NVIDIA 將這鑰匙交給遊戲開發者，可自訂模型、強度與調整。

但相對的 DLSS 5 需要遊戲引擎提供更多的資料，才能貼和遊戲開發者的美術設定，因此 NVIDIA 應該不會提供 NVIDIA App 強制覆寫的功能，就看之後哪些 3A 大作會更新這功能囉！