在GTC 2026上題為神經渲染簡介 的會議上, NVIDIA再次展示了其神經紋理壓迫 (NTC)技術。
神經紋理壓縮技術早在近三年前就已亮相,並於2026年初透過SDK發布,但至今為止還沒有遊戲開發者使用過這項技術。或許正因如此NVIDIA才再次藉此機會闡述其潛在優勢。
資深開發技術工程師Alexey Bekin將神經紋理壓迫 (NTC) 描述為一種更有效率地儲存紋理的機器學習方法。 NTC不會直接儲存每個紋素,而是將紋理壓縮成小巧的、學習得到的潛在特徵,這些特徵能夠捕捉紋理的基本視覺訊息。在運行時,運行在GPU上的小型神經網路會根據這些特徵重建紋素值,並按需計算,而無需從記憶體加載大型紋理。關鍵在於NTC不是生成式的,而是確定性的。這意味著它每次都會重建相同的紋理。
系統包含兩個組件。 潛在紋理是對原始素材的極小化表示,其中每個紋素儲存的是一個描述材質屬性的特徵向量,而非最終顏色。為了確保能夠恢復精細細節, 在UV座標到達解碼器之前,會對其進行位置編碼 ,從而注入高頻空間訊息,幫助網路精確重建原本會在壓縮表示中丟失的清晰細節和重複圖案。
訓練過程如同一個標準的神經優化循環:網路接收位置編碼的 UV 座標和潛在代碼,產生重建結果,將其與原始紋理作為真實值進行比較,計算重建損失,並迭代更新MLP權重和潛在代碼,直到輸出收斂到對源素材的精確再現。
NVIDIA的神經紋理壓縮技術相比於廣泛使用的傳統格式(例如 BCN)有三個結構優勢:
- 更高的壓縮比:相同大小的顯示記憶體可以容納更多的紋理數據
- 支援高通道數:具有許多打包材質通道(法線、粗糙度、反照率、AO 等在一個材質集中)的複雜資產可以乾淨地壓縮,而無需拆分或簡化資料。
- 實際節省儲存空間和頻寬:更小的磁碟佔用空間意味著更小的遊戲安裝包、更小的補丁包和更快的下載速度。
Bekin展示了一個托斯卡納別墅的演示場景,其中NTC技術使顯存佔用降低了85%(僅佔用970MB),而使用常見BCN壓縮的紋理則佔用了6.5GB顯示記憶體。這對於顯示記憶體佔用量大的遊戲場景來說非常有用,但神經紋理壓縮技術還可以在保持相同顯存預算的情況下提高紋理質量,避免BCN常見的壓縮偽影。
據爆料者Kepler_L2稱SONY可能會使用神經紋理壓縮技術(儘管該技術由NVIDIA開發,但AMD和Intel硬體也支援)來減少PlayStation 6遊戲的安裝大小,同時使用1TB SSD來降低成本。
消息來源 |