NVIDIA宣布TensorRT AI推理加速框架現已登陸GeForce RTX顯示卡,效能比DirectML直接翻倍。
TensorRT是NVIDIA推出的推理優化器,能夠顯著提升AI模型的運行效率,此次NVIDIA將TensorRT導入RTX平台,使得所有RTX顯示卡的用戶都能享受到更快的AI性能。
根據NVIDIA的介紹TensorRT不僅支援原生Windows ML,還能夠自動選擇合適的硬體來運行每個AI功能,並下載相應的執行提供程式,大大簡化了開發流程。在效能方面NVIDIA展示了TensorRT與DirectML的比較數據:在ComfyUI中,使用TensorRT的使用者可以獲得高達2倍的效能提升;在DaVinci Resolve和Vegas Pro中,效能提升達到了60%。
此外TensorRT for RTX還帶來了其他優勢,例如8倍更小的庫檔案大小和針對每個GPU的即時最佳化,這些改進不僅提升了效能,還優化了軟體的儲存和管理。
TensorRT for RTX將在6月正式推出,NVIDIA還在不斷擴展其AI SDKs,目前正為超過150個AI SDK提供支援,本月將推出5個新的ISV整合,包括LM Studio、Topaz Video AI、Bilibili、AutoDesk VRED和Chaos Enscape等。
消息來源 |