OpenAI 全新 gpt-oss 開源模型可在 NVIDIA RTX GPU 加速運行

lin.sinchen · 發表於 2025-8-6 17:50:55

NVIDIA 宣布與 OpenAI 合作，讓一般消費者能夠使用到全新 gpt-oss 開源模型系列產品，原本僅限於雲端資料中心的尖端 AI 技術，如今也能以驚人的速度在搭載 RTX 技術的 PC 及工作站上運行。

此項發布象徵次世代裝置端 AI 技術透過 GeForce RTX GPU 與 PRO GPU 的強大運算能力，能夠在 PC 及工作站的本機端提供用戶更快速、更智慧的 AI 使用體驗。此次推出兩款專為支援整個 AI 生態系多元應用需求的全新版本：

經過最佳化的 gpt-oss-20b 模型可在搭配至少 16GB VRAM 的 NVIDIA RTX AI PC 上，以最大效能極速運行，在 RTX 5090 GPU 上可達每秒 250 個 token 的運算速度。
更高階的 gpt-oss-120b 模型則支援搭載 NVIDIA RTX PRO GPU 的專業工作站。

這兩款使用 NVIDIA H100 GPU 完成訓練的模型，是首批在 NVIDIA RTX 上支援 MXFP4 精度的模型。相較於過去使用的技術，MXFP4 可在不增加效能成本的前提下，有效提升模型品質與準確度。這兩款模型皆支援長達 131,072 token 的上下文長度，在本地推論領域中的表現位居前列。兩款模型皆採用靈活的專業混合（MoE）架構，具有思維鏈功能，並支援指令跟隨與工具使用等功能。

本週， RTX AI Garage 將重點介紹 AI 愛好者與開發者如何在 NVIDIA RTX GPU 上快速上手 OpenAI 的全新模型：

Ollama 應用程式：使用全新推出的 Ollama 應用程式，是最容易測試這些模型的方式。它的直覺式使用者介面內建支援 gpt-oss 模型，已針對 RTX GPU 進行最佳化。
cpp：NVIDIA 與開源社群合作，持續提升 RTX GPU 的運算效能，近期貢獻包括導入 CUDA Graphs 技術，有效降低系統開銷。開發者可透過 Llama.cpp 的 GitHub 儲存庫輕鬆開始使用。
Microsoft AI Foundry：Windows 開發者可透過 Microsoft AI Foundry Local（現為公開預覽階段）使用這些模型。只要在終端機執行指令 Foundry model run gpt-oss-20b，即可輕鬆啟動模型。

若想進一步了解 NVIDIA 與 OpenAI 的合作詳情，請造訪 NVIDIA 官方部落格文章。

文章標籤：

文章分享：

+ MORE精選文章：

相關帖子

NVIDIA RTX GPU 最佳化 FLUX.2 影像 ...

全球 PC 遊戲硬體銷售 2025 年飆升至 ...

狩獵限定！ASRock Radeon RX 9070 XT ...

+ MORE活動推薦：

Micron Crucial T710 SSD 玩家開箱體驗分享

COUGAR ULTIMUS PRO玩家開箱體驗分享活動

COUGAR AIRFACE 180 玩家開箱體驗分享活動

COUGAR GR 750/GR 850 玩家開箱體驗分享活

[業界新聞] OpenAI 全新 gpt-oss 開源模型可在 NVIDIA RTX GPU 加速運行

瀏覽過的版塊