OpenAI推出gpt-oss-20b，首款可運行於Snapdragon裝置上的開源推理模型

在 Qualcomm Technologies，我們一直相信人工智慧助理將無所不在、個人化且安裝在裝置上。

今天，我們很高興地與大家分享這一歷程中的一個重要里程碑：OpenAI 開源了其首個推理模型 GPT-OSS-20B，這是一個思維鏈推理模型，可直接在搭載旗艦 Snapdragon 處理器的設備上運行。 OpenAI 的複雜模型先前一直局限於雲端，而今天，OpenAI 首次將其模型開放用於設備端推理。

透過對模型的早期訪問以及與我們的 Qualcomm AI Engine 和 Qualcomm AI Stack 的整合測試，我們已經看到這個 20B 參數模型是一個令人難以置信的令人印象深刻的模型，它能夠完全在設備上實現思維鏈推理。

我們將此視為一個轉折點：讓我們一窺人工智慧的未來，即使是功能豐富的助手式推理也將在本地實現。
這也體現了人工智慧生態系統的成熟，合作夥伴和開發者可以利用驍龍處理器即時利用 OpenAI 等領先企業的開源創新。 OpenAI 的 gpt-oss-20b 將使設備能夠利用設備端推理，在隱私和延遲方面帶來優勢，同時透過 AI 代理補充雲端解決方案。

透過對 gpt-oss-20b 的搶先體驗以及與 Qualcomm AI Stack 的整合測試，我們親眼見證了該模型的卓越性能，它能夠完全在設備上進行複雜的推理。開發者將能夠透過 Hugging Face 和 Ollama 等熱門平台在搭載驍龍的裝置上存取該車型並充分發揮其功能。更多部署細節即將在 Qualcomm AI Hub 上發布。

透過將 Ollama 輕量級的開源 LLM 服務框架與強大的驍龍平台結合，開發者和企業可以直接在搭載驍龍運算平台的裝置上執行 gpt-oss-20b，並執行網頁搜尋和其他一些預設的開箱即用功能。使用者還可以探索 Ollama 的 Turbo 模式，探索該模型的更多功能。

在接下來的幾年裡，隨著行動記憶體佔用的不斷增長和軟體堆疊變得更加高效，我們相信設備上的人工智慧能力將迅速提升，為私人、低延遲、個性化的代理體驗打開大門。

原文連結