Red Hat 推出新版 Red Hat AI 3.4 平台可簡化代理工作流程開發與部署

Red Hat 宣布推出新版本 Red Hat AI 3.4 全方位平台，可簡化代理工作流程的開發與部署，讓企業能從試驗階段邁向在整個基礎架構中實現可擴展的 AI。



Red Hat 宣布推出 Red Hat AI 3.4，透過提供統一的硬體底層至智慧代理平台，可簡化代理工作流程的開發與部署可擴展 AI，並藉由提供建置人員與營運人員一致性框架，協助企業在擴展自主式系統基礎架構時，仍保有企業所需的控制力、安全功能與硬體效率。


(左起)Red Hat 台灣區總經理孫媛音、全球副總裁暨大中華區總裁曹衡康與首席資深解決方案架構經理游政杰

Red Hat AI 3.4 為全方位平台，提供能跨混合雲擴展模型與代理式工作流程所需的架構與營運工具，新版核心為「模型即服務」（Model-as-a-Service，MaaS），結合 vLLM 推論伺服器、llm-d 分散式推論引擎為模型推論提供可靠且高效的基礎，能在多種環境中維持最佳化且高效的模型服務，並讓開發人員可透過單一、受治理的介面存取精選模型，管理員同時還可追蹤使用量並強制執行原則。


Red Hat AI 架構

隨著 AI 代理帶動對推論大量需求，Red Hat AI 3.4 導入全方位的 AgentOps 工具，可管理從開發至生產階段的各式代理，提供整合追蹤、可觀測性、加密身分驗證與生命周期管理，協助企業將代理從開發階段推向生產階段。

Red Hat AI Inference 也在其分散式推論功能中加入請求優先等級順序，允許互動與背景流量共享同一端點，同時能在負載下優先處理對延遲敏感的請求。Red Hat AI Inference 亦從 Red Hat OpenShift 延伸至包含 CoreWeave 與 Azure 在內的其他 Kubernetes 服務，為企業提供具備跨環境一致性的推論堆疊。並全面推出推測解碼（Speculative decoding）支援，將回應速度提升 2 至 3 倍，並在幾乎不影響品質的狀態下，降低每次互動的成本。


新版 Red Hat AI 3.4 主要功能

為了整合企業資料與模型以及代理，Red Hat AI 3.4 導入提示詞管理（prompt management)，將提示詞視為一等資料資產，以及用於評估模型與代理準確性、品質與安全性的評估中心。此功能由 MLflow 驅動，提供代理執行的可見度，透過 OpenTelemetry 實現端到端追蹤，包含 LLM 呼叫、推理步驟、工具執行、模型回應與詞元使用情況。這為涵蓋提示詞、嵌入與 RAG 配置的整個生命周期建立透明的稽核軌跡，以支援除錯與稽核，也為生成式與預測式 AI 應用情境提供整合的實驗追蹤與工件管理。

平台運用 Chatterbox Labs 與 Garak 專案的技術，使用 Garak 篩選模型與代理系統中的越獄、提示詞注入與偏見等風險，並搭配 NVIDIA NeMo Guardrails 以確保執行期間的安全性。為了保護整個 AI 堆疊，Red Hat AI 提供涵蓋從作業系統到代理邏輯的分層安全，透過針對模型與代理的自動化安全測試與紅隊演練，讓使用者能驗證模型與代理安全性，提供企業從實驗階段到生產就緒之應用的安全導向路徑。


Red Hat 與 NVIDIA 有密切合作

針對新世代的硬體， Red Hat AI 3.4 也為 NVIDIA Blackwell GPU 與 AMD MI325X 架構提供 Day-0 支援，即代表新硬體推出之日即可支援運作。透過擴展此統一平台架構以原生型態運行於第三方託管雲中（包括在 IBM Cloud 上新的 Red Hat AI Inference），Red Hat 在廣泛的硬體與雲端服務供應商之間提供營運一致性。

許多企業已發現為了更妥善地管理成本並驅動私有、主權 AI 應用情境，必須從單純的「詞元(Token)」消費者轉變成供應者，然而建置者與基礎架構管理員之間的摩擦仍為推動採用的主要障礙。若缺乏使這兩種角色保持一致的方法，基礎架構存取受限將阻礙創新，同時影子 AI（shadow AI）等則會引入不受管控的風險與不可預測的成本。

為化解上述衝突，Red Hat AI 3.4 透過為可擴展推論與自主式代理部署提供企業基礎架構，以滿足嚴格的風險與治理標準所需的透明度與控制力。由於代理具備一定程度的獨立性，若缺乏對其決策過程的可視性將引發重大安全風險。

因此 Red Hat AI 提供能追蹤各項行動、推理步驟與工具調用的基礎架構，確保 AI 代理的決策過程透明且可供稽核。透過整合加密身分管理，該平台將行動與經驗證的身分相連結，有助於識別執行任務的實體。綜合以上，企業得以跨越零散的試行階段，將 AI 視為可擴展、可預測，最重要的是，作為可問責的實用企業工具。