微軟推出Windows ML框架， 在不同硬體架構上部署模型變得更簡單

今天，微軟在Windows部落格上正式發布了可用於生產環境的Windows ML。它是內建的AI推理運行時，針對本地設備的模型推理進行了最佳化，並且簡化了跨CPU、GPU和NPU的模型依賴關係管理。

Windows ML與ONNX運行時相容，因此開發者能非常容易地把現有的模型過渡到Windows ML上來，他們也可以透過VS Code的AI工具包轉換PyTorch模型並部署到Windows 11 PC上。在新的框架下，Winodws處理ONNX執行時間和執行提供者（Execution Providers）的維護和分發。執行提供者是軟體框架和晶片之間的元件，可以在NVIDIA、AMD、英特爾和高通的不同晶片上優化模型。

由於Windows ML框架，開發者可以將他們的模型快速部署到各種硬體架構的設備上，而不需要針對特定晶片構建程序，該框架還支援預編譯模型。又因為統一了運行時，Windows ML還能減少應用程式的開銷。相容性和硬體最佳化同樣是這個框架的優點。

目前Adobe、BUFFERZONE、McAfee等多家公司的產品已經準備在新版本中採用Windows ML。以Adobe的Premiere Pro和After Effects為例，他們準備將全部本地運行的AI模型遷移到Windows ML上。 McAfee則利用AI模型自動偵測網路上的deepfake影片和其他釣魚手法。

消息來源