微軟發布Windows 11內建的裝置小型語言模型Mu

去年微軟發布了配備專用神經處理單元(NPU) 的Copilot+ PC，其運算能力超過40 TOPS。這些Copilot+ PC配備了Ph i-Silica ，這是一款設備內建的語言語言管理器(SLM)，旨在為微軟自有的第一方應用以及其他第三方開發者的應用帶來語言智慧功能。

今天微軟發布了Mu，這是Windows 11內建的全新裝置端小型語言模型。微軟的目標是在設定應用程式中打造一個AI驅動的代理，能夠理解用戶的自然語言查詢，並將其整合到現有的搜尋框中，從而帶來流暢的用戶體驗。因此微軟正在使用新的Mu模型來支援設定用程式中的新代理功能，該功能最近已透過Copilot+ PC在Dev通道中向Windows Insiders開放。

與Phi-Silica一樣，Mu的設計旨在在NPU上高效運行，在本地運行時每秒可交付超過100個令牌。微軟在官方部落格文章中解釋了他們如何設計和訓練Mu語言模型。以下是Mu語言模型的概述：

Mu是一個330M編碼器-解碼器語言模型。

與類似大小的僅解碼器模型相比，編碼器-解碼器方法實現了第一個令牌延遲降低約47%，解碼速度提高4.7倍。

Mu在某些元件中使用權重共享來減少總參數數量。

微軟使用Azure機器學習上的NVIDIA A100 GPU來訓練Mu。

Mu的性能幾乎可以與同樣經過精細調整的Phi-3.5-mini相媲美，儘管尺寸只有後者的十分之一。

此模型更適合多詞查詢。因此對於簡短或部分單字的輸入，設定應用程式將繼續在搜尋框中顯示詞彙和語義搜尋結果。

有興趣的使用者可以下載Windows 11 Build 26120.3964（KB5058496）或更高版本，以在Windows設定應用程式中查看這個新的AI代理程式。

消息來源