M3 Ultra使用448GB統一記憶體運行DeepSeek R1，在低於200W的功耗下提供高頻寬效能，無需多GPU

本週早些時候蘋果推出了新款Mac Studio，搭載其最強大的M3 Ultra晶片，打破了該公司自己的性能。該晶片配備最多32核心的CPU和最多80核心的GPU，與 M2 Ultra晶片相比，將提供增強的運算和圖形效能。與之前的蘋果晶片版本相比，M3 Ultra晶片在運行DeepSeek R1模型（一個擁有6710億個參數的龐大模型）時也證明了自己具有相當強的性能。

有6710億個參數的DeepSeek R1模型重量高達404GB，需要高頻寬記憶體，這是為GPU VRAM保留的。由於採用蘋果的統一記憶體架構，M3 Ultra晶片在該領域有獨特的優勢，以最低的功耗展現出令人印象深刻的效果。YouTube頻道Dave2D分享了詳細訊息，比較了該晶片與DeepSeek R1型號和之前的蘋果晶片的性能。

鑑於R1型號的龐大尺寸，需要有大量VRAM的強大GPU設定才能高效運作。傳統的PC設定需要多個GPU，這會導致功耗極高，但M3 Ultra晶片卻能夠更有效率地運行該模型。 M3 Ultra晶片的統一記憶體架構提供了高頻寬記憶體的共享池，使得AI模型能夠利用類似VRAM的資源。

請注意較小的AI模型無需使用全部資源即可持續流暢地運行，但有6710億個參數的DeepSeek R1模型需要蘋果最高配置的M3 Ultra晶片——高達512GB。然而，macOS預設對VRAM分配進行了限制，Dave Lee必須透過終端手動增加限制，將其增加到448GB。

DeepSeek R1模型在M3 Ultra Mac Studio上成功流暢運行，而且儘管是犧牲精度的4位元量化版本，模型仍然保留了6710億個參數，表現得出奇的好。雖然競爭對手可以透過多個GPU實現相同的性能，但M3 Ultra晶片在功耗方面更佔上風。運行強大的DeepSeek R1模型時，整個系統的功耗不到200W。其功耗只是有同等性能的PC實現類似結果所需功耗的一小部分。 Dave提到傳統的多GPU配置所需的功率比M3 Ultra晶片高10倍。

令人驚訝的是有6,710億個參數的R1模型的表現優於有700億個參數的較小版本，這可能是由於架構效率所致。

消息來源