Intel將其NPU加速程式庫開源，使開發人員能夠優化人工智慧應用

sxs112.tw · 發表於 2024-3-3 19:25:48

Intel終於開源了其NPU加速庫，允許開發人員和愛好者調整他們的應用，以最好地與Intel的人工智慧引擎配合使用。

這項消息來自Intel技術傳播者Tony Mongkolsmai，他首先揭露了該公司新的開源程式庫。透過這一步，NPU加速庫將幫助開發者受益於Meteor Lake Core Ultra系列等CPU陣容中現有的NPU 。它採用 Python，透過提供高級介面簡化了開發，並支援TensorFlow和PyTorch等流行框架，使開發人員能夠利用該程式庫的功能來提高AI相關服務的效率。

Intel-Meteor-Lake-Arrow-Lake-VPU-NPU (1).png

Tony 一直在配備Intel Core Ultra CPU的MSI Prestige 16 AI Evo筆記型電腦上執行NPU加速程式庫。他可以在機器上運行TinyLlama和Gemma-2b-it LLM模型而不會造成效能中斷，這表明Intel NPU的潛力以及它們如何為開發人員促進邊緣AI環境。以下是Intel開發團隊自己對該程式庫的描述：

Intel NPU加速程式庫是一個Python函式庫，旨在利用Intel神經處理單元 (NPU) 的強大功能在相容硬體上執行高速運算，從而提高應用程式的效率。，我們正在努力實現一系列關鍵功能，包括：

8-bit quantization
4-bit Quantization and GPTQ
NPU-Native mixed precision inference
Float16 support
BFloat16 (Brain Floating Point Format)
torch.compile support
LLM MLP horizontal fusion implementation
Static shape inference
MHA NPU inference
NPU/GPU hetero compute
Paper

很高興看到NPU加速程式庫的開源，因為它最終將增強在Intel專用AI引擎上運行的AI應用程式的實現。

消息來源

文章分享：

+ MORE精選文章：

+ MORE活動推薦：

Micron Crucial T710 SSD 玩家開箱體驗分享

COUGAR ULTIMUS PRO玩家開箱體驗分享活動

COUGAR AIRFACE 180 玩家開箱體驗分享活動

COUGAR GR 750/GR 850 玩家開箱體驗分享活

[業界新聞] Intel將其NPU加速程式庫開源，使開發人員能夠優化人工智慧應用

瀏覽過的版塊