下一代HBM架構詳解，包括HBM4、HBM5、HBM6、HBM7和HBM8：64TB/s頻寬、24-Hi 240GB

下一代HBM標準（包括HBM4、HBM5、HBM6、HBM7和HBM8）已詳細說明，每一代都取得了重大進步，以滿足日益增長的資料中心和AI需求。

隨著人工智慧和資料中心需求的成長，HBM記憶體將在未來十年內大幅擴展：HBM4、HBM5、HBM6、HBM7和HBM8最高可達64TB/s，且24-Hi堆疊正處於研究階段

在韓國科學技術院 (KAIST)和Tera (Terabyte 互連與封裝實驗室)最近舉辦的演講中，兩家公司概述了HBM路線圖，並詳細介紹了我們對下一代標準的期望。該報告概述了幾個新的和即將推出的HBM標準，例如HBM4、HBM5、HBM6、HBM7和HBM8，因此這裡有許多內容需要分析。

從HBM4開始。這將成為2026年推出的下一代資料中心和AI GPU的首選標準。 AMD和NVIDIA都已確認將在其MI400和Rubin產品中使用HBM4。

該研究機構也為我們提供了一些有關NVIDIA路線圖的見解，考慮到TeraByte負責處理HBM記憶體的互連和封裝方法，這些見解可能具有一定的意義。

適用於 NVIDIA Rubin 和 AMD MI500 GPU 的 HBM4 內存

首先讓我們來看看NVIDIA的Rubin和Rubin Ultra，它們將分別利用HBM4和HBM4e記憶體。在NVIDIA的官方路線圖中Rubin擁有8個HBM4顯示記憶體，而 Rubin Ultra則擁有16個HBM4顯示記憶體。每個版本都有兩種GPU晶片橫截面積，但Rubin Ultra的橫截面積更大，計算密度是標準Rubin選項的兩倍。

據該研究公司稱Rubin GPU晶片尺寸為728mm2，每個晶片功耗為800W。這僅適用於標準版Rubin產品。中介層尺寸為2194mm2（46.2mm x 48.5mm），可承載288至384GB的VRAM容量，總頻寬為16-32TB/s。據披露晶片總功耗為2200W，幾乎是Blackwell B200 GPU的兩倍。

有趣的是AMD也將於明年推出的Instinct MI400比Rubin更勝一籌，旨在提供432GB的HBM4容量，記憶體頻寬高達19.6TB/s。

HBM4的具體細節如下：此記憶體旨在提供8Gbps的資料速率和2048位元的IO頻寬，每堆疊2.0TB/s的記憶體頻寬，每顆晶片24Gb的容量，最高可達36-48GB的記憶體容量，每顆晶片75W。 HBM4採用標準的直接晶片 (D2C) 液冷技術，並採用客製化的HBM晶片 (HBM-LPDDR)。

HBM4e更上一層樓，資料速率為10Gbps，每個堆疊的頻寬為2.5TB/s，每個晶片的容量高達32Gb，採用12-Hi和16-Hi堆疊的記憶體容量高達48/64GB，每個 HBM封裝功率高達80W。

HBM5瞄準NVIDIA Feynman，計畫於2029年上市

HBM5似乎延續了Non-e版本的8Gbps資料速率，但將I/O通道提升至4096位元。頻寬也提升至每堆疊4TB/s，並將以16-Hi堆疊為標準。採用40Gb DRAM晶片後，HBM5的每堆疊容量將擴展至80GB，預計每堆疊功率將達到100W。

NVIDIA的 Feynman預計將成為第一款採用HBM5記憶體標準的GPU，雖然NVIDIA已經列出了2028年的發佈時間表，但根據生產和供應週期，該研究公司似乎更傾向於在2029年推出這款下一代解決方案。

Feynman的數據也得到了重點強調，它是一款750mm2的GPU，單顆晶片功耗為900W，旗艦晶片將被命名為F400。 NVIDIA尚未展示該晶片的具體細節，但該研究公司認為，它採用四顆GPU晶片封裝，並擁有8個HBM5顯示記憶體。據稱該封裝尺寸為4788mm2（85.22mm x 56.2mm）。整個GPU應該包含400-500 GB的HBM5記憶體容量，TDP為4400W。

HBM6適用於後Feynman GPU架構 - 強大功率、大量容量、高頻寬

現在NVIDIA可能會推出更強大的Feynman Ultra產品，但目前尚未公佈。目前公佈的是搭載HBM6的後Feynman設計，所以我們先從這裡開始。預計HBM6的數據速率將翻倍，達到16Gbps，同時使用4096位元IO通道。

頻寬翻倍至8TB/s，我們正在努力實現每顆DRAM晶片48Gb的容量。相較於HBM5，另一個重大變化是這應該是我們首次看到HBM堆疊從16-Hi擴展到20-Hi，將記憶體容量提升至每堆疊96-120GB，每堆疊功耗為120W。 HBM5和HBM6預計都將採用浸入式散熱解決方案，其中HBM6將採用多塔HBM（主動/混合）中介架構，並正在研發其他功能，例如板載網路交換器、橋接晶片和非對稱TSV。

據該研究公司稱下一代GPU預計將採用這種記憶體類型，其單GPU晶片尺寸為700mm2，單晶片功耗為1000W。此封裝將在6014mm2（102.8mm x 58.5mm）的封裝面積內容納16個HBM6顯示記憶體，提供128-256TB/s的頻寬，單晶片記憶體容量為1536-1920GB，總功耗為5920W。該技術預計在2032年問世。

HBM7和HBM8——未來十年記憶體最大化

HBM6將成為下一個十年的焦點，而HBM7和HBM8將成為將標準提升到全新水平的重大武器。 HBM7將提供每堆疊24Gbps的速度和8192個IO通道，是HBM6的兩倍。更高的資料速率和IO能力將使頻寬提升至24TB/s，是HBM6的三倍。由於每個DRAM晶片的容量為64Gb，得益於20-24-Hi記憶體堆疊，每個堆疊的容量將高達160-192GB。每個堆疊的封裝功率為160W。

HBM6、HBM7和HBM8的晶片堆疊將採用無凸塊Cu-Cu直接鍵結技術，HBM7/HBM8將採用嵌入式散熱解決方案。 HBM7也將導入全新的HBM-HBF和HBM-3D LPDDR架構。

採用HBM7的下一代解決方案預計將實現超大尺寸和多晶片化，單一封裝可提供8個GPU節點，每個GPU據稱面積為600mm2，功耗高達1200W。 32個HBM7可提供1024TB/s的頻寬，使其成為首個EB級頻寬解決方案。該晶片還具備高達5120-6144GB的大量顯示記憶體容量，具體取決於HBM高度，預計總功耗將達到 15,360W，幾乎是HBM6解決方案的三倍。

對於HBM8，記憶體標準要到2038年才會推出，因此我們還有很長的路要走，但預期的規格包括32Gbps的資料速率和翻倍的I/O通道數至16,384。這個記憶體解決方案將提供每堆疊64TB/s的頻寬，每個DRAM的容量為80Gb，我們將看到高達200/240GB的記憶體容量，每個HBM的封裝功率高達180W。

消息來源