NVHBM
概要

HBM(High Bandwidth Memory)は複数のDRAMチップを垂直に積み重ねた高速なメモリであり、GPUなどの演算チップの近くに配置される。生成AIの学習や推論では大量のデータを短時間で読み書きする必要があり、メモリの転送速度が処理性能を左右する。演算チップとメモリを高密度に接続することで伝送距離を短くし、遅延と電力消費を抑える構造が採られている。
従来のHBM構成では、メモリへのアクセスを制御するメモリコントローラを演算チップ側に搭載するのが一般的であった。これに対しNVHBMでは、同社が設計したメモリコントローラをHBMの積層構造下部にあるベースダイへ組み込む。これにより演算チップ側の回路面積を減らし、その分を演算回路やキャッシュに利用しやすくする。狭いカスタムPHY(物理インターフェース)への変更もあわせて行われている。
同社によると、標準的なHBM4Eと比較して、NVHBMはメモリ帯域幅を最大30%向上させ、HBMに関する消費電力を最大15%削減できるとしている。演算チップ上でメモリ関連の回路が占める面積を減らすことで、演算に利用できる面積を最大25%増やせるともしている。これらは同社が公表した設計上の比較値であり、実際の性能は搭載されるチップや構成、処理内容によって異なる。
同社は様々なメモリメーカーが利用できる標準的な実装を整備する方針を示しており、カスタムAIチップを開発する企業がメモリの統合や検証を進めやすくすることも想定している。最初の協力企業として米アマゾンドットコム(Amazon.com)社の半導体開発部門であるアンナプルナ・ラボ(Annapurna Labs)が発表されており、NVLink Fusionと組み合わせた次世代AIインフラへの利用が計画されている。