結論
AIインフラ競争の焦点が根本的にシフトしている：GPU計算コアからHBM（高帯域幅メモリ）容量と帯域幅へ。
なぜHBMが新たなボトルネックなのか
AI推論とトレーニングにおいて、GPUの算力はもはや制限要因ではない。真のボトルネックは メモリから計算ユニットへのデータ移動速度 である。
第一原理による導出：
Tokenスループット = HBM容量 × HBM帯域幅 / モデルパラメータ数アクション推奨
- チップ業界: HBMサプライチェーンはGPUチップよりも確実な成長トラック
- AIアプリ開発者: モデル選択時にHBM要件を考慮。1Mコンテキストの真のコストはKV CacheのHBM消費
- 投資家: ストレージ半導体拡張はAIインフラ投資の「第二波」