OpenAI、ブロードコムと共同開発した初の独自チップ「ハラペーニョ」を発表

Summary

OpenAIは初の独自推論プロセッサ「ハラペーニョ」をブロードコムとの共同設計により開発したとテッククランチが報じた。このチップは、学習済みモデルをユーザーのクエリに対して実行する推論を対象としており、モデルの学習には使わない。OpenAIの初期テストでは現在の最先端製品と比べてワットあたり性能が大幅に優れているとされるが、評価中であり展開時期は未定。同社はこのチップをアーキテクチャからメモリー・ネットワークまで及ぶインフラスタックの最適化における一つのレイヤーと位置づけた。事前学習は引き続きエヌビディアのハードウェアで行う予定だ。このアクセラレータを自社ワークロードに合わせて開発するアプローチは、グーグルのTPUやアマゾンのトレイニウムに続くものだ。

Why it matters

推論はOpenAIの最大かつ最も急成長しているコストだ。ワットあたり性能を高めるチップはクエリごとのユニット経済性を改善し、エヌビディアの価格決定力を削ぐ。グーグルとアマゾンをカスタムシリコンへと駆り立てたのと同じ論理だ。設計を自社で持つことは、GPU不足時の供給リスクのヘッジにもなる。

What to watch

ハラペーニョが評価段階から本番展開へと移行するタイミング。
エヌビディアや競合カスタム品との独立したベンチマーク比較。
OpenAIの推論処理がどの程度汎用GPUから自社チップへ移行するか。