ゲート・ニュース 4月24日 — OpenAIのエンジニア、クライブ・チャン（Clive Chan）は、V4の技術レポートにおけるハードウェア推奨章に対して、詳細な異議を提起した。称賛されるV3版と比べて「驚くほど出来が悪く、エラーが起きやすい」と述べている。V3のハードウェア指針には、ISCAの学術会議で最も人気のある議論テーマとなったQ&Aセッションが含まれており、業界のインターコネクト標準に沿った具体的な推奨を提供していた。これに対しV4は、はるかに曖昧だ。
チャンは、3つの主要な推奨事項を体系的に異議申し立てした。電力消費について、レポートは、ソフトウェア最適化によってチップが計算・ストレージ・通信を同時にフル稼働で実行できるとし、チップメーカーには追加の電力ヘッドルームを確保するよう勧めている。チャンはこれを逆効果だと主張する。チップの総電力は物理的な製造プロセスの制約によって制限されるため、より多くの電力余裕を確保しても、動作周波数を下げるだけで、結果的に計算性能が低下するからだ。GPU間のデータ転送について、レポートはプッシュモデルではなく、プルモデル――GPUが能動的にデータを取得する方式――を推奨し、プッシュ動作では通知のオーバーヘッドが大きいことを根拠としている。チャンはこれに反論し、プルのほうが実際には遅いのだと述べ、代わりにネットワーク・アダプタの能力向上が望ましいと主張している。ただし、両者は問題の異なる層について議論している可能性がある。レポートは通知メカニズムのオーバーヘッドに言及している一方で、チャンは送信遅延そのものを指している。
活性化関数について、レポートは計算負荷を減らすためにSwiGLUをより単純な関数に置き換えることを推奨している。チャンはこれに価値がないと見ており、Sonic MoEはすでにSwiGLUを用いて最適な性能を示したと指摘する。チャンはDeepSeekが「意図的にこのセクションを弱めた」可能性があると疑っている。
Related News
