「GPUは同じ文章を二度読まない」　ベルギー発Corbenic、SSDをAIメモリ化する新技術

ベルギーのスタートアップCorbenic（コルベニック）が、生成AIモデルの処理を高速化する新技術を発表しました。同社のソフトウェア「Galahad（ガラハッド）」は、GPU（画像処理用半導体）が扱う大規模言語モデルの「KVキャッシュ」と呼ばれる内部状態をローカルSSDに暗号化保存し、同じ文章が再び登場したときに再利用する仕組みです。

通常、チャットボットやコード自動生成AIは、長い履歴を毎回最初から読み直すため、メモリ帯域と計算資源を大量に消費します。Corbenicは、「GPUが同じテキストを二度読まない」設計により、最大14倍のスループット向上やコスト削減が可能だと主張しています。特に、企業内ナレッジ検索やカスタマーサポートのように同じ問い合わせが繰り返される用途では効果が大きいとされます。

データセンターでは、高帯域メモリ（HBM）などAI向け半導体が逼迫し、価格高騰が課題となっています。既存サーバーのSSDを「第2のAIメモリ」として活用するCorbenicのアプローチは、ハードウェア増強ではなくソフトウェア最適化で性能を引き出す例として、世界的なAIインフラ議論の中でも注目を集めつつあります。