トランスフォーマー

Transformerの自己注意が抱えるO(N^2)の計算コストを、SSM（状態空間モデル、例：Mamba）のO(N)でどう回避するか。22万トークン処理やFalcon-H1の最大8倍スループットなど、ハイブリッド化の要点と使いどころを解説します。