ローカルLLM

PrismMLが公開したBonsai-8Bは、8Bパラメータで1.15GBという1-bit LLM。iPhone 17 Pro Maxで毎秒44トークンで動作し、オンデバイスAIの新しい基準を示した。仕組みと性能、実際の試し方を解説します。