ソフトウエア LLMが突然英語で返してくる「言語混乱」はなぜ起きるのか
LLMの言語混乱(Language Confusion)がなぜ起きるか、訓練データ・RLHF・トークナイザーの3層で解説。CodexとGLMが特にひどい理由と、Claudeが少ない理由を文献をもとに考察します。
ソフトウエア
サービス・インフラ
ソフトウエア
サービス・インフラ
ソフトウエア
ソフトウエア
ソフトウエア
ソフトウエア
ソフトウエア
ソフトウエア