你这是违法行为 (@Anano) 在 Claude的中文税:问同样内容比英文多花65%token,OpenAI只多15%! 中发帖
AI 研究者 Aran Komatsuzaki 把 Rich Sutton 的知名论文「苦涩的教训」(The Bitter Lesson)翻成 9 种语言,喂进 OpenAI、Gemini、Qwen、DeepSeek、Kimi、Claude 6 家模型的分词工具(tokenizer),以英文原文在 OpenAI 分词工具上的 token 数为 1 倍基准,看各语言在各模型上花多少倍。结果:同样的内容用中文问 Claude,token 消耗是基准的 1.65 倍;用 OpenAI 只有 1.15 倍。印地语在 Claude 上更夸张,超过基准 3 倍。6 家横评里 Anthropic 垫底。
翻译会改变文本长度,所以跟英文比的倍数不完全精确。但更有说服力的是同一段中文在不同模型上的表现(仍以同一基准):Kimi 只花 0.81 倍(比英文还少),Qwen 0.85 倍,到 Claude 上...