Gate 新闻消息，4 月 29 日——AI 研究员 Aran Komatsuzaki 通过将 Rich Sutton 的奠基性论文《The Bitter Lesson》翻译成九种语言，并将其交由 OpenAI、Gemini、Qwen、DeepSeek、Kimi 和 Claude 的分词器进行处理，对六个主要 AI 模型的分词效率进行了对比分析。研究以在 OpenAI 上使用英文版本的分词数量作为基准 (1x)，结果显示出显著差异：在 Claude 上处理相同内容需要的代币（tokens）为 1.65 倍，而在 OpenAI 上仅为 1.15 倍。印地语在 Claude 上的结果更为极端，较基准高出超过 3 倍。在所测试的六个模型中，Anthropic 的表现最低。
关键在于，当相同的中文文本在不同模型中进行处理——且都以同一个英文基准来衡量——结果出现了惊人的分歧：Kimi 消耗的代币仅为 0.81 倍 (，甚至比英文还少)；Qwen 为 0.85 倍；而 Claude 需要 1.65 倍。这个差距揭示的是纯粹的分词效率问题，而非语言本身的问题。中文模型在处理中文时展现出更高的效率，这表明差异源于分词器的优化，而不是语言属性。
对用户而言，其实际影响相当可观：代币消耗的增加会直接推高 API 成本，延长模型响应延迟，并更快耗尽上下文窗口。分词效率取决于模型训练数据的语言构成——如果模型主要在英文数据上训练，那么对英文文本的压缩会更高效；而数据代表性较低的语言，则会被分割成更小、效率更低的片段。
Komatsuzaki 的结论强调了一个基础原则：市场规模决定分词效率。更大的市场往往带来更好的优化；而在市场中代表性不足的语言，将面临显著更高的代币成本。
免责声明：本页面信息可能来自第三方，不代表 Gate 的观点或意见。页面显示的内容仅供参考，不构成任何财务、投资或法律建议。Gate 对信息的准确性、完整性不作保证，对因使用本信息而产生的任何损失不承担责任。虚拟资产投资属高风险行为，价格波动剧烈，您可能损失全部投资本金。请充分了解相关风险，并根据自身财务状况和风险承受能力谨慎决策。具体内容详见
声明。
相关文章
4月29日 DeepSeek 多模态研究员暗示新视觉模型
4月29日，DeepSeek 多模态团队研究员陈晓康在 X 上发帖：“现在，我们看见你了”，并配有两张 DeepSeek 鲸鱼吉祥物图片——一张眼睛闭着，另一张眼睛睁着。该帖似乎在暗示即将推出的视觉模型，这与陈作为 DeepSeek 多模态团队研究员的身份相吻合——在 Dee
GateNews9 分钟前
LG 扩展英伟达合作至物理 AI，涵盖机器人与数据中心
Gate 新闻消息，4 月 29 日——韩国 LG 电子在其 2026 年第一季度财报电话会议上宣布，公司正在将与英伟达（Nvidia）的合作扩展到物理 AI 领域，计划项目覆盖机器人、移动出行和数据中心。
LG 计划将其家用机器人 CLOiD 与 Nvidia Isaac 集成
GateNews26 分钟前
半导体分析师看好 AI 行情“至少再走三年”：先进封装才是产业瓶颈
Bubble Boi 指 AI 投資週期仍處早期，预计至少再有三年上涨，并不打算获利了结。他认为先进封装才是半导体真正瓶颈，需在同封装内整合更多HBM与更大晶片。对 NAND/Flash 看多，价格可能持续走高，未来或加入快闪供应链。个人策略是借入资金增持，并以工程实务背景理解技术细节，认为此为优势。
鏈新聞abmedia1小时前
AWS 在 Amazon Bedrock 中扩展对 OpenAI 的集成
亚马逊云服务（Amazon Web Services）于4月29日宣布与OpenAI的合作伙伴关系进行了重大扩展，将OpenAI最新的能力集成到其云基础设施中。该扩展为Amazon Bedrock带来了三项新的产品：OpenAI最新的模型 (limited preview)，以及Codex编程
Crypto Frontier1小时前
OpenAI 研究人员：AI 系统或可在两年内处理大部分研究工作
Gate 新闻消息，4 月 29 日——OpenAI 的研究人员 Sébastien Bubeck 和 Ernest Ryu 表示，AI 系统可能在两年内完成大部分人类研究工作，并将数学作为衡量 AI 进展的清晰标尺。与模糊的性能测试不同，数学问题提供精确的验证：答案要么正确，要么错误，不留任何模棱两可的空间。
GateNews1小时前
查尔斯三世会见六位美国科技CEO（包括黄仁勋、杰夫·贝佐斯和蒂姆·库克），讨论英国初创企业融资
Gate 新闻消息，4月29日——在对美国进行国事访问期间，英国国王查尔斯三世在华盛顿的布莱尔宫会见了六位杰出的美国科技领袖：英伟达（NVIDIA）首席执行官黄仁勋、亚马逊创始人杰夫·贝佐斯、苹果首席执行官蒂姆·库克、AMD首席执行官苏姿丰、Salesforce首席执行官马克·贝尼奥夫，以及 Alphabet 总裁露思·波拉特。
GateNews2小时前
