[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"$fgIwgVw_VFVsJUthAz_F6s4_xIsI4LxJHlYH0FlcNbGc":3},{"item":4,"related":46},{"id":5,"type":6,"title":7,"slug":8,"summary":9,"body":10,"coverUrl":11,"productScreenshots":12,"productLinks":13,"authorName":14,"authorUrl":15,"authorSubject":16,"category":17,"tags":22,"sourceLabel":35,"sourceName":36,"sourceUrl":37,"status":38,"seoTitle":39,"seoDescription":39,"canonicalUrl":39,"isFeatured":40,"sno":41,"sortOrder":42,"publishedAt":43,"updatedAt":44,"createdAt":45},"b6564cc6-e955-4e66-92a0-2c99760a2993","article","AI 为什么数不清 strawberry 里有几个 r？秘密藏在 Token 里","why-ai-cannot-count-letters-tokenization","数单词里的字母对人很简单，对大语言模型却可能很棘手。原因不是 AI 完全看不见字母，而是它通常先把文字切成 Token，再在更深层重建字符信息。本文从 strawberry 难题出发，讲清分词方式如何影响拼写、计数、中文处理与提示技巧。","如果让一个小学生数一数 `strawberry` 里有几个字母 r，他大概会从左到右指着字母数。大语言模型却不是这样“看字”的。它接收到文字后，通常先经过分词器，被切成一个个 Token（词元）。Token 可能是一个完整单词，也可能是半个单词、一个标点或一段常见字符组合。\n\n这就是为什么模型能写出流畅文章，却偶尔在数单词字母时栽跟头：它处理语言的基本积木，并不总是单个字母。\n\n## 模型眼里的 strawberry 不是十颗珠子\n\n为了节省计算，分词器倾向于把常见片段合并。人看到的是连续的十个字符，模型最初拿到的却可能是一个或几个编号。每个编号对应词表中的一段文字，再被转换成一组数字进入神经网络。\n\n这有点像你看到“中华人民共和国”时会把它当成一个熟悉名称，而不是每次都从七个汉字重新拼起。整体识别能提高阅读效率，但如果突然追问“第三个字是什么”，你需要把整体重新拆开检查。\n\n模型也会做类似的重建，只是过程并不可靠。2025 年发表在 ACL Anthology 的[字符级能力研究](https:\u002F\u002Faclanthology.org\u002F2025.findings-emnlp.719\u002F)发现，模型的嵌入层并没有完整编码 Token 内的字符信息，尤其是首字符之后的信息；字符知识往往要到中间或更高层才被重新构造出来。换句话说，AI 并非完全“看不见字母”，而是需要绕一段路才能把字母找回来。\n\nhttps:\u002F\u002Faclanthology.org\u002F2025.findings-emnlp.719\u002F\n\n```mermaid\nflowchart LR\n    A[输入单词] --> B[分词器切成词元]\n    B --> C[词元转为数字表示]\n    C --> D[网络深层重建字符]\n    D --> E[执行字母计数]\n```\n\n## 为什么有时又能数对\n\n模型不是固定的查表程序。它可能从训练数据里见过这道著名问题，也可能在推理过程中把单词展开成 `s-t-r-a-w-b-e-r-r-y`，然后完成计数。不同模型、不同提示方式甚至同一模型的不同生成过程，都可能给出不同结果。\n\n因此，“模型数不清字母”不能被简化成“模型不知道拼写”。更准确的说法是：字符级操作并非大多数语言模型的原生强项，它们要从 Token 表示中恢复字符，再执行位置或计数任务，链条越长，出错机会越多。\n\n类似问题还包括：\n\n- 判断两个词是否押韵；\n- 把一句话每隔三个字符插入符号；\n- 反转一个陌生单词；\n- 精确统计某个汉字或标点出现几次；\n- 处理长串编号、序列号和无规律密码。\n\n## 中文并不天然更容易或更难\n\n中文常以单字或常见词组切分，但具体方式取决于模型使用的词表。同一句中文在不同分词器中可能变成不同数量的 Token，生僻字还可能被拆成更细的字节表示。因此，不能用“一个汉字必然等于一个 Token”来估算成本，也不能断言中文一定比英文更费 Token。\n\n真正影响结果的是词表、文本常见程度和分词算法。常见表达通常更容易得到紧凑表示，混合语言、生僻字符和长编号则可能被切得更碎。\n\n## 遇到字符题，怎样让 AI 更可靠\n\n最有效的办法不是反复强调“认真一点”，而是把隐藏步骤显式化。例如要求模型先把单词按字符分隔，再标出目标字母的位置，最后计数。这样可以把一次模糊的整体判断变成几个可检查的小步骤。\n\n如果结果关系到代码、财务或数据清洗，最好直接使用确定性工具：让程序遍历字符串、使用正则表达式或调用计算器。语言模型适合解释规则和生成代码，却不该替代能精确执行规则的程序。\n\n`strawberry` 难题真正有趣的地方，不是嘲笑 AI 连字母都不会数，而是提醒我们：流畅的语言能力与精确的符号操作是两种不同能力。模型读懂了大意，不代表它在任何时候都把每个字符握在手里。","\u002Fuploads\u002F2026-08-14\u002Fc1f5c6c9-2362-47cb-a5ac-08c13e0b4852.jpg",[],[],"Foundit","https:\u002F\u002Ffoundit.cn","f39339b1-aaa6-4e86-b0c2-a6e6a21113b5",{"id":18,"name":19,"slug":20,"description":21},"6179d3b6-dc34-4483-9ded-3cd9f1b37a47","科普","abbreviation","介绍各领域新兴概念",[23,27,31],{"id":24,"name":25,"slug":26},"4c2bbea6-eab7-40a8-8447-1de478ff7749","分析","analyse",{"id":28,"name":29,"slug":30},"7c76bfc2-f80f-4ee0-a95d-27bd8708b434","技术","slug",{"id":32,"name":33,"slug":34},"88d2bc27-0e0f-468a-b907-2991cb97b87b","人工智能","ai","资料来源","ACL Anthology：Spelling-out is not Straightforward","https:\u002F\u002Faclanthology.org\u002F2025.findings-emnlp.719\u002F","published",null,false,60,0,"2026-08-14T00:00:00.000Z","2026-08-14T05:39:18.972Z","2026-08-14T03:06:06.753Z",[47,56,64],{"id":48,"type":6,"title":49,"slug":50,"summary":51,"coverUrl":52,"authorName":14,"sno":53,"publishedAt":54,"createdAt":55},"f00e5274-8e0b-40fe-af3b-b6a8d0183b9c","一张贴纸就能骗过视觉 AI？对抗样本不是魔法","adversarial-examples-fool-visual-ai","人眼仍能认出的物体，经过精心设计的微小扰动或标记后，机器却可能改变判断。这类输入称为对抗样本。本文解释攻击者如何利用模型的决策边界，现实攻击为何比实验更难，以及为什么目前不存在一劳永逸的防御。","\u002Fuploads\u002F2026-09-08\u002F151f887b-c5f1-4647-b369-cdda8a1e1b4f.jpg",50,"2026-09-03T00:00:00.000Z","2026-08-14T03:06:09.765Z",{"id":57,"type":6,"title":58,"slug":59,"summary":60,"coverUrl":61,"authorName":14,"sno":41,"publishedAt":62,"createdAt":63},"305492d4-c146-456a-b341-31140ab9cafd","天气预报不再一格一格算空气，AI 是怎么预测风暴的？","how-ai-weather-forecasting-works","传统数值预报依据物理方程推进大气状态，AI 天气模型则从历史观测与再分析数据中学习状态如何演变。本文以 GraphCast 为例，解释图神经网络如何快速预测全球天气、它与传统方法如何协作，以及极端天气仍有哪些难点。","\u002Fuploads\u002F2026-08-16\u002Fa8b5ddad-d6db-4d12-a159-87a6c5309082.jpg","2026-08-16T00:00:00.000Z","2026-08-14T03:06:12.102Z",{"id":65,"type":6,"title":66,"slug":67,"summary":68,"coverUrl":69,"authorName":14,"sno":41,"publishedAt":43,"createdAt":70},"7f962194-e0c6-4072-9b50-c70054beb0e5","同一个问题问三遍，AI 为什么会给出三个答案？","why-ai-gives-different-answers-sampling","大模型每次回答都在从候选词中继续选择，而不是从数据库里取出一段固定文字。温度、Top-p 和随机采样共同决定回答更稳定还是更有变化。本文用抽签与岔路的比喻，解释 AI 的随机性从哪里来，以及什么时候应该追求一致。","\u002Fuploads\u002F2026-08-14\u002Fb322d338-b5c0-48c7-addf-fbd91421e316.jpg","2026-08-14T03:06:07.351Z"]