大模型入门：一文讲清 Token、上下文窗口与幻觉

从「概率」说起

大语言模型（LLM）本质上是一个「文字接龙高手」：它根据前文，不断预测下一个最可能出现的字。

Token 是什么

模型不直接读「字」，而是读 Token（词元）。一个英文单词通常是 1-2 个 Token，一个汉字通常是 1-2 个 Token。你用 API 时按 Token 计费，对话长度也按 Token 计算。

上下文窗口

上下文窗口（Context Window）是模型一次能「记住」的最大 Token 数。128K 意味着它一次能读进约 10 万字——所以把整本小说丢给 Kimi 或 Claude 是可行的。

幻觉从哪来

模型在「接龙」时并不知道事实，它只生成「看起来最合理」的文字。当它缺乏相关知识又必须作答时，就会编造出看似可信的内容，这就是 幻觉（Hallucination）。

实用建议

1. 重要事实（数据、引用）务必人工核验
2. 让模型「不知道就说不知道」能显著减少幻觉
3. 提供参考资料（RAG）比凭空问答可靠得多

理解了这些概念，你就超过了 90% 的 AI 使用者。