Token到底是什么？说人话解释大模型怎么「看懂」你打的字

如果你用过ChatGPT、豆包或者DeepSeek的API，你一定见过「Token」这个词。定价表上写着「每百万Token XX元」，模型参数写着「上下文窗口128K Token」。但Token到底是个什么东西？跟你敲进去的汉字有什么关系？

我用最简单的例子说清楚。

Token不是字，也不是词

你打了一句话：「今天天气真好」。

在中文里，一个Token大概对应1到2个汉字。所以「今天天气真好」大约会被切成4到5个Token，比如：「今天」「天气」「真」「好」——也可能「今天」「天」「气真」「好」，具体取决于模型的分词器。

英文更直观一些。一个常见英文单词通常就是1个Token，比如「hello」是1个Token，「ChatGPT」可能被切成「Chat」和「GPT」两个Token。

所以当你看到「128K上下文窗口」，意思就是模型一次最多能「看到」约128,000个Token。换成中文，大概是9万到12万个汉字——差不多一部中篇小说。

Token是怎么来的？

大模型内部有一个「词汇表」，里面存了几万个Token。你输入的文字先被拆成Token片段，每个Token对应一个数字编号，然后这些数字被送进神经网络做计算。

打个比方：Token就是大模型的「字母表」。就像英文只有26个字母但能组合出无限含义一样，几万个Token也足够表达任何人类语言。

不同模型的Token词汇表不完全一样。GPT-4的词汇表约10万个，DeepSeek用的是自己训练的词汇表，豆包也有一套。所以同一句话在不同模型里的Token数量可能差几个——但大差不差。

Token跟价格什么关系？

API按Token收费，因为Token量直接决定了计算量。每次生成一个Token，模型都要跑一遍全部参数。生成1000个Token比生成100个Token贵10倍，逻辑上没毛病。

具体价格举个例子（以2026年7月为准）：

DeepSeek-V3：输入约0.5元/百万Token，输出约2元/百万Token。让DeepSeek帮你写一篇1500字的文章，Token消耗大概在3000左右，成本也就几分钱。

GPT-4o：输入约5美元/百万Token，输出约15美元/百万Token。同样的文章成本要几毛钱人民币。

差距主要在推理成本上——DeepSeek用了MoE架构，每次推理只激活部分参数，所以便宜很多。

一个常见的坑：Token限制

很多人用API的时候遇到一个报错：「context length exceeded」——上下文长度超了。这就是Token数超出了模型的上下文窗口。

举个真实场景：你想让AI分析一份50页的PDF，把全文粘进去了。看起来不多，但50页可能有5万到8万汉字，换算成Token就是7万到10万。再加上你让AI输出的回复，一不小心就超了128K的限制。

解决办法有两个：要么分段处理（切碎了一页一页喂），要么用支持超长上下文的模型（比如Gemini 2.5 Pro支持200万Token）。

最后说一句：Token这个概念不重要，你不用记住。但理解它之后，你在看API价格、估算成本、调整输入长度的时候会心里有数。这就够了。

标签： Token 大模型 AI科普 API LLM