Token是什么？大模型数数的基本单位，记账的类比一看就懂

跟朋友聊天，说到AI，他问了一个让我愣了两秒的问题：「你们老说的token到底是个啥？」 确实，这个词在AI圈已经是个默认大家都懂的词了。但说实话，我第一次看到「GPT-4支持128K token」...

AI百科 2026-07-19 16 #Token #AI科普 #大模型 #分词器 #上下文窗口