大模型到底「吃了」多少数据？训练语料来源全揭秘

训练数据不是天上掉下来的

GPT-4的训练数据量官方没公布，但业内估算大约在13万亿个token左右。什么概念？1个token大概等于0.75个英文单词，或者1.5个中文字。折算下来，相当于把维基百科英文版全部内容抄写3000多遍。Meta发布的Llama 3倒是公开了数据——15万亿token，训练跑了770万GPU小时，光算力成本就超过2亿美元。

所以问题来了：这么多数据到底从哪儿找的？不会是雇人现写的吧。

五大数据来源，网页只是冰山一角

第一桶：网页爬取（占60%-80%）。Common Crawl这个开源项目从2008年就开始爬全网的公开网页，每月爬一次，现在攒了超过2500亿个页面。GPT-3的训练数据里有60%来自Common Crawl。但原始网页数据很脏——菜单、广告、footer、乱码全混在一起。所以爬完只是第一步，后面得花大力气洗。

第二桶：书籍和文献（占10%-15%）。Books3是个著名的数据集，包含了19.6万本电子书，大概37GB纯文本。还有BookCorpus，收录了1.1万本免费电子书。这些书不是随便找的——筛选标准包括叙事性强（小说和传记最受欢迎）、语言质量高、题材覆盖广。说白了，AI需要从书里学讲故事的能力。不过Books3在2023年被版权方告了，现在很多大模型公司已经不再公开使用这个数据集。

第三桶：学术论文和技术文档（占5%-8%）。arXiv上有超过240万篇论文全文开放，S2ORC这个数据集收了1.36亿篇论文的引用关系和摘要。代码方面，GitHub上的公开仓库是主要来源——The Stack数据集收集了超过30种编程语言的代码文件，去重后有3TB。Stack Overflow的Q&A内容也在训练数据里，这就是为什么ChatGPT能直接帮你写正则表达式、解释编译报错。

第四桶：对话和指令数据（占3%-5%）。这部分数据量不大，但对模型「会说人话」至关重要。ShareGPT上有几十万条真实用户与ChatGPT的对话记录，很多开源模型都在用。还有人工标注的指令数据——OpenAI在肯尼亚雇了外包团队标注数据，每人时薪大概2美元。这些数据教会模型分步骤回答问题、拒绝不当请求、承认自己不知道。

第五桶：合成数据（占比在涨）。GPT-4生成的内容被用来训练Claude、Gemini这些竞品。Google DeepMind的Gemini就用了一部分GPT-4产出的合成数据。争议很大，但大家都在干。2026年一个趋势是：高质量的真实数据快挖完了，合成数据的比例会越来越高。问题是，用AI产的数据训练AI，会不会像复印机复印复印件——越印越糊？

数据清洗：从垃圾堆里淘金子

原始数据到手后不能直接用。我列一下典型流程：

第一步去重。用MinHash算法扫描文本，相似度超过某个阈值的只保留一份。这一步大概能砍掉30%-50%的冗余数据。Common Crawl每个月爬的数据里，不同URL指向同一篇文章的情况太多了。

第二步过滤垃圾。去掉HTML标签、JavaScript代码、CSS样式表、菜单和导航文本。用语言检测模型筛掉非目标语言的文本。去除包含大量乱码、重复字符、或全是数字和标点的段落。这一步能再砍20%-30%。

第三步质量筛选。用一个小型分类模型给每个文本段落打分，分数低的扔掉。很多团队用困惑度（perplexity）做标准——如果一段文字的语言特征跟高质量文本差太远，直接丢弃。OpenAI在GPT-3训练时还专门训练了一个「毒性检测器」，把包含仇恨言论、色情暴力内容的数据过滤掉。

第四步个人信息脱敏。邮箱地址、电话号码、身份证号、信用卡号——这些都得用正则表达式匹配后替换或删除。但做得不完美，2023年就有人发现可以从ChatGPT回复中提取出训练数据里包含的真实姓名和地址。

经过这一整套流程，原始数据里大概只有10%-15%能最终进入训练集。剩下85%-90%都是噪音和垃圾。

数据质量直接决定模型智商

2022年Google在训练PaLM模型时做了一个对照实验：同样的模型架构，用高质量数据训练的版本比用未清洗数据训练的版本，在MMLU基准测试上得分高出了12个百分点。12个百分点是什么概念？差不多相当于从一本水平跳到211水平。

另一个案例是Llama 2。Meta团队在技术报告里专门花了一整章讲数据策略，结论是：数据质量比数据量重要。他们把训练数据从Llama 1的1.4万亿token增加到Llama 2的2万亿token，增量只有40%，但通过改进清洗策略，模型在推理任务上的提升远超过40%——某些任务甚至翻了一倍。

反面例子也不少。2023年有一个叫Guanaco的开源模型，团队为了省钱用了大量低质量的中文语料（大量机翻内容），结果模型回答中文问题时经常前言不搭后语，还死记硬背了大量广告文案。后来团队重新清洗数据后重新训练，这才挽回口碑。

说白了，训练大模型跟做饭一个道理：食材不好，厨艺再高也做不出好东西。但反过来说，如果食材选得好，哪怕做法简单一点，味道也不会差。

2026年的变化

今年有两个值得关注的事。一是Epoch AI在2026年5月发了一份报告，估算按目前的消耗速度，互联网上可用的高质量文本数据大概在2028年前就会被大模型「吃光」。二是越来越多的内容平台开始封锁爬虫——Reddit在2023年封闭API后每年向Google授权训练数据收费6000万美元，新闻集团也与OpenAI签了5年2.5亿美元的协议。

所以训练数据的竞争正在从「怎么爬」变成「怎么合法拿到」。2026年之后，谁能锁定独家优质数据源，谁就在下一轮模型竞赛中占先手。这也意味着开源模型和商业模型之间的差距可能进一步拉大——小团队根本付不起数据授权费。

标签： 大模型训练 训练数据 数据清洗 AI科普