大模型是怎么看懂图片的？多模态AI原理白话版

2023年的时候大家还在惊叹ChatGPT能写代码，到了2026年，大模型已经能看图、听声音、生成视频了。但这里有个很多人没想明白的问题：一个语言模型，明明是处理文字的，怎么突然就能看懂图片了？

这篇文章尽量不用术语，把多模态AI的原理讲清楚。

文字是token，图片也是token

大语言模型本质上处理的是一种叫token的东西。你把你好给它，它先转成两个数字ID，然后在这些数字上做矩阵运算，最后再把结果数字转回文字输出给你。

那图片呢？图片说到底也是一堆数字——像素值。一张800x600的图片，就是480000个像素点，每个点有RGB三个通道，加起来就是144万个数字。

所以问题的关键变成了：怎么把144万个像素数字，压缩成模型能处理的token序列。这就要说到ViT（Vision Transformer）了。

把图片切成小方块

ViT的做法很直接：把一张图切成一个个16x16像素的小方块（patch），每个方块相当于一个图像单词。一张224x224的图，切成14x14等于196个patch。

然后每个patch通过一个线性投影，变成一个向量——这个向量的维度和语言模型处理文字token的维度是一样的。196个patch就变成196个图像token。

换句话说，在模型内部，一张猫的图片被转成了196个token，和猫、橘猫、坐在沙发上这些文字token放在同一个数学空间里计算。

文字和图片怎么对齐？

光把图片转成token还不够，关键是要让模型理解这张图里是猫和猫这个词之间的关系。这就是CLIP这类模型的功劳。

CLIP的训练方式很巧妙：从网上收集4亿对图片+描述文字，然后训练一个模型，让匹配的图-文对的向量相似度尽量高，不匹配的尽量低。训练完之后，模型就能把一只橘猫坐在窗台上这段文字和对应的图片映射到向量空间中很靠近的位置。

所以当你给GPT-4V传一张图然后问这是什么，它做的事情其实是在向量空间里找和这张图最匹配的描述——本质上和文字推理用了同一套数学工具，只是输入从纯文字变成了文字+图像token的混合序列。

视频本质上也是图

理解了图片的原理，视频就不难懂了。视频就是一帧一帧的图片按时间序列排列。模型处理视频时，抽帧（比如每秒抽1-2帧），每帧按ViT的方式转成token，再加上时间位置编码，告诉模型这些帧的先后顺序。

现在能生成视频的模型（Sora、可灵），实际上是反过来做：给你一段文字，模型先生成一帧一帧的图片token，再把这些token拼起来还原成视频。

实际能干什么？

多模态大模型现在落地的场景已经不少了：医疗方面，模型看CT片子做初筛，准确率在特定任务上已经超过初级放射科医生。法务上，合同扫描件直接上传，模型同时识别文字和表格结构，几秒钟出摘要。

更日常的：拍一张药品说明书，模型告诉你用法用量和禁忌；截一张外国菜单，直接翻译成中文；对着电路板拍照，模型指出哪个元器件可能坏了。

局限也不小

不过也别把多模态AI想得太神。目前最大的问题是：模型对数量的判断很差。数人数、数物体数量，经常出错。空间推理也不行——你问它A在B左边还是右边，如果图片角度刁钻一点，大概率答错。

另外还有一个尴尬的地方：处理一张高清大图的算力成本，几乎相当于处理几万字的文本。所以实际的API调用里，图片分析比文字贵得多。

但方向是对的。2026年回头看，纯文本的大模型已经没什么悬念了，真正的变量在多模态——谁先把视觉理解做到实用级别，谁就拿下了下一波应用场景。

标签： 多模态AI 大模型 ViT AI科普 视觉理解