AI百科 知识蒸馏是什么?大模型「缩水不缩智」的秘诀 手机里能跑的大模型,几乎都是蒸馏出来的。今天用大白话把这事讲清楚。蒸馏的意思很简单:大模型当老师,小模型当学生,学生不从头学,直接学老师给出的答案。老教授带研究生就是这么个逻辑,研究生不用把图书馆的书... AI百科 2026-08-08 96 #知识蒸馏 #大模型 #DeepSeek-R1 #AI科普 #模型压缩 #端侧AI
AI百科 手机跑大模型不是噱头——聊聊AI模型量化到底干了啥 先看一个数字:Meta的Llama 3.1 70B模型,原始大小约140GB。你手机闪存才256GB,装这一个模型就去掉一大半,更别提运行了——显存都不够。但2026年的现实是,我手头这台一加13,高... AI百科 2026-07-14 110 #AI模型量化 #端侧AI #模型压缩 #INT4量化 #手机跑大模型