前两天刷到张一鸣内部讲话的讨论，热度挺高。他说字节不该依赖蒸馏，得长期自主研发，追上OpenAI还需要三四年。这个判断放在当下的大模型竞争格局里，其实挺有意思——不是喊口号，也不是自谦，更像是一个工程团队出身的创始人，给内部定了个相对务实的节奏。
我看知乎上不少人把焦点放在“三四年靠不靠谱”上，但真正值得聊的，是“不依赖蒸馏”这四个字背后的难点。蒸馏这条路，很多团队都在走，见效快、成本低，但天花板也明显。张一鸣把它拎出来说，说明字节内部可能已经碰到了某种瓶颈。
为什么“不依赖蒸馏”说起来容易做起来难
蒸馏的本质，是用一个强模型去教一个弱模型，或者用大模型生成的数据去训练小模型。这条路在工程上很顺，尤其对追赶者来说，能快速拉近表面差距。但问题在于，蒸馏出来的能力往往是“形似而神不似”。
我自己跟做模型训练的朋友聊过，他们提到一个细节：蒸馏数据里，教师模型的错误也会被学生模型继承，而且学生模型很难学到教师模型“为什么这样推理”的过程，只学到了输入输出的映射关系。这就导致在需要多步推理、长链条逻辑的任务上，蒸馏模型的表现会明显掉档。
张一鸣说的“自主研发”，核心难点之一就在这里——你得自己构建从预训练到后训练再到强化学习的完整链路，而不是拿别人的输出当拐杖。这条路慢，但每一步都是自己的。
难点一：数据飞轮的启动成本
自主研发绕不开数据。字节有抖音、TikTok这样的产品，理论上拥有海量交互数据，但真正能用于模型训练的高质量数据，和产品里的用户行为数据是两回事。
我注意到一个容易被忽略的点：很多团队在早期会低估“数据清洗和标注”的工程量。预训练阶段需要的是去重、去噪、质量分级后的文本，后训练阶段需要的是高质量的指令数据和偏好数据。这些环节没有捷径，只能靠人力和工程系统一点点磨。字节在这方面有资源优势，但资源转化为可训练数据，中间的时间差往往比外界想象的长。
难点二：算力之外的工程效率
算力是明牌，大家都知道字节在买卡。但同样规模的卡，不同团队的训练效率能差出不少。这里涉及分布式训练的稳定性、故障恢复机制、并行策略的调优——这些都是“脏活累活”，不会出现在论文里，但直接决定你一次训练跑多久、烧多少钱。
张一鸣说三四年，我猜他心里的账本里，工程效率的爬坡占了不小权重。从千卡到万卡集群，不是简单堆机器，通信瓶颈、内存墙、检查点保存的策略，每一个坑都得自己踩一遍。
难点三：后训练阶段的“品味”问题
预训练决定模型的下限，后训练决定上限。而後训练里，最难的其实是“什么是一个好回答”这个判断标准。
蒸馏可以抄别人的偏好，但自主研发意味着你得自己定义什么是好的推理、好的代码、好的文案。这背后需要一支有判断力的标注和评估团队，还需要一套能持续迭代的评估体系。这件事没有标准答案，字节得自己摸索出一套适合自己产品场景的偏好对齐方法。
三四年这个时间判断，放在行业里看是什么水平
说实话，三四年不算激进。从GPT-4到现在的模型迭代节奏看，头部实验室的下一代模型周期大概在12到18个月。字节作为追赶者，用三四年去逼近当前OpenAI的水平，同时还要应对OpenAI继续往前跑，这个时间窗口其实挺紧的。
但张一鸣这句话的语境是“追上”，不是“超越”。追赶者的优势在于路径相对清晰，劣势在于前面的人不会停下来等你。所以这三四年里，字节真正要跑赢的，可能不是OpenAI的绝对水平，而是自己工程迭代的速度。
回到知乎那个问题本身，我觉得核心难点不在单点技术突破，而在组织能力——能不能把数据、算力、工程、评估这几条线拧成一股绳，持续跑三四年不掉链子。张一鸣从字节跳动的推荐系统一路走过来，对这件事的难度应该比谁都清楚。
你们觉得，国内大模型团队里，谁最有可能先跑通这条自主研发的路？欢迎在评论区聊聊。
微信扫码查看