2025年10月22日，meta首席执行官扎克伯格批准了对该公司人工智能部门裁减约600名员工的计划。这是meta今年在AI领域的最大规模裁员，主要针对被称为“超智能实验室”的核心研发部门，2014年便加入meta的田渊栋也在此次裁员名单中。
在被裁后，他曾在网络上透露对于裁员结果的不满，“真正应该负责解决问题的人并不是被裁员的人。”
这份年终总结里，田渊栋也透露今后的就业方向，去当一家新初创公司的联合创始人，但其他具体细节暂不公开，“希望能安静地忙一段时间。”田渊栋说。
个人如何保持原创力？
——以下是田渊栋的2025年终总结（略有删减）
田渊栋画的2x2的回报矩阵（reward matrix）
尽管如此，在这几个月的努力过程中，我们还是在强化学习训练的核心问题上有一些探索，比如说训练稳定性，训推互动，模型架构设计，和预训练/中期训练的互动，长思维链的算法，数据生成的方式，后训练框架的设计等等。这个经验本身是很重要的，对我的研究思路也带来了不小的转变。
这次波折和今年一年的起起落落，也为接下来的小说创作提供了非常多的新素材。所谓“仕途不幸诗家幸，赋到沧桑句便工”，生活太平淡，人生就不一定有乐趣了。还记得2021年年头上的时候，因为在年末工作总结里面写了几句关于”为啥paper都没中“的反思，喜提Meet Most（相当于被点名谈话），有一种突然不及格的懵逼感。但想了想与其到处抱怨世道不公，不如就在大家面前装成自己刚刚升职吧，结果半年后果然升了职，而那篇21年头上无人问津的工作，在2021年7月份中了ICML Best paper honorable mention（ICML 最佳论文荣誉提名），成为一篇表征学习中还比较有名的文章。
虽然最后有不少offer，大家能想到的知名公司也都联系过我，但最后还是决定趁自己还年轻，去当一家新初创公司的联合创始人，细节暂时不公开，先安静地忙活一阵吧。
2025年的主要方向，一个是大模型推理，另一个是打开模型的黑箱。
另外是如何提高大模型的推理效率。我们的Token Assorted（ICLR’25）的工作，先通过VQVAE学出隐空间的离散token，再将所得的离散token和text token混在一起进行后训练，减少了推理代价的同时提高了性能。我们的DeepConf通过检测每个生成token的自信程度，来决定某条推理路径是否要被提前中止，这样推理所用的token减少了很多，但在majority vote的场景下性能反而更好。ThreadWeaver则是通过制造并行推理的思维链，并在其上做后训练，来加快推理速度。另外我们也在dLLM上用RL训练推理模型（Sandwiched Policy Gradient），也有在小模型上学习推理的尝试（MobileLLM-R1）。
2025年年末的这篇《未被选择的道路》（The path not taken）我很喜欢，对于强化学习（RL）和监督微调（SFT）的行为为何会如此不一致，在权重的层面给出了一个初步的答案。SFT造成过拟合和灾难性遗忘（catastrophic forgetting），其表层原因是训练数据不够on-policy，而深层原因是权重的主分量直接被外来数据大幅修改，导致“根基”不稳，模型效果大降。而RL则因为用on-policy的数据进行训练，权重的主分量不变，改变的只是次要分量，反而能避免灾难性遗忘的问题，而改变的权重其分布也会较为稀疏（特别在bf16的量化下）。
很多人觉得可解释性，或者“AI如何工作得那么好”这个问题不重要，但我却觉得很重要。试想之后的两种场景：场景一：如果我们仅仅通过Scaling就达到了AGI乃至ASI，全体人类的劳动价值都降为零，AI作为一个巨大的黑盒子帮我们解决了所有问题，那如何让AI作为一个超级智能，一直行善，不欺骗不以隐秘的方式作恶，就是当务之急，要解决这个问题就要做可解释性。场景二：如果Scaling这条路最终失效，人类在指数增长的资源需求面前败下阵来，必须得要寻求其他的方案，那我们就不得不去思考“模型为什么有效，什么东西会让它失效”，在这样的思考链条之下，我们就必须回归研究，可解释性就是目所能及的另一条路了。
目前打开训练好模型的黑箱，去找到电路（circuit），还是处于比较初步的阶段。可解释性真正的难点，在于从第一性原理，即从模型架构、梯度下降及数据本身的固有结构出发，解释为什么模型会收敛出这些解耦、稀疏、低秩、模块化、可组合的特征与回路，为什么会有大量不同的解释，这些涌现出来的结构和模型训练的哪些超参数相关，如何相关，等等。等到我们能从梯度下降的方程里，直接推导出大模型特征涌现的必然性，可解释性才算真正从生物式的证据收集走向物理式的原理推导，最终反过来指导实践，为下一代人工智能的模型设计开辟道路。对比四百年前的物理学，我们现在有很多AI版的第谷（收集数据），一些AI版的开普勒（提出假说），但还没有AI版的牛顿（发现原理）。
未来会是什么样子
以前做项目，招人是很重要的一环，但现在脑中的第一个问题是“还需不需要人？”几个Codex进程一开，给它们下各种指令，它们就可以24小时不间断干活，速度远超任何人类，而且随便PUA永远听话毫无怨言。和AI工作，我最担心的是工作量有没有给够，有没有用完每天的剩余token数目。这也是为什么各家都在试验让AI Agent做几个小时连续不断的工作，看AI的能力上界在哪里。因为人的注意力永远是最昂贵的，人要休息，要度假，要允许有走神、睡觉和做其他事情的时间。减少人的介入，让AI自己找到答案，干几个小时活之后再回来看看最好。
我突然意识到，就因为这20块钱，我已经成为“每个毛孔里都滴着血”的肮脏资本家。我能这么想，全世界最聪明和最富有的头脑，也一定会这么想。
在帮忙赶工Llama4期间，我经常在加州时区晚上12点接到东部时区的组员消息，在伦敦的朋友们更是永不下线，熬夜折腾到凌晨四五点是寻常事，但大模型越来越强，辛勤劳动最终达到的结果，是看到大模型达到甚至超越我们日常做事的水准。
人类社会的“费米能级”
如果考虑劳动力的投入－回报模型，传统思维会告诉你，工作经验积累越多，人的能力越强，回报也越大，是个单调上升的曲线。这就是为什么大厂有职级，职级随年限晋升，越老越香。但现在的情况已经不同了。职级已经没有意义，过去的经验也没有意义，人的价值从按照“本人产出的劳动数量及质量”来评估，变成了是否能提高AI的能力，人加AI要大于AI本身的产出，这样才行。
并且，在跨越阈值之后，厉害的人对AI的加成，会高于普通人很多，因为普通人只会对AI的一两条具体产出花时间修修补补，而厉害的人在看了一些AI存在的问题之后，能提出较为系统性和普遍性的解决方案，结合手上的各类资源（GPU和数据等），可以进一步让AI变得更强，而这种效应随着AI的广泛部署，会被几何级数地放大。“一骑当千”这种小说笔法，将很快变成现实。
这个水准线，就是AI洪水的高度，就是人类社会的“费米能级”。低于费米能级的职业，可能在一夜之间就被颠覆掉，就像一场洪水或者地震一样，前一天还是岁月静好，后一天整个行业被端掉了。
当然以上的判断是假设有无限的GPU和能源的供给，并没有考虑到各种资源短缺的情况。能源短缺，芯片产能短缺，内存短缺，整个地球能否满足人类日益疯狂增长的AI需求还是个未知数，这方面深究下去，或许可以做一篇论文出来。
那么，接下来会怎么样呢？
在这种环境下，真正稀缺的不再是实现愿望的能力，而是“愿望”本身，以及将愿望化为现实的那份坚持。
最终变成一具空壳，连许愿的能力都失去了。
战术上来说，我们需要学会不停地审视AI的答案，挑它的毛病，并找到它无法解决的新问题。未来的新价值将来源于三个方面：（1）新的数据发现；（2）对问题全新的深入理解；（3）新的路径，包括可行的创新方案及其结果。利用信息不对称来套利只是暂时的。随着模型越来越强，社会对AI的认知越来越清晰，这种机会将迅速消失。如果仅仅满足于完成上级交代的任务，陷入“应付完就行”的状态，那么在AI泛滥的今天，这种职位极易被取代。
就拿AI Coding来说，用多了，我会觉得它虽然可以很快弄出一个可以跑的代码库满足需求，但随着代码越来越长，它贡献的代码也就越来越不如人意，还是需要人来做大的设计规划。如何调教它让它更快达成自己的长远目的，这会成为人类独有价值的一部分。如果只是盲目地命令它做这个做那个，而不自己去思考如何做才能和它配合做得更好，那就会和大部分人一样停留在应用层面，而无法理解得更深入，就更不用说独一无二了。
因此，如果将来的孩子立志要去土卫六开演唱会，或者想在黑洞边缘探险，千万不要打压这样看似荒诞的志向。因为这份宏大的愿望，或许正是他们一辈子充满前进动力，主动思考的根本源泉，也是让他们始终屹立于“费米能级”之上的关键。
(本文来自澎湃新闻，更多原创资讯请下载“澎湃新闻”APP)
