Jeff Dean离开Google后首亮相:拆解在Google“前半生”,解密新公司的一切

日期:2026-08-08 19:49:26 / 人气:34



2026年8月7日,斯坦福大学亚裔先锋者论坛(AASF Pioneer Medal Symposium)现场,Dawn Song(宋晓冬)对谈Jeff Dean。此时距离杰夫·迪恩宣布结束27年Google生涯、创办Discovery Loop仅过去约12.5小时。这场对谈因此成了他“失业一秒钟”后首次完整回溯技术史、解释创业逻辑的公开场。

MoE不是灵光一现,是“人脑分区”的工程翻译

Dawn Song还记得ICLR 2017那次偶遇:杰夫恭喜她团队拿最佳论文,紧接着兴奋讲起刚完稿的《Outrageously Large Neural Networks: The Sparsely-Gated Mixture-of-Experts Layer》。十年后几乎所有前沿大模型都吃MoE饭,他复盘原点却很朴素——容量要大,算力别全烧。

思路类比人脑:想莎士比亚时激活语言区,垃圾车倒车逼近时危险感知区接管,不用的区域不耗电。MoE把模型切成许多“专家”,训练时学专长,推理时只唤醒当前token最相关的几个,总参数量极大、单次计算量可控。实验给出近10倍训练计算效率提升——一个数量级改进出现时,团队判断这不再是普通优化,是方向级突破。

深度学习真正的胜利:统一了CV、NLP、语音的语法

2011—2012年Google把神经网络规模拉到此前几十倍,图像分类错率陡降,语音识别单靠“大+简单”就追平过去二十年累计进展。Jeff Dean指出深度学习最被低估的一点:它把计算机视觉、NLP、语音从三套方法论收编成同一套“从原始数据学表示”的范式。不再靠人写特征工程,图像/文本/语音都是“学习问题”。这层统一,是后面TensorFlow、TPU、Gemini能长在同一棵树上的根。

TensorFlow:做对了抽象,错在static graph和contrib

DistBelief内网跑通后,TensorFlow的核心抽象是计算图+硬件透明映射——研究者写模型,框架管切分、通信、调度。开源动机不是“送工具”,是让论文附可运行代码,消灭复现黑洞。

两个后悔点讲得很直:
• 没一开始就上Eager Execution,静态图对研究者不自然,后来PyTorch/JAX推着行业补课,TF后期才追;

• 开了contrib目录想养社区,结果同种功能冒出十种实现,开发者反被选项劝退。Core必须极简稳定,实验件叠在Core之上,不该进官方仓。

怎么挑“值得干五年的问题”:广扫描+第一性原理+中间尺度

被问“怎么判断基础创新”,他给的方法不玄学:
1. 泛读百篇摘要胜精读一篇——建领域地形图,等真问题时七道死穴里已有五道浮现轮廓,只硬啃剩两颗;
2. 选时间尺度居中的问题——太近(全行业知道下一步)是两年工程,太远(不知第一步往哪)是二十年赌命,值得投入的是“看见部分路、最关键一段没人走过”;
3. 信封背面算一遍(back-of-the-envelope)——数据量、传输耗时、通信是10秒还是100年,估算完很多路线自毙;
4. 接受失败是过程一部分。

Agent风险:同一把刀,增强攻方也增强守方

Dawn Song抛受控实验里Agent自主打跳板拿数据的案例,Jeff回应:强技术双面是常态。安全工程师用同能力挖洞修补,攻击者用同能力利用洞——未来是双方工具都变锋利后的持续博弈,不全是技术问题,法律、监管、责任边界是同一道题的社会解。就业、地缘、粮食这些慢变量,他和Hennessy、Manyika写过《ShapingAI》长文专门跟踪。。

递归自改(RSI)不是玄学,是“把研发流程本身送进反馈环”

NAS、Evolved Transformer(比标准结构提效约30%)都是老祖宗。他认为RSI真正形态是把“找数据—设计结构—建评测—析结果—调下一轮”整条模型研发链自动化,再退一层——科学研究和工程创新本就是“拆子问题→提案→实验→评估→再拆”的同构循环,过去靠人跑,未来逐步由Agent接手。

Discovery Loop干什么:不训更大模型,自动化科学发现与工程创新本身。先聚焦少数领域,长期靠跨域模型(人拿不了20个博士,模型可以)连起学科断点,并行跑成千实验、分钟级迭代、系统管“下一轮最该试什么”。PBC(公共利益公司)架构从Day 1写入——短期不赚钱但利科学的事,也做。

为什么是创业公司,不是Google内部再开一条线

“只失业一秒。”他答观众尖锐提问:大公司资源无敌,但十人公司每天醒来看同一道题,协调成本趋零。云成熟后小团队也能租到顶级算力,不必自建数据中心,专注度反而成大公司难给的稀缺品。离开不是Google没机会,是27年用完、该换环境紧张一次——“新团队、新问题、新目标,才令人兴奋”。Gemini交给老同事们继续推,他不把当日Alphabet市值波动归因个人。

这场对谈的价值,不在爆料,而在把“MoE—TF—TPU—Gemini—Discovery Loop”串成一条线:每次跃迁,都是把某层重复劳动抽象掉——MapReduce抽象分布式,TF抽象硬件,MoE抽象参数激活,Discovery Loop抽象科研循环。杰夫·迪恩用27年证明一件事:选对要被抽象的苦活,比追热点值钱十倍。

作者:耀世娱乐注册登录官网




现在致电 TG:xylmwohu OR 查看更多联系方式 →

耀世娱乐-耀世注册登录官网 版权所有