Jeff Dean 访谈：一页备忘录催生 Gemini 与万 Token 时代

用户4242

2月18日修改

🔗 原文链接： https://mp.weixin.qq.com/s/iyLBEkbt...

原创宝玉宝玉宝玉AI2026年2月18日 01:49 美国

从 MapReduce、BigTable 到 TPU、Google Brain，再到 Gemini， Jeff Dean 参与或主导了 Google 几乎所有核心 AI 基础设施的构建。他是 Google 的 第 30 号员工 ，现任首席科学家、Gemini 项目负责人。​

在 Latent Space 播客最近一期节目中，主持人 Alessio 和 Swyx 与 Jeff Dean 进行了一个多小时的深度对话。话题跨度极大：从蒸馏技术的真实起源，到“能否让 AI 关注整个互联网”的长上下文愿景；从用皮焦耳理解为什么 GPU 需要批处理，到那份改变了 Google AI 格局的一页纸备忘录。​

原始播客链接：https://www.latent.space/p/jeffdean

common.docs_name - LarkCCM_Docs_Menu_Image

要点速览

•
蒸馏是桥梁 ，前沿大模型是蒸馏的前提。Google 每一代 Gemini 都做到了“下一代 Flash 等于或超过上一代 Pro”​

•
Flash 模型已进入 Gmail、YouTube、Google 搜索 AI Mode，处理量超 50 万亿 token​

•
长上下文的终极目标是“回答问题时能注意到整个互联网”，但二次方注意力机制在百万 token 就到极限了，需要类似 Google 搜索的 分层检索架构​

•
一次矩阵乘法约 1 皮焦耳 ，从芯片 SRAM 搬一个参数约 1000 皮焦耳 。这个 1000 倍的差距就是批处理必须存在的物理原因​

•
IMO 数学竞赛：2024 年需要 AlphaProof + 专用几何模型 + 人工翻译到 Lean 语言才拿银牌（28 分），2025 年直接用 Gemini Deep Think 以自然语言拿 金牌（35 分）​

•
Gemini 诞生于 Jeff Dean 的 一页备忘录 ，核心论点：三路分兵做大模型是“愚蠢的”​

•
Jeff 预测 10,000 token/秒 将成为有意义的目标，不是为了输出更多代码，而是用 9000 token 推理、输出 1000 token 精炼代码​

大模型和小模型都要做

主持人 Alessio 上来就恭喜 Jeff Dean“拥有了帕累托前沿”，并追问：新实验室都在拼命推高性能上限来融资，而 Google 有几十亿用户需要服务，你们怎么在前沿能力和部署效率之间做取舍？​

【注：帕累托前沿（Pareto Frontier）指在多个目标之间不可能同时改善的最优权衡边界。在 AI 模型的语境中，指在性能和成本/速度之间同时做到最优。】​

Jeff Dean 说这从来不是二选一。Google 始终维护两条线：一条是用于深度推理和复杂数学的 前沿 Pro 模型 ，一条是低延迟、可大规模部署的 Flash 模型 。蒸馏把这两条线串在一起，没有前沿大模型，就不可能蒸馏出好的小模型。​

“通过蒸馏，你必须先有前沿模型，才能把它蒸馏成更小的模型。所以这不是二选一的问题。”​

Google 已经连续多代 Gemini 做到了“下一代 Flash 等于或超过上一代 Pro”。​

Alessio 追问：如果蒸馏总能让下一代 Flash 赶上上一代 Pro，那再过两代谁还需要 Pro？​

Jeff 的回答是：这个推理的前提是用户需求不变，但实际上 模型越强，人们会提出越复杂的需求 。他用自己的经历举例：一年前只敢让模型做简单编程任务，现在会要求它完成复杂得多的事情。不只是编程，现在有人会问“帮我分析全球所有可再生能源部署情况”，这在一年前根本不会有人提。前沿模型的价值不仅是服务高端需求，还在于探索能力的边界，发现模型在哪里失败，从而指导下一代的改进方向。​

【注：蒸馏（Distillation）是一种模型压缩技术。常规训练用硬标签（"这是猫"或"不是猫"），蒸馏改用大模型的 logits，也就是模型输出的概率分布，包含了"这张图有点像猫又有点像虎"这类微妙信息，小模型能从中学到远多于硬标签的知识。】​

Jeff Dean 访谈：一页备忘录催生 Gemini 与万 Token 时代​

Jeff Dean 访谈：一页备忘录催生 Gemini 与万 Token 时代