字数 3716，阅读大约需 19 分钟
学习AI：我们离捕捉通用人工智能的幽灵还有多远？（Andrej Karpathy的十年展望与教育革命）
原文和播客
原文
youtube.com/watch?v=lXUZvyajciY&themeRefresh=1[1]
中文
Andrej Karpathy最新2h30min访谈：信息密度极高！关于智能体，大模型缺陷，强化学习，AGI等等的深度思考 | 一只小茄墩[2]
解读
#263. AI时代的智能体：Andrej Karpathy的十年展望与教育革命 - 跨国串门儿计划 | 小宇宙 - 听播客，上小宇宙[3]
有趣
1. 我们现在处在人工智能大模型的早期阶段，离真正的通用人工智能还有距离
2. 知识可能反而拖累了神经网络，因为它让模型有时过于依赖已有的知识，接下来的研究范式之一，就是需要想办法移除知识，并保留称之为认知核心的东西
3. 上下文学习本质上是在一个token窗口内进行模式补全
4. 神经网络在训练（预训练）期间学到的任何东西，都只是一种对训练数据的模糊记忆
5. 别做那些务虚的事。去构建代码，整理它，让它真正工作起来。这是唯一的出路。否则，你就永远缺少关键的知识
Andrej Karpathy 访谈核心观点总结
一、智能体发展的现实时间线
1. 为什么智能体需要十年而非一年
• 当前智能体（Claude、Codex）存在根本缺陷：不够智能、不够多模态、缺乏持续学习能力、存在大量认知缺陷
• 判断标准：什么时候你会让智能体替代人类员工做工作？目前显然还做不到
• 要解决所有这些问题，大约需要十年时间
2. 历史教训：过早追求智能体必然失败
• 2013年Atari深度强化学习和OpenAI的Universe项目（让AI用键盘鼠标操作网页）都失败了
• 失败原因：缺少神经网络的表征能力，奖励信号太稀疏，模型学不到任何东西
• 正确路径：必须先通过海量预训练获得表征能力（LLM阶段），然后才能构建真正的智能体
二、预训练的本质与局限
3. 预训练是"蹩脚的进化"
• 动物通过进化产生，自带大量内置硬件（如斑马出生几分钟就能跑）
• AI通过模仿互联网数据训练，是空灵的数字实体，这是完全不同的优化过程
• 我们不是在构建动物，而是在构建"幽灵"（Ghosts）——完全数字化的、模仿人类的智能实体
4. 预训练同时做两件不相关的事
• 第一：获取知识（记住互联网上的所有信息）
• 第二：启动算法（通过观察模式变得智能，发展出上下文学习等能力）
• 问题：知识可能反而拖累神经网络，让它过于依赖已有数据，难以脱离训练数据的流形
5. 认知核心（Cognitive Core）概念
• 需要移除知识，只保留认知核心：算法、智能、解决问题的策略
• 认知核心应该是脱离具体知识的智能实体，像人类一样"记忆力差但善于泛化"
• 预计认知核心只需约10亿参数（相比当前万亿参数模型）
• 这个核心会查找信息而非记忆信息，像一个真正的思考者
三、上下文学习的深刻理解
6. 上下文学习可能是隐藏的梯度下降
• 上下文学习很可能在Transformer的层内部运行着微型梯度下降循环
• 研究发现：上下文学习做线性回归时，内部机制与梯度下降惊人相似
• 甚至可以通过硬编码Transformer权重，用注意力机制直接实现梯度下降
7. 上下文学习 vs 预训练的信息存储差异
• 预训练：Llama 3在15万亿token上训练，每个token只存储约0.07比特（是对互联网的模糊记忆）
• 上下文学习：每个token在KV缓存中存储约320KB（是工作记忆）
• 两者相差3500万倍，这解释了为什么上下文学习感觉像"真正的智能"
• 类比：模型权重是你一年前读过某本书的模糊记忆；上下文是你当前的工作记忆
四、强化学习的根本性缺陷
8. 强化学习很糟糕，但它是目前最好的选择
• 核心问题：假设你最终得到正确答案，就把推导过程中的每个步骤都标记为"多做这个"
• 实际上推导过程充满弯路和错误，但RL会把所有错误步骤都强化
• 比喻："通过吸管吸取监督信号"——花一分钟推导几百种方案，最后只得到"对"或"错"这1比特信息，然后用这1比特广播到整个轨迹
9. 人类从不这样学习
• 人类不会并行尝试几百次然后简单地强化成功路径
• 人类有复杂的复盘过程："我做对的是这些，做错的是那些，我本应该..."
• 当前LLM完全缺少这种反思机制
10. 基于过程的监督（PBS）为何失败
• 理论上应该在每一步给奖励，但部分功劳分配太棘手
• 用LLM评判员来打分，必然会被游戏化：RL训练的学生模型会找到对抗性样本（胡说八道但评判员认为完美）
• 对抗性样本是无穷无尽的，因为LLM有万亿参数，打补丁无法根本解决
• 需要新思路：让模型学会复盘解决方案，通过元学习方式实现
五、模型坍缩与合成数据问题
11. LLM输出分布是坍缩的
• 任何单个样本看起来都不错，但分布很糟糕
• 例：让ChatGPT讲笑话，它只会那3个笑话；让它反思同一章内容10次，10次都基本一样
• 无法从同样的提示中获得足够扩展和多样的输出
12. 模型坍缩是合成数据生成的致命障碍
• 如果在坍缩的输出（自己的生成）上持续训练，模型会彻底崩溃
• 这是为什么让模型反思、生成合成数据进行自我训练如此困难
• 类比：人类也会随时间坍缩——小孩还没过拟合，说话震惊；成年人已经坍缩，反复说同样的话
13. 如何防止坍缩
• 需要在生活中寻找熵：与他人交谈是重要的熵来源
• 可能需要对熵进行正则化，但业界更关注有用性而非多样性
• 为了眼前的有用性而牺牲熵，实际上是搬起石头砸自己的脚（无法做好合成数据生成）
六、AI编码能力的真实水平
14. AI不擅长写从未被写过的代码
• 自动补全（Tab键）非常有用：导航到位置，敲出前三个字母，立刻给出正确代码
• 但智能体模式（用英语下指令）在非模板化代码上很糟糕
• 核心问题：AI总是误解非标准实现，过于依赖互联网上的典型做法
15. NanoChat项目的惨痛经验
• NanoChat是独特的代码库，不是样板代码，几乎全是智力密集型代码
• AI的表现：坚持要用DDP容器（标准做法），无法理解自定义实现；过于防御性，加大量try-catch；用过时API
• 净用处基本为零，清理AI代码不如自己写
• 只在两个场景有用：①生成报告（样板代码）②用Rust重写分词器（不熟悉的语言 + 有Python参照 + 有测试保证）
16. 为什么编码AI进展最快但仍然不够
• 优势：编码一直围绕文本，与LLM完美契合；有海量训练数据；有预构建的基础设施（IDE、diff工具等）
• 局限：AI极大地降低了接触不熟悉语言的门槛，但无法创造性地写新代码
• 这对预测AI爆炸（如2027年）高度相关：AI恰恰不擅长写以前从未被写过的代码，而这正是我们最希望它实现的
七、当前模型的关键缺失
17. 缺少类似睡眠的蒸馏机制
• 人类醒着时构建上下文窗口，睡觉时有蒸馏过程将经验固化到大脑权重（长期记忆）
• LLM每次启动都像从头开始，完全没有等同机制
• 持续学习更接近这个蒸馏概念：离线时痴迷地分析白天发生的事，深入思考，生成合成数据，把精华填充回权重（如通过LoRA更新稀疏权重）
18. 缺少精细的稀疏注意力机制
• 人类显然有某种非常精细的稀疏注意力方案
• AI领域开始看到早期迹象（如DeepSeek v3.2）
• 我们正在通过完全不同的过程，重新实现进化发明的许多认知技巧，最终可能在认知架构上趋同
19. 缺少复制大脑的许多部分
• Transformer像皮层（极强可塑性）
• 思维链推理像前额叶皮层
• 但海马体、杏仁核（情绪和本能）等神经核没有对应物
• 我们离集齐所有大脑部件还差得远
八、多智能体与AI文化
20. 两个强大但未实现的思想
• 第一个：AI文化——LLM为其他LLM创建不断增长的知识库（如一个巨大的草稿板，LLM为其他LLM写书）
• 第二个：自我对弈——AlphaGo通过和自己下棋学会下围棋，进化也是竞争驱动智能，但LLM中没有等价物
• 如：为什么一个LLM不能创造难题让另一个LLM学习？出题LLM总是试图提供越来越难的问题
21. 为什么还没实现
• 根本原因：当前模型仍然"像小学生"
• 虽然能通过博士水平测验，但认知上仍然感觉像幼儿园或小学的天才儿童
• 它们有完美记忆，能令人信服地填槽，但并不真正知道自己在做什么
• 在所有那些构成真正智能的认知复选框上，它们并没有打勾
九、AI进步的本质
22. 算法、数据、计算、系统的重要性惊人地平等
• 回溯到1989年Yann LeCun的卷积网络，仅用现代算法知识只能把错误率减半
• 要获得进一步提升，必须同时增加数据（10倍训练集）和计算（更长训练时间、dropout等）
• 33年来没有哪个因素能遥遥领先，它们的重要性惊人地平等
• 所有东西都需要全面改进——架构、优化、损失函数、数据集、硬件、内核
23. 未来十年的预期
• 数据集会大大改善**（当前平均数据极其糟糕，充满事实错误和垃圾）**
• 硬件会改善（英伟达张量核心等）
• 算法会改善（架构、优化器）
• 期望没有任何一个东西会主导，而是所有东西都同时提升20%
• 核心（如用梯度下降训练神经网络）很可能仍然存在
十、对超级智能的理性预期
24. AI是计算的延伸，而非革命性断裂
• 我们一直在经历持续几十年的智能爆炸（编译器、搜索引擎本质上也是AI）
• 递归自我改进从一开始就存在：LLM让工程师更高效去构建下一代LLM
-** 把AI看作计算的延伸，是一个连续体而非离散跳跃**
25. 不期望GDP增长率的离散跳跃
• 曾试图在GDP曲线中寻找AI的踪迹，但找不到
• 即使是iPhone这种地震级变化，也没在GDP曲线中留下痕迹
• 一切变革都分布得如此广泛、扩散得如此缓慢，最终都被平均到那条指数曲线中
• AI会汇入同一条指数曲线，增长率可能不会从2%跳到20%
26. 最担心的未来场景
• 不是单一实体接管，而是多个相互竞争的实体
• 它们逐渐变得越来越自主，其中一些失控，另一些与之对抗
• 逐渐失去对正在发生事情的控制和理解
• 《瓦力》式未来：人性被边缘化、去赋权化
十一、自动驾驶对AI部署的重要启示
27. "九的行军"定律
• 从90%到99%到99.9%，每增加一个九需要恒定工作量
• 1986年CMU就有自动驾驶演示，2014年Waymo给了完美驾驶体验，但现在仍未完成
• 在特斯拉的五年，大概完成了两到三个九，还有更多九要完成
28. 演示与产品的巨大鸿沟
• 演示非常容易，产品非常难
• 应该对任何演示极度不以为然，尤其是精心制作的演示
• 即使能亲自上手互动，你也还没完——需要真正的产品与现实接触
29. 对AI编码和知识工作自动化的启示
• 软件失败代价和自动驾驶一样高（安全漏洞可能泄露数亿人信息）
• 通用软件工程比自动驾驶有更多表面积（自动驾驶只是数千件事情中的一个垂直领域）
• 所有坑都会在AI部署中重演
30. 自动驾驶仍远未完成
• Waymo的部署仍然非常有限，主要因为不经济
• 车里没人驾驶有点欺骗性：实际上有复杂的远程操作中心，human-in-the-loop
• 我们实际上并没有移除人，只是把他们移到了你看不见的地方
十二、行业态度与总体基调
31. 乐观但反对过度炒作
• 本人非常乐观，相信AI会成功，问题是可以解决的
• 听起来悲观，只是因为推特时间线充斥着毫无意义的东西
• 很多噪音只是为了融资和博取注意力，这是激励结构的问题
32. 呼吁正确校准预期
• 15年AI生涯中多次从有名望的人那里听到错误预测
• 希望我们能被正确校准，立足于技术的现实——知道它是什么，以及它不是什么
• 当涉及地缘影响时，不希望人们在这个领域犯错误
引用链接
[1] youtube.com/watch?v=lXUZvyajciY&themeRefresh=1: https://www.youtube.com/watch?v=lXUZvyajciY&themeRefresh=1[2] Andrej Karpathy最新2h30min访谈：信息密度极高！关于智能体，大模型缺陷，强化学习，AGI等等的深度思考 | 一只小茄墩: https://www.xiaoqiedun.com/posts/2025-10-19-karpathy/[3] #263. AI时代的智能体：Andrej Karpathy的十年展望与教育革命 - 跨国串门儿计划 | 小宇宙 - 听播客，上小宇宙: https://www.xiaoyuzhoufm.com/episode/68f31696456ffec65e57099b
评论区