INFO · info-20260121-127
LeCun JEPA：世界模型的工程化路径
[INFO] LeCun JEPA：世界模型的工程化路径
- 时间: 2026-01-21
- 类型: 引用
- 来源: Yann LeCun "A Path Towards Autonomous Machine Intelligence" (2022) 及后续研究
- 置信度: 9/10
- 标签: #AI #JEPA #世界模型 #LeCun #自监督学习
内容
LeCun 对当前 AI 的批评
| 问题 | 说明 |
|---|---|
| 幻觉 | LLM 优化的是概率似然，不是事实准确性 |
| 低效学习 | 需要海量数据，而人类/动物几次就能学会 |
| 无法规划 | 只能自回归生成，不能真正推理和规划 |
| 缺乏世界模型 | 不理解世界如何运作，只是统计模式匹配 |
认知架构：六大模块
┌─────────────────────────────────────────────────────────────┐
│ LeCun 认知架构 │
│ │
│ ┌─────────────┐ │
│ │ Configurator│ ← 配置器：调节其他模块 │
│ └──────┬──────┘ │
│ │ │
│ ▼ │
│ ┌─────────────┐ ┌─────────────┐ ┌─────────────┐ │
│ │ Perception │────→│ World Model │────→│ Actor │ │
│ │ 感知器 │ │ 世界模型 │ │ 执行器 │ │
│ └─────────────┘ └──────┬──────┘ └─────────────┘ │
│ ▲ │ │ │
│ │ ▼ ▼ │
│ │ ┌─────────────┐ ┌─────────────┐ │
│ │ │ Cost │ │ Short-term │ │
│ └────────────│ Module │ │ Memory │ │
│ │ 代价模块 │ │ 短期记忆 │ │
│ └─────────────┘ └─────────────┘ │
│ ▲ │
│ │ │
│ ┌─────────────┐ │
│ │ Intrinsic │ │
│ │ Cost │ │
│ │ 内在动机 │ │
│ └─────────────┘ │
└─────────────────────────────────────────────────────────────┘
核心是 World Model（世界模型）：
- 预测行动的后果
- 支持心理模拟和规划
- 用 JEPA 架构实现
JEPA：世界模型的实现方式
核心思想：在抽象表示空间预测，而不是在像素空间重建
传统生成模型（如 GPT、扩散模型）：
输入 → 编码 → 解码 → 重建输入的每个细节
（预测像素/token）
JEPA：
输入x → 编码器 → 表示 sx
↓
输入y → 编码器 → 表示 sy ← 预测器从 sx 预测
（在抽象空间预测，忽略无关细节）
为什么这很重要？
| 生成式（GPT等） | JEPA |
|---|---|
| 预测每个细节（像素/token） | 只预测抽象表示 |
| 浪费计算在无关细节上 | 聚焦于语义相关的信息 |
| 难以处理不确定性 | 自然处理多种可能结果 |
两种行为模式
| 模式 | 说明 | 类比 |
|---|---|---|
| Mode-1 | 直接反应，不需推理 | 开车时的条件反射 |
| Mode-2 | 使用世界模型进行规划 | 下棋时的深思熟虑 |
关键：Mode-2 的规划结果可以"编译"进 Mode-1，变成新技能。
JEPA 系列进展
| 模型 | 时间 | 输入 | 特点 |
|---|---|---|---|
| I-JEPA | 2023.06 | 图像 | 预测图像块的抽象表示，训练效率提升 5x |
| V-JEPA | 2024.02 | 视频 | 预测视频中被遮挡部分的表示 |
| V-JEPA 2 | 2025 | 视频 | 可用于机器人规划，验证了世界模型理念 |
| VL-JEPA | 2025.12 | 视觉+语言 | 预测文本嵌入而非 token，参数减少 50% |
JEPA vs LLM
| 维度 | LLM | JEPA |
|---|---|---|
| 预测目标 | 下一个 token | 抽象表示 |
| 学习方式 | 监督/自回归 | 自监督 |
| 处理不确定性 | 差（单一预测） | 好（表示空间可多模态） |
| 规划能力 | 无（只能续写） | 有（世界模型支持） |
| 数据效率 | 低 | 高（5-6x 提升） |
三位批评者的对照
| 批评者 | 核心主张 | 解决方案 | 状态 |
|---|---|---|---|
| Hawkins | AI 缺乏世界模型 | 千脑理论、参考框架 | 理论为主，工程过时 |
| Pearl | AI 缺乏因果模型 | 因果阶梯、SCM | 数学框架完整，工程待突破 |
| LeCun | AI 缺乏世界模型 | JEPA + 认知架构 | 最工程化，Meta 在推进 |
LeCun 的独特价值：不只是批评，还给出了可实现的架构和开源代码。
关联
-
直接相关:
- INFO-121（千脑智能）- Hawkins 的世界模型方案（理论）
- INFO-126（Pearl 因果推理）- Pearl 的因果模型方案（数学）
- INFO-113（AI智能本质）- 三者都在回应"关联性计算的边界"问题
-
技术对照:
- JEPA 的"抽象表示空间预测" vs LLM 的"token 自回归预测"
- JEPA 的"世界模型" vs Pearl 的"因果模型"——是否等价？
-
待探索:
- H-JEPA（层次化 JEPA）的多时间尺度预测
- JEPA 与因果推理的结合可能性
- JEPA 在 NLP 领域的扩展（目前主要是视觉）