RULE
范式 Bootstrap
[RULE] 范式 Bootstrap
- 类型: 启发式
- 强度: 7/10
- 验证: ✓2 / ✗0
定义
IF: 要构建超越当前范式的新系统(如超越 LLM 的关联计算边界) THEN: 用当前范式(LLM)作为 Bootstrap/冷启动,而非从零开始
原理
新范式不会凭空出现,而是站在旧范式的肩膀上:
- 冷启动问题:新结构从零训练需要定义"好的表示",但没有语义基础无法评估
- 知识复用:LLM 已学会人类知识的统计结构,这是"免费的"语义初始化
- 渐进演化:混合架构 → 逐步独立 → 最终融合或替代
Phase 1: LLM 作为基座
│ 已有语义理解,不用从零学"猫是动物"
▼
Phase 2: 提取/蒸馏到新结构
│ LLM → 图谱/因果图/SDR/世界模型
▼
Phase 3: 新结构独立运行
│ 更高效、更可解释、更可靠
▼
Phase 4: 反哺或替代 LLM
已验证的例子
| 模式 | LLM 作用 | 新结构 | 效果 |
|---|---|---|---|
| LLM + 知识图谱 | 提取实体关系 | 图谱推理 | ✓ 成熟 |
| LLM + 向量库(RAG) | 生成 embedding | 向量检索 | ✓ 成熟 |
| LLM + 因果图 | 提取因果知识 | SCM 推理 | 探索中 |
| LLM → SDR | 稀疏自编码转换 | 高效稀疏计算 | 探索中 |
类比
人类教育:
- 先用自然语言传授知识(LLM 阶段)
- 然后内化为直觉/技能(新结构)
- 最终不需要语言就能操作(独立运行)
编译器 Bootstrap:
- 用已有语言写新编译器
- 新编译器逐步自举
- 最终完全独立
应用场景
- 构建超越 LLM 的新 AI 架构时
- 设计 AI 记忆/推理系统时
- 探索世界模型、因果模型等新方向时
证据
-
支持:
- RAG 的成功(LLM + 向量检索)
- 知识图谱增强 LLM 的实践
- INFO-123 提到的稀疏自编码器(Dense → SDR)
- LLM 辅助因果发现的研究趋势
-
反例:
- (暂无明确反例)
关联
- INFO-113(AI智能本质)- 关联计算的边界,需要新范式突破
- INFO-123(SDR编码器)- 稀疏自编码器是 Bootstrap 的一种实现
- INFO-126(Pearl因果推理)- LLM + SCM 混合架构
- INFO-127(LeCun JEPA)- 世界模型可能需要 LLM Bootstrap
- NODE-AI意识与学习 - 整体研究方向