INFO · info-20260121-125
HTM vs LLM：一个过时方案的反思
[INFO] HTM vs LLM：一个过时方案的反思
- 时间: 2026-01-21
- 类型: 想法
- 来源: Robert 与 Jane 的讨论
- 置信度: 8/10
- 标签: #AI #HTM #LLM #RAG #批判性思考
内容
核心判断
HTM 作为技术方案已经被 LLM + RAG 超越。
RAG 本质上就是 embedding 召回 + LLM 生成，功能上覆盖了 HTM 想做的事，而且效果好得多。
技术对比
| 维度 | HTM (2004-2016) | LLM + RAG (2020+) |
|---|---|---|
| 语义表示 | SDR（稀疏二进制） | Embedding（稠密浮点） |
| 序列建模 | 时序记忆 | Transformer Attention |
| 知识存储 | 突触连接 | 参数 + 向量数据库 |
| 检索 | SDR 重叠度 | 余弦相似度 |
| 实际效果 | 有限 | 碾压 |
HTM 为什么"失败"了？
| 原因 | 说明 |
|---|---|
| 工程不可扩展 | SDR + 稀疏连接在大规模数据上训练困难 |
| 没有预训练范式 | 无法利用海量数据的红利 |
| 表达能力有限 | 二进制稀疏 vs 浮点稠密，后者信息容量大得多 |
| 缺乏生态 | 深度学习有 PyTorch/TensorFlow，HTM 只有小众库 |
HTM 可能仍有价值的地方
作为工程方案：基本没有了。
作为理论启发：可能还有一点——
| LLM 的问题 | HTM 的思路 | 借鉴价值 |
|---|---|---|
| 灾难性遗忘 | 在线学习、局部更新 | 可能有 |
| 无法真正"预测" | 预测性激活 | 存疑 |
| 黑箱 | SDR 可解释 | 稀疏自编码器在做类似的事 |
| 高能耗 | 稀疏计算 | 神经形态芯片在探索 |
Hawkins 的批评仍然成立
"当前 AI 是美化的模式识别器，缺乏真正的世界模型"
这个批评对 LLM 仍然有效。LLM 的问题：
- 没有真正的因果理解
- 没有稳定的世界模型
- 无法真正"预测"（只是统计续写）
但解决方案可能不是 HTM，而是：
- 世界模型（Yann LeCun 的 JEPA）
- 因果推理（Judea Pearl）
- 或者我们还不知道的东西
结论
| 层面 | 结论 |
|---|---|
| 实用方案 | HTM 可以跳过 |
| 理论探索 | Hawkins 的问题意识值得参考，但技术方案已过时 |
区分"好问题"和"好答案"：
- Hawkins 问了好问题：智能是什么？大脑如何工作？AI 缺什么？
- 但 HTM 可能不是好答案
关联
-
直接相关:
- INFO-120~124（HTM 系列）- 被本条目批判性审视的技术方案
- INFO-113（AI智能本质：关联性计算引擎）- Hawkins 的批评与此呼应
-
延伸思考:
- LLM + RAG 是否真的解决了"记忆"问题？还是只是绕过了？
- "好问题"比"好答案"更持久——问题意识的价值
-
待探索:
- Yann LeCun 的 JEPA（Joint Embedding Predictive Architecture）
- 因果推理与 LLM 的结合