知一知 · 今日
← 返回本期日报

社媒话题

文章用记忆视角解释Transformer

本期日期 2026-10-17 · 08:00 北京时间

Hacker News文章把线性映射、MLP和自注意力比作不同记忆存储,并用干扰信号比估算容量,解释Transformer为何能存储更多信息。

作者从大模型回忆桌面游戏规则切入,提出把神经网络组件看作按键值相似度检索的联想记忆。评价重点不是单纯能写入多少内容,而是召回时其他记忆造成的干扰。

文章先介绍外积构成的线性记忆:查询向量与已存键的相似度决定取值组合,训练中的梯度更新也可被理解为写入键值对。

在此框架下,作者称线性层、MLP和自注意力的容量逐级提升;以64维键为例,可从约64条记忆提升到约2700条,再到超过一百万条,自注意力因此具备更强的可扩展存储与召回能力。

原文来源

Hacker News ↗
返回本期日报打开交互阅读页