社媒话题
文章用记忆视角解释Transformer
Hacker News文章把线性映射、MLP和自注意力比作不同记忆存储,并用干扰信号比估算容量,解释Transformer为何能存储更多信息。
作者从大模型回忆桌面游戏规则切入,提出把神经网络组件看作按键值相似度检索的联想记忆。评价重点不是单纯能写入多少内容,而是召回时其他记忆造成的干扰。
文章先介绍外积构成的线性记忆:查询向量与已存键的相似度决定取值组合,训练中的梯度更新也可被理解为写入键值对。
在此框架下,作者称线性层、MLP和自注意力的容量逐级提升;以64维键为例,可从约64条记忆提升到约2700条,再到超过一百万条,自注意力因此具备更强的可扩展存储与召回能力。