LSTM之父重提30年前的「快速权重存储系统」

言，该研究推测线性化的 softmax 注意力变量存在存储容量限制。在有限存储的情况下，快速权重存储模型的一个理想行为是操纵存储的内容并与之动态交互。

受过去对快速权重研究的启发，研究者建议用产生这种行为的替代规则替换更新规则。此外，该研究还提出了一个新的核函数来线性化注意力，平衡简单性和有效性。他们进行了大量的实验，实验内容包括合成检索问题、标准机器翻译以及语言建模。实验结果证明了该研究方法的益处。

将线性 Transformer 作为快速权重系统进行分析和改进

将线性 Transformer 变量视为快速权重系统，研究者给出了两个见解：作为关联存储容量的限制；无法编辑以前存储的关联内容。

容量限制

不断地将新的关联添加到有限大小的存储中，如下公式 17 所示，这样不可避免地会达到极限。在线性注意力中，信息存储在矩阵中，并使用矩阵乘法进行检索（如下公式 19）。因此，为了防止关联在检索时相互干扰，各个键（keys）需要正交。否则，点积将处理多个键并返回值的线性组合。对于嵌入在 d_dot 空间中的键，则不能有多余 d_dot 正交向量。

（编辑：济源站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!