你本可以从记忆中发明 Transformer 把每一层都看作记忆存储，按相似度用键取回值，一个干扰信号比就能算出它能存多少：外积约 64 条，MLP 几千条… · @aigeeknews · TwKit

@aigeeknews

你本可以从记忆中发明 Transformer 把每一层都看作记忆存储，按相似度用键取回值，一个干扰信号比就能算出它能存多少：外积约 64 条，MLP 几千条，自注意力约一百万条。 https://aigeeknews.com/a/transformers-from-memory

曝光 17 · 评论 0 · 点赞 0 · 书签 0