Attention 到 FFN

分享
橙色数据行经过 Attention 与 FFN 的概念示意图

用一个能手算的小模型,跟着第 3 行数字走完 Attention、残差连接和 FFN。每一步都能点击播放,看看数字怎样沿着连线流动。

这里的矩阵只有 3 个 token、每个 2 个特征,权重是为了演示而设置的,并非千问的真实参数。重点是看清:Attention 在不同行之间汇合信息,FFN 则分别加工每一行。

在新窗口打开交互演示 ↗ · 手机横屏观看更清楚