Attention 到 FFN
用一个能手算的小模型,跟着第 3 行数字走完 Attention、残差连接和 FFN。每一步都能点击播放,看看数字怎样沿着连线流动。
这里的矩阵只有 3 个 token、每个 2 个特征,权重是为了演示而设置的,并非千问的真实参数。重点是看清:Attention 在不同行之间汇合信息,FFN 则分别加工每一行。
在新窗口打开交互演示 ↗ · 手机横屏观看更清楚
用一个能手算的小模型,跟着第 3 行数字走完 Attention、残差连接和 FFN。每一步都能点击播放,看看数字怎样沿着连线流动。
这里的矩阵只有 3 个 token、每个 2 个特征,权重是为了演示而设置的,并非千问的真实参数。重点是看清:Attention 在不同行之间汇合信息,FFN 则分别加工每一行。
在新窗口打开交互演示 ↗ · 手机横屏观看更清楚
从候选树、逻辑位置和分支隔离,到按本机成本选择验证规模,拆开投机解码的实现与数值边界。
从精确 token 前缀、混合模型状态到 SSD 的块与快照,解释旧对话如何继续而不必从头重算。
沿 ready/done、两半 wavefront 和失败重跑,理解“同时工作”背后的依赖关系。
先分清 token 行、隐藏维度和 FFN 中间通道,再看分工公式、W8A8 与 IOSurface。