由于业务需要写的,原地址戳这 我写的演示戳这,样式是直接抄的,动画是自己写的,下载地址
从候选树、逻辑位置和分支隔离,到按本机成本选择验证规模,拆开投机解码的实现与数值边界。
从精确 token 前缀、混合模型状态到 SSD 的块与快照,解释旧对话如何继续而不必从头重算。
沿 ready/done、两半 wavefront 和失败重跑,理解“同时工作”背后的依赖关系。
先分清 token 行、隐藏维度和 FFN 中间通道,再看分工公式、W8A8 与 IOSurface。