Attention 到 FFN

用一个能手算的小模型，跟着第 3 行数字走完 Attention、残差连接和 FFN。每一步都能点击播放，看看数字怎样沿着连线流动。

这里的矩阵只有 3 个 token、每个 2 个特征，权重是为了演示而设置的，并非千问的真实参数。重点是看清：Attention 在不同行之间汇合信息，FFN 则分别加工每一行。

在新窗口打开交互演示 ↗ · 手机横屏观看更清楚

阅读更多

Apple 文章译解：Transformer 怎样才能更适合 ANE？

从四维布局、1×1 卷积、多头注意力到权重复用，用四张图理解 Apple 2022 年的 ANE 优化思路。

用一个矩阵乘法看懂 ANE、GPU 与统一内存

最近看 Kapitsa 的 ANE 实现时，我想先弄明白一个很小的问题：如果只计算两个矩阵相乘，数据究竟怎样进入 Apple Neural Engine，答案又从哪里回来？于是把例子收进一个 main.mm 文件：输入是两个 2×2 矩阵，计算图内嵌在文件里，乘法交给 ANE，最后打印结果。本文先把硬件和内存关系画清楚，再顺着这个例子读代码。 1. ANE 是什么，它和 GPU 有什么区别？ ANE（Apple Neural Engine）是苹果的神经网络加速器，可以归入 NPU。它与 GPU 是并列的计算单元，不是 GPU 内部的一种核心。它们都能做大量乘加运算，但面向的软件接口和硬件取舍不同：计算单元在这里怎样理解常见工作

国内环境运行openapi库

代码如下，直接运行会报错， from openai import OpenAI client = OpenAI(api_key = "") // 这里填入自己的API_KEY，在openapi官网帐号上有 # Prompt for the conversation response = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role&

xv6系列 util实验

Sleep 没啥难度，主要调用系统调用 sleep #include "kernel/types.h" #include "kernel/stat.h" #include "user/user.h" int main(int argc, char *argv[]) { char *err1 = "not right\0"; char *err2 = "sleep wrong\0"; if (argc != 2) { write(2, err1, strlen(err1)