js sort函数

[1, 7, 10].sort()  
[1, 10, 7]

sort在不接受任何参数的时候，会把每一个输入当成字符串，按照字典顺序进行排序

阅读更多

Apple 文章译解：Transformer 怎样才能更适合 ANE？

从四维布局、1×1 卷积、多头注意力到权重复用，用四张图理解 Apple 2022 年的 ANE 优化思路。

用一个矩阵乘法看懂 ANE、GPU 与统一内存

最近看 Kapitsa 的 ANE 实现时，我想先弄明白一个很小的问题：如果只计算两个矩阵相乘，数据究竟怎样进入 Apple Neural Engine，答案又从哪里回来？于是把例子收进一个 main.mm 文件：输入是两个 2×2 矩阵，计算图内嵌在文件里，乘法交给 ANE，最后打印结果。本文先把硬件和内存关系画清楚，再顺着这个例子读代码。 1. ANE 是什么，它和 GPU 有什么区别？ ANE（Apple Neural Engine）是苹果的神经网络加速器，可以归入 NPU。它与 GPU 是并列的计算单元，不是 GPU 内部的一种核心。它们都能做大量乘加运算，但面向的软件接口和硬件取舍不同：计算单元在这里怎样理解常见工作

Attention 到 FFN

用一个能手算的小模型，跟着第 3 行数字走完 Attention、残差连接和 FFN。每一步都能点击播放，看看数字怎样沿着连线流动。这里的矩阵只有 3 个 token、每个 2 个特征，权重是为了演示而设置的，并非千问的真实参数。重点是看清：Attention 在不同行之间汇合信息，FFN 则分别加工每一行。在新窗口打开交互演示 ↗ · 手机横屏观看更清楚

国内环境运行openapi库

代码如下，直接运行会报错， from openai import OpenAI client = OpenAI(api_key = "") // 这里填入自己的API_KEY，在openapi官网帐号上有 # Prompt for the conversation response = client.chat.completions.create( model="gpt-3.5-turbo", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role&