AI 推理基准测试

关于这个基准测试

过去运行 AI 模型意味着把请求发给背后有成排 GPU 的服务器。WebAssembly 和量化的 ONNX 权重使得在浏览器标签页中托管一个真正的语言模型成为可能——不是玩具，而是一个拥有 1.35 亿参数、30 层的指令微调 Transformer——并在访问者设备所拥有的 CPU 上运行。这个基准测试衡量的正是这一点：你自己的设备做语言模型写作时所需运算的速度有多快。

模型是 SmolLM2-135M-Instruct，量化为 8 位整数，通过 ONNX Runtime 的 WebAssembly 后端运行，并限制为单线程，使每位访问者的结果取决于 CPU 速度而非核心数。所有参与者都拿到同一段固定提示词，并被要求以贪婪解码精确生成 64 个 token：没有采样、没有随机性，也没有可编辑的文本来歪曲比较。在此之前会先运行一次简短的预热生成并丢弃，这样测量就不必承担 ONNX 会话首次选择内核的一次性开销。

得分是这 64 个 token 的实际用时（毫秒），用 performance.now() 从生成第一个 token 起测到最后一个 token：越低越好。作为参考，近年笔记本电脑的 CPU 在可用核心不多时每个 token 通常需要几百毫秒，余量更大时会更快；手机通常要慢好几倍。生成的文本仅供好奇展示，从不参与评估：这里衡量的是速度，而不是模型的写作水平。