Hugging

HuggingFace在端侧推理上押的注，是WebGPU。围绕transformers.js这个项目，社区沉淀了一批覆盖Transformer推理全链路的WebGPU内核，累计规模到了两百个左右，矩阵乘、注意力、激活、归一化乃至采样解码，每个环节都有手写的计算着色器。它想解决的问题很朴素：让模型在浏览器里跑起来，尽量接近原生推理框架的水准。从技术上看，这批内核有三个值得细看的点。第一，它们不是通用