开放权重模型beam

10月5日，纽约的ReflectionAI发布了公司第一个开放权重模型，取名Beam。它是一个稀疏混合专家模型，总参数5010亿，每次推理只激活其中230亿。这个配比是它敢往外报低成本的底气——拿一小部分参数去干活，跟同等规模的稠密模型比，硬件门槛和推理开销都不在一个量级。模型定位是编程、推理和智能体任务，目前只处理文本。训练数据里有两组数字值得记下来。预训练用了23.8万亿个token，跑在61