Meta 开发的混合专家（MoE）语言模型，从 1090 亿总参数中动态激活 170 亿参数，支持文本和图像的多模态输入，并能以 12 种语言输出文本和代码。该模型专为智能助手交互和视觉推理设计，每次推理调用 16 个专家模块，具备 1000 万 token 的超长上下文窗口，训练数据规模达 40 万亿 token。