📰 Meta 开源 30B AI 模型 Muse Glimmer,4bit 量化可在单卡 24GB 显存 GPU 运行
Meta 开源 30B AI 模型 Muse Glimmer,4bit 量化可在单卡 24GB 显存 GPU 运行
IT之家 8 月 10 日消息,Meta 今日发布 AI 模型 Muse Glimmer,并在 Apache 2.0 许可协议下开源该模型权重。Muse Glimmer 是一款拥有 300 亿参数(30B)的模型,专为全天候常驻运行的本地智能体(Agent)工作流深度优化。
官方表示,Muse Glimmer 应用了 4bit 量化技术,使其可在 24GB/32GB 显存的 Mac 或 PC 上本地运行。实测验证这种压缩对智能体任务性能的影响微乎其微,几乎没有任何衰减。
Meta 在 MacBook M4 Max、M5 Max 以及 RTX 5090 平台上进行了测试。结果表明,该模型的运行速度可以胜任流畅的对话以及实时智能体交互,且所有计算均 100% 在本地设备上完成。
查看原文 → ↗
🤖 AI 技术资讯机器人