英伟达发布1200亿参数开放智能体模型Nemotron,单卡吞吐量最高提升5倍

钛媒体App 10月16日,英伟达日前宣布推出开放多模态模型Nemotron 3.5 Super VL,面向需要持续运行、执行多步骤任务的AI智能体。该模型采用混合专家(MoE)架构,总参数量为1200亿,激活参数120亿。英伟达称,在单张GPU上执行智能体任务时,该模型的吞吐量最高可达到同规模其他开放模型的5倍。据介绍,Nemotron 3.5 Super VL将推理、指令遵循和工具调用能力,与文本、图像、文档及视频理解能力整合到同一个模型中,可用于代码测试与调试、跨网站信息检索、文档分析、网络安全威胁识别以及视频内容检索等场景。开发者可以利用英伟达 NeMo 工具链,结合自有数据、工具、政策和工作流程进行后训练,并根据业务需求调整模型行为。 此外,英伟达还推出了两款Nemotron 3.5 Bolt边缘模型。Nemotron 3.5 Bolt 74B-A9B 24GB采用740亿总参数、90亿激活参数的MoE架构,通过原生2位量化将模型压缩至24GB,面向本地智能体任务,支持llama.cpp、vLLM、Ollama、Unsloth和LM Studio。Nemotron 3.5 Bolt E4B 4GB则面向本地语音助手、交互角色和嵌入式界面等场景,计划于10月23日推出。(广角观察)

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

请 登录后输入评论内容
投资日历
更多