亚马逊云科技今日宣布,NVIDIA Nemotron 3 Ultra开源大语言模型已在Amazon SageMaker JumpStart平台正式上线,支持用户一键部署。该模型采用混合Transformer-Mamba MoE架构,总参数达5500亿,活跃参数为550亿,上下文长度可覆盖100万token,推理速度较传统方案快5倍,代理类工作负载成本降低30%,且针对NVFP4格式做了专门优化。
得益于MoE架构设计,该模型每次仅激活550亿参数,即便在百万token的长上下文场景下仍能保持高吞吐量,适用于代理协调、代码生成、深度研究分析以及复杂企业工作流等多种场景。用户可通过SageMaker Studio界面或Python SDK快速部署该模型,部署前需具备相应的AWS账户、权限及GPU配额,使用完毕后建议及时删除部署端点,避免产生持续费用。






快报