小红书开源首个大模型,预训练未使用合成数据

钛媒体App 6月10日消息,小红书开源了首个大模型dots.llm1,小红书方面称,dots.llm1是一个1420亿参数的混合专家模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。此外,dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据,最终性能与阿里Qwen3-32b相比,在中英文、数学、对齐任务上表现接近。(广角观察)

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
投资日历
更多