腾讯混元:295B参数模型Hy3单卡即可部署

钛媒体App 7月14日消息,腾讯混元发文表示,Hy3上线并开源后,社区一直在呼吁量化版本,希望单卡跑参数量达295B的Hy3。团队针对开源社区需求,把Hy3的权重量化到1bit与4bit并打包成GGUF,配合llama.cpp生态,让原本只能跑在多卡集群上的模型,最少一张推理显卡、乃至内存充足的本地机器也能跑起来。(广角观察)

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
投资日历
更多