国产芯片加速适配QwQ-32B,业内人士:比DeepSeek更适合推理普及 | ToB产业观察

创新场景
一体机可能并不是最适合DeepSeek-R1的部署模式。

图片系AI生成

图片系AI生成

大模型可能没有永远的王者,只有更适合的下一个。继DeepSeek-R1推理模型之后,算力供应端押宝阿里巴巴千问QwQ-32B,被视作产业即将大规模落地的推理模型。

3月10日消息,国家超算互联网平台宣布接入阿里巴巴通义千问大模型,对外提供千问 QwQ-32B API服务,用户可免费获得100万 tokens。

不少国产算力厂商也已经推出或正在计划推出更适合QwQ-32B的算力部署模式。

此前,国产AI芯片厂商壁仞科技推出了基于壁砺TM106全系列一体机,全面支持QWQ-32B大模型推理;摩尔线程基于大语言模型高速推理框架 vLLM 以及 MT Transformer 推理引擎部署了 QwQ-32B。

中国RISC-V芯片公司算能的SophNet云平台接入QwQ-32B模型,依托算能自研TPU,QwQ-32B的推理速度达75 Tokens/s;东南大学基于昇腾国产算力平台,接入QwQ-32B模型,成为全国首个提供该服务的高校;青云科技旗下AI算力云也上线了 QwQ-32B。

业内人士表示,作为推理模型,行业更关注QwQ-32B的性价比指标,DeepSeek-R1客观普及了大模型推理场景,之后的大模型必须提供更好的效果和成本数据,才能弥补DeepSeek-R1的替换成本。

据阿里巴巴官方信息,在冷启动基础上,阿里通义团队针对数学和编程任务、通用能力分别进行了两轮大规模强化学习,在32B的模型尺寸上,既能提供极强的推理能力,又能满足更低的资源消耗需求,适合快速响应或对数据安全要求高的应用场景,开发者和企业可以在消费级硬件上轻松将其部署到本地设备中,进一步打造高度定制化的 AI 解决方案。

在一系列权威基准测试中,千问QwQ-32B 模型几乎完全超越了OpenAI-o1-mini,比肩最强开源推理模型DeepSeek-R1:在测试数学能力的AIME24评测集上,以及评估代码能力的LiveCodeBench中,千问QwQ-32B表现与DeepSeek-R1相当,远胜于o1-mini及相同尺寸的R1蒸馏模型。

此外,千问QwQ-32B模型中还集成了与智能体 Agent 相关的能力,使其能够在使用工具的同时进行批判性思考,并根据环境反馈调整推理过程。

上述业内人士还提到,DeepSeek火爆之后,业内为了快速部署,大模型一体机市场快速爆发,但实际上,一体机可能并不是最适合DeepSeek-R1的部署模式。

不同于QwQ-32B的稠密架构模型,DeepSeek走的是稀疏MoE模型路线,以满血版R1为例,6710亿参数至少要占据671GB显存,为了支持输入/输出、过程数据等,还需要更多显存空间来存放,但在每次推理时,6710亿参数中只有370参数被激活,这意味着一体机中大量算力没有高效使用。

而且对于国产芯片来说,DeepSeek-R1的开源让行业对国产大模型信心更盛,QwQ-32B则是更大的算力利好,QwQ-32B遵循Apache 2.0协议开源,消费级显卡可部署,国产芯片即便比不上英伟达GPU,但是在做好兼容适配的前提下,已经能够满足更多个人开发者和中小企业极低成本接入顶级模型的诉求。

一位云计算行业分析师表示,自 ChatGPT 推出以来,生成式AI至少贡献了云服务收入增长的一半,这些收入要么来自新推出的大模型/GPU 服务,要么来自人工智能驱动的对现有云服务的改进。AI 不再是云计算的应用子集,而是驱动云战略演进的核心。

从大模型与算力的相互促进的角度,大模型从技术摸高走向“技术摸高+工程创新”并行 ,算力结构从“预训练” 走向 “预训练 + 后训练 + 推理”,算力需求仍将持续增长

以阿里云为例,目前遵循“AI驱动,公共云优先”的战略,开源的千问大模型是云计算的抓手。在最新一季的阿里云财报中,AI收入已连续六个季度三位数增长,并推动云收入重回13%的双位数增长,达到317亿元,相比上一季度7%的增速接近翻倍。云+AI的估值逻辑,带动阿里巴巴年内股价涨幅近60%,市值狂飙逾1100亿美元。

通过开源,阿里通义千问已经成为国产算力平台支持最多的大模型之一,并且在海外被Camel.AI、SambaNova Cloud、OpenRouter、ChatLLM、Together.AI、LM Studio部署上云,对外提供API服务。

目前,通义千问稳居全球最大AI社区HuggingFace热门大模型榜首,千问衍生模型超10万个,超越美国llama成为全球采用最广泛的AI大模型。(本文首发于钛媒体APP,作者 | 张帅,编辑 | 盖虹达)

转载请注明出处、作者和本文链接
声明:文章内容仅供参考、交流、学习、不构成投资建议。
想和千万钛媒体用户分享你的新奇观点和发现,点击这里投稿 。创业或融资寻求报道,点击这里

敬原创,有钛度,得赞赏

赞赏支持
发表评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容

快报

更多

14:48

上海市农业农村委员会:今年将研究制定支持涉农科技型企业发展的专项政策文件

14:43

菲律宾央行将基准利率维持在4.25%不变

14:43

柯文哲所涉京华城案、政治献金案一审宣判

14:36

日韩股市集体收跌,韩国KOSPI指数跌3.22%

14:34

出口受阻,伊拉克南部油田产量暴跌八成

14:32

全国农产品批发市场猪肉平均价格为15.65元/公斤,比昨天下降0.9%

14:31

中国人寿回应去年第四季度业绩波动:新准则下更容易受到资本市场影响,寿险公司更注重长期

14:30

2026中关村论坛现场签约34个重大投资项目

14:29

能源危机持续,韩国政府转入“应急模式”

14:25

市场监管总局:2025年全国新设个体工商户1619.4万户

14:24

稳中有进,今年2月中国企业信用指数为162.09

14:23

中微公司尹志尧:AI、绿色能源等新兴产业正在成为半导体行业的增长引擎

14:20

中国科研团队在自身免疫性肝炎治疗领域取得新突破

14:19

富时中国A50指数期货跌幅扩大至1%

14:19

印度石油公司自2018年以来首次购买伊朗的液化石油气

14:13

股票ETF再现超200亿元净流出

14:13

商汤徐立:AI真正迎来规模化爆发阶段,语言与视觉深度融合是突破智能上限的高效路径

14:09

燃油价格持续上涨,美紧急豁免乙醇汽油销售

14:08

SEMI中国总裁冯莉:2026年HBM市场规模增长58%至546亿美元,HBM产能缺口达50%—60%

14:07

微盟集团正式成为巨量本地推综合代理及星图代理商

扫描下载App