优刻得发布新一代GPU虚拟化技术,小模型推理资源利用率最高提10倍

钛媒体App 12月1日消息,优刻得发布新一代GPU虚拟化技术,可将单张GPU精细切分为多个虚拟算力单元,最小粒度达10%,支持单卡并行多项AI任务。该技术通过轻量级用户态截获,实现显存与算力的强隔离与可控分配,虚拟化损耗仅1%–3%,兼容PyTorch等主流框架,并支持NVIDIA、昇腾、寒武纪、沐曦等异构芯片,可构建跨节点共享的算力池。在7B/13B小模型推理和高校科研环境中,资源利用率最高提升10倍。(广角观察)
优刻得-W

本文内容仅供参考,不构成投资建议,请谨慎对待。

评论
0 / 300

根据《网络安全法》实名制要求,请绑定手机号后发表评论

登录后输入评论内容
投资日历
更多