钛媒体App 9月11日,
中科曙光近日发布scaleFabric Token加速技术体系。该体系以原生无损RDMA高速网络为核心,构建“算存传”三级紧耦合的Token加速通道,并推动IBGDA技术在国内首次实现规模化应用。IBGDA主要面向MoE模型中的高频小消息通信。传统模式下,通信任务的发起及相关处理仍需CPU参与;IBGDA支持GPU直接发起和管理网卡通信,可消除传统路径中CPU调度带来的开销。目前,scaleFabric已完成DeepEP等通信框架适配,IBGDA可作用于MoE模型的专家并行通信,提升Token在不同专家之间的分发与汇聚效率。(广角观察)
根据《网络安全法》实名制要求,请绑定手机号后发表评论