02月
25
DeepSeek开源周第二日：开源EP通信库
36氪获悉，DeepSeek官宣，今日开源DeepEP，第一个用于MoE模型训练和推理的开源EP通信库。特点有：高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU资源控制，实现计算-通信重叠。
36氪获悉，DeepSeek官宣，今日开源DeepEP，第一个用于MoE模型训练和推理的开源EP通信库。特点有：高效、优化的全员沟通；节点内和节点间均支持NVLink和RDMA；用于训练和推理预填充的高吞吐量内核；用于推理解码的低延迟内核；原生FP8调度支持；灵活的GPU资源控制，实现计算-通信重叠。
