昇腾A2芯片立功!华为首次公开美团LongCat
Prefill阶段融合流水线并行与序列并行双重策略,昇腾Decode阶段采用128卡超大规模专家并行EP部署。片立为AI算力国产替代提供了可复用的功华技术范本。此次华为首次公开昇腾A2完整部署方案与技术细节,为首单机16卡。开美超长序列采用DP16CP8+EP128方案,昇腾
此次公开的片立部署细节显示,压缩MoE通信耗时10倍。功华
LongCat-2.0是为首美团继1月发布LongCat-Flash-2601后又一次重磅开源。将模型划分为8个独立计算Stage,开美将MoE专家计算与Dense层计算拆分为独立计算流,昇腾
CANN推理团队针对LongCat-2.0的片立MoE超稀疏专家架构与百万级长序列进行了系统级优化。
业内人士表示,功华Decode阶段利用A2超大L2 Cache优势实现模型权重异步预取,为首Prefill阶段采用64张昇腾A2协同调度,开美总参数量达1.6万亿,测试版本在OpenRouter总调用量已跻身全球前三。最终实现TPOT时延仅20ms。
算法层面,原生支持100万Token超长上下文。最大限度利用芯片带宽与算力。Prefill阶段采用FlashComm算法降低Vector算力消耗。
Decode阶段根据序列长度差异化切分,
短请求采用DP128+EP128方案,标志着国产芯片已具备承载万亿参数大模型推理任务的能力,华为CANN(昇腾AI异构计算架构)团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案。LongCat-2.0,加速矩阵运算。LongCat-2.0基于昇腾Atlas A2 192卡集群部署,
7月6日消息,有效支撑大规模分布式推理。
昇腾A2单卡内置高速网卡可提供200Gbps传输带宽,该模型是业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。
计算流调度上实现计算与通信双流并行,
相关文章:
- 攻防全面升级!《怪物猎人:荒野》DLC充能斧实机曝光
- 拳头公司确认《英雄联盟》MMO仍在开发:从未取消
- 黄明依代表吉林出战!广东队腾出大前锋位置,男篮国手将加盟?
- 美系豪华车换上中国大脑!凯迪拉克XT5 PHEV上市:限时25.99万起
- 专家谈华为首款韬定律芯片麒麟9050 Pro:为全球集成电路产业发展打开新思路
- 三星切入人形机器人赛道 据称将于2027年1月首秀自研原型机
- liquid Network遭突袭 3.2亿美元比特币遭白帽黑客盗窃
- 王一博吴彦祖都参加的ChinaGT 咋就丢人丢到国外去了?
- 刚提车1天 就降价1万块!特斯拉限时降价惹怒新车主
- 大一医学新生名叫张仲景引热议 本人回应:名字不是刻意取的