DeepSeek-R2发布在即，参数量翻倍，华为昇腾芯片利用率达82%！

根据爆料信息，DeepSeek-R2大模型将会采用一种更先进的混合专家模型（MoE），结合了更加智能的门 控网络层（Gating Network），以优化高负载推理任务的性能。在MoE架构的加持下，DeepSeek-R2的模型 总参数量预计将达到1.2万亿，较之DeepSeek-R1（6710亿参数）提升约1倍。从规模上来看，DeepSeek-R2 与ChatGPT的GPT-4 Turbo以及谷歌的Gemini 2.0 Pro相当。 昨日晚间，玩家@deedydas在社交媒体平台爆料了深度求索即将发布的下一代AI大模型DeepSeek-R2的参数 信息。 在硬件平台方面，DeepSeek-R2实现了基于华为昇腾 910B（Ascend 910B）芯片集群平台的训练方案，在 FP16 精度下实现了 512 PetaFLOPS 的计算性能，芯片资源利用率达到 82%。根据华为实验室的数据，这 一算力大约是英伟达上一代A100训练集群的91%。 可能得益于华为昇腾910B训练集群，DeepSeek-R2的单位推理成本较之GPT-4下降了97.4%，DeepSeek-R2 的成本约为0.07美元/百万token，而G ...