百度(BIDU):文心大模型加速迭代,百度云价值进一步显现
孙梦琪 mengqi.sun@bocomgroup.com (86) 10 8393 5333 赵丽, CFA 百度 (BIDU US) 文心大模型加速迭代,百度云价值进一步显现 原生多模态能力:具备对文本、图像、音视频等混合数据的综合处理能 力,语言能力包括理解、生成、逻辑和记忆显著增强,尤其是去幻觉、逻 辑推理以及代码能力。例如能够综合理解图片中的文字/表格,提取重点 并给予分析,对网络梗图能进行理解和逻辑解释。 技术升级:1)FlashMask 动态注意力掩码:提升长文本处理能力和多轮对 话上下文理解交互表现。2)多模态异构专家扩展:平衡不同模态梯度贡 献,解决训练梯度冲突问题,提升多模态融合能力。3)时空维度表征压 缩:降低图片和视频的计算复杂度,提升长视频语义提取及多模态数据训 练效率。4)基于知识点的大规模数据构建:通过知识分层采样、跨模态 压缩融合及定向合成技术提升模型知识密度,降低模型幻觉。5)基于自 反馈的 Post-training:自反馈迭代提升学习系统稳定性。 成本优势:文心 4.5 API 调用输入价格 0.004 元/千 tokens,输出价格 0.016 元/千 tokens,仅 ...