mputeX深度洞察互联创启

这个语言模型也好我们现在讲多模态模型也好那它其实真正对应到硬件侧有三项最主要的变化或者说有三项普通话的要求那第一项我们刚才讲了主要就是算力因为你参数量大的以后你的数量也要同步的变大这是非常重要的那第二点上来说刚才讲了还是说有这个 呃这个通讯的问题啊带宽的问题就是如果说你的这个呃现在面临的这个任务啊其实都是一个单GPU卡可能放不下的这样的一个任务我需要一个节点去工作甚至我需要多个节点我们刚才讲过了现在是万卡集群未来可能还有10万卡集群那我的通信的速率啊就是说我如何让数据在我这个GPU之间啊去快速的去进行交换我不要卡住整个系统的一个效率这个东西是非常必要的所以从通信上来说我们刚才讲到 可能是现在AI算力硬件第二的一个衡量标准那第三个衡量标准就是我刚才讲的了就是我们这个头的这个屏了就是存储存储刚才讲的第一个就是我存储批这个片上的存储越来越大的话我可能更多的是从我的这个工作流程上会简单因为我的东西我会放在一张GPU盘上去做我不必要放在很多张然后我又去考虑通信就是说我的通信越少通信开销越小其实我的系统效率是越高的对吧这是一个非常简单的逻辑 那如果我迫不得已必须用到这个就是这个这个这个通信的时候那我就要把我的通信尽量做的 ...