华为云CTO张宇昕:大模型时代需要全新的网络互联技术

2月26日,华为云CTO张宇昕在巴塞罗那华为云峰会表示,大模型时代对算力有着全新的要求:1、联算比。未来需要全新的网络互联技术来解决运算量和GPU算力之间的巨大差距。2、容算比。当前在模型训练过程中为获取足够显存容量,存在不必要的GPU算力闲置。3、存算比。当前在模型训练过程中,大量的时间消耗在GPU数据加载,造成算力的进一步浪费。基于此,云系统架构将从以CPU为中心的主从架构转变为多元算力对等架构,突破算力、存储和网络限制,实现多元算力的全面对等互联。

编辑/程乾
本平台发布/转载的内容仅用于信息分享,不代表我司对外的任何意见、建议或保证,我们倡导尊重与保护知识产权,如发现本站文章存在版权问题,烦请将版权疑问、授权证明、版权证明、联系方式等,发邮件至info@tonews.cn,我们将第一时间核实、处理。同时,欢迎各方媒体、机构转载和引用,但要严格注明来源:今日商讯。

您可能感兴趣的文章