登陆热线邮箱 设为首页

号称国内性能最强,腾讯高性能计算集群亮相,面向大模型训练 快看点

2023-04-14 16:45:05来源:南方都市报栏目:数码


(资料图片仅供参考)

2022年10月,腾讯完成首个万亿参数的AI大模型——混元NLP大模型训练。在同等数据集下,将训练时间由50天缩短到11天。如果基于新一代集群,训练时间将进一步缩短至4天。

大模型进入万亿参数时代,单体服务器算力有限,需要将大量服务器通过高性能网络相连,打造大规模算力集群。通过对处理器、网络架构和存储性能的全面优化,腾讯云宣布攻克了大集群场景下的算力损耗问题,为大模型训练提供高性能、高带宽、低延迟的智算能力支撑。

据介绍,目前,腾讯混元AI大模型已经覆盖了自然语言处理、计算机视觉、多模态等基础模型和众多行业、领域模型。腾讯混元大模型背后的训练框架AngelPTM,也已通过腾讯云对外提供服务,帮助企业加速大模型落地。

数据、算法和算力是AI大模型的三大要素,其中算力不足也是限制AI大模型发展的瓶颈之一。随着国内企业纷纷开启对通用大模型、垂直行业大模型的训练和应用,对算力的需求也迎来井喷式增长,如何通过算力优化提升大模型训练效率成为各家竞逐的焦点。

4月11日的阿里云北京峰会上,阿里云披露其高性能AI训练计算平台“灵骏智算”,可以实现800G全速无拥塞RDMA网络,网络通信时延低至2微秒。在此基础之上,灵骏可支持最大十万卡GPU的单集群规模,可以承载多个万亿参数规模的大模型同时在线训练。在高性能网络集群的基础上,阿里巴巴构建了PAI-灵骏产品来提供大数据加AI一体化平台,从而能够高效推动算法的开发迭代,支撑超大规模模型训练任务,为大模型的产生提供系统支持。

腾讯则披露目前,腾讯云的分布式云原生调度总规模超过1.5亿核,并提供16 EFLOPS(每秒1600亿亿次浮点运算)的智算算力。未来,新一代集群不仅能服务于大模型训练,还将在自动驾驶、科学计算、自然语言处理等场景中充分应用。

机器学习进入大模型时代,ChatGPT 等通用大模型的训练迭代极大拉动对智能算力的需求。东方证券研报显示,从智能算力总额来看,美、中处于领先地位。从人均智能算力的角度,中国仍处于全球中等水平。 据《中国算力指数发展白皮书(2022)》,美、中的智能算力处于全球领先地位,分别占全球比 重的 45%和 28%。然而从人均算力的高低来衡量,美国、英国、德国等国家的人均算力普遍高 于 1000GFlops,而我国的人均算力处于中等水平。据 IMB 研究发现,人均算力的水平与一国 的智能化水平高度相关,我国积极发展智能算力、打造智算中心是打造国际竞争力、发展综合国力的关键。

采写:南都记者 马宁宁

标签:

资讯阅读

NEWS

精彩推送

marvellous