演讲摘要:随着ChatGPT的火爆,引发了国内外的广泛关注,国内涌现了一批大模型应用,对于高端算力资源的需求愈发旺盛,形成了需求与供给间的巨大鸿沟。为了弥补这一短板,北京超级云计算中心采用超算架构模式构建智算资源,将分布在国内的各大算力中心资源进行整合,可以最大限度地利用现有资源,降低因空闲资源浪费而产生的损失,同时也可以有效地满足AI大模型训练对高端算力的需求。由于异构计算、大规模并行计算等超算特点使其成了人工智能大模型训练的理想选择。以超级计算机为代表的超算架构可提供更全面、更高效的并行计算能力,为大模型训练处理提供更强大的支持力,实现更高效的模型训练,更快的训练收敛,以及更好的预测准确度。本报告将介绍北京超级云计算中心如何通过基于超算架构的算力资源支撑大型模型训练。
讲者简介:北京超级云计算中心(2011-2022),是中国科学院和北京市政府院地合作共建核心项目,牵头建设单位为中科院计算机网络信息中心,运营实体是北京北龙超级云计算有限责任公司。2021年,“北京超算”连续两年入围中国HPC TOP100,连续两次获得“通用CPU算力性能第一名”,同时荣获2021 AI Perf500榜单总量份额第一名,是中国第一家市场化运营的超算中心,目前服务用户19万余家,中心以超级云计算模式率先实现中国超算服务云计算化,完成行业应用的 SaaS 化平台,实现高端科研计算方法的全行业大面积推广普及,为中国科研科技发展作出重要贡献。
版权所有:中国计算机学会技术支持邮箱:conf_support@ccf.org.cn