演讲摘要:人工智能引领新一轮工业革命,大模型技术是驱动本轮人工智能浪潮的关键支撑。大模型训练是超算应用,超算系统设计需要考虑计算、访存、高速互连等协同设计,避免出现木桶短板,以为大模型训练提供高效的算力支撑。同时,受参数规模、并行方法等多种因素影响,不同的大模型训练应用运行特征不尽相同,需要基于具体的应用运行特征设计、选型相应的超算架构算力产品平台,以更精确、更高效地提升大模型的训练性能。本报告主要从超算架构算力平台出发,围绕如何提升大模型训练和推理性能展开。
讲者简介:陈健,博士,北京并行科技股份有限公司(BJ839493)董事长,CCF中国计算机学会副理事长,CCF高专委常委,CCF人工智能专委执委,CCF YOCSEF主席(2019-2020),TEEC清华企业家协会成员,清华航院校友会常务副会长。
版权所有:中国计算机学会技术支持邮箱:conf_support@ccf.org.cn