黄克骥

华为

黄克骥博士，华为存储领域8级专家，数据存储产品线首席架构师，负责华为存储产品的整体架构规划和技术演进，主导了全闪存高端存储、HPC&AI存储、超节点集群存储、内存型存储、全交换数控分离架构等先进存储技术的突破，先后多次获得国家/省/市级及相关领域的科技进步奖，是华为存储产品竞争力实现业界领先的领军人物。黄克骥博士毕业于电子科技大学，拥有电子电路系统博士学位，具有超过20年ICT从业经验和超过18年的存储领域研究经验，持续深耕技术创新和根科技构建，在存储领域积累了深厚的技术功底。黄克骥博士在担任数据存储领域首席架构师之前，先后负责华为赛门铁克云存储产品、华为第一代分布式NAS产品、 融合存储NAS产品、华为第一代存储平台Oceanstor OS、华为云数据领域创新架构DFV等多个产品以及大型架构的规划和设计，奠定了华为存储产品竞争力成为国内第一并进入Gartner领导者象限的坚实基础。                            

张弓

华为

张弓，华为研究院理论部首席研究员。在分布式系统和网络架构领域超过20年研究经验，发表超过90多篇专利。1998年加入华为技术有限公司，2002 年 担任终端部PDT经理；2005年担任华为预研部主任研究员，主要负责未来网络领域研究；2008年担任中央研究院网络技术部经理和主任研究员，主要负责网络测量与分布式算法和系统、机器学习算法和系统；2014年担任未来网络理论实验室首席架构师，主要负责分布式系统与理论研究。在Sigcomm、Infocom、NSDI、ICDCS等顶级刊物发表多篇论文；Sigcomm Workshop 主席，ICNP workshop领域主席，APNetwork 区域主席，ICDCS ，ICCCN、Infocom、TMC等技术委员会委员和编辑，Infocom杰出TPC，Sigcomm NetAI 联席主席，Sigcomm NetAI和 ICCCN 指导委员会成员 。曾获2006年广东科技进步2等奖，重点研发计划-低功耗无线传感器项目 负责人/首席，2016年杰出论文奖ICNUV 2016，2022年获得杰出论文奖 SIGCOMM2022。                            

郭俊

火山引擎科技有限公司

郭俊，火山引擎大数据存储架构师，就职于字节大数据存储团队，负责火山引擎大数据存储服务 CloudFS 的研发，产品主要支持 AI 和大数据场景下的缓存加速和存储业务，依托 ByteHDFS 和对象存储底座，在集团和火山的大模型业务上广泛使用。本人毕业于上海交通大学计算机系，曾就职于微软 Azure和华为存储团队，在分布式计算和存储领域有10年以上的经验。

报告题目：万卡大模型训练的存储架构与实践

报告摘要：大模型领域在很短的时间内演进到了千亿参数和万卡规模，相比于传统的AI业务，给存储服务带来了规模、吞吐、性能和弹性等多方面的挑战；大模型业务的全生命周期，从样本训练、Checkpoint 存储、ETTR 优化、多机房调度到推理模型分发加载、KVCache 优化，对存储服务都有很高的诉求，并且各个阶段具体的业务负载特征也不尽相同。在字节跳动，为了更好的支持豆包大模型和火山方舟大模型平台，火山引擎存储服务构建了完整的解决方案服务，本次报告将分几部分介绍我们的架构演进和实践。首先，我们以 ByteHDFS 为底座，充分发挥存量集群的规模和成本优势，重点优化了多流并行读写能力；其次，我们构建了多模态的半托管缓存加速服务，尽量和GPU集群混布，充分利用 GPU 集群高速网络和本地盘资源，最大化性能输出和节约资源成本；最后介绍我们和大模型团队深度配合的一些最佳实践，主要包括：训推作业和缓存资源统一亲和调度、推理场景 KVCache 能力构建、多机房和多云算力和存储资源调度、ByteCheckpoint 优化、FUSE 入口使用体验优化等。

何永红

清华大学深圳国际研究生院

何永红，教授、博导，长期从事医疗成像装备研究及人工智能图像分析等工作。研制的光学相干层析（OCT）成果转化填补国内空白，仪器中国市场占有率35%，畅销全球；研制的全自动病理显微成像智能扫描分析仪可对组织、细胞等医学样本进行数字化及智能分析，速度高达3000片/天，技术指标国际领先。主持自然科学基金、国家省市科技计划几十项，发表SCI论文300多篇，被引用6000多次；授权中国专利30多项；国家标准2项；多项科技成果产业化。

报告题目：病理超大图像AI大模型场景下存储的挑战与探索

报告摘要：医学病理诊断所用显微影像是像素数达1000亿级的超大图像。利用人工智能大模型对于病理超大图像的训练既需要达到百万张级的大数据量，又需要对单张图像进行多尺度的学习。因此，这一场景下大模型的训练首先要对图像数据进行多尺度切割、存储、加载等多步骤操作，既费时费力，又难以提取关键信息。针对本领域的这一挑战，我们定量地分析了存在的问题，探索了一些可行的方案，旨在从存储侧图像预处理的方式解决问题。我们训练了30万张病理超大图像后，模型取得了良好的效果，在几十种下游任务上取得出优异成绩。

王则可

浙江大学

王则可博士现任浙江大学百人计划研究员，隶属于浙大计算机学院智能所和人工智能协同创新中心。2011年获得浙大大学生仪学院的博士学位，从2012年至2013年在浙江大学生仪学院担任助理研究员。2013年至2017年在新加坡南洋理工大学和新加坡国立大学做博士后。2017年至2019年12月在苏黎世联邦理工学院做博士后。2019年12月加入浙大，创建 Reconfigurable Computing for Machine Learning (RC4ML) 实验室，研究方向是超异构计算系统，主要使用异构硬件（如GPU和FPGA）搭建分布式异构人工智能分布式系统。主要研究成果发表于ISCA、HPCA、NSDI、EuroSys、ATC、VLDB、FPGA等国际会议和TPDS、TKDE、TC、TCAD等国际期刊，获得系统领域顶级会议EuroSys（2023年）的Best Poster Award、 FPGA国际顶级会议FPL (2015年)的top-quality论文。获得2022年度高等学校科学研究优秀成果奖（科学技术）科技进步一等奖、中国自动化学会科学技术一等奖。主持的科研项目获得华为火花奖。主讲的慕课获得2021年度教育部-华为智能基座“突出贡献奖”。作为教练获得ASC 世界大学生超级计算机竞赛总决赛二等奖。担任多个国际会议(如NSDI和VLDB)的程序委员和多个国际期刊的评审 (如TPDS)。

报告题目：单GPU微调人工智能千亿模型系统研究

报告摘要：目前人工智能大模型参数越多，效果越好，但微调千亿模型对需大量GPU一起并行训练，使得人工智能算法研究者无法尝试微调千亿模型。因此，本工作通过优化大模型训练系统的tensor存储部分的性能，使能资源受限的千亿模型的高性能微调。具体来说，我们提出新型主动梯度下沉技术和全局感知的激活值管理技术，优化人工智能框架中的tensor在GPU内存、CPU内存、SSD中的高效移动，通过软硬件协同设计使得单GPU在微调千亿模型时保持高吞吐率。

章明星

清华大学

章明星，清华大学助理教授。博士毕业于清华大学，主要从事分布式内存系统相关研究工作，其成果在包括 OSDI、SOSP、ASPLOS、HPCA、FSE、VLDB、ATC、EuroSys 等国际顶级会议和期刊上发表论文近三十篇。其中发表在A类会议FSE 2014 的论文获ACM SIGSOFT 杰出论文奖，先后 ACM Chinasys 新星和优博，IEEE TCSC 优博等奖项。获得国家自然科学基金青年科学基金及博士后基金一等项目资助。CCF推荐中国科协青年人才托举计划入选，科技部重点研发项目课题负责人。曾任深信服首席算法技术专家，创新研究院院长。先后主导基于机器学习的恶意软件识别引擎（SAVE）、安全大数据平台、RDS 等创新项目孵化。其中 SAVE 引擎服务于上万家客户，2018年获得SKD Awards，2019年获得Google VirusTotal、德国AV-Test 等多项国际机构认可。

报告题目：Mooncake：开源共建以 KVCache 为中心的推理架构和高性能内存型存储系统

报告摘要：今年6月，月之暗面和清华大学 MADSys 实验室联合发布了 Kimi 底层的 Mooncake 推理系统设计。基于以 KVCache 为中心的 PD 分离和以存换算架构，Mooncake 大幅度提升了推理吞吐，受到了业界广泛的关注。为了进一步推动相关架构的发展，特别是池化 KVCache 缓存层的标准化。我们进一步联合 9#AISoft，阿里云，华为数据存储，趋境科技等 AI Infra 层代表公司解耦并重构了 Mooncake 中的关键组件，并将逐步开源供更多的用户使用。在相关的具体设计中我们也受到了包括面壁等多家大模型厂商的参与和反馈，他们也将作为 Beta 用户助力开源平台的发展和推广。本次分享将介绍 Mooncake 的基本原理和开源的架构设计以及后续进一步的开源共建计划。

谢旻晖

中国人民大学

谢旻晖，中国人民大学信息学院计算机系讲师（吴玉章青年英才），于2024年博士毕业于清华大学计算机系（导师为陆游游和舒继武教授）。他的研究方向为机器学习系统与存储系统，致力于构建面向新一代AI的高性能存储底座（storage for AI），以满足其全生命周期对存储的规模成本、访问效率、可靠容错方面的新诉求。他在SC、EuroSys、ASPLOS、VLDB等会议与期刊上发表论文十余篇，其中一作/通讯论文6篇，同时担任多个国际会议期刊的审稿人与AE审稿人。

报告题目：稀疏大模型参数存储系统研究

报告摘要：作为一类重要的深度学习模型， 稀疏大模型被广泛用于搜索、推荐、广告等互联网核心商业场景。 区别于传统稠密大模型（如 GPT）是计算为瓶颈， 稀疏大模型对万亿稀疏参数的大量随机访问使得存储成为瓶颈，而面向稠密模型的经典深度学习框架无法满足此类模型高效训练预估的需求。本报告将介绍利用GPU显存、持久性内存、SSD等多层次内存构建稀疏参数存储系统的挑战与相关技术；同时介绍集成系统RecStore， RecStore可向现有深度学习框架提供功能通用、访问高效、存储降本的参数服务。