大模型算法安全竞赛论坛

论坛主席                                                                                                                                                                                         

主席简介：苏航，清华大学计算机系副研究员，入选国家“万人计划”青年拔尖人才，主要研究对抗机器学习和鲁棒视觉计算等相关领域，发表CCF推荐A类会议和期刊论文100余篇，谷歌学术论文引用10000余次，受邀担任人工智能领域顶级期刊IEEE TPAMI和Artificial Intelligence的编委，获得吴文俊人工智能自然科学一等奖，ICME铂金最佳论文、MICCAI青年学者奖和AVSS最佳论文等多个学术奖项，曾率队在NeurIPS2017对抗攻防等多个国际学术比赛中获得冠军。现任中国图像图形学会青工委执委、曾任VALSE执行AC委员会主席，NeurIPS21的领域主席（Area Chair）、AAAI22 Workshop Co-Chair，并在多次ICML等顶级国际会议上作为分论坛主席组织安全人工智能领域的专题研讨。

报告1：对抗样本生成与迁移性探索                                                                                                                                            

报告人简介：景丽萍，北京交通大学教授、博导，现任计算机科学与技术学院副院长。担任中国计算机学会人工智能与模式识别专委会副主任，中国人工智能学会机器学习专委会常委，《中国科学》青年编委，入选国家级青年人才计划、教育部创新团队负责人、北京市课程思政教学名师、北京市海淀区人大代表、北京交通大学卓越百人、巾帼十杰、优秀教师等。主要聚焦机器学习、认知计算理论、算法及应用研究，研究成果成功应用于智能交通、智能芯片、智能教育等领域，获得中国城市轨道交通科技进步奖。

报告摘要：计算机视觉技术在图像分类、目标分割和检测等任务中表现出色，但极易受对抗样本干扰，使其在安全性要求较高的关键领域如人脸安全、自动驾驶等难以推广应用。已有研究者通过实验探索发现模型的泛化性与生成对抗样本的迁移性有一定的关联。受此启发，我们提出了一种渐进正态性对抗样本生成方法，构建模型学习平坦子空间以及隐式集成策略，提高对抗样本生成所依赖模型的平滑性，增强对抗样本的迁移能力（无防御和有防御模型上均有效）。一系列实验充分验证相关方法的优越性。

报告2：自然语言处理模型的对抗攻击研究                                                                                                                                    

报告人简介：何琨， 华中科技大学计算机科学与技术学院教授、博士生导师，智能科学与技术专业负责人，华中科技大学霍普克罗夫特计算科学研究中心副主任、执行主任，2016-2017学年康奈尔大学工程学院Mary Shepard B. Upson冠名客座教授，2016年入选德国海德堡阿贝尔/菲尔兹/图灵奖基金会全球200名杰出青年学者，ACM高级会员、IEEE高级会员、CCF杰出会员，CCF理论计算机科学专委会常委，CCF人工智能与模式识别专委会委员。主要研究领域包括人工智能安全、图机器学习、智能优化与决策等。在NeurIPS、ICML、ICLR、CVPR、ICCV、ACL、AAAI、IJCAI等国际顶级会议以及IJCV、TNNLS、TKDD等权威期刊上发表学术论文180余篇，谷歌学术引用约5600次，2015年以来多次入选AI 2000全球最具影响力学者榜单。曾获约束与规划国际学术会议CP 2021最佳论文奖、SAT可满足性问题2022国际算法竞赛主赛道冠军等奖项。受邀担任十余个国际权威会议的程序委员会（高级）委员和PNAS、TPAMI、TIP、TNNLS、IJCV等权威期刊的审稿人。

报告摘要：随着深度学习模型在自然语言处理领域的广泛应用，其对抗样本问题受到越来越多的关注自然语言处理模型的对抗样本即通过在输入样本上添加人类难以察觉的微小扰动（如同义词替换），并不改变输入样本的语义和真实标签，却能轻易误导模型输出错误的预测。对抗样本的存在严重威胁自然语言处理模型在现实应用部署的安全性。因此，研究如何生成对抗样本，进而防御对抗样本攻击、提升模型的对抗鲁棒性，具有重要的理论意义和现实价值。本次报告将聚焦于自然语言处理深度模型的对抗样本研究，介绍代表性的对抗攻击方法，深入探讨如何确保人工智能模型的安全。

报告3：无约束感知理解：从视觉垂域建模到多模态统一与多任务协同                                                                                       

报告人简介：赵健，中国电信人工智能研究院多媒体认知学习团队（EVOL Lab）负责人、资深研究科学家，西北工业大学光电与智能研究院研究员、博导，博士毕业于新加坡国立大学。研究领域包括：多模态AI智能体、临地安防、多媒体分析。发表CCF-A类论文60余篇，一作代表作包括2篇T-PAMI（IF: 24.314）、3篇IJCV （IF: 13.369）等，第一发明人授权国家发明专利5项，技术成果应用于中国电信、百度、蚂蚁金服、奇虎360等7个科技行业领军企业。入选了中国科协及北京市科协“青年人才托举工程”，主持JKW某特区项目、国家自然青年科学基金等项目6项。曾获吴文俊人工智能优秀青年奖（2023）、吴文俊人工智能自然科学奖一等奖（2/5，2022）、ACM MM唯一最佳学生论文奖（一作，1/208，2018，CCF-A类会议），8次在国际重要科技赛事中夺冠。 担任北京图象图形学学会理事，国际知名期刊《Pattern Recognition》、《Artificial Intelligence Advances》、《IET Computer Vision》编委，《Pattern Recognition Letters》、《Electronics》特刊客座编辑，VALSE资深领域主席，ACM Multimedia 2021分论坛主席，CICAI 2022/2023领域主席，CCBR 2024论坛主席，中国人工智能学会/中国图象图形学学会高级会员，“挑战杯”大学生科技作品竞赛评委，中国人工智能大赛专家委委员等。 GitHub主页：https://zhaoj9014.github.io ，学院主页：https://iopen.nwpu.edu.cn/info/1252/4626.htm

报告摘要：无约束条件下各种内外干扰相互耦合，给视觉目标感知理解的建模求解带来极大挑战。本报告首先围绕复杂要素耦合空间属性关系挖掘与识别问题，针对目标视觉观测多变性、属性耦合结构多样性、场景目标复杂多元性等挑战，基于数据和知识混合驱动的深度感知理解思想，提出多模融合学习实例级目标跟踪、要素解耦学习属性级目标识别、因果嵌套学习像素级语义解析等创新，进而结合多源融合、通用模型、多任务/增量学习等拓展延伸，构建面向复杂场景多模态非完整信息融合感知理解的通用模型与方法。

报告4：大模型的多步推理能力                                                                                                                                                    

报告人简介：许志钦，上海交通大学自然科学研究院/数学科学学院长聘教轨副教授。2012年本科毕业于上海交通大学致远学院。2016年博士毕业于上海交通大学，获应用数学博士学位。2016年至2019年，在纽约大学阿布扎比分校和柯朗研究所做博士后。与合作者共同发现深度学习中的频率原则、参数凝聚和能量景观嵌入原则，发展多尺度神经网络等。发表论文于TPAMI，JMLR，ICLR，AAAI，NeurIPS，SIMODS，CiCP，CSIAM Trans. Appl. Math.等学术期刊和会议。现为Journal of Machine Learning的创刊managing editor。

报告摘要：在这个报告中，我将讨论Transformer网络在多步推理任务中的机制。首先，我们探索影响多步推理能力的因素，例如小初始化可以显著提升多步推理能力。其次，我们探讨Transformer网络推理阶数的上限。

报告5：大模型时代的算法治理与实践                                                                                                                                          

报告人简介：黄龙涛，阿里安全资深算法专家，主要从事基于知识驱动的NLP算法技术研发，研究方向包括自然语言处理、知识图谱、AI安全等。曾就职于中国科学院信息工程研究所，任副研究员。目前还担任中国科技新闻学会数据新闻专业委员会常务理事，中国中文信息学会语言与知识计算专业委员会委员。在ACL、AAAI、IJCAI、WWW、SIGIR等人工智能领域顶级会议及期刊发表论文40余篇，Google Scholar累计引用2000余次，曾获得2022年吴文俊人工智能科技进步二等奖、入选第二届中国科协优秀科技论文遴选计划、中科院青促会。

报告摘要：近期以生成式智能为代表的通用人工智能技术获得了长足的发展，对人类社会各行各业、方方面面都将产生深远的影响。我们应如何看待这种影响和变化，是积极正向还是消极负向，是风险挑战还是新的机遇？结合在阿里巴巴集团风险治理的工作经历，谈谈自己的心得体会。