CCDM 2024 大模型论坛系列——青年学者论坛

随着大模型技术的迅猛发展，我们看到了其在自然语言处理、计算机视觉、生成模型等诸多领域的广泛应用和深远影响。同时，我们也见证了青年力量在大模型技术发展中的巨大影响。在本次论坛中，我们邀请到了大模型领域优秀的青年学者们，他们是国产大模型ChatGLM、视频大模型Vidu核心技术U-ViT、通用图大模型GraphGPT、通用语义向量模型BGI、大模型对齐解释等大模型技术的核心研究者，将分享他们关于这些技术的最新研究与独到见解。

论坛主持人                                                                                                                                                                                    

主持人简介：王啸，北京航空航天大学教授，博士生导师。研究方向为数据挖掘与机器学习，主持国家自然科学优秀青年基金等项目。共发表论文100余篇，谷歌学术引用10000余次，7篇入选最有影响力论文榜单，3次获得(提名)CCF A/B类等国际会议论文奖，成果多次被写入业界图学习标准库PyG和DGL等。获得教育部自然科学一等奖，中国电子学会科技进步一等奖，吴文俊人工智能优秀青年奖，ACM中国新星提名奖，2021-2023年入选斯坦福大学发布的全球Top 2%顶尖科学家榜单，2022-2024年入选AMiner评选的AI2000最具影响力学者Honorable mention。担任WWW/AAAI的高级程序委员会委员，IEEE TAI期刊副编辑。

主持人简介：吴乐，合肥工业大学计算机与信息学院教授，博士生导师。主要研究领域包括个性化推荐、可解释与公平性用户建模、因果推断应用研究。近五年在知名国际期刊及及国际会议（如发表论文七十余篇。主持科技部科技创新2030—新一代人工智能重大项目、国自然重点基金等国家级、省部级及应用合作项目数十项。入选了全球华人AI学者榜单、中国科协青年人才托举工程、微软亚洲研究院铸星学者访问计划等， 获得了吴文俊人工智能优秀青年奖、中国人工智能学会优秀博士论文奖等。吴乐博士担任了多个顶级国际期刊审稿人和二十余次国际会议高级）程序委员会委员。

报告1：ChatGLM：理解与探索大模型能力涌现                                                                                                                             

报告人简介：东昱晓，清华大学计算机系副教授，知识工程实验室（KEG）成员，曾工作于脸书人工智能和微软总部研究院。研究方向为数据挖掘、图机器学习和基础大模型，相关成果应用于十亿级用户社交网络和知识图谱。入选IJCAI Early Career Spotlight，获2017年ACM SIGKDD博士论文奖提名和2022年ACM SIGKDD Rising Star Award。

报告摘要：基础大模型在意图感知、指令跟随、目标规划等方面展现出强大的泛化能力，为自主智能体的研究和应用提供了通用模型基座。团队自23年3月开始内测千亿对话模型ChatGLM.cn并开源ChatGLM-6B系列模型，逐步支持多模态理解、128K上下文、函数调用、All Tools和个人智能体GLMs，详见 https://github.com/THUDM。 报告将分享最新GLM-4模型研发过程中的探索与实践。我们发现预训练损失可以比模型大小或计算量更好地理解语言模型的涌现能力，进而合理指导模型训练与能力提升。

报告2：视觉扩散模型前沿进展                                                                                                                                                       

报告人简介：李崇轩，中国人民大学高瓴人工智能学院准聘副教授、博士生导师，2010-2019年获清华大学学士和博士学位。主要研究机器学习、深度生成模型，代表性工作Analytic-DPM、DPM-Solver作为核心采样技术部署于DALL·E 2、Stable Diffusion等。获国际会议ICLR杰出论文奖、吴文俊优秀青年奖、吴文俊人工智能自然科学一等奖、中国计算机学会优秀博士论文、ACM SIGAI 中国新星奖等。入选博新计划、北京市科技新星，主持、参与多项国家自然科学基金、科技部课题。担任ICLR 2024、NeurIPS 2024领域主席。

报告摘要：扩散概率模型逐步地对先验分布去噪恢复数据分布，可以有效地建模各类视觉数据。本次报告会介绍视觉扩散模型的前沿进展，包括基础架构设计与训练，视频生成、三维物体生成与可控编辑等方面的理论、算法和应用，并简单探讨视觉生成模型的未来发展。

报告3：基于大语言模型的图数据挖掘                                                                                                                                            

报告人简介：黄超，香港大学（HKU）计算机科学系和数据科学研究所的助理教授和博士生导师。他研究兴趣为大型语言模型（LLM）、图学习、推荐系统和时空数据挖掘。黄超在这些领域的的研究论文获得了显着的认可，相关的研究工作被认为是WWW2023、SIGIR2023、SIGIR2022和KDD2019等会议上最具影响力的论文之一。此外，黄超的研究成果入围了WWW2023、WSDM2022和WWW2019等会议的最佳论文奖提名。他卓越的贡献也被授予了声望较高的“2024年理论计算机和信息科学前沿科学奖”。

报告摘要：图形的复杂相互连接和结构依赖性给传统机器学习模型带来了重大挑战。然而，想象一下，如果我们能够充分利用大型语言模型（LLMs）来应对这些挑战，将会有什么样的可能性呢？这正是我们研究的重点——开发专门针对图形数据的LLMs。我们的策略是设计能够有效编码和推理图形结构的LLMs，从而把握节点和边之间的复杂关系。通过将语言模型的范式应用于图形背景，我们的目标是深化对图形结构的理解，从而实现更强大和可推广的图形分析，以解决现实世界中的针对于数据关系学习的挑战问题。

报告4：Model Interpretation and Alignment                                                                                                                                

报告人简介：王希廷，中国人民大学准聘助理教授，曾是MSRA社会计算组首席研究员，本科、博士毕业于清华大学。研究兴趣为可解释、负责任的人工智能，相关科研成果落地全球占有量第二的必应搜索引擎。两篇论文被CCF-A类期刊TVCG评选为封面论文，被邀请担任IJCAI、AAAI领域主席，加入IEEE VIS组委会担任档案主席，Visual Informatics编委，被评为AAAI 2021 杰出高级程序委员。两次受邀在SIGIR可解释推荐研讨会上发表主旨演讲，是CCF和IEEE高级会员。

报告摘要：大模型时代，可解释和模型对齐变得至关重要。大模型对人的工作生活影响越来越大，但却更加难以理解和控制。OpenAI对外支持的七大研究方向中，可解释和模型对齐就是其中两个。我们应该怎么让深度学习模型变得更透明、可理解、更容易训练、调试和优化，确保它和人类意图对齐呢？这次报告将围绕这些问题进行探讨，介绍我们近期可解释人工智能（XAI）以及利用强化学习从人类反馈学习（RLHF）的方法，探索越狱等大模型安全问题、推理等性能提升的可能解决方案。

报告5：通用语义向量学习与大模型增强的检索                                                                                                                              

报告人简介：刘政，北京智源人工智能研究院研究员，信息检索与知识计算方向技术负责人。香港科技大学博士。历任微软亚洲研究院主管研究员，华为2012实验室技术专家。长期从事自然语言处理与信息检索领域的研究工作。领导研发通用语义向量模型BAAI General Embedding，全球累计下载量3000余万次，综合性能业界领先。多项研究成果应用于微软BING Search，华为Petal Search等重要工业场景。近年来于AI、NLP相关领域发表顶级学术论文50余篇，并获得NeurIPS会议杰出论文奖。先后主办“the Web Conference 2024 Workshop on Information Retrieval Meets Large Language Models”、“TOIS Special Issue on Pre-trained Models for Search and Recommendation”等学术活动。

报告摘要：通用语义向量模型是搜索、问答、个性化等AI场景中的基础性组件。与此同时，向量检索技术也在大语言模型检索增强（RAG）中扮演着重要的角色。本次报告将探讨“向量学习中的若干关键技术”，并就“大模型时代检索技术的机遇与挑战”展开讨论。