主论坛讲者

徐宗本
中国科学院院士,数学家、信号与信息处理专家、西安交通大学教授。

报告题目:大模型的极限理论:解读智能涌现现象

演讲摘要:随着大模型的快速发展,它正深刻影响科学技术研究和工业进程。然而,智能涌现的概念和成因仍存在诸多疑问和争议。本报告提出一个数学框架和数学理论来对此加以解析:通过三元随机函数ℰ(N, P, ∂ℓ)来度量大模型泛化性,利用 ℰ(N, P, ∂ℓ)的极限行为/极限速度 (N→∞, P→∞, ∂ℓ→0)来度量大模型的尺度变化律(Scaling Law),并以此为基础来解译智能涌现。对于线性大模型情形,我们进而应用大维随机矩阵理论详细刻画了大模型的极限行为,导出了模型尺寸与训练数据规模的最优配置律,展现了大模型完全不同于小模型的统计学习规律。最后,报告提出了一系列与本研究相关的公开问题,供后续研究探讨。

讲者介绍:徐宗本,中国科学院院士,数学家、信号与信息处理专家、西安交通大学教授。主要从事智能信息处理、机器学习、数据建模基础理论研究。提出稀疏信息处理的L(1/2)正则化理论,为稀疏微波成像提供了重要基础;发现并证明机器学习的“徐-罗奇”定理,解决了神经网络与模拟演化计算中的一些困难问题,为非欧氏框架下机器学习与非线性分析提供了普遍的数量推演准则; 提出分布式微剂量CT、超快核磁共振成像(MRI)等创新数学理论,为新一代智能型医学影像设备研发提供了基础原理与技术。曾获国家自然科学二等奖、国家科技进步二等奖、陕西省最高科技奖、国际IAITQM理查德.普莱斯(Richard Price)数据科学奖、陈嘉庚科学奖、华罗庚数学奖、苏步青应用数学奖;在2010年世界数学家大会上作45分钟特邀报告。 曾任西安交通大学副校长。现任琶洲实验室(黄埔)主任、西安交通大学西安数学与数学技术研究院院长、大数据算法与分析技术国家工程实验室主任,为国家大数据专家咨询委员会委员、国家新一代人工智能开放创新平台及战略咨询委员会委员。