报告题目：《多模态大模型辅助的室内开放场景理解》

演讲摘要：在自动驾驶应用中，准确识别车道线及占据预测是实现高级驾驶辅助系统(ADAS)和全自动驾驶的关键基础任务。由于相机价格低廉且能采集密集视觉信息等优势，基于视觉的3D车道线感知成为了研究的热点课题。我们首先介绍借助Transformer中的注意力机制及动态路面更新的创新LATR模型，取得了最优的单目3D车道线检测性能。另一方面，尽管激光雷达的应用成本较高，但它能够提供准确的3D位置结构信息，也在逐步被一些车企采用且在未来随着成本的降低也将会更广泛地部署到车端。为了探究拥有互补信息的点云数据与图像信息，我们设计了多模态车道线检测方案，即DV-3DLane模型，其通过在透视和俯视空间分别融合图像和激光雷达点云特征，大幅提升了3D车道线检测的定位精度，验证了端到端多模态模型设计在3D车道线检测下的可行性与有效性。进一步，我们介绍基于实际模型的3D及4D占据增强预测。同样地，我们进一步介绍多模态点云增强解析，并将其应用到室外自动驾驶的占据预测及开放场景的室内视觉定位任务。

讲者简介：现任香港中文大学 (深圳)理工学院助理教授， 未来智联网络研究院助理院长，校长青年学者。李镇博士获得香港大学计算机科学博士学位 (2014-2018年)，他还于2018年在芝加哥大学担任访问学者。李镇博士荣获2023年吴文俊人工智能优秀青年，2021年中国科协第七届青年托举人才，2023CVPR HOI4D竞赛第一名，2022年SemanticKITTI语义分割竞赛第一名，2023年IROS 最佳论文Finalist，ICCV2021 Urban3D竞赛第二名，CASP12接触图预测全球冠军等。李镇博士还获得了来自于国家、省市级以及工业界的科研项目。李镇博士领导了港中深的Deep Bit Lab（https://mypage.cuhk.edu.cn/academics/lizhen/），其主要的研究方向是3D视觉解析及应用 (包括但不限于点云解析，多模态联合解析)，深度学习等基础理论算法研究，并致力于将2D/ 3D人工智能算法推广应用于交叉学科，自动驾驶，工业视觉等场景中，在该方向著名国际期刊和会议发表论文60余篇，包括顶级期刊Cell Systems, Nature Communications, T-PAMI, IJCV, TMI, TVCG, TNNLS等，以及顶级会议CVPR, ICCV, ECCV, NeurIPS, ICLR, IROS, ACM MM, AAAI, IJCAI, MICCAI等。李镇博士担任IEEE Transactions on Mobile Computing、IROS副编、ICLR2024 AC以及众多顶刊顶会的审稿人，李镇博士还是广东院士联合会脑科学与类脑智能专委委员，VALSE、MICS、中国图象图形学学会机器视觉专委会，3DV专委会等学术组织的委员。