PERCEPTION
TOLiD：通过令牌提升蒸馏弥合视觉基础模型到LiDAR预训练的架构鸿沟
Sutharsan Mahendran, Darshana Priyasad, Kaushik Roy, Tharindu Fernando, Sridha Sridharan, Clinton Fookes, Peyman Moghadam
- 发表年份
- 2026
- 引用次数
- 0
- 访问权限
- 开放获取
摘要
本文提出TOLiD方法，通过将LiDAR骨干与从冻结视觉基础模型初始化的学生视觉Transformer耦合，并利用可见性掩蔽进行令牌级蒸馏，解决了跨模态蒸馏中视觉基础模型与LiDAR骨干之间的架构差异问题。该方法通过视锥池化和视锥注意力将点特征转换为令牌，并采用掩蔽双线性采样将令牌特征回传至点云，实现了无需密集点标注的自监督LiDAR预训练。
关键词
LiDAR pretrainingvision foundation modelcross-modal distillation3D scene understandingtoken lifting
相关论文
PERCEPTION
📊 22,245 引用
Artificial intelligence: a modern approach
1995
PERCEPTION
📊 14,348 引用
Are we ready for autonomous driving? The KITTI vision benchmark suite
Andreas Geiger, P Lenz, R. Urtasun
2012
PERCEPTION
开放获取📊 9,777 引用
TensorFlow: Large-Scale Machine Learning on Heterogeneous Distributed Systems
Martı́n Abadi, Ashish Agarwal, Paul Barham 等 20 位作者
2016
PERCEPTION
📊 9,681 引用
Vision meets robotics: The KITTI dataset
Andreas Geiger, Philip Lenz, Christoph Stiller 等 4 位作者
2013