研究突破 arXiv cs.AI
WAM-Diff2:蒸馏自回归 VLA 为扩散策略提速 WAM-Diff2: Hierarchical AR-to-Diffusion Distillation for Highly Efficient Autonomous Driving VLA
精读摘要
视觉-语言-动作(VLA)模型是端到端自动驾驶的主流范式,但顺序自回归解码带来高计算延迟和暴露偏差,限制了高效部署。扩散策略虽能低延迟并行执行,从零训练却往往得到窄域的单任务架构,缺乏整体视觉-语言推理能力。WAM-Diff2 用分层蒸馏把预训练的自回归 VLA 迁移为扩散策略,兼顾通用推理与实时效率,为自动驾驶 VLA 落地提供了新路线。 VLA models are the leading paradigm for end-to-end autonomous driving, but sequential autoregressive decoding imposes high latency and exposure bias. Diffusion policies enable low-latency parallel execution, yet training them from scratch yields narrow single-task architectures. WAM-Diff2 uses hierarchical AR-to-diffusion distillation to transfer pretrained autoregressive generalists into efficient diffusion policies.
关键要点
- 自回归 VLA 存在高延迟与暴露偏差问题
- 从零训练扩散策略缺乏视觉-语言整体推理能力
- WAM-Diff2 用分层蒸馏把自回归 VLA 转为扩散策略
💡 对普通人的影响:暂无直接影响;未来自动驾驶系统有望更快响应、更省算力。