h5作品网站如何交换友情链接

摘要：现有的端到端自动驾驶（AD）算法通常遵循模仿学习（IL）范式，但面临着因果混淆和开环差距等挑战。在本研究中，我们建立了一种基于3D图形仿真器（3DGS）的闭环强化学习（RL）训练范式。通过利用3DGS技术，我们构建了真实物理世界的照片级真实数字副本，使AD策略能够广泛探索状态空间，并通过大规模的试错学习处理分布外场景。为了增强安全性，我们设计了专门的奖励机制，引导策略有效应对安全关键事件，并理解现实世界中的因果关系。为了更好地与人类驾驶行为保持一致，我们将模仿学习作为正则化项融入强化学习训练中。我们引入了一个由多样且未见过的3DGS环境组成的闭环评估基准。与基于模仿学习的方法相比，RAD在大多数闭环指标上均表现出更强的性能，尤其是碰撞率降低了3倍。大量的闭环结果可访问Github。Huggingface链接：Paper page，论文链接：2502.13144

1. 引言

随着自动驾驶技术的快速发展，端到端自动驾驶（AD）逐渐成为学术界和工业界的研究热点。与传统模块化的自动驾驶系统不同，端到端自动驾驶通过直接映射传感器输入到驾驶动作，简化了系统结构，提高了泛化能力。然而，当前大多数端到端自动驾驶算法遵循模仿学习（IL）范式，该范式在实际部署中面临诸多挑战。

模仿学习主要通过学习人类驾驶演示来训练神经网络，以复制人类驾驶行为。然而，这种方法主要捕捉的是观察（状态）与动作之间的相关性，而非因果关系，这导致模型在识别导致规划决策的真正原因时存在困难，进而可能产生捷径学习现象。此外，模仿学习训练数据主要涵盖常见驾驶行为，缺乏对长尾分布情况的覆盖，导致模型在面对罕见或危险情况时表现不佳。

另一个重要挑战是开环训练与闭环部署之间的差距。模仿学习政策是在开环方式下使用分布良好的驾驶演示进行训练的，但真实世界的驾驶是一个闭环过程，每一步的微小轨迹误差会随时间累积，导致复合误差和分布外场景的出现。因此，模仿学习政策在实际部署中往往难以应对这些未见情况，其鲁棒性令人担忧。

为了解决这些问题，本研究提出了一种基于3D图形仿真器（3DGS）的闭环强化学习（RL）训练范式，旨在通过大规模试错学习，使AD策略能够处理分布外场景，并更好地理解现实世界中的因果关系。

2. 相关工作

2.1 动态场景重建

在自动驾驶领域，动态场景重建是一个关键环节。近年来，隐式神经表示在新型视图合成和动态场景重建方面占据主导地位。然而，这些方法依赖于隐式表示，导致渲染速度较慢，限制了其在实时应用中的实用性。相比之下，3D高斯溅射（3DGS）作为一种高效替代方案，在保持高视觉保真度的同时，显著提高了渲染速度。

StreetGaussians、Driving-Gaussians和HUGSIM等研究已经证明了高斯表示在建模城市环境方面的有效性。然而，这些工作主要利用3DGS进行闭环评估，而本研究则将其融入RL训练框架中。

2.2 端到端自动驾驶

基于学习的规划方法因其数据驱动的本质和随着数据量增加而表现出的卓越性能而受到广泛关注。UniAD通过集成多项感知任务来增强规划性能，展示了端到端自动驾驶的潜力。V AD则进一步探索了使用紧凑的矢量化场景表示来提高效率。一系列工作也采用了单轨迹规划范式，并进一步增强了规划性能。

然而，这些端到端方法大多遵循数据驱动的模仿学习训练范式。本研究则提出了一种基于3DGS的RL训练范式，为端到端自动驾驶算法的训练提供了新的思路。

2.3 强化学习

强化学习是一种有前景的技术，但尚未在自动驾驶领域得到充分利用。AlphaGo和AlphaGo Zero等研究已经展示了强化学习在游戏领域的强大能力。近年来，OpenAI O1和Deepseek-R1等研究也利用强化学习发展了推理能力。

在自动驾驶领域，虽然已有一些研究应用了强化学习，但这些研究要么基于非照片级真实的模拟器（如CARLA），要么不涉及端到端驾驶算法（因为它们需要完美的感知结果作为输入）。据我们所知，RAD是第一个在照片级真实的3DGS环境中训练端到端AD代理的工作。

3. RAD方法

3.1 端到端驾驶策略

RAD的总体框架如图2所示。它接受多视图图像序列作为输入，将传感器数据转换为场景令牌嵌入，输出动作的概率分布，并采样一个动作来控制车辆。

• BEV编码器：首先使用BEV编码器将多视图图像特征从透视视图转换为鸟瞰图（BEV），获得BEV空间中的特征图。该特征图随后用于学习实例级地图特征和代理特征。
• 地图头：利用一组地图令牌从BEV特征图中学习驾驶场景的矢量化地图元素，包括车道中心线、车道分隔线、道路边界、箭头、交通信号等。
• 代理头：采用一组代理令牌来预测其他交通参与者的运动信息，包括位置、方向、大小、速度和多模式未来轨迹。
• 图像编码器：除了上述实例级地图和代理令牌外，还使用单独的图像编码器将原始图像转换为图像令牌。这些图像令牌为规划提供了密集且丰富的场景信息，是对实例级令牌的补充。
• 动作空间：为了加速RL训练的收敛，设计了一个解耦的离散动作表示。将动作分为两个独立分量：横向动作和纵向动作。动作空间构建在0.5秒的短时间范围内，在此期间假设车辆的运动由恒定的线性和角速度近似。
• 规划头：使用场景表示E_scene（包括地图令牌、代理令牌和图像令牌）和规划嵌入E_plan作为输入，通过级联Transformer解码器输出横向动作a_x和纵向动作a_y的概率分布，以及对应的价值函数V_x(s)和V_y(s)。

3.2 训练范式

RAD采用三阶段训练范式：感知预训练、规划预训练和强化后训练。

• 感知预训练：在第一阶段，使用地图和代理的真实标签来监督地图头和代理头的输出，从而隐式地编码相应的高层信息。此阶段仅更新BEV编码器、地图头和代理头的参数。
• 规划预训练：在第二阶段，为了防止RL训练的不稳定冷启动，首先使用大规模真实世界驾驶演示进行模仿学习，以初始化动作的概率分布。此阶段仅更新图像编码器和规划头的参数，而BEV编码器、地图头和代理头的参数被冻结。
• 强化后训练：在第三阶段，RL和IL协同微调动作分布。RL旨在引导策略对关键风险事件敏感并适应分布外情况，而IL则作为正则化项来保持策略行为与人类相似。

3.3 AD策略与3DGS环境的交互机制

在3DGS环境中，自动驾驶车辆根据AD策略行动，而其他交通参与者则根据真实世界数据以日志回放方式行动。使用简化的运动学自行车模型迭代更新自动驾驶车辆的姿态，并根据更新后的姿态计算新的状态，作为下一轮推理过程的输入。

3.4 奖励建模

奖励函数是训练信号的来源，决定了RL的优化方向。奖励函数由四个组成部分构成：与动态障碍物的碰撞、与静态障碍物的碰撞、与专家轨迹的位置偏差和航向偏差。这些奖励组件在特定条件下被触发，并用于优化AD策略。

3.5 策略优化

在闭环环境中，每一步的误差会随时间累积。因此，奖励不仅由当前动作决定，还由前面步骤的动作决定。奖励通过广义优势估计（GAE）向前传播，以优化前面步骤的动作分布。优化过程采用近端策略优化（PPO）框架，并引入辅助目标以提供对整个动作分布的密集指导，加速收敛。

4. 实验

4.1 实验设置

• 数据集和基准：收集了2000小时的真实人类驾驶演示，并通过低成本自动化标注管道获取地图和代理的真实标签。使用这些标签作为第一阶段感知预训练的监督。从收集到的驾驶演示中选取了4305个高碰撞风险的关键密集交通片段，并重建这些片段以形成3DGS环境。其中3968个环境用于RL训练，其余337个环境用作闭环评估基准。
• 评估指标：使用九个关键指标评估AD策略的性能，包括动态碰撞率（DCR）、静态碰撞率（SCR）、碰撞率（CR）、位置偏差率（PDR）、航向偏差率（HDR）、偏差率（DR）、平均偏差距离（ADD）、纵向加速度变化率（Long.Jerk）和横向加速度变化率（Lat.Jerk）。

4.2 消融研究

通过消融研究评估了RAD中不同设计选择的影响，包括RL和IL之间的平衡、不同奖励源的作用以及辅助目标的效果。结果显示，最佳的RL-IL比例为4:1，此时碰撞率最低且轨迹一致性稳定。全面的奖励函数和辅助目标组合能够显著提升安全性和轨迹一致性。

4.3 与现有方法的比较

与基于模仿学习的端到端自动驾驶方法在提出的3DGS密集交通评估基准上进行了比较。结果显示，RAD在大多数指标上均表现出更好的性能，尤其是碰撞率降低了3倍。

4.4 定性比较

提供了RAD与仅模仿学习政策在3DGS环境中的定性比较。结果显示，RAD在处理动态环境和复杂交通情况时表现更好，能够有效避免碰撞并处理挑战性任务。

5. 局限性与结论

本研究提出了第一个基于3DGS的RL框架来训练端到端AD策略。通过结合RL和IL，RAD在建模因果关系、缩小开环差距以及保持与人类驾驶行为的一致性方面表现出色。然而，当前使用的3DGS环境以非反应式方式运行，且3DGS的效果仍有待提升。未来工作将重点解决这些问题，并将RL扩展到更高水平。

总结

RAD是一种创新的端到端自动驾驶训练方法，通过结合基于3DGS的闭环强化学习和模仿学习，成功解决了模仿学习面临的因果混淆和开环差距等问题。实验结果表明，RAD在安全性、轨迹一致性和驾驶平滑性方面均表现出色，尤其是在处理复杂和动态交通情况时具有显著优势。尽管目前仍存在一些局限性，但RAD为端到端自动驾驶算法的训练提供了新的思路和方向，具有广阔的应用前景。

停止生成

2502.13144v1

pdf5.4w 字