暴雪天气下的自动驾驶视觉困境：事件相机能否改善去雪效果？

背景与问题

在暴风雪等恶劣天气条件下，自动驾驶系统的视觉感知能力显着降低。雪花的快速移动和密集遮挡会在摄像机图像中形成高光、拖尾或随机噪声，破坏道路、车辆和行人的信息。

传统的单帧图像除雪方法仅依赖空间特征，容易出现伪影。虽然基于视频的除雪方法使用时间信息，但它们对高帧率和帧间对齐有极高的要求。实际驾驶场景中，车辆自运动、雪花随机运动等情况下容易出现对准误差。它们对相机参数和场景泛化能力也很敏感。

因此，雪地视觉退化问题不仅受到算法能力的限制，还受到传感器信息本身局限性的影响。

一、事件相机方法概述

为了缓解下雪天气下视觉退化的问题，苏黎世大学机器人与感知小组提出了一种使用事件相机的方法。事件相机不是以固定帧速率获取图像，而是在像素亮度变化时生成事件，具有亚毫秒时间分辨率。

雪花在事件流中形成连续的时空条纹，而背景结构变化相对缓慢，为区分雪花和场景提供了新的信息线索。

研究团队设计了一个结合注意力机制的网络模块，从事件数据中识别雪花遮挡区域，减少这些区域对原始图像的信任，通过时空上下文恢复被遮挡的背景，实现高质量的图像重建。

二、数据集与实验

为了验证方法的有效性，团队构建了DSEC-Snow数据集。该数据集利用绿屏技术将真实的雪景叠加到原始的DSEC自动驾驶数据上，同时生成同步图像、事件流和准确的地面实况。

实验结果表明，该方法与现有最优方法相比，图像重建PSNR提升约3 dB，在深度估计、光流等下游任务中性能提升约20%。此外，该方法在高密度雪遮挡场景中表现出更加稳定的性能和细节保留能力，比传统的图像或视频除雪方法具有明显的优势。

三、方法局限与讨论

尽管事件摄像机显示出雪地视觉感知的潜在改进，但它们的作用本质上是补充性的，而不是根本性的解决方案。事件摄像机无法取代激光雷达或毫米波雷达在极端天气下的可靠传感能力，其性能依赖于多传感器融合系统。

在实际的自动驾驶系统中，事件摄像机提供的高时间分辨率信息可以增强系统在浓雪和严重遮挡条件下的视觉鲁棒性，但仍需要与其他传感器结合以实现可靠的全天候感知。

总结

总之，这项研究表明事件摄像机为下雪天气的视觉感知提供了新的信息维度。通过深度融合事件和图像数据，该方法在除雪质量、细节保留和场景鲁棒性方面表现良好。它为自动驾驶系统在恶劣天气下保持视觉感知提供了可行的辅助策略。也为多模态感知和全天候可靠性研究提供了重要参考。

因此，ShiMetaPi基于锐思智能芯技术的事件相机产品——灵光1号等EVS系列产品有望推动该技术在自动驾驶系统中的应用，为暴风雪和复杂天气条件下的视觉感知提供高性能的硬件支持。