友思特分享 | 车载同步技术创新：多相机系统如何实现精准数据采集与实时处理？
导读
2024.10.16
车载多相机采集系统是智能驾驶技术实际应用中的“眼睛”，友思特车载图像采集和回放系统切实提升了系统的实时同步采集与回放能力，为ADAS等应用的决策系统提供了可靠的核心数据。
视频流同步采集与智驾技术发展
在现代汽车行业中，智能驾驶技术正以惊人的速度发展，引领着交通领域的革新。这一技术的崛起，不仅改变了传统驾驶方式，更在安全性、舒适性和效率方面带来了前所未有的提升。作为智能驾驶技术的核心组成部分，车载多相机系统发挥着举足轻重的作用。它们通过高精度、高速度的图像捕捉与处理，为车辆提供了全方位、无死角的视觉感知能力，从而极大地增强了驾驶过程中的环境感知和决策准确性。
随着科技的不断进步，车载多相机系统也在不断升级和完善，以适应更为复杂多变的驾驶场景。为了实现高级驾驶辅助系统（ADAS）和自动驾驶的精准功能，车载多相机系统必须确保视频流的同步采集。车辆上传感器和相机数量的不断增多的现状，对视频流的实时处理和数据融合技术也提出了更为严苛的要求。这种技术的创新，不仅关乎车辆的安全性能，更在自动驾驶的精确感知与决策中发挥着不可或缺的作用。因此，探索先进的同步采集方案，以实现车载多相机系统数据的高效处理，已成为推动智能驾驶技术发展的当务之急。
图1. 车载多相机数采系统
（来源：Solectrix官网 https://solectrix.de/en/）
为了适配智能驾驶技术的数采要求，市场上各色的采集板卡、采集系统和方案层出不穷。首先为了同时采集多路实时视频数据，采集板卡/系统对通道数量进行了拓展，从传统的一两路视频数据，拓展至4/6/8/16路视频数据；在异步的场合，基于先前收集的真实环境数据或仿真的自动驾驶数据，板卡/系统需要回放带有时间戳的视频数据，用于诸如硬件在环（HiL）测试的场合，同时也对通道数量进行了拓展；在同步的场合，采集数据的同时，需要旁通数据，将同样的数据镜像同时分路，用于诸如存储、处理、显示等目的，也同样对通道数量进行了拓展，进一步满足多样化的需求。
a.采集模式
同时最多
8个视频流
b.回放模式
同时最多
4个视频流
c.TAP模式
同时最多4个视频流输入和输出
图2. 友思特车载采集卡视频数据采集回放经典配置
多路数据满足多相机实时采集的同时，对硬件性能如带宽、实时性和数据传输协议也提出了高要求。在硬件性能上，息息相关的是最终产品的价格，影响的是产品应用过程中的性能上限；而数据传输协议，则是关乎数据传输实时性、准确率、实际传输速率的核心技术点。友思特 proFRAME 车载采集和回放板卡，应用了SerDes技术，为车载多相机的实时采集和记录回放提供了一种可行可靠的技术路线。
SerDes原理结构
SerDes核心包括串行器（Serializer）和解串器（Deserializer），是一种用于高速数据传输的接口技术。它通过将并行数据流转换为串行数据流，从而提高数据传输速率，并在接收端再将串行数据流转换回并行数据流。核心工作原理包括两部分：
串行化：SerDes的发送端（串行器）从本地系统接收并行数据作为输入，通过FIFO传递给内部的编码器、扰码器，然后将其转换为串行数据并将其作为单个数据流，经由均衡器均衡后通过同轴或双绞线电缆等串行传输通道进行传输。这种方式能显著提高数据传输效率。串行化数据时，串行器使用参考时钟的输入作为编码过程的一部分，从而最大限度地减少并行传输中发现的时序问题类型。
反串行化：SerDes的接收端（解串器）接收串行数据作为输入，经由均衡器均衡，通过CDR（时钟恢复）恢复时钟信号，并将其转换恢复为对齐的并行数据流输出，以便进一步处理。
图3. SerDes原理
（来源：维基百科https://en.wikipedia.org/wiki/SerDes）
SerDes技术在现代数据传输中发挥了关键作用。它通过将高带宽的并行数据流转换为串行信号，实现了更高的数据传输速率和更长的传输距离。此技术有效减少了电路板上的布线复杂性，从而降低了系统成本和功耗，并提升了系统的可靠性。SerDes还支持长距离传输，增强了信号的抗干扰能力，使得数据完整性得以保持。通过优化数据传输路径和提高速率，SerDes技术显著提升了系统性能，广泛应用于通信、计算机和存储领域，为高效、稳定的数据传输提供了重要保障。
友思特车载图像采集和回放系统
为了获取汽车的 360° 全景环视图像，需要在汽车的前后左右各设置一个或多个相机。以分辨率为3840*2160、帧率为60、输出图像数据格式为 RAW10 为例，单路视频数据传输带宽要求 ≥5 Giga bit/s。
传输链路①：相机实时获取的视频流数据→车载 ADAS/AD ECU：
前端 GMSL/FPD-Link 相机的 CMOS 图像传感器捕获光信号并转换为电信号，生成原始图像数据。在相机内部经过处理（如去噪、增益、色彩校正等）后通过相机的串行芯片进行串行化，转为 CSI-2 标准的数据格式，通过同轴线缆（Coax）传输到 proFRAME 板卡，经过相机适配器的解串芯片进行解码，将串行数据流恢复成并行的 CSI-2 图像数据格式，传送至板卡的 FPGA 模块进行处理。图像数据经由板卡的 FPGA 模块，同步分出两路数据，一路数据传输至 ADAS 数采设备存储记录，另一路数据重新经过相机适配器的串行化芯片进行串行输出，通过同轴线缆传输到前端的 ECU 设备进行解串，恢复成并行图像数据，用于可视化或其他调试处理目的。
传输链路②：车载 ADAS/AD ECU 的相机控制信号→相机：
ECU 的相机控制信号指令（如I2C和GPIO），通过同轴线缆传输，经由 proFRAME 板卡，多路同时旁通至相机端。I2C 用于设备间的通信，包括配置相机的工作参数（如曝光、增益调整等），GPIO 用于控制相机的行为（如相机的启停、触发拍摄等）。板卡也支持通过同轴线缆给相机供电（PoC）。
友思特 proFRAME 板卡的多路图像数据实时采集和回放功能通过其 TAP 模式实现。TAP（Test Access Point）是一种能够从传输网络或系统中分离出数据流并用于其他目的的工具，能够在不干扰主数据流的情况下，提供对数据进行访问和分析的接口。通过 proFRAME 的 TAP 模式，板卡可以旁通（bypass）多种类型的数据，包括携带高精度时间戳的视频流、相机控制信号指令、外部触发信号和 PoC 供电等。
友思特 proFRAME 板卡提供了3种给相机供电（8V-24V）的方式：
直接主机给板卡供电，板卡通过稳压器将电压经由Coax传输至前端相机；
外部电源连接板卡的相机适配器，经由相机适配器的Coax传输至前端相机；
基于板卡的TAP模式，将ECU提供的PoC旁通至所连接的前端相机。
车载场合对于多传感器数据融合以及时间同步的要求非常高，例如要将2D图像和激光雷达的点云图像进行融合、实现对点云数据的颜色渲染；或者基于2D图像识别结果的box框对点云数据进行分割，从而获取目标的三维位姿 cube。友思特 proFRAME 板卡提供了4种向相机发送同步触发信号实现相机同步的方式：
板卡内部的FPGA生成时钟信号传输至相机；
外部触发源通过板卡的外部触发信号口传输至FPGA再转送至相机；
多proFRAME板卡通过Daisy链拓扑结构同步；
ECU发送触发信号，经由板卡的TAP模式，旁通至相机。
友思特 proFRAME 板卡采用模块化设计的方式，通过切换不同的相机适配器模块，适配包括 GMSL 1/2/3、FPD - Link III/IV、GVIF3、CSI-2 多种传输协议的接口相机/视频流。板卡支持同轴线缆供电和边带通信（I2C和GPIO），可同时进行多路视频数据的采集和回放（多至8路），且采集数据携带纳秒级别的高精度时间戳，并能够以时间戳信息精准同步回放视频流，通过TAP模式旁路各种数据，在ADAS、EoL测试和 AD的硬件在环测试领域都大有建树。
View For Future
总结
车载多相机实时同步采集系统在新能源汽车及智能驾驶领域扮演着至关重要的角色。系统通过高精度、高速度的图像数据采集，为车辆的环境感知、行驶状态监测以及驾驶辅助提供了强有力的技术支持。
随着自动驾驶技术的不断深入发展，车载相机系统的要求也日益严苛，不仅需要具备高分辨率、广视角的成像能力，还必须在各种复杂环境下保持稳定的性能。面对未来智能驾驶的多元化需求，车载多相机实时同步采集系统将持续融合新兴技术，如深度学习、计算机视觉等AI技术，以提升系统的智能化水平。同时，不断优化相机之间的同步性能和图像处理算法，确保在多变的行车环境中能够实时、准确地捕捉关键信息，为车辆的决策系统提供可靠的数据基础。
从长远来看，智能驾驶技术将是未来交通出行的重要发展方向。车载多相机实时同步采集系统作为智能驾驶的“眼睛”，其技术创新和性能提升将直接推动智能驾驶的发展，助力实现更安全、更高效的绿色出行。同时，随着技术的不断进步和成本的优化，这一系统有望在未来实现更广泛的商业应用，为智能交通和绿色出行贡献重要力量。
评论排行