리플렉터 맵핑 분포 최소화를 통한 4D 이미징 레이더-IMU 외부 파라미터 캘리브레이션

1. 서 론

자율주행 차량은 주행 환경을 정확히 인식하고 안전한 주행 계획을 수립하기 위해 다양한 센서를 활용한다. 그 중에서도 레이더(Radar) 센서는 날씨와 조명 조건에 강인하며, 장거리에서 객체를 감지할 수 있어 자율주행 시스템에서 핵심적인 역할을 수행한다. 그러나 기존의 레이더 센서는 해상도가 낮아 작은 객체나 복잡한 도시 환경에서의 정확한 인식에 있어 한계점을 가지고 있다.

이러한 문제를 극복하기 위해 최근에는 4D 이미징 레이더가 주목받고 있다.^1,2) 4D 이미징 레이더는 거리, 속도, 방위각과 함께 고도각 정보를 동시에 제공하며 기존 레이다 대비 높은 센서분해능을 통해 더욱 정밀한 객체 인식과 환경 이해를 가능하게 한다.^3,4) 이를 통해 작은 객체나 보행자, 자전거 등 다양한 객체를 감지할 수 있으며, 복잡한 도시 환경에서도 안정적인 자율주행을 지원할 수 있다.

하지만 4D 이미징 레이더 센서의 성능을 최대로 활용하기 위해서는 정확한 캘리브레이션이 필수적이다. 센서의 위치나 자세에 오차가 존재할 경우, 객체의 위치나 움직임을 잘못 판단하여 안전에 심각한 위험을 초래할 수 있다. 이는 SOTIF(Safety Of The Intended Functionality)관점에서 자율주행 시스템의 기능적 불충분(Functional Insufficiency)으로 이어질 수 있으며, 장애물 미탐지나 잘못된 거리 유지와 같은 예측되지 못한 동작 오류를 발생시킬 수 있다. 예를 들어 레이더 센서가 부정확하게 보정되어 위나 아래로 기울어져 있을 경우 전방의 보행자나 차량을 인지할 때, 실제 위치나 거리를 잘못 판단할 수 있다. 이는 레이더 센서가 전방 차량과의 거리를 실제보다 멀게 인식하여 충돌과 같은 사고로 이어질 수 있다. 따라서 차량과 레이더 센서 간의 정밀한 캘리브레이션을 통해 자율주행 시스템의 신뢰성을 향상시키는 것이 중요하다.

레이더 센서의 캘리브레이션 방법은 크게 세 가지로 구분된다. 먼저 리플렉터 기반의 수동 캘리브레이션 방법은 리플렉터를 이용하여 센서와 차량 간의 상대적인 위치와 자세를 수동으로 조정하여 수행하는 방법이다.⁵⁾ 리플렉터는 레이더 신호를 강하게 반사하도록 설계된 물체로 캘리브레이션 과정에서 기준점 역할을 수행한다. 해당 방법은 높은 정확도를 제공하며, 직접적인 측정을 통해 신뢰성 있는 결과 획득이 가능하지만, 반복적 실험과 수동 작업이 필요하기 때문에 시간이 많이 소모된다. 또한 리플렉터와 차량 간의 정밀한 거리 측정을 통한 환경 구축이 필요하다는 단점이 존재한다.

두번째는 오도메트리(Odometry) 기반 추정 방식으로 차량과 레이더 센서의 이동 데이터를 활용하여 상대적인 위치와 자세를 추정하는 방식이다.^6-8) 이 방법은 리플렉터와 같은 추가 장비가 필요 없으나, 오도메트리 누적 오차로 인해 정확도가 저하될 수 있다. 또한 대부분의 연구^6,7)에서 특정한 주행 조건(8자 주행, 등속 회전 주행 등)이 요구되며, 6축(x, y, z, roll, pitch, yaw)에 대한 캘리브레이션을 수행하기 어렵다는 단점이 존재한다.⁶⁾

마지막으로 환경 기반 자동 캘리브레이션 방법이 있다. 해당 방법은 레이더로 감지된 환경 내 정적 물체(가드레일, 건물, 벽 등)를 기반으로, 차량의 이동 경로와 레이더 포인트 클라우드 사이의 기하학적 일관성을 이용해 캘리브레이션을 수행한다. 구체적으로, 차량의 이동에 따라 관찰되는 레이더 포인트들의 기하학적 구조(선, 면 등)를 지속적으로 피팅하여 센서의 위치와 자세를 보정하는 방식이다. 이 방법은 주행 환경에 존재하는 다양한 물체(가드레일, 정적 객체 등)를 기준으로 캘리브레이션이 가능하여 활용 가능성이 높지만 레이더 데이터의 노이즈와 처리 복잡도가 높아 알고리즘의 속도가 느릴 수 있다. 또한 대부분의 연구^9-12)에서는 레이더의 Pitch나 Yaw 방향 보정에 집중하는 한계가 있다. 포인트 클라우드 데이터 처리로 인해 알고리즘의 복잡도가 높고, 수렴속도가 느릴 수 있다.

본 연구에서는 SCC(Single Corner Cube) 리플렉터¹³⁾ 맵핑 분포 최소화를 통한 노이즈에 강건하고 정확한 6축 캘리브레이션 방법을 제안한다. 전체 시스템은 RCS 기반 리플렉터 포인트 추출과 평면 모델델 기반 Z-RP 파라미터 추정, 리플렉터 포인트 클라우드 맵의 분포 최소화를 통한 최적화의 세 파트로 구성되며 Fig. 1에 나타난다.

Fig. 1

The overall system architecture of SCC

RCS 기반 리플렉터 포인트 추출 단계는 시스템의 전체적인 연산량 감소와 정확성 향상을 위해 진행되며, 레이더 포인트 클라우드로부터 RCS(Radar Cross Section)¹⁴⁾ 값이 높은 리플렉터 포인트들을 추출한다. 평면 모델 기반 Z-RP 파라미터 추정 단계는 앞서 추출한 리플렉터 포인트들로부터 평면 모델을 추정하고, 이를 지면과의 변환관계를 통해 레이더 센서의 z축 값과 Roll, Pitch 값을 추정한다. 마지막으로 리플렉터 포인트 클라우드 맵의 분포 최소화를 통한 최적화의 경우 차량의 이동 경로를 바탕으로 리플렉터 포인트들을 글로벌 좌표계 상에 맵핑하여 리플렉터 별 생성된 포인트들의 분포가 최소가 되는 방향으로 최적화를 수행하여 레이더 센서의 x, y축 값과 Yaw 값을 추정한다. 이를 통해 차량과 레이더 센서 간 6자유도 캘리브레이션을 수행할 수 있으며, 정밀한 캘리브레이션을 통해 자율주행 시스템의 신뢰성을 향상시킬 수 있다.

제안한 시스템을 검증하기 위해 실제 환경에서 실험을 통한 검증을 진행하고, 본 연구의 타당성을 보여준다.

2. 시스템 구조

전체 시스템 구조는 Fig. 1에 나타난다. 캘리브레이션을 수행하기 위해 레이더 포인트 클라우드와 차량 움직임을 추정하기 위한 IMU 센서가 사용된다.

첫번째 단계로 RCS 기반 리플렉터 포인트 추출을 수행한다. 이 때, 사용되는 데이터로는 레이더 센서를 통해 생성되는 포인트 클라우드로 RCS 기반 필터링을 통해 리플렉터에 대한 포인트만을 추출하게 된다. 두번째 단계는 평면 모델 기반 Z-RP 파라미터 추정이다. 이는 앞서 추출한 리플렉터 포인트로부터 평면 모델을 추정 후 지면 평면과의 관계를 통해 레이더 센서의 Roll, Pitch 각도와 z 값을 추정한다. 이를 통해 Roll, Pitch, z 값이 보정된 리플렉터 포인트 클라우드를 획득할 수 있다. 마지막으로, 리플렉터 포인트 클라우드 맵의 분포 최소화를 통한 최적화 단계에서는 앞선 모듈을 통해 생성된 리플렉터 포인트 클라우드와 차량의 움직임을 입력으로 하여 리플렉터 포인트들을 글로벌 좌표계 상에 맵핑한다. 이후 생성된 리플렉터 포인트 클라우드 맵을 통해 각 리플렉터에 대한 포인트들의 분포가 최소가 되는 방향으로 캘리브레이션 파라미터의 최적화를 진행하여 레이더 센서의 x, y값과 yaw 각도를 추정한다.

3. RCS 기반 리플렉터 포인트 추출

본 연구에서는 레이더 포인트 클라우드에서 SCC 리플렉터를 활용하여 신뢰성 있는 리플렉터 포인트를 추출하는 과정을 제안한다. 이 절에서는 SCC 리플렉터의 특징, RCS의 이론적 배경 및 이를 이용한 리플렉터 검출 과정을 설명한다.

3.1 SCC 리플렉터의 특징

SCC 리플렉터는 코너 리플렉터의 일종으로, 다음과 같은 두가지 주요 특징을 가진다. 첫째, SCC 리플렉터는 입사각에 상관없이 전자기파를 동일한 방향으로 반사함으로써 일관된 반사 방향을 유지한다. Fig. 2에서 볼 수 있듯이 SCC 리플렉터는 기하학적 특성¹³⁾으로 인해 다양한 각도에서 입사된 신호를 정확하고 예측 가능한 방식으로 반사한다. 둘째, SCC 리플렉터는 주변 환경의 다른 물체들보다 훨씬 강한 반사 신호를 반환함으로써 신호의 강도를 크게 향상시킨다.

Fig. 2

Geometrical characteristic of SCC reflector

이러한 특성은 리플렉터가 레이더 데이터에서 두드러지게 나타나도록 하며, 노이즈가 많은 환경에서도 쉽게 식별할 수 있게 한다. 그로 인해 리플렉터 포인트만을 사용할 경우 연산량 감소와 데이터의 일관성을 향상시킬 수 있다.

4. 평면 모델을 활용한 ZRP 캘리브레이션

본 연구에서는 레이더 센서의 Z위치, Roll, Pitch 각도를 정확하게 추정하기 위해 평면 모델 기반 ZRP(Z위치, Roll, Pitch)캘리브레이션 방법을 제안한다. 이 과정은 앞서 추출한 리플렉터 포인트 클라우드를 기반으로 평면을 피팅하여 센서의 자세 변화를 정밀하게 추정하는데 중점을 둔다.

4.1 리플렉터 기반 평면 피팅

많은 ADAS(Advanced Driving Assistance System)에서 차량 좌표계는 지면 위 차량의 뒤 축 중심으로 설정되며, 레이더 센서의 좌표계 (Radar Coordinate)는 이를 기준으로 상대적인 위치와 자세를 표현한다. 이 경우 레이더 센서의 Roll 및 Pitch 각도는 지면(World Coordinate)에 대한 센서의 상대적인 각도를 나타낸다. 기존의 평면 모델을 활용한 ZRP 캘리브레이션 방법은 주로 지면 포인트 클라우드를 기반으로 수행되었으나, 레이더 데이터의 경우 지면 데이터의 희소성 문제로 인해 지면에 대한 평면을 정확하게 피팅하기 어렵다. 이러한 문제는 캘리브레이션 오차를 야기하며, 레이더 센서가 지면에 대한 위치와 자세를 정확히 반영하지 못하게 한다.

이를 해결하기 위해, 본 연구는 앞서 추출한 리플렉터 포인트 클라우드를 기반으로 평면 피팅 방법을 도입하였다. Fig. 3에서 리플렉터는 지면으로부터 일정한 높이로 수직 배치되어 있으며, 이를 통해 리플렉터 포인트들로부터 추정된 가상의 평면은 지면과 평행하게 유지된다. 그러나 레이더 좌표계가 지면에 대해 기울어져 있을 경우, 리플렉터 포인트로 형성된 평면과 지면 법선벡터 사이에 각도 차이가 발생한다. 이러한 차이를 활용하여 레이더 센서의 자세 변화(Roll 및 Pitch)를 추정하고, 두 좌표계(World Coordinate와 Radar Coordinate) 간의 정확한 관계를 보정할 수 있다.

Fig. 3

ZRP estimation through plane-to-ground relationship

5. 리플렉터 포인트 클라우드 맵의 분포 최소화를 통한 최적화

본 연구에서는 레이더 센서의 x, y 위치와 yaw 값을 정확하게 추정하기 위해 리플렉터 포인트 클라우드 맵의 분포 최소화를 목표로 한 최적화 방법을 제안한다. 이는 이전에 구한 ZRP(z 위치, Roll, Pitch) 값과 차량의 이동 경로를 통해 센서 좌표계의 포인트들을 글로벌 좌표계로 변환하는 방식으로 이루어진다. 이 과정에서 리플렉터 포인트들의 분포를 최소화하여 보다 정확한 캘리브레이션 파라미터를 추정하는 것을 목표로 한다.

5.1 분포 최소화를 통한 캘리브레이션 파라미터 추정

센서 좌표계의 포인트 p^sensor = [x_s,y_s,z_s]^T를 전역 좌표계의 포인트 p^global = [x_g,y_g,z_g]^T로 변환 시 다음과 같은 수식을 통해 변환 가능하다.

$\[ p^{global}=T_{vehicle }^{global}\cdot T_{sensor }^{vehicle}\cdot p^{sensor} \]$

(8)

여기서 $$ T_{sensor }^{vehicle}$$는 센서 좌표계에서 차량 좌표계로의 변환 행렬로, 이전에 추정한 Roll, Pitch, z 값을 포함하며, $$ T_{vehicle }^{global}$$는 차량 좌표계에서 글로벌 좌표계로의 변환 행렬이다. Fig. 4를 보면 알 수 있듯이 추정된 캘리브레이션 파라미터가 정확하다면 각 Reflector에 대한 포인트들이 퍼지지 않고 정확하게 한 점에 수렴하지만 오차가 있을 경우, 동일한 물리적 위치에 있는 리플렉터라도 글로벌 좌표계에서 서로 다른 위치로 맵핑되어, 차량이 이동하면서 수집한 리플렉터 포인트들이 공간적으로 퍼지게 된다. 이 때, 리플렉터 포인트들의 분포를 최소화하는 방향으로 캘리브레이션 파라미터 (x, y, yaw)를 조정하면, 포인트들이 글로벌 좌표계에서 하나의 위치로 수렴하게 된다. 이는 센서 좌표계와 차량의 글로벌 좌표계 간의 변환이 정확해졌음을 의미한다.

Fig. 4

Distribution of reflector points according to calibration values. Left: accurate calibration, Right: inaccurate calibration

6. Experiment

본 연구에서는 제안한 캘리브레이션 방법의 유효성을 검증하기 위해 실험을 진행하였다.

6.1 시험 환경

제안한 캘리브레이션 방법의 유효성 검증을 위해 포인트 클라우드 취득을 위한 레이더 센서와 차량의 움직임을 추정하기 위한 IMU 센서가 필요하다. 이를 위해 레이더 센서의 경우 Bitsensing 사의 AFI 910 모델을 사용하였으며 차량 이동 경로 추출을 위해 필요한 IMU 센서의 경우 Novatel 사의 PwrPak7 IMU를 사용하였다. 평가를 위한 GT(Ground truth) 값은 리플렉터 기반 수동 캘리브레이션 방법으로 측정되었으며, 취득 플랫폼은 Fig. 5와 같이 구성하였다. 기존 레이더는 수직 해상도가 낮아 주로 차량 전방에 장착되어 사용되었으나, 4D 이미징 레이더는 향상된 수직 해상도를 제공하여 차량 천장에 장착할 경우 전방뿐 아니라 차량 주변의 넓은 시야확보가 가능하다. 이를 통해 다양한 각도에서 데이터를 수집하고 분석할 수 있어, 보다 포괄적인 성능 검증이 가능하다. 따라서 본 연구에서는 4D 이미징 레이더를 차량 천장에 장착하여 실험을 진행하였다.

Fig. 5

A data acquisition platform for real-world experiment

6.2 캘리브레이션 결과 정성적 분석

캘리브레이션 시스템의 유효성을 평가하기 위해, 초기 캘리브레이션 파라미터와 GT(Ground truth) 값 간의 위치 오차를 10 cm, 회전 오차를 5도로 설정하여 실험을 진행하였다. Fig. 6은 최적화 전/후의 리플렉터 포인트 클러스터 분포를 비교한 결과를 보여준다. Fig. 6의 왼쪽 결과는 최적화 전의 리플렉터 클러스터 분포를 나타내며, 오른쪽 결과는 최적화 후의 결과이다. 최적화 후 각 클러스터 내 포인트들이 중앙점에 더욱 가깝게 수렴하는 것을 확인할 수 있다. 이러한 수렴은 최적화 과정을 통해 캘리브레이션 파라미터가 개선되어, 각 포인트들이 글로벌 좌표계 상에서 일관되게 맵핑되었음을 나타낸다. 이는 최적화를 통해 캘리브레이션 정확도가 향상되었음을 의미한다.

Fig. 6

Left: Before optimization, Right: After optimization. The calibration values obtained through the optimization process result in a reduced distribution of points when mapped

6.3 캘리브레이션 결과 정량적 분석

제안된 캘리브레이션 시스템의 유효성을 평가하기 위해 x, y, z 위치와 Roll, Pitch, Yaw 각도에 대한 평균 절대 오차를 반복적인 실험을 통해 측정하였다. 표에 제시된 평균 오차 값은 Ground truth 값과 각 실험에서의 측정 결과 간의 평균 절대 오차를 나타낸다. 위치 파라미터(x, y, z)의 평균 오차는 각각 0.018 m, 0.036 m 0.012 m로 나타났으며 자세 파라미터에 대한 평균 오차는 각각 0.069, 0.137, 0.201로 나타났다.

Table 1

Calibration result

Fig. 7은 각 파라미터에 대한 오차 분포를 시각적으로 보여준다. Yaw 파라미터의 오차 분포가 다른 파라미터들에 비해 넓게 퍼져있지만 약 0.2안에 포함되는 것을 보여 캘리브레이션의 안정성을 보여준다.

Fig. 7

Calibration results visualized as boxplots. Boxplot showing absolute errors for translation (meters) and rotation (degrees). Red line: median, Blue box: interquartile range

7. 결 론

본 연구는 SCC 리플렉터 기반 ZRP 캘리브레이션 방법과 리플렉터 포인트 클라우드 맵의 분포 최소화를 통한 최적화 방법을 제안하였다. 결론은 다음과 같이 요약할 수 있다.

• 1) RCS 값을 기준으로 리플렉터 포인트를 효과적으로 추출하여 레이더 데이터에서 노이즈를 제거하고, 일관성 있는 리플렉터 포인트만을 남김으로써 캘리브레이션 정확도를 높일 수 있는 기반을 마련하였다.
• 2) 리플렉터 포인트를 활용한 평면 모델 기반 ZRP(z축 위치, Roll, Pitch) 캘리브레이션을 수행하였다. 이를 통해 이후 최적화 과정에서 조정해야 할 파라미터 수를 줄여 최적화 문제를 단순화하고 계산 효율성을 높였다.
• 3) 리플렉터 포인트 클라우드 맵의 분포를 최소화하는 최적화 문제를 설정하여, 캘리브레이션 파라미터(x, y, yaw)를 추가로 보정하였다. 이를 통해 글로벌 좌표계에서 각 클러스터 내 리플렉터 포인트가 일관된 위치로 수렴하도록 하여 캘리브레이션 정밀도를 높였다.

본 연구의 결과는 리플렉터 기반의 캘리브레이션 시스템이 레이더 센서의 위치 및 자세 추정에서 높은 정확도를 달성할 수 있음을 보여준다. 이를 통해 레이더 데이터를 안정적이고 신뢰성 있게 사용할 수 있다.

추후 연구로는 센서 딜레이를 추가적으로 보정하는 캘리브레이션 방법을 제안한다. 레이더 센서의 시간 지연(Time delay)은 포인트 매핑 과정에서 공간적 불일치를 초래하여 캘리브레이션 정확도를 저하시킬 수 있다. 시간 지연으로 인해 차량이 움직이는 동안 감지된 객체의 포인트는 실제 위치와 어긋나게 매핑되며, 이는 정적 타겟(예: 리플렉터)의 위치와 매핑 결과 간의 불일치를 발생시킨다. 따라서 맵핑 분포 최적화 시 센서의 시간 지연에 대한 Cost를 추가함으로써 각 센서 별 존재하는 딜레이 시간을 추정해 각 센서가 사용되는 알고리즘의 결과를 향상시킬 수 있을 것으로 기대되기에 추후 연구로 제안한다.

Acknowledgments

본 연구는 국가연구개발사업인 “실시간 수요대응 자율주행 대중교통 모빌리티 서비스 기술 개발(RS-2021-KA161756)”의 연구비 지원에 의해 수행되었다.

References

• J. H. Lee, J. W. Seok, S. Y. Kim, K. C. Jo, H. S. Lim and G. Jeon, “LiDAR-Radar Fusion Mapping and Radar Localization Leveraging the Power of 4D Imaging Radar,” KSAE Annual Conference Proceedings, pp.833-834, 2023.
• S. H. Song, D. H. Paek and S. H. Kong, “Joint Detection and Tracking-Based 4D Radar 3D Multi-Object Tracking,” KSAE Spring Conference Proceedings, pp.1034, 2024.
• S. Sun, A. P. Petropulu and H. V. Poor, “MIMO Radar for Advanced Driver-Assistance Systems and Autonomous Driving: Advantages and Challenges,” IEEE Signal Processing Magazine, Vol.37, No.4, pp.98-117, July 2020. [https://doi.org/10.1109/MSP.2020.2978507]
• M. Jiang, G. Xu, H. Pei, Z. Feng, S. Ma, H. Zhang and W. Hong, “4D High-Resolution Imagery of Point Clouds for Automotive mmWave Radar,” IEEE Transactions on Intelligent Transportation Systems, Vol.25, No.1, pp.998-1012, January 2024. [https://doi.org/10.1109/TITS.2023.3258688]
• K. Sarabandi and T. C. Chiu, “Optimum Corner Reflectors for Calibration of Imaging Radars,” IEEE Transactions on Antennas and Propagation, Vol.44, No.10, pp.1348-1361, October 1996. [https://doi.org/10.1109/8.537329]
• Y. Bao, T. Mahler, A. Pieper, A. Schreiber and M. Schulze, “Motion-Based Online Calibration for 4D Imaging Radar in Autonomous Driving Applications,” 2020 German Microwave Conference (GeMiC), pp.108-111, 2020.
• R. Y. Tsai and R. K. Lenz, “A New Technique for Fully Autonomous and Efficient 3D Robotics Hand/Eye Calibration,” IEEE Transactions on Robotics and Automation, Vol.5, No.3, pp.345-358, 1989. [https://doi.org/10.1109/70.34770]
• D. Kellner, M. Barjenbruch, K. Dietmayer, J. Klappstein and J. Dickmann, “Joint Radar Alignment and Odometry Calibration,” 2015 18th International Conference on Information Fusion (Fusion), pp.366-374, July 2015.
• A. Bobaru, C. Nafornita and V. C. Vesa, “Unsupervised Online Horizontal Misalignment Detection Algorithm for Automotive Radar,” 2022 14th International Conference on Communications (COMM), pp.1-5, 2022. [https://doi.org/10.1109/COMM54429.2022.9817178]
• J. Guo, S. Sun and K. Li, “Automatic Azimuth Alignment for Automotive Radar,” SAE 2018-01-1606, 2018. [https://doi.org/10.4271/2018-01-1606]
• K. Choi, G. Seo, J. Lee, S. Jeong and J. Oh, “Automatic Radar Horizontal Alignment Scheme Using Stationary Target on Public Road,” 2013 European Microwave Conference, pp.1863-1866, 2013.
• A. Bobaru, C. Nafornita and C. Vesa, “A Method for Automatic Radar Azimuth Calibration Using Stationary Targets,” 2021 IEEE 17th International Conference on Intelligent Computer Communication and Processing (ICCP 2021), October 28-30, 2021. [https://doi.org/10.1109/ICCP53602.2021.9733500]
• M. A. Player, “Polarization Properties of a Cube-Corner Reflector,” Journal of Modern Optics, Vol.35, No.11, pp.1813-1820, 1988. [https://doi.org/10.1080/09500348814551981]
• E. F. Knott, J. F. Schaeffer and M. T. Tulley, Radar Cross Section, SciTech Publishing, 2004. [https://doi.org/10.1049/SBRA026E]