자율주행자동차용 멀티 센서 고장 검출 및 보상 제어에 관한 연구

1. 서 론

자율주행자동차는 운전자 및 탑승자의 운전에 필요한 어떠한 조작의 행위 없이 차량이 스스로 주행 도로 환경과 트래픽 출현 여부를 인지 및 인식하고 주행 상황을 판단하여 최적의 주행 전략을 결정 및 제어하는 시스템으로 정의 된다.^1,2) 이 과정 중 인지 프로세스는 차량에 장착된 센서, V2X(Vehicle to Everything) 통신 및 HD(High Definition) Map으로부터 입력된 복수 개의 인식 정보를 하나의 소스로 통합 처리하는 과정을 거치게 된다.³⁾

자율주행자동차의 로컬리제이션(Localization) 프로세싱은 정밀 지도를 기준으로 현재와 미래의 차량 위치와 방향을 결정하는 과정이다.⁴⁾ 로컬리제이션의 경우 크게 지역적(Local) 로컬리제이션과 전역적(Global) 로컬리제이션으로 나눌 수 있다. 지역적 로컬리제이션의 경우 차량 내부에 장착된 센서들을 통해 차량의 이전 위치와 현재 위치를 비교하고 결정하는 연산 과정이 진행된다. 전역적 로컬리제이션의 경우는 현재의 차량 절대 위치를 결정하기 위한 단계로서 V2X, GPS(Global Positioning System) 및 기타 인프라 통신망을 이용하게 된다. 자율주행자동차의 주행 경로 생성과 주행 제어 전략을 결정하기 위해서는 현재 차량이 위치한 위도와 경도 및 기타 정보로부터 연산이 시작되는 만큼 위의 두 가지 과정은 빠른 실시간 연산 과정으로 진행되어야 한다. 자율주행자동차에는 IMU(Inertial Measurement Unit), 레이더(RADAR), 카메라 및 라이다(LiDAR) 등의 복수 개의 센서들이 중복적으로 사용되며, 주행, 정차, 좌/우회전, 추월 및 차선변경 등의 다양한 주행 조건에서 인지와 제어가 가능하도록 음영 지역이 없는 최적의 위치에 장착되어야 한다. 이런 복수 개의 센서 중에서 일부의 센서에서 고장(Fault)이나 성능 열화 현상이 발생하는 경우 인지와 인식의 성능 저하로 안전한 자율주행 제어는 불가능해진다.

이런 이유로 센서 고장 검출 및 고장 진단과 관련된 많은 연구 논문들이 소개되고 있다.^5,6) 하지만 이들 논문의 경우 다종의 센서들을 모델링하기 위해 많은 동역학적 특성에 대한 가정들(Assumption)을 포함하고 있으며, 복잡한 상태 방정식을 유도하고 있어 자율주행자동차 응용분야에 적용하기 힘든 한계점을 가지고 있다.⁷⁾ 대부분 Tier 1 부품사에서 제작되는 센서의 경우 시뮬레이션 검증 환경을 위한 별도의 센서 모델링 개발 과정을 거치지 않고 있으며, 일부 적용되더라도 시뮬레이션 툴에서 제공해주는 파라미터를 채우기 급급하고, 그 값을 찾기 위한 계측의 과정도 전혀 진행되지 못하고 있는 실정이다. 이와 같이 완성도가 낮은 센서 모델이 개발되어도 기업 비밀 및 통합 환경 등의 차이로 협업이 쉽지 않은 상황으로 센서 고장 검출에 활용하는데 많은 한계점을 가지고 있다. 그 밖의 다른 연구 논문들의 경우 센서 고장 검출과 관련된 전체 프로세스를 제안하지 못하고,^8,9) 고장 검출의 과정만을 집중적으로 제안하고 있어 자율주행자동차와 같이 다양한 이종의 센서들에 적용할 수 없는 한계를 가지고 있다. 따라서 본 논문에서는 합리적이고도 경제적인 센서 고장 검출, 분리 및 보상 전 과정에 대한 고장 허용 제어 알고리즘을 제안하고 이를 시뮬레이션 환경에 구현하여 그 타당성을 검증하였다.

2. 센서 고장 허용 검출 시스템

본 연구에서 제안하는 복수 센서들의 고장 허용 검출 시스템은 후처리기를 선두로 ① 고장 검출, ② 고장 분리, ③ 고장 보상의 3단계 과정으로 구성되며, 전체 구성도와 상세 연산 프로세싱은 Fig. 1과 같다.

Fig. 1

Sensor fault tolerant control system structure

후처리기는 고장 검출기로 입력되기 전 미가공(Raw) 데이터를 거리와 속도 등과 같은 물리적 인식값으로 변환하는 과정을 담당한다. 고장 검출(Fault detection)은 센서의 고장 검출 여부와 발생 시간을 결정하는 과정을 담당하고, 고장 분리(Fault isolation)는 여러 개의 센서 중에서 어떤 센서에서 고장이 발생했는지 탐색하고, 다음 신호 처리 및 연산 사이클 타임에 제어기로 입력되지 않도록 물리적⋅신호적 연결을 차단하는 역할을 담당하게 된다. 전체 과정 중에 마지막 단계인 고장 보상(Fault compensation)은 고장이 발생한 센서의 계측값을 다른 추정값으로 대체하는 역할을 수행한다.

2.1 센서 후처리기(Post Processor)

자율주행자동차에 장착된 센서는 인식 대상 물체의 유무, 상대 거리 및 상대 속도 등의 정보들을 출력한다. 이런 정보들 중에서 이번 연구는 사용자들의 물리적 이해도가 높은 거리(D)를 대상으로 고장 검출부터 고장 보상의 모든 과정을 진행하였다. 센서 후처리기는 센서로 수신된 전파 및 레이저 펄스 등의 아날로그 신호를 디지털 신호로 전환하는 변환 프로세싱을 담당한다. 진폭 형태의 미가공된 아날로그 신호를 이산적인 형태의 신호로 변환하기 위해서는 크기의 해상도(Resolution) 변환과정이 필요하게 되며, 이에 대한 개념은 Fig. 2와 같이 표현할 수 있다. 수신된 아날로그 신호의 디지털 신호로의 변환은 식 (1)과 같으며, 거리값 이라는 물리값으로의 해상도 변환은 식 (2)로 정의된다. 해상도 변환과정의 경우 입력된 아날로그 신호의 부호가 포함된 물리값 변환 가중치(ρ)와 오프셋(δ)의 관계식으로 정의할 수 있다.

$\[ D_{ n}^{d_{out}}=\frac{2^b\times V_i}{V_{ref}} \]$

(1)

$\[ D_{ n}^{a_{out}}=D_{ n}^{d_{out}}\times \rho \pm \delta \]$

(2)

where $$ D_{ n}^{d_{out}}$$ : digital distance value of n^th sensor, V_i : analog input voltage, V_ref : reference voltage, $$ D_{ n}^{a_{out}}$$ : analog distance value of n^th sensor, ρ : conversion factor, δ : offset value

Fig. 2

Analog to digital conversion concept

3. 고장 검출(Fault Detection) 프로세싱

고장 검출은 SG(Scattergram Generation), TCP(Threshold Checking Process)와 PDF(Probability Density Function) 연산의 3단계로 구성된다.

3.1 Scattergram Generation(σ) 알고리즘

자율주행자동차의 제어기로 입력되는 센서의 인지 및 인식 출력 물리값의 ‘퍼짐 수준’으로 정의되는 Scattergram Generation을 통해 센서 고장 검출이 시작된다. 이를 위한 첫 번째 사전 연산 과정으로 후처리기(Post processor)를 통해 신호 처리된 인식값인 거리값의 지수이동평균(EMA: Exponential Moving Average)을 구한다. 그 이유는 센서로 입력된 노이즈의 필터링이 가능하고 계측 데이터가 동적 변화량을 가질 경우 인식값에 대한 예측이 가능한 장점을 가지고 있기 때문이다. 또한, 센서의 출력 신호에 대한 샘플링 시간을 기준으로 가장 최근의 데이터에 가장 높은 가중치(Weighting)가 반영되고 오래된 데이터의 가중치는 기하 급수적으로 감소되는 특징을 가지고 있다. 가중치(α)는 0 < α < 1 범위의 값을 가지게 되고, 관측 수(m)으로부터 α = 2 / (m+1)와 같이 정의할 수 있다. 자율주행자동차에서 필요한 정보는 샘플링 시간이 허용 가능한 가장 최근의 데이터를 기준으로 센서의 인지된 인식값을 제어기의 입력으로 전달하는 과정은 가장 합리적인 신호 처리 방법일 것이다. 후처리과정을 거친 거리값의 지수이동평균 거리값은 식 (3)과 같이 정의할 수 있다. SG 알고리즘의 유도과정을 통한 n번째 센서에서 변환된 최종 물리값인 인식값에 대해 EMA 과정이 반영된 신호 처리후의 값은 $$ D_n^{d_{out-ema}}=D_n$$ 으로 간략화여 이후 관련 수식을 전개하였다.

$\[ D_n^{d_{out-ema}}=\left\{\begin{array}{ccc}{D}_0\hfill & \hfill & t=0\hfill \\ \alpha D_t+\left(1-\alpha \right)D_n^{d_{out-ema}}\hfill & \hfill & t>0\hfill \end{array}\right. \]$

(3)

where D₀ : average distance initial value, $$ D_n^{d_{out-ema}}$$ : exponential moving average digital distance value, α : forgetting factor

Scattergram Generation 개념은 여러 개의 이종 센서들에서 출력되는 신호들의 흩어짐 정도를 나타낸다. 한 예로 자율주행자동차의 레이더, 라이다 및 카메라 센서가 모두 정상 상태에서 전방에 트래픽 차량이 존재 할 경우 센서들로부터 인식된 상대 거리는 일정한 편차 범위 수준안에서 출력될 것이다. 하지만, 특정 센서에서 고장이 발생하거나 성능이 열화 될 경우 편차는 임계값 이상의 수준으로 나타날 것이다. 센서 1~3번에서 계측된 거리값은 Fig. 3과 같이 D₁~D₃으로 근사한 거리값을 출력하나 n번째 센서에 계측된 거리는 D_n은 다른 센서와 달리 편차가 큰 거리값을 출력하게 된다. 각 센서별로 출력된 상대 거리값 차이 ∆D_1-2, ∆D_1-3, ⋯∆D_3-n 역시 이와 유사한 형태의 신호 퍼짐 수준을 나타나게 될 것이다.

Fig. 3

Multi-sensor scattergram concept

이와 같은 인식 신호의 흩어짐 정도의 물리적 특성을 바탕으로 이번 연구에서 제안하는 Scattergram Generation 알고리즘은 식 (4)와 같이 정의한다. 여기서 Scatter Factor의 경우 0<w≤1 사이의 값을 가지게 되며, 신호의 퍼짐 정도에 따른 임계값 민감도를 결정할 수 있는 가중치로 사용된다.

(4)

where σ : scattergram, w : scatter factor, n : number of sensors, τ₁ : sensor initialization time

자율주행자동차 10.0 (m) 앞에 선행 차량이 존재 할 경우 정상적인 센서 D₁과 D₂와 열화된 D₃ 센서의 출력값은 Fig. 4에서 확인할 수 있다. 다른 센서와 달리 D₃ 센서는 선행 차량과의 거리가 9.4 (m)로 인식하고 있다. Scattergram Generation 출력값과 알고리즘은 식 (4)로부터 결정되게 되고, w 값을 1.0으로 설정했을 경우 σ는 0.4~0.7 수준이 되는 것을 Fig. 5에서 확인할 수 있다.

Fig. 4

Distance output of multi-sensor

Fig. 5

Scattergram generation output

다음 과정으로 Scattergram의 PDF 연산이 다음 프로세싱으로 진행된다. 이는 Scattergram의 평균값을 기준으로 어느 수준의 밀도가 유지되고 있는가를 확인하는 과정이다. 한 개의 센서에 고장이 발생 할 경우 Scattergram의 평균값은 0.4963이고, 표준편차는 0.0847193인 것으로 Fig. 6에서 확인된다. 식 (4)로부터 계산된 신호들의 퍼짐 정도의 경우 밀집도가 낮은 수준인 것을 직관적으로 확인할 수 있으며, 동일한 시간과 날씨 조건에서 동일한 물체와의 인식 출력값이 조밀하지 못해 성능이 열화 또는 고장이 발생한 센서가 포함되어 있다는 것을 합리적으로 예측할 수 있다.

Fig. 6

Scattergram probability density function

3.2 Threshold Checking 알고리즘

복수 개의 센서로부터 출력된 인식값을 기준으로 SG(σ) 알고리즘과 PDF 과정을 통해 고장 검출 설계자가 설정한 임의의 임계값(σ_th)보다 클 경우 구성 센서 중에서 고장이 발생한 센서가 포함된 것으로 확정하는 단계가 필요하다. 따라서 이번 연구에서는 TC(Threshold Checking) 알고리즘을 Fig. 7과 같이 제안한다. 이 과정은 고장을 최종 확정하는 단계이며, Fault Detection(F_D)이 활성화 여부로 확인 한다.

Fig. 7

Threshold checking algorithm

where σ_th : scatter threshold, C_m : monitoring counter, C_th : counter threshold, F_D : fault detection

4. 고장 분리(Fault Isolation) 프로세싱

고장이 발생 되거나 열화된 센서의 분리 과정을 통해 자율주행 인지 및 제어 성능의 강건성 확보가 가능해진다. 이런 분리 과정을 위해 선행되어야 하는 것은 여러 개의 센서 중 어떤 센서에서 고장이 발생했는지 정확히 선별해야 과정이 필수적이다. 따라서 이번 장에서는 고장 분리 프로세싱에 대해 제안한다.

4.1 Fault Isolation(F_I) 알고리즘

Fault Detection 알고리즘으로부터 고장 검출이 확정되었을 경우 F_D는 F_D←TRUE로 활성화 되며, 이후 식 (5)와 Fig. 8의 고장 분리 알고리즘을 통해 고장이 발생한 센서를 확인 및 분리 프로세싱이 진행된다. 자율주행차량에 설치된 센서들의 출력인 상대 거리값(D_n)과 Scattergram(σ)은 식 (5)로부터 결정된다. Fig. 8에서 제안한 Fault Isolation 알고리즘을 적용하여 D_n-_F-min으로부터 고장이 발생한 센서를 효율적으로 선별할 수 있게 된다.

$\[ D_{n-F}=\sum _{i=1}^n\left(D_i-\sigma \right) \]$

(5)

where D_n-_F : distance value of fault sensor, D_n-_F-min : minimum distance value of fault sensor

Fig. 8

Fault isolation algorithm

5. 고장 보상(Fault Compensation) 프로세싱

본 연구에서 제안한 자율주행자동차용 센서 고장 검출 과정의 마지막 단계로서 고장 센서의 인식 출력값을 정상적인 센서들의 출력값으로 대체하는 과정을 유도한다. 고장이 발생 할 경우 운전자에게 고장 여부를 알람 및 경고등의 형태로 안내해야 하고 자율주행 제어 전략에 따라 제어 알고리즘은 MRM(Minimum Risk Maneuver)을 선택하거나 예비(Back-up) 모드로 전환되야 한다. 이 과정을 선택적으로 구현하기 위해서는 고장이 발생한 센서의 인식값을 정상적인 센서의 인식값으로 대체 되어야만 가능하다. 따라서 이번 장에서는 고장 보상 프로세싱에 대해 유도한다.

6. 검증 및 실험

검증 시나리오는 자율주행자동차 5.0 (m) 전방에 선행 차량이 존재하며, 두 차량의 주행 속도는 모두 0 (km/h)로 설정하였다. 자율주행자동차에는 3개의 센서가 장착되어 있는 것이 가정하였고, 모든 센서가 정상 상태일 경우와 3번째 센서에서 고장이 발생할 경우로 나눠 실험을 진행하였다. 3번째 센서에서 발생한 고장의 종류는 프로세싱 초기 활성화 기능 저하에 따른 일정 시간 이후 인식한 상대 거리값을 출력할 수 있는 것으로 가정하였다. 시뮬레이션 환경 기반의 상세 검증 시나리오와 주행 환경은 Fig. 9에서 확인할 수 있다.

Fig. 9

Test scenario of multi-sensor

자율주행자동차에 장착된 Sensor #1~#3의 전방차와의 상대 거리 출력값은 Fig. 10과 같이 5.0 (m) 수준인 것을 확인할 수 있다. 센서들의 상대 거리 출력값이 일정한 수준을 유지하고 있으므로 Scattergram(σ) 역시 증가하지 않고 식 (4)에 의해 결정된 값을 출력하고 있다. 따라서 모니터링 카운터인 C_m이 증가하지 않았고, F_D 역시 FALSE 상태를 유지하고 있어 고장이 발생하지 않은 상태임을 확인할 수 있다. Scattergram(σ)의 PDF의 평균은 0.0987468, 표준편차는 0.0280834이므로 높은 밀집도를 보이고 있어 모든 센서에는 고장이나 성능 열화 없이 정상 상태를 유지하고 있다고 판단할 수 있다. 따라서 센서 신호 보상 과정은 진행되지 않고, 모든 센서의 인식값을 그대로 출력하고 있는 것을 Fig. 13에서 확인할 수 있다. 밀집도 수준의 임계값 설정은 고장 검출 설계 단계에서 필요한 고장 검출 민감도로 조정할 수 있다.

Fig. 10

Distance output of multi-sensor without fault condition

Fig. 11

Scattergram, counter and fault detection output(FD) of multi-sensor without fault condition

Fig. 12

Scattergram probability density function without fault condition

Fig. 13

Fault detection flag(FD) and sensor value(Dn-com) without fault condition

Sensor #3에서 초기화 활성화 기능 저하가 발생했을 경우 전방차와의 상대 거리 출력값은 Fig. 14에서 확인할 수 있다. 그 기간은 약 4.0 (s) 동안 지속되었고, 6.0 (s) 이후에 다른 센서와 유사한 수준에서의 상대 거리값을 출력하다가 15.0 (s) 이후 오차가 커지는 조건으로 실험을 진행하였다. 이런 센서 고장 상태에서 Scattergram(σ)은 0.5 수준까지 증가하고 있는 것을 Fig. 15에서 확인할 수 있다.

Fig. 14

Distance output of multi-sensor with fault condition

Threshold Checking 알고리즘에 의해 모니터링 카운터가 2.0 (s) 동안 증가되고, Fault Detection(F_D) 가 TRUE로 상태가 천이 되는 것을 Fig. 15에서 확인할 수 있다. Scattergram(σ)의 PDF의 평균은 0.265904, 표준편차는 0.111618으로서 낮은 밀집도를 유지하고 있어 센서의 출력값이 일정한 수준을 유지하지 못하고 고장이나 열화가 발생한 상태인 것을 합리적으로 추정할 수 있다. 이 결과는 Fig. 16에서 확인할 수 있다. 고장 발생이 확정된 상태에서는 Fault Isolation Algorithm을 이용하여 고장이 발생한 센서의 출력값을 분리시키고 식 (7)에 의해 정상적인 센서들의 출력값을 이용하여 보상된 인식값으로 대체되는 것을 Fig. 17에서 확인할 수 있다.

Fig. 15

Scattergram, counter and fault detection flag(FD) of multi-sensor without fault condition

Fig. 16

Scattergram probability density function with fault condition

Fig. 17

Fault detection flag(FD) and sensor value(Dn-com) with fault condition

7. 결 론

본 논문에서는 자율주행자동차에서 적용 가능한 복수 개의 센서 고장 검출, 분리 및 보상에 대한 고장 허용 제어 전체 프로세싱 및 알고리즘을 제안하였고 이를 두 가지 검증 시나리오에 적용하였다. 실험 결과에서 센서들의 인식 값으로부터 Scattergram이 정상적으로 생성되고, PDF 밀집도 분석을 통해 고장이 발생한 센서에 대한 합리적인 추정이 가능한 것을 확인할 수 있었다. 뿐만 아니라 제어기에 정상적인 센서 신호들이 입력되기 위한 고장 분리와 고장 보상의 과정 역시 별도의 시스템 추가 없이 대체가 가능하다는 것을 증명하였다. 향후 연구 계획으로는 고장이 발생한 센서를 선별할 수 있는 인공지능 Voting 검출 및 보상 제어 알고리즘 분야로 확장될 예정이다.

References

• J. Subosits and J. C. Gerdes, “Autonomous Vehicle Control for Emergency Maneuvers: The Effect of Topography,” American Control Conference, pp.1405-1410, 2015. [https://doi.org/10.1109/ACC.2015.7170930]
• X. Duan, H. Jiang, D. Tian, T. Zou, J. Zhou and Y. Cao, “V2I Based Environment Perception for Autonomous Vehicles at Intersections,” China Communications, Vol.18, No.7, pp.1-12, 2021. [https://doi.org/10.23919/JCC.2021.07.001]
• S. Campbell, N. O'Mahony, L. Krpalcova, D. Riordan, J. Walsh, A. Murphy and C. Ryan, “Sensor Technology in Autonomous Vehicles: A Review,” 29th Irish Signals and Systems Conference (ISSC), pp.1-4, 2018. [https://doi.org/10.1109/ISSC.2018.8585340]
• J. Levinson and S. Thrun, “Robust Vehicle Localization in Urban Environments Using Probabilistic Maps,” IEEE International Conference on Robotics and Automation(ICRA), pp.4372-4378, 2010. [https://doi.org/10.1109/ROBOT.2010.5509700]
• S. Chung and H. Lee, “Study on the Clamping Force Estimation and Failsafe Control Algorithm Design of the Electronic Wedge Brake System,” Transactions of KSAE, Vol.24, No.1, pp.16-23, 2016. [https://doi.org/10.7467/KSAE.2016.24.1.016]
• J. Zhou, “Study on Sensor Fault Tolerance Control of Machining Center Based on MPC Technology,” International Conference on Mechanical, Control and Computer Engineering(ICMCCE), pp.690-693, 2020. [https://doi.org/10.1109/ICMCCE51767.2020.00152]
• M. Realpe, B. X. Vintimilla and L. Vlacic, “A Fault Tolerant Perception System for Autonomous Vehicles,” 35th Chinese Control Conference(CCC), pp.6531-6536, 2016. [https://doi.org/10.1109/ChiCC.2016.7554385]
• S. Jeong, J. Lee and H. Lee, “Redundancy Analysis for Designing Fault Diagnosis Algorithm of Autonomous Vehicle EHB System,” KSAE Fall Conference Proceedings, pp.331-336, 2021.
• Y. Fang, H. Min, W. Wang, Z. Xu and X. Zhao, “A Fault Detection and Diagnosis System for Autonomous Vehicles Based on Hybrid Approaches,” IEEE Sensors Journal, Vol.20, No.16, pp.9359-9371, 2020.