제안하는 방법은 딥러닝 네트워크를 이용하여 센서 결함을 예측하는 구조를 제안한다. GAN 기반으로 학습을 하기 때문에 생성기와 판별기 총 두 개의 딥러닝 네트워크를 필요로 하고, 이 때 판별기가 최종적으로 결함을 예측하는 검출기로 사용된다. Fig. 1은 생성기와 판별기의 네트워크 구조를 도식화한 것이다. 생성기는 Latent vector를 입력으로 하고 가짜 센서데이터를 생성하는 역할을 한다. 생성기의 모델은 시계열 데이터를 생성하기에 적합한 LSTM을 이용했고 출력단에 Multi-Layer Perceptron(MLP)를 추가했다. 판별기는 시계열 데이터 분류에 적합한 1D-CNN을 4개 쌓은 구조로 설계했다. 모든 심층 레이어의 활성화 함수는 ReLU를 사용했다. Table 1은 각 네트워크 설계에 사용된 파라미터이다. 생성기는 생성하는 시퀀스 길이와 특성을 고려하도록 파라미터를 설정했고, 판별기는 Receptive field를 고려하고 충분한 Feature를 추출할 수 있도록 파라미터를 설정했다.

Fig. 1 
Network (a) Generator network (b) Discriminator network

제안한 방법을 학습하기 위해서는 차량의 센서 데이터가 필요하다. 다양한 상황에 대한 데이터를 얻기 위해 차량 시뮬레이션 프로그램인 CarSim을 통해 데이터를 수집했다.

Tabel 2는 데이터를 수집에 사용된 시나리오와 수집한 데이터 양을 나타낸 표이다. 차량의 동역학적 특성을 잘 나타내는 직진, 오실레이션, 단일 차선 변경, 이중 차선 변경, 급한 이중차선 변경 총 다섯 가지 경로를 선정하여 시나리오를 구성하였다. 다양한 속도 조건의 데이터를 얻기 위해 도심주행을 가정하여 각 시나리오마다 속도를 40, 50, 60 kph로 변경하며 데이터를 수집하였다. 운전자 모델은 CarSim에 있는 운전자 모델을 이용했다.

수집한 센서값은 Table 3과 같이 실제 차량에 주로 탑재되는 센서인 IMU, GPS, 휠 엔코더와 스티어링 각도 센서부터 측정되는 물리량에 대해서 실험을 진행했다. 센서 측정 주기는 0.01초로 설정하고 데이터를 수집하였다.

Fig. 2 
Data collection method

검증을 위해 3가지 결함 상황을 가정하였다. 첫번째로 상수 결함은 센서가 단선, 합선 등의 이유로 특정 값을 갖는 상수 시그널이 측정되는 경우이다. 두번째로 노이즈 결함은 신호에 노이즈가 심하게 포함되는 경우이다. 마지막으로 역상 결함은 특정 센서 측정값의 부호가 반대로 나타나는 경우이다. 이는 상수, 노이즈 결함과는 달리 신호에 대한 결함이 아닌 동역학적 특성을 통해 결함을 검출할 수 있다.

각 결함에 대한 데이터는 정상데이터의 특정 센서 값을 식 (1)과 같이 변형하여 생성했다.

위 식에서 ϕt:t+ni(은 i번째 센서의 t ~ t+n 시간 스텝 센서 데이터이다. ϕ~t:t+ni는 결함이 발생한 센서 데이터를 나타낸다. α는 임의의 상수이고, R_{N∼(μ, σ)}는 평균이 µ이고 표준편차가 σ인 정규분포를 따르는 랜덤 노이즈다.

센서별 결함 여부를 검출하는 검출기를 학습하기 위해 GAN기반의 학습 방법을 제안한다. 판별자의 출력값이 하나인 기존의 GAN과는 달리 제안하는 검출기의 출력 값은 센서 측정값의 수만큼 존재하기 때문에 새로운 학습 방법이 필요하다.

Fig. 3의 (a)는 판별기의 학습구조를 도식화한 것이다. 먼저 생성기는 Latent vector를 입력 받아 모든 센서에 대한 합성 신호를 생성한다. 실제 데이터의 특정 센서를 무작위로 선정하여 센서 값을 생성기가 생성한 합성 데이터로 바꾼다. 판별기는 실제와 합성 데이터가 섞인 데이터를 입력으로 받아 실제 센서 값에 대해서는 참으로 구분하고, 합성 데이터로 바뀐 센서에 대해서는 거짓이 되도록 학습한다. 또한 실제 신호만을 입력 받아 모든 센서에 대해 참이 되도록 학습한다.

Fig. 3 
Training architecture (a) Training discriminator (b) Training generator

Fig. 3의 (b)는 생성기의 학습구조를 도식화한 것이다. 판별자 학습과 마찬가지로 실제 데이터의 무작위로 선정한 특정 센서 값을 생성기가 생성한 합성 데이터로 바꾼다. 생성기는 판별기가 모든 센서 값에 대해 참으로 구분하도록 학습한다.

본 논문에서 제안하는 학습방법의 목적함수는 식 2와 같이 나타낼 수 있다.

위 식에서 G는 생성기이고, D는 판별기이다. X는 실제 센서 데이터이고, Z는 Latent space이다. F는 특정 센서 데이터를 Fake data로 대치하는 Fault Injection함수이다. Algorithm 1은 학습과정을 Pseudo Code로 나타낸 것이다. 판별기는 목적함수가 감소하도록 학습하여 생성기가 생성한 센서 데이터에 대해서는 해당 채널 출력이 0이 되도록, 실제 데이터에 대해서는 해당 채널 출력이 1이 되도록 학습한다. 이를 통해 판별기는 실제 데이터의 분포에 대해 1을 출력하게 된다. 생성기는 목적합수가 증가하도록 학습하여 생성한 데이터를 판별기가 1로 판단하도록 학습한다. 이를 통해 생성기는 실제와 유사한 분포의 데이터를 생성할 수 있게 된다.

학습을 위해 사용된 하이퍼 파라미터는 다음과 같다. Latent vector는 크기가 32인 랜덤 벡터이고 N ~ (0,1)의 정규 분포를 따른다. 에폭은 445, 생성기 학습률은 0.001, 판별기 학습률은 0.01로 하였고 배치사이즈는 32로 했다. 학습은 Python 3.10와 Pytorch 1.13.1을 사용하여 제안한 알고리즘을 구현했다.

판별기가 올바로 학습이 되었는지 확인하기 위해 이진 분류에서 주로 사용되는 평가지표인 민감도(Sensitivity)와 특이도(Specificity)를 이용하여 판별기의 결함 검출 성능을 평가했다. 민감도와 특이도를 계산하는 공식은 식 (3) 이다.

위 식에서 TP는 True Positive, FN은 False Negative, FP는 False Positive이다.

1- 특이도를 가로축으로 하고 민감도를 세로축으로 하여 Threshold에 대한 그래프를 그리면 Receiver Operating Characteristic(ROC) 곡선을 그릴 수 있다. ROC 곡선은 (0,0), (1,1)을 반드시 지나는 특징이 있고, 곡선이 좌상단에 가까울수록 좋은 성능의 이진 분류기임을 나타낸다.

Fig. 4는 2.2절에서 언급한 3가지 결함에 대한 ROC 곡선이다. ROC 곡선을 확인해보면 3가지 경우 모두 (0,0)과 (1,1)을 잇는 직선을 기준으로 좌상단에 가까우므로 정상적으로 이진분류기의 역할을 수행하고 있다고 판단된다.

Fig. 4 
ROC curve

40 kph로 이중 차선 변경을 하는 상황의 데이터로 결함 검출 성능을 검출하고자 한다. Fig. 5는 해당 시나리오의 각 센서 별 정상 신호이다. 이후 검증은 정상 신호에 특정 구간에 결함을 생성하여 결함이 검출이 되는지 여부를 판단한다. 검증 시 모델 출력에 로우 패스 필터를 적용하여 검출 노이즈를 제거한 결과를 표시했다. 로우 패스 필터는 윈도우 내의 모델 예측 값을 평균 값이 기준 이상일 경우 결함이라고 검출한다.

Fig. 5 
Normal signal

Fig. 6은 6 ~ 12초 구간에 좌측 후륜의 바퀴 속도 센서에 상수 결함이 발생한 경우의 결과이다. (a)는 결함이 발생한 상황의 센서 신호이고, 좌측 후륜 바퀴 속도 센서의 측정값이 50 kph로 고정되어 나오는 것을 확인할 수 있다. (b)는 각 센서에 대한 결함 검출 결과이다. 좌측 후륜 바퀴 속도 센서에 대해 결함이라고 올바르게 예측하고 있고, 다른 센서는 정상 신호임을 표시하고 있다. 그러나 결함이 발생한 시점과 약간의 시간 지연이 있는 것을 확인할 수 있다. 이는 결함 검출기에 신호를 적층하여 입력할 때 발생하는 지연과 로우 패스 필터로 인한 지연으로 발생하는 값이다.

Fig. 6 
Evaluation result about constant fault (a) signals (b) fault prediction flag

Fig. 7은 6 ~ 12초 구간에 횡방향 가속도에 노이즈가 발생한 경우의 결과이다. (a)는 결함이 발생한 경우의 센서 신호이고, 횡방향 가속도에 평균은 0이고, 표준편차가 1인 정규분포의 노이즈가 추가되어 측정되고 있다. (b)는 각 센서에 대한 결함 예측 결과이다. 횡방향 가속도 신호에 결함이 있음을 올바르게 예측하고 있다.

Fig. 7 
Evaluation result about noise fault (a) signals (b) fault prediction flag

Fig. 8은 6 ~ 12초 구간에 횡방향 가속도가 역상이 된 결과이다. (a)는 결함이 발생한 경우의 센서 신호이고, 횡방향 가속도 값의 부호가 반대로 나타나는 것을 확인할 수 있다. (b)는 각 센서에 대한 결함을 예측한 결과이다. 9 ~ 11초 사이 구간은 횡방향 가속도의 결함을 예측하지 못한다. 이는 측정값이 0에 가까우므로 정상 측정신호와 결함신호의 차이가 작아 정상신호로 분류하는 것으로 판단되고, 측정 값이 적당히 큰 구간에서는 결함을 올바르게 검출하고 있는 것을 확인할 수 있다.

Fig. 8 
Evaluation result about reverse fault (a) signals (b) fault prediction flag