생성 딥 러닝 모델을 이용한 근 미래 차량 속도 프로파일 예측 기술 개발

2.1 미래 속도 프로파일 예측 모델 구성

미래의 차량 속도를 정확히 예측하기 위해서는 과거의 속도 추이뿐만 아니라 가까운 미래에 마주치게 될 도로 및 교통 상황 정보를 동시에 활용하여야 한다. 인공 신경망에 과거의 속도 프로파일만을 적용하게 되면 미래 속도는 단지 과거 데이터의 추세선 개념을 벗어나지 못하므로 운전자가 미래에 가속 또는 감속 등 어떤 운전 행동을 수행할지를 정확히 예측하는 것은 불가능하다.

따라서 운전자의 미래 가감속 행동을 예측할 수 있는 주행 상황의 컨텍스트 파악이 필요하며, 이를 위해서는 차량 전방 상황의 정보가 반드시 추가적으로 고려되어야 한다. 차량 전방 상황의 정보로는 도로의 지오메트리 특성을 담고 있는 도로 형상 정보(구배, 곡률, 도로 종류)가 필요하며, 전방의 가까운 위치에 선행 차량이 존재하는 경우 자차의 미래 속도는 추월을 하지 않는 한 전방차의 속도에 구속되기 때문에 전방 레이더 신호(전방차의 상대 속도 및 차간 거리) 역시 중요하다. 특히 가까운 미래에 차량이 정지하거나 가속할 것이라고 예상할 수 있는 교통 신호등의 점등 상태도 미래 속도의 예측 정확도를 높이기 위해 매우 중요하므로 차량과 인프라 간의 통신(V2I)을 통한 교통 신호등 정보도 미래 속도 예측에 반드시 활용되어야 한다. Fig. 1에 본 연구에 활용한 인공 신경망의 입출력 구성을 도시하였다.

Fig. 1

Deep learning network structure in concept for vehicle speed prediction

본 연구에서는 미래의 차량 속도를 예측하는 범위를 10초로 제한하였다. 경우에 따라서는 더욱 먼 미래의 속도 예측이 필요할 수도 있겠지만, 단기간의 실시간 소요 구동력 예측이나 조기 변속단 결정 등을 목적으로 속도를 예측하는 경우라면 5∼10초 수준의 미래 예측이 적정하다고 판단하였다. 먼 미래 시점을 예측하는 경우에는 예측의 정확도 및 신뢰도는 저하할 수밖에 없으며, 이를 극복하기 위해서는 인공 신경망의 크기가 증대되어야 하므로 실시간 제어를 위해서는 예측 구간을 적정 범위로 제한하여 계산에 소요되는 부하를 줄이고 예측의 정확도를 향상시키는 전략이 무엇보다 중요하다.

최근 일본의 도요타 자동차와 미국 미시간 대학교의 합동 연구 결과⁴⁾로서 과거 10초 동안의 연속 데이터를 활용하여 미래 10초 후 단일 시점의 속도를 예측하는 지점 예측(Pointwise prediction) 기술이 제안된 바 있다. 그러나 이 경우 어떤 변화를 거쳐 10초 후의 속도에 도달했는지 그 과정을 알 수 없으므로 본 연구에서는 더욱 정교한 파워트레인 제어를 위해 현재부터 미래 10초까지의 차량 속도를 1초 단위 10개 시점으로 연속 예측하는 구간 예측(Horizon prediction)방식을 적용하였다. Fig. 2는 그 예측의 원리를 도시한 것이다.

Fig. 2

The principal of vehicle speed prediction

Fig. 2에 설명된 바와 같이 차량의 과거 주행 패턴을 확률적 모델로 구성하고 차량 전방 상황에 따라 미래 속도를 예측하는 원리이며, 본 연구에서는 다층 레이어로 구성된 컨볼루션 신경망(CNN)을 활용하여 조건적 배리에이셔널 오토 인코더(Conditional Variational Auto Encoder, CVAE)를 구성하고, 이를 통해 차량의 미래 속도를 예측할 수 있는 생성 딥 러닝 네트워크(Generative deep learning network)⁶⁾를 제안하였다. 생성 딥 러닝은 학습 데이터의 확률 분포를 따르는 유사 데이터의 생성이 가능한 기법으로서 학습 데이터에 포함되지 않은 입력 신호에 대해서도 신뢰성 있는 출력 신호를 예측할 수 있다는 장점이 있다.

2.2 배리에이셔널 오토 인코더(Variational Auto Encoder, VAE)의 연구 동향

Kingma와 Welling⁷⁾은 잠재 변수로 데이터의 확률 모델을 학습하고 새로운 데이터를 추론할 수 있는 생성 모델의 일종인 VAE를 제안하였다. VAE의 구조⁸⁾는 Fig. 3과 같이 ϑ를 파라미터로 하여 잠재 변수 z를 모델링하는 인코더(Encoder) Q와 θ를 파라미터로 하여 데이터 X를 추론하는 디코더(Decoder) P로 구성되어 있다.

Fig. 3

The diagram of a vanilla VAE of which inputs and outputs are identical

VAE의 파라미터 ϑ와 θ는 식 (1)을 최대화하도록 학습하며, 잠재 변수 z를 표준 분포 $$ \mathcal{N}\left(0,I\right)$$을 따르는 변수로 가정하면 식 (2)를 만족하므로 식 (1)은 식 (3)과 같이 정리된다. 여기서 C는 상수이므로 식 (3)의 최소화와 무관하고 2σ²를 식 (3)의 두 항 간의 가중치 β로 간주하면, 학습을 위해 모집합 X로부터 샘플링된 데이터 X_i에 대하여 식 (3)을 식 (4)와 같이 정리할 수 있다.⁸⁾ Fig. 4는 바닐라 배리에이셔널 오토 인코더(vanilla VAE)의 도식적 모델 구조를 나타낸 것이다.

Fig. 4

The graphical model of a vanilla VAE

Sohn 등⁹⁾은 화상 이미지의 일부가 주어질 때 전체 이미지를 추론하거나 노이즈를 입힌 이미지로부터 원래 이미지에 포함된 사물을 추출하기 위하여 Fig. 5와 같은 조건적 배리에이셔널 오토 인코더(Conditional VAE, CVAE)를 제안하였다.

Fig. 5

The graphical model of a conditional VAE

Walker 등¹⁰⁾은 사물의 이동 궤적을 예측하기 위한 새로운 구조의 조건적 배리에이셔널 오토 인코더(CVAE)를 제안하였다. 특히, 예측하고자 하는 미래 데이터 Y를 모델의 입력으로 사용하여 학습을 수행하고 추론시에는 미래 데이터 Y를 제외하기 위하여 학습 시 사용하는 모델(Fig. 6)과 예측 시 사용하는 모델(Fig. 7)을 달리 하는 방식을 채용하였다.

Fig. 6

The graphical model of a conditional VAE while training to forecast the future

Fig. 7

The graphical model of a conditional VAE while testing to forecast the future

2.3 속도 예측 딥 러닝 네트워크 신 구조 제안

기존 연구들^9,10)은 데이터 X와 데이터 Y의 관계 모델링을 위하여 조건적 배리에이셔널 오토 인코더(CVAE)의 개념을 도입하였으며, 이를 통해 데이터 X에 대해 표준 분포를 따르는 변동성 이내에서 데이터 Y를 확률적으로 예측할 수 있었다. 그러나 기존 연구들은 유사한 데이터 X가 주어진 경우, 상황에 따라 달라질 수 있는 데이터 Y의 예측을 위한 연구는 아니었다. 즉, 과거의 속도 프로파일 데이터를 X라고 하고, 미래의 속도 프로파일 데이터를 Y라고 할 때, 과거 동일 구간 내에서 차량을 유사하게 운전하였다 하더라도(데이터 X가 유사하더라도) 도로 형상 및 교통 신호등 상태나 전방에 주행중인 차량의 속도 등 전방의 상태에 따라 미래 속도의 프로파일이 달라질 수 있는 상황(조건에 따라 전혀 다른 데이터 Y가 발생)을 예측하는 데에는 한계가 있는 것이다.

따라서 본 연구에서는 차량의 과거 주행 패턴이 유사하더라도 전방 도로의 구배, 곡률 및 교통 신호등 상태 등 차량 전방의 상황 정보를 반영함으로써 주행 상황의 컨텍스트에 따라 미래 속도 프로파일을 예측할 수 있는 새로운 조건적 배리에이셔널 오토 인코더(CVAE) 구조를 제안하였다. 새로운 신경망의 도식 구성은 Fig. 8과 같다.

Fig. 8

The proposed graphical model of a conditional VAE to predict the future speed profile of vehicle

본 연구에서 제안한 구조는 잠재 변수 z를 이용하여 차량의 과거 주행 패턴 X를 확률적 모델로 구성하고 차량 전방의 상황 U에 따라 미래 차량 속도 Y를 예측하는 원리이다. 이것은 기존의 CVAE 인공 신경망 구조⁹⁾와 비교해 볼 때, 신경망의 디코더 부분에 미래 컨텍스트 파악의 단서가 되는 차량 전방의 상황 정보 U가 추가된다는 점과 이미지가 아닌 연속적인 시계열 데이터를 예측한다는 점에서 큰 차이가 있다.

2.4 미래 속도 프로파일의 학습 데이터와 CVAE 신경망 모델 구성

딥 러닝 네트워크 학습을 위한 주행 데이터는 무작위의 주행 데이터를 활용하지 않고, 다양한 운전 성향의 조합을 커버하기 위해 정해진 운전 구간에서 40명의 운전자에게 통일된 운전 시나리오를 부여하고 각각의 운전자들이 주어진 운전 시나리오대로 주행한 데이터를 활용하였다. 운전자는 매우 마일드한 운전자부터 매우 스포티한 운전자까지 5단계의 운전 성향 캐릭터 별로 8명씩 모집하여 총 40명의 미국인 운전자에게 지정된 도로를 주행하도록 하였다. 특히 주행 시나리오는 운전 성향 별 패턴에 따른 속도 데이터를 폭넓게 수집하기 위해 ① 평소 운전 성향대로 주행하는 일반(Normal) 주행 조건, ② 평소 대비 부드럽게 주행하는 마일드(Mild) 주행 조건, ③ 긴급한 상황 등을 가정하여 가급적 빠르고 거칠게 주행하는 스포티(Sporty) 주행 조건으로 구성하였으며,¹¹⁾ 전체 주행 시간은 총 84시간에 해당된다.

이 84시간의 주행 데이터를 6:4의 비율로 학습 데이터와 테스트 데이터로 구분하여 0.1초 간격으로 이동하면서 25.6초 길이로 잘라내어 전반 12.8초는 0.1초 단위로 구성된 차량의 과거 주행 패턴 X로, 그리고 후반 12.8초는 0.8초 단위로 구성된 미래 속도 프로파일 Y로 구분하여 약 170만개의 학습 데이터와 약 110만개의 테스트 데이터를 생성하였다.

Table 1에 11개의 신호로 구성된 차량의 과거 주행 패턴 X와 Table 2에 5개의 신호로 구성된 전방 데이터 U를 나열하였다.

Table 1

Past driving sensor signals of deep learning for vehicle speed prediction

Table 2

Front information sensor signals of deep learning for vehicle speed prediction

Fig. 9는 다층 레이어로 구성된 컨볼루션 신경망 기반의 인코더 (a)와 디코더 (b)의 구조를 나타낸다. 데이터 X가 인코더의 컨볼루션 층을 지날 때마다 데이터의 길이가 1/2로 줄기 때문에 0.1초 간격으로 12.8초 길이의 데이터 X를 사용하면 길이가 128이므로 각각의 은닉층을 지날 때마다 출력의 길이가 정수가 된다. 디코더 역시 디컨볼루션 층을 지날 때마다 데이터의 길이가 2배씩 증가하므로 최종 출력의 길이가 16일 경우, 이를 0.8초 간격의 예측으로 해석하면 12.8초의 미래를 예측하는 것이다. 잠재 변수 z는 128 차원, β는 0.01, 최적화 알고리즘은 아담(Adam), 학습 진행율은 0.0005를 사용하였다.

Fig. 9

The network structures of encoder Q (left) and decoder P (rights) used for the conditional VAE for vehicle speed prediction

학습 과정의 수렴성을 확인하기 위하여 학습이 진행되는 500 에폭(Epoch) 동안 발생한 손실(Loss) 값인 식 (4)의 수렴 추이를 Fig. 10에 도시하였다. 학습이 진행됨에 따라 학습 손실(Train loss)과 테스트 손실(Test loss)이 모두 감소하고 있으며, 학습 데이터에 포함되지 않은 테스트 데이터에 대한 예측 성능 역시 저하되지 않음을 확인하였다.

Fig. 10

Train and test loss as a function of number of epoch during training

2.5 미래 속도 프로파일 예측 결과

본 연구에서 제안한 조건적 배리에이셔널 오토 인코더의 미래 속도 예측 기술이 지닌 효용성을 검증하기 위하여 차량의 전방 정보를 사용하지 않는 기존의 CVAE 방법⁹⁾과 도요타 사에서 제안하였던 LSTM(Long-Short Term Memory)을 이용한 속도 예측 방법⁴⁾과의 성능 비교를 실시하였으며, 각 모델에 대해 학습을 완료한 후에 테스트 데이터를 활용하여 속도를 예측한 결과를 비교하였다.

Fig. 11은 전방 상황 정보 U를 사용하지 않고 과거 주행 패턴 X만을 입력으로 미래 차량 속도 Y를 출력으로 하는 기존 CVAE 방법의 예측 결과 (a)와 전방 데이터 U를 사용한 본 연구에서 제안한 방법의 예측 결과 (b)를 비교 도시한 결과이다.

Fig. 11

Comparison of predicted vehicle speed profiles between a conventional and the proposed CVAE

상기 그래프는 실제 속도 프로파일을 따라 2초씩 이동하면서 과거 12.8초 동안의 주행 패턴을 입력으로 미래 12.8초 동안의 속도 프로파일을 예측한 결과를 도시한 것이다. 예측 성능을 시각적으로 쉽게 파악하기 위하여 미래 12.8초 지점의 예측 속도와 실제 차량이 그 시점에 도달하였을 때 실측된 속도의 차이가 클수록 굵은 적색으로, 그리고 그 오차가 작을수록 가는 청색으로 구분되는 연속 스펙트럼 형태로 표현하였다.

이 그래프를 보면 차량이 정차 후 발진하거나(10초 지점), 감속 후 재 가속하는 상황 등, 대부분의 주행 조건에 걸쳐서 본 연구에서 제안한 CVAE (b)가 기존의 CVAE (a) 대비 예측 성능이 뚜렷하게 향상되었음을 알 수 있다.

성능 향상의 원리를 살펴보기 위하여 전방 도로 상황(조건 변수 U)에 따라 예측되는 속도 프로파일을 분석하였다. CVAE는 과거 속도 프로파일의 패턴을 잠재 변수 z를 이용하여 통계적으로 모델링하므로 무작위로 선택된 잠재 변수 z는 과거 12.8초 동안의 운전 데이터 X를 대표한다고 할 수 있다. 전방 도로 상황U가 변화함에 따라 무작위로 뽑은 1,000개의 잠재 변수 z로 예측되는 미래 속도 프로파일의 변화를 살펴보면 다양한 과거 운전 패턴에 대한 미래 속도 프로파일 예측 정확도에 미치는 전방 도로 상황의 영향도를 유추할 수 있을 것이다.

따라서 차량의 현재 상태가 정차 중 또는 50 kph의 속도로 주행 중인 경우, 전방 도로가 직선로 또는 곡률 10 m의 곡선로인 경우, 전방차가 없거나 전방차를 추종하는 총 6가지 대표 주행의 경우를 전방 도로 상황 별로 조합하였으며, 이는 Table 3과 같다.

Table 3

Cases of driving situation to generate vehicle speed profiles

Fig. 12는 이 6가지 대표적인 주행 시나리오에 따라 1,000개의 잠재 변수 z로 예측되는 1,000개의 속도 프로파일을 박스 선도(Box-plot)로 도시하였으며, 굵은 선은 예측된 속도 프로파일의 평균값을 뜻한다.

Fig. 12

Generated vehicle speed profiles according to driving situations

<case#1>과 <case#2>는 차량 운전에 특별한 제약이 없는 직선 도로의 발진(가속) 조건이므로 시간이 지날수록 속도의 분포가 넓어짐을 알 수 있다. 이는 현재로부터 먼 미래일수록 운전자의 행동 및 환경의 불확실성이 높아지는 현상을 반영하고 있다고 할 수 있다. 한편, 일정 속도 이상 주행 속도를 높일 수 없는 전방 곡선로 진입 조건인 <case#3>과 <case#4>의 속도 분포를 보면 직선 도로의 경우보다 속도 변동의 확률 폭이 좁게 분포함을 알 수 있다. 즉, 현재 시점으로부터 먼 미래일수록 발생 가능한 속도 확률 분포의 50 % 범위가 좁아지는데, 이는 본 연구에서 제안하는 CVAE 모델이 곡선로 주행 시 직선로 보다 미래 속도를 더 강한 확신으로 모델링하고 있음을 의미하는 것이다.

전방의 차량을 추종하는 시나리오에 해당되는 <case#5>와 <case#6>에서는 이러한 효과가 더욱 극명하게 나타난다. 전방차와의 상대 거리가 줄어드는 감속 추종의 경우 전방차와의 충돌을 회피하기 위해 운전자는 반드시 차량을 감속해야 하므로 미래 예측 속도 프로파일은 감소할 것이라고 높은 확률로 예측되고 있다. 전방차와의 상대 거리가 증가하는 가속 추종의 경우 상대 거리가 증가함에 따라 차량 속도 거동의 자유도가 높아지므로 (감속 및 가속이 모두 가능하므로) 시간이 지날수록 다른 경우 대비 속도의 분포가 가장 넓게 예측되고 있는데, 이를 통해서 가속 추종은 감속 추종 대비 예측 정확도가 비교적 저하될 것으로 판단된다.

Fig. 13은 110만개 테스트 데이터에 대해서 기존 CVAE와 본 연구에서 제안한 CVAE 방식 간의 예측 오차 평균값을 비교한 결과이다.

Fig. 13

Average prediction error along the time between a conventional and the proposed CVAE

본 연구에서 제안한 CVAE는 전방 정보를 사용하지 않는 기존의 CVAE 방식 대비 5초 이후 시점부터 눈에 띄는 성능 차이가 발생하며, 예측 지점이 멀어질수록 상대 성능이 더욱 우수함을 알 수 있다. 즉, 미래 10초 지점을 기준으로 기존 방식은 6.72 km/h의 평균 오차를 보이는 반면, 제안 기술의 경우 평균 오차가 5.04 km/h로서 25 %만큼 예측 오차가 축소되었음이 확인된다. 이는 <case#3, #4, #5>와 같은 전방 도로 상황을 구분하여 미래 속도 프로파일의 분포를 높은 확률로 예측하기 때문으로 판단된다.

앞서 인용한 순환 신경망(RNN)의 일종인 LSTM을 사용한 모델⁴⁾은 과거 10초의 연속 데이터를 통해 미래 10초의 단일 시점만 예측 가능한 방식이므로, 본 연구 결과와의 성능 비교를 위해 1초부터 10초까지 단일 시간 포인트를 예측하는 모델 10개를 구성하여 1초 단위로 각각 학습 및 추론을 수행하였다. 동등한 비교를 위해 차량 전방의 상황 정보(전방 레이더 신호, 도로의 형상 정보 및 교통 신호등 상태)를 LSTM과 CVAE 모두 동일하게 적용하였다. Fig. 14는 110만개 테스트 데이터에 대한 예측 오차의 평균값을 비교한 결과이다.

Fig. 14

Average prediction error along the time between LSTM and the proposed CVAE

미래 10초 지점을 기준으로 살펴보면 LSTM 방식의 속도 예측에서는 평균 8.22 km/h의 오차가 발생하였으나, 본 연구에서 제안한 CVAE 방식에서는 평균 5.04 km/h의 오차가 발생하는 것이 확인되며, 이를 통해 본 연구의 제안 방식이 LSTM 방식 대비 29 % 수준으로 예측 오차를 줄임으로써 훨씬 정확하게 미래 속도를 예측하고 있음을 알 수 있다. 이는 데이터의 입출력 관계를 결정적으로 예측하는 순환 신경망(RNN) 기법 대비, 데이터의 분포 확률을 기반으로 미래를 예측하는 생성 모델(Generative model) 구조의 CVAE 방식이 불확실한 미래 거동의 예측 측면에서 더 우수한 성능을 보여주는 결과라고 판단된다.