차량간 상호작용이 고려된 멀티-헤드 어텐션 구조 기반 주변 차량 주행 경로 예측 알고리즘

1. 서 론

자율주행에서 가장 어려운 문제 중 하나는 주변 상황을 인식하고 이해하는 것이다. 안전하고 효율적인 의사결정을 위해서는 주변 차량의 주행 경로를 정확하게 예측하는 것이 필요하다. 하지만 주행 경로 자체의 불확실성과 주변 차량 간의 상호작용으로 인해 주행 경로를 정확하게 예측하는 것은 매우 어렵다. 이 문제를 해결하기 위해 예측 모델은 차량 간의 상호작용과 불확실성을 모두 고려할 필요가 있다.

본 논문에서는 주변 차량과의 상호작용과 도로 환경을 고려한 차량 주행 경로 예측 확률 모델을 제시한다. 차량의 상호작용을 모델링하기 위해 자연어 처리 분야에서 큰 성과를 거둔 Transformer¹⁾의 Multi-head architecture를 사용하였다. 사람이 운전할 때는 주변의 수 많은 차량 중 몇몇 관계 있는 차량만을 고려하여 주행 경로를 예측한다. 제안된 예측 모델은 이러한 운전자의 특성을 반영하여 예측 모델이 주행에 영향을 주는 소수의 차량만을 예측하는데 이용하고자 한다. 또한 Attention mechanism을 이용해 차선 정보를 인코딩(Encoding) 함으로써 예측 모델이 도로 환경의 정보를 반영할 수 있도록 한다. 이 방법으로 주변 차량의 주행 경로를 더 잘 예측할 수 있도록 한다.

제안하는 경로 예측 알고리즘은 드론으로 취득한 고속도로 주행 경로 데이터셋을 이용하여 평가한다. 평가 시에는 제안하는 알고리즘과 기존 경로 예측을 위해 고안되었던 알고리즘의 성능을 비교한다. 한편, 제안하는 모델의 특징을 요약하면 다음과 같다.

• - 해석 가능성(Interpretability): 모델이 주변 차량과의 관계를 자율적으로 학습하기 때문에 Multi-head attention의 사용이 인공신경망의 해석 가능성을 증가시킬 수 있다.
• - 확장성(Scalability): Multi-head attention의 결과의 차원이 차량의 대수에 따라 유동적이기 때문에 제안된 신경망이 복잡한 도로 상황에서도 확장될 수 있다. 이 신경망은 최대 30대의 주변차량으로 실험되었고 평균 연산 시간은 50 ms이다.
• - 정확성(Accuracy): 제안된 방법이 고속도로 차량 주행 경로 데이터셋을 통해 검증되었고 기존의 방법들에 비해 위치 오차에서 더 나은 성능을 보인다.

2. 관련 연구

차량 주행 경로를 예측은 등선회-가속도(Constant Turn Rate and Acceleration)같은 운동학 모델(Motion model)을 이용하거나^2,3) Interactive Multiple Model(IMM) filter를 이용해 운동학 모델(Physics based model)과 거동 모델(Maneuver based model)을 통합하여 예측 정확성을 높인 경우가 있다.^4-6) 한 연구는 Gaussian Mixture Model(GMM)을 사용하여 궤적을 예측할 때 불확실성을 고려하는 방법을 제안한 바 있다.⁷⁾

최근에 딥 러닝(Deep learning) 기술들이 자연어 처리 분야에서 큰 성과를 거두면서 이 기술들이 주행 경로 예측을 위한 모델 설계에 사용하는 연구들이 많이 제안되었다.^7,8) Altché와 Fortelle⁷⁾는 횡방향 위치와 종방향 속도를 Long-Short Term Memory(LSTM)⁹⁾을 이용하여 예측했다. LSTM은 위치, 속도, 선행 차량과의 거리, 충돌 예상 시간(Time-to-Collision)을 현재 상태 변수로 사용한다. 박성현 등⁹⁾은 Sequence-to-Sequence¹⁰⁾의 인코더-디코더(Encoder-decoder) 구조를 주행 경로 예측에 사용한다. LSTM을 사용해 과거 주행 경로가 인코더에 입력되면 디코더에서 미래 주행 경로가 생성된다. 이 예측 구조는 Beam-search를 이용하기 때문에 높은 확률의 다중 미래 주행 경로를 생성할 수 있다. 그러나 주행 경로가 점유 격자(Occupancy Grid)를 기반으로 생성되기 때문에 격자의 크기에 따라 필연적으로 오차가 존재할 수 있다.

도로 위의 모든 차량은 충돌을 피하기위해 특정 거리를 유지하기 때문에 차량 간의 상호작용을 반영하여 주행 경로를 예측하는 것이 중요하다.^11-13) 다양한 주행 경로의 예측 값을 생성하기 위해서 많은 연구가 진행되었는데, 한 예로는 Conditional Variational Auto-Encoder(CVAE)¹⁴⁾를 이용하여 예측의 초기값을 다수 생성하고, Inverse Optimal Control을 통해 생성된 경로를 개선하는 방법이 제안되었다.¹¹⁾ 개선과정에서는 주변 차량과의 상호 작용이 Social pooling¹⁵⁾을 이용하여 고려된다. Feng 등¹²⁾은 조건 Behavior level intention을 조건부로 사용한 예측 모델을 제시했다. 또 다른 연구에서는 Graph Convolutional Network(GCN)¹⁶⁾ 이 근접한 차량과의 관계를 모델링하기 위해 사용됐다.¹³⁾ 한편 이 연구들 에서는 상호작용을 모델링하기 위해 차량들의 특정 위치 정보들(e.g. 전방 차량, 전방 좌측 차량, 후방 우측 차량 등)을 사용하거나 상호작용이 발생하는 최대 거리를 수동으로 설정해주어야 한다. 본 논문에서 제안하는 방법은 Multi-head attention을 통해 비지도 방법으로 차량 간의 상호 관계를 학습하며 이는 경로 예측에서 정확도를 높이는데 기여한다.

3. 상대 차량 경로 예측

자율주행에 있어서 주변 차량의 모든 상호작용을 고려하는 것은 매우 어렵다. 주변 차량의 수가 증가하면 상호작용의 복잡도가 기하급수적으로 증가한다. 하지만 운전자는 주변에 아무리 많은 차량이 있어도 연관 있는 몇몇의 차량에만 집중하기 때문에 복잡성을 줄일 수 있다. 이러한 특성을 모방하기 위해 주행 경로 예측 문제에 Transformer¹⁾의 Multi-head attention을 적용했다. 이전에도 차량 간의 관계를 연구했지만 차량 위치 정보를 이용해 수동적으로 관계를 명시해 주어야 한다.^4,17,18) 이 장에서는 인코더와 디코더를 포함한 2개의 어텐션 레이어(Attention layer)가 사용된 모델의 구조를 설명한다.

3.2 예측을 위한 네트워크의 구조

예측 모델은 인코더-디코더(Encoder-decoder) 구조를 가진다. 인코더와 디코더는 모두 Multi-head attention 구조를 사용하며 디코더의 출력은 가우시안 분포(Gaussian distribution)로 모델링된다. 전체 구조의 개요도는 Fig. 1에 도시하였다. 인코더는 과거 주행 경로 X와 차선 정보 I를 압축한 정보 Z = (Z₁,...,Z_N)으로 나타내고 Z를 이용해 디코더가 미래 주행 경로의 예측 평균 μ와 예측 공분산 Σ를 생성한다.

Fig. 1

Proposed prediction architecture

제안된 예측 모델의 어텐션 레이어는 차량 어텐션 레이어와 차선 어텐션 레이어 2가지가 존재한다. 각각의 어텐션 레이어는 기본적으로 Fig. 2에 도시된 구조를 가진다. 어텐션 레이어들은 쿼리(Queries)의 집합 Q, 키(Keys)의 집합 K, 그리고 값(Values)의 집합 V를 출력 벡터로 맵핑하는 역할을 한다. 차량 어텐션 레이어와 차선 어텐션 레이어의 유일한 차이점은 입력의 구성이다. 차량 어텐션 레이어는 Q, K, V 모두를 차량 임베딩(Embedding)으로 사용하고 차선 어텐션 레이어는 차량 임베딩으로 Q를, 차선 임베딩으로 K와 V를 사용한다. Fig. 2에 도시된 어텐션 레이어 안에는 가중 내적 어텐션 레이어(Scaled Dot Product Attention layer)가 있는데 이 레이어가 입력 간의 연관성을 찾아낸다. 어텐션 계산 과정은 식 (1)에 나타냈다. Dot product attention QK^T의 계산을 통해 쿼리의 집합 Q가 키의 집합 K와 비교되고 QK^T를 $$ \frac{1}{\sqrt{d}}$$ 배하고 소프트맥스(Softmax) 함수를 이용해 표준화하여 어텐션 행렬이 얻어진다.

Fig. 2

Structure of the attention layer for both the lane and the vehicles

$\[ \mathrm{A}\mathrm{t}\mathrm{t}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{i}\mathrm{o}\mathrm{n}\left(Q,K,V\right)=\text{softmax}\left(\frac{Q{K}^T}{\sqrt{d}}\right)V \]$

(1)

멀티-헤드 어텐션의 내적 어텐션 함수(Dot product attention function)는 병렬적으로 h번 수행된다. 독립적인 출력들은 같은 차원인 Q에 결합되고(Concatenate) 선형 변환된다. 각각의 어텐션 레이어는 Fig. 2에서 확인할 수 있듯이 드롭 아웃(Drop out)이 포함된 Residual connection 구조를 가진다.

$\[ \begin{array}{c}\text{MultiHead}\left(Q,K,V\right)=\text{Concat}\left(\text{hea}{\text{d}}_{\text{1}},\dots ,\text{hea}{\text{d}}_{\text{h}}\right)W^O\hfill \\ \text{where hea}{\text{d}}_k=\text{Attention}\left(Q{W}_k^Q,K{W}_k^K,V{W}_k^V\right)\hfill \end{array} \]$

(2)

인코더는 차량 어텐션 레이어와 차선 어텐션 레이어를 가진다. 어텐션 레이어들은 주변 차량들의 관계를 표현한 어텐션을 생성한다. 차선 어텐션 레이어는 주변 차량의 과거 주행 경로와 연관된 차선 정보를 인코딩한다. 차선 어텐션 레이어를 사용하면 차선 정보의 임베딩 벡터만 이용하는 것보다 예측 정확성을 높일 수 있다. 차량 어텐션 레이어는 차량들의 과거 주행 경로의 관계성을 인코딩한다. 어텐션 레이어의 출력값들은 최종 인코더 출력 Z로 결합된다.

디코더는 미래 주행 경로의 확률적 분포를 생성한다. 디코더는 하나의 차량 어텐션 층으로 구성되고 Q, K 그리고 V가 인코더 출력 Z이다. 최종적으로, 디코더는 주변 차량의 주행 경로를 예측하기 위해 인코딩된 정보를 이용해 예측 평균 μ =(μ₁,...,μ_N)과 예측 공분산 Σ=(Σ₁,...,Σ_N)을 생성한다.

4. 실험 결과

실함결과는 독일 고속도로를 드론으로 관측한 차량 주행 경로 데이터셋인 highD 데이터셋²⁰⁾을 사용했다. NGSIM²¹⁾은 주행 경로 예측 연구에 쓰이는 가장 큰 차량 주행 데이터셋이지만 데이터가 거짓양성(False-positive) 충돌 같은 오류가 있는 주행 경로들이 포함되어 있기 때문에 데이터를 가공할 필요가 있다. 데이터셋의 질을 높이기 위해 제안된 알고리즘은 NGSIM 대신 highD를 사용했다.

4.1 예측 모델의 비교 평가

제안된 모델은 미래 주행 경로에 대한 가우시안 분포를 출력한다. 모델을 평가하기 위해서 예측 평균값의 root mean square error(RMSE)를 평가 지표로 삼았다. Table 1에서 제안된 모델을 기존의 방법과 비교했다. 본 연구에서 사용한 대조군은 다음과 같다.

Table 1

Performance and computing time comparison of augmentation methods for test dataset. For computing time, the average and standard deviation are shown together

• - 선형 모델 (Linear): 칼만 필터(Kalman filter)를 이용해 주행 경로를 선형 보간
• - Vanilla LSTM(V-LSTM): 과거 주행 경로가 LSTM에 들어가서 미래의 주행 경로를 예측
• - Encoder-decoder LSTM (ED-LSTM): LSTM 인코더-디코더 구조를 주행 경로 예측에 사용
• - 제안하는 방법 (Proposed): Attention head의 수를 다양하게 하여 결과값 비교

Table 1은 제안하는 방법과 대조군의 성능과 연산시간을 비교한 결과를 나타낸다. 연산시간은 Quadcore Intel Core i7-6700K CPU와 NVIDIA GeForce GTX 1080TI가 탑재된 Ubuntu 18.04 환경의 데스크탑 PC에서 측정되었다.

선형 모델을 사용한 경우에는 고속도로 데이터셋이 평가에 사용됐지만 더 오래 예측할수록 오차가 커지는 것을 볼 수 있다. 특히 종방향 위치 오차가 횡방향 위치 오차보다 크다. V-LSTM은 횡방향 위치 오차에 있어서 선형 모델보다 더 좋은 성능을 보였는데 그 이유는 과거 주행경로를 고려해서 미래 주행경로를 예측하기 때문이다. ED-LSTM은 선형 모델과 V-LSTM 보다 더 성능이 좋다.

그러나 제안된 방법은 기존의 방법들 보다 훨씬 좋은 성능을 보인다. 제안된 방법에서 Head의 수에 따라 예측 성능이 약간 달라지는 것을 볼 수 있는데 4개의 Head를 가질 때 2개나 8개의 Head를 가진 구조보다 더 좋은 성능을 보였다. 제안된 방법은 3초를 예측했을 때, 종방향에서 0.89 m, 횡방향에서 0.11 m의 오차를 보였다. 높은 정확성을 보장하는 제안된 예측 모델은 자율주행자동차 주행 경로 예측에 큰 도움을 줄 것이다.

4.2 주행 경로 예측의 Attention 분석

제안된 예측 모델의 장점은 Attention을 비지도 방법으로 학습하는 것이다. Attention 행렬은 차량들이 얼마나 밀접한 관련이 있는지 알려준다. Fig. 3은 4대의 주변차량에 대한 주행 경로 예측 결과이다. 차량 2번은 차선을 바꾸는 중이고 차량 4번은 현재 차선을 유지한다. 두 차량의 Attention 행렬은 Fig. 4에 도시했다. 차선을 바꾸는 경우에 바꿔야 할 차선에 있는 차량(자차량과 차량 1번)에 집중하고 Fig. 4(a), 차선을 유지하는 경우에는 주변 차량보다 자신에게 더 많이 집중한다(Fig. 4(b)). 대부분의 경우에서 마지막 Attention head가 자신에게 높은 가중치를 가지는데 이것은 자신의 과거 주행경로가 주행 경로를 예측하는 데 지배적이라는 것을 의미한다.

Fig. 3

An example of trajectory prediction with four surrounding vehicles. The blue vehicle indicates ego-vehicle. Yellow solid line with three dots indicates true future trajectory, where dots represent positions at 1 second interval. Red dashed line indicates predicted future trajectory. Their uncertainties are drawn as ellipses from blue color to red color in chronological order. The boundaries of ellipses correspond to 3σ.

Fig. 4

The attention matrix for four attention heads in Fig. 3 situation. The ego vehicle ID is zero. (a) The vehicle 2 is predicted to change lane, (b) The vehicle 4 is predicted to keep the lane

4.3 차량 대수에 따른 확장성

RNN의 변형 구조들과는 다르게 Multi-head attention을 이용하면 인코더와 디코더의 출력이 병렬적으로 계산될 수 있다. 제안된 방법은 상호작용을 고려하는데 걸리는 연산 시간을 줄일 수 있을 뿐만 아니라 메모리가 허용하는 선에서 차량의 대수에 무관하게 연산할 수 있다.

확장성을 확인하기 위해 먼저 최대 10대의 차량을 가지고 예측 모델을 학습시켰다. 그 후에 미래 주행 경로에 대한 성능을 테스트하였다. 그 결과는 Fig. 5에 도시하였다. Fig. 5에서 위 두 결과는 10대 미만의 차량으로 예측된 결과이고(각각 3, 7) 아래 두 결과는 10대 이상의 차량으로 실험된 결과이다(각각 11, 21). 네트워크가 11대의 차량에 대해서는 학습하지 못했지만 7대의 차량이 있는 것과 교통 밀도가 크게 다르지 않기 때문에 실제 주행 경로와 예측 결과가 크게 다르지 않다. 하지만 21대의 차량이 있을 때는 학습된 교통 밀도와 큰 차이가 있기 때문에 예측 주행 경로의 평균은 실제 주행 경로와 차이가 적지만 불확실성은 크게 증가한다. 이 실험결과는 제안된 구조가 예측할 차량의 대수에 상대적으로 강인하다는 것을 보여준다. 게다가 21대의 차량을 사용한 결과에서 발생한 불확실성은 모델 자체가 학습하지 못했기 때문에 발생한 오차이기 때문에 비슷한 상황을 학습시킨다면 불확실성을 줄일 수 있다.

Fig. 5

Prediction results for robustness test on scalability. The number of the surrounding vehicles is 3, 7, 11, 21 from top to bottom figures. The prediction network is trained only up to 10 surrounding vehicles. The blue vehicle indicates ego-vehicle. Yellow solid line with three dots indicates true future trajectory, where dots represent positions at 1 second interval. Red dashed line indicates predicted future trajectory. Their uncertainties are drawn as ellipses from blue color to red color in chronological order. The boundaries of ellipses correspond to 3σ.

5. 결 론

• 1) 본 논문에서는 주변 차량과의 상호작용을 고려한 미래 주행 경로 예측을 하기 위해 Multi-head attention 구조를 이용한 모델을 제안했다.
• 2) 제안된 모델은 인코더-디코더 구조를 가졌고 이 구조가 어텐션 레이어를 통해 주변 차량의 과거 주행 경로와 차선 정보를 효과적으로 통합한다.
• 3) 제안된 방법은 실제 고속도로 주행 경로 데이터를 이용하여 검증하였으며, 제안된 방법이 기존의 방법보다 우수함을 보였다.
• 4) 학습된 어텐션은 비지도 방법으로 학습되며, 그 결과가 예측과정에서 의미있게 사용됨을 알 수 있다.
• 5) 제안하는 방법을 통해 얻을 수 있는 주변 차량의 미래 궤적 분포는 주행 경로 계획의 제한 조건이나 목적 함수로 활용될 수 있으며 이는 후속 연구 주제이다.

Acknowledgments

본 논문은 산업통상자원부 및 산업기술평가관리원의 권역별신산업육성-자율주행자동차핵심기술개발사업(10079730, 자동차전용도로/도심로 자율주행시스템 개발 및 성능평가)의 지원을 받아 수행되었음.

References

• A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. Gomez, L. Kaiser and I. Polosukhin, “Attention is All You Need,” Advances in Neural Information Processing Systems, pp.5998-6008, 2017.
• A. Berthelot, A. Tamke, T. Dang and G. Breuel, “Handling Uncertainties in Criticality Assessment,” EEE Intelligent Vehicles Symposium(IV), pp.571-576, 2011. [https://doi.org/10.1109/IVS.2011.5940483]
• A. Polychronopoulos, M. Tsogas, A. Amditis and L. Andreonem, “Sensor Fusion for Predicting Vehicles' Path for Collision Avoidance Systems,” IEEE Transactions on Intelligent Transportation Systems, Vol.8, No.3, pp.549-562, 2007. [https://doi.org/10.1109/TITS.2007.903439]
• G. Xie, H. Gao, L. Qian, B. Huang, K. Li and J. Wang, “Vehicle Trajectory Prediction by Integrating Physics-and Maneuver-based Approaches Using Interactive Multiple Models,” IEEE Transactions on Industrial Electronics, Vol.65, No.7, pp.5999-6008, 2017. [https://doi.org/10.1109/TIE.2017.2782236]
• J. Cho, K. Min, S. Kim and K. Huh, “Target Vehicle Path Prediction Algorithm for Collision Avoidance System,” KSAE Fall Conference Proceedings, pp.292-294, 2016.
• J. Cho and K. Huh, “Target Vehicle Trajectory Prediction Algorithm Based on Model Integration,” Vol.28, No.1, pp.1-8, Transactions of KSAE, 2020. [https://doi.org/10.7467/KSAE.2020.28.1.001]
• F. Altche and A. de La Fortelle, “An LSTM Network for Highway Trajectory Prediction,” IEEE 20th International Conference on Intelligent Transportation Systems(ITSC), pp.353-359, 2017. [https://doi.org/10.1109/ITSC.2017.8317913]
• S. Park, B. Kim, C. Kang, C. Chung and J. Choi, “Sequence-to-sequence Prediction of Vehicle Trajectory via LSTM Encoder-Decoder Architecture,” IEEE Intelligent Vehicles Symposium (IV), pp.1672-1678, 2018. [https://doi.org/10.1109/IVS.2018.8500658]
• S. Hochreiter and J. Schmidhuber, “Long Short-term Memory,” Neural Computation, Vol.9, No.8, pp.1735-1780, 1997. [https://doi.org/10.1162/neco.1997.9.8.1735]
• I. Sutskever, O. Vinyals and Q. Le, “Sequence to Sequence Learning with Neural Networks,” Advances in Neural Information Processing Systems, pp.3104-3112, 2014.
• N. Lee, W. Choi, P. Vernaza, C. Choy, P. Torr and M. Chandraker, “Desire: Distant Future Prediction in Dynamic Scenes with Interacting Agents,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.336-345, 2017. [https://doi.org/10.1109/CVPR.2017.233]
• X. Feng, Z. Cen, J. Hu and Y. Zhang, “Vehicle Trajectory Prediction Using Intention-based Conditional Variational Autoencoder,” IEEE Intelligent Transportation Systems Conference(ITSC), pp.3514-3519, 2019. [https://doi.org/10.1109/ITSC.2019.8917482]
• X. Li, X. Ying and M. Chuah, “GRIP: Graph-based Interaction-aware Trajectory Prediction,” IEEE Intelligent Transportation Systems Conference (ITSC), pp.3960-3966, 2019.
• K. Sohn, H. Lee and X. Yan, “Learning Structured Output Representation using Deep Conditional Generative Models,” Advances in Neural Information Processing Systems, pp.3483-3491, 2015.
• A. Alahi, K. Goel, V. Ramanathan, A. Robicquet, L. Fei-Fei and S. Savarese, “Social Lstm: Human Trajectory Prediction in Crowded Spaces,” Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp.961-971, 2016. [https://doi.org/10.1109/CVPR.2016.110]
• T. Kipf and M. Welling, “Semi-supervised Classification with Graph Convolutional Networks,” arXiv preprint arXiv:1609.02907, , 2016.
• O. Scheel, N. Nagaraja, L. Schwarz, N. Navab and F. Tombari, “Attention-based Lane Change Prediction,” International Conference on Robotics and Automation(ICRA), pp.8655-8661, 2019. [https://doi.org/10.1109/ICRA.2019.8793648]
• C. Dong, Y. Chen and J. Dolan, “Interactive Trajectory Prediction for Autonomous Driving via Recurrent Meta Induction Neural Network,” International Conference on Robotics and Automation (ICRA), pp.1212-1217, 2019. [https://doi.org/10.1109/ICRA.2019.8794392]
• D. Kingma and J. Ba, “Adam: A Method for Stochastic Optimization,” arXiv preprint arXiv:1412.6980, , 2014.
• R. Krajewski, J. Bock, L. Kloeker and L. Eckstein, “The high{D} Dataset: A Drone Dataset of Naturalistic Vehicle Trajectories on German Highways for Validation of Highly Automated Driving Systems,” 21st International Conference on Intelligent Transportation Systems(ITSC), pp.2118-2125, 2018. [https://doi.org/10.1109/ITSC.2018.8569552]
• J. Colyar and J. Halkias, US Highway 101 Dataset, Federal Highway Administration(FHWA), Technical Report FHWA-HRT-07-030, 2007.