자율주행을 위한 정적 장면 컨텍스트 변조 기반 차량 궤적 예측 네트워크

2.1 미래 궤적 예측 기법

이동 객체의 미래 궤적 예측은 컴퓨터 비젼(Computer vision) 분야에서 오랫동안 관심을 받아왔으며 많은 연구자들이 관련 연구를 공개하고 있다. 초창기 미래 궤적 예측은 주로 보행자에 초점이 맞추어져 있으며 정확한 예측을 위해 보행자 사이의 상호작용을 모델링 하는 것이 가장 큰 관심사였다. 그 이유는 보행자의 움직임은 보행자가 가고자 하는 목적지뿐 아니라 주변 보행자의 움직임에 의해 크게 영향을 받기 때문이다. Social force,³⁾ Gaussian process⁴⁾ 등은 보행자 사이의 상호작용을 모델링 하는 가장 대표적인 수학적 모델이다.

딥러닝(Deep learning)의 발전과 더불어 시계열 데이터의 학습에 용이한 Recurrent neural network(RNN)이 소개됨에 따라 RNN를 이용해 보행자 사이의 상호작용을 학습하고자 하는 시도가 이루어졌다. Alahi 등⁵⁾은 RNN의 은닉 상태(Hidden state)를 이용하여 보행자 사이의 상호작용을 학습하는 방식인 Social pooling을 처음으로 제안하였으며 이는 기존의 수학적 모델 기반 방식들 보다 월등한 성능을 보였다. 이후 많은 연구자들이 Social pooling 방식에 영감을 받아 보행자 또는 차량 사이의 상호작용을 모델링하는 다양한 방식을 제안했다. Gupta 등⁶⁾은 Max-pooling 기법을 통해 멀리 있는 보행자 사이의 상호작용 또한 고려하는 방식을 제안하였으며 Sadeghian 등⁷⁾은 Attention 방식을 도입하여 관련성이 높은 보행자 사이의 상호작용이 전체 상호작용에서 높은 비중을 갖도록 하는 방식을 제안하였다.

이동 객체와 이동 객체 사이의 상호작용을 각각 그래프의 노드(Node)와 엣지(Edge)로 모델링 하고 Graph neural network(GNN)를 통해 상호작용을 모델링 하고자 하는 시도도 많이 이루어져 왔다. Kosaraju 등⁸⁾은 Graph attention network(GAT)을 통해 동일 시점에 존재하는 객체 사이의 상호작용을 모델링 하는 방식을 제안하였다. 상호작용 학습 시 동일 시점뿐 아니라 서로 다른 시점의 객체도 고려하기 위해 Huang 등⁹⁾은 Spatio-temporal GAT을 제안하였다.

Transformer²⁾는 Self-attention을 기반으로 하는 자연어 처리를 위해 고안된 DNN이다. Transformer가 자연어 처리와 관련된 작업에서 매우 우수한 성능을 보여줌이 확인된 이후로 많은 분야에서 Transformer를 사용해 왔으며 미래 궤적 예측도 그중 한 분야이다. Transformer를 이용하여 객체 사이의 상호작용을 모델링하는 여러 방식이 제안되었으며 그 중 AgentFormer¹⁰⁾는 차량 사이의 상호작용을 모델링하기 위해 Transformer를 도입하였다. 본 논문에서도 차량 사이의 상호작용을 Transformer를 통해 모델링 한다. 그러나 보다 효과적인 모델링을 위해 목표 차량과 연관성이 낮은 주변 차량과의 상호작용을 완전히 무시하는 새로운 Self-attention 방식을 제안한다.

2.2 미래 궤적 예측을 위한 고정밀 지도 사용

미래 궤적 예측에 고정밀 지도를 활용하는 방법은 크게 두 가지로 나뉜다. 첫 번째는 고정밀 지도 내 차선 등의 정보를 2D 이미지로 그리는 방식이며^11-13) 두 번째는 차선 등의 정보를 2차원 좌표값들의 연속인 벡터로 표현하는 것이다.^14-16) 첫 번째 방식은 횡단보도, 주행가능영역 등과 같은 영역 정보를 표현하기에 유리하나 2D 이미지의 크기를 무한정 키울 수 없어 차선 등의 정보를 세밀하게 표현하는데 한계가 있다. 이에 반해 두 번째 방식은 차선 등의 정보를 보다 세밀하게 표현 가능하다는 장점이 있으나 영역 정보를 표현하는데 한계가 있다. 본 논문에서는 고정밀 지도 내 정보를 2D 이미지에 그려서 사용하는 방식을 따른다. Fig. 2는 고정밀 지도 정보를 2D 이미지에 그린 예를 보여주고 있다. 보다 구체적으로는 Rotated region of interest(RROI) pooling¹⁷⁾ 기법을 이용하여 전역 지도 정보로부터 목표 차량 주변 영역의 지도 정보를 추출한 후 목표 차량을 위한 지역 지도 정보로 사용한다.

2.3 미래 궤적 확률 분포 학습을 위한 생성 모델

이동 객체의 미래 위치를 예측하는 것은 매우 어려운 일이다. 그 이유는 목적지와 같은 객체의 의도는 관찰자가 알 수 없기 때문이다. 이러한 이유로 많은 연구자들이 이동 객체의 미래 궤적 확률분포 학습을 제안해 왔다. 예측된 미래 궤적 분포로부터 다양한 궤적을 샘플링 하여 객체가 이동할 수 있는 여러 경우를 고려할 수 있기 때문이다.

은닉 변수(Latent variable)를 통해 데이터의 확률분포를 학습하는 방식 중 Variational auto-encoder(VAE)¹⁸⁾와 Generative adversarial networks(GAN)¹⁹⁾이 가장 널리 사용된다. 이 중 VAE는 이론적으로 잘 정립되어 있고 학습이 쉬우며, 훌륭한 다양체 표현(Manifold representation)을 가지고 있다. 이러한 이유로 VAE를 활용하여 미래 궤적의 확률분포를 학습하는 다양한 방식이 제안되었다. 그러나 VAE는 학습과정에서 은닉 변수가 무시 되어 예측된 확률분포로부터 동일한 궤적이 샘플링되는 사후 붕괴(Posterior collapse)²⁰⁾ 문제가 자주 발생한다.

VAE의 사후 붕괴를 막기 위해 다양한 방식이 제안되었으며 이는 주로 이미지 생성 및 합성 분야에 많이 활용되어 왔다.^20-22) 미래 궤적 예측에서는 Casas 등¹²⁾이 사후 붕괴를 최소화하기 위해 Cyclic annealing²²⁾ 기법을 사용하였다. 본 논문에서는 VAE의 사후 붕괴를 완화하기 위해 은닉 변수를 이용하여 고정밀 지도로부터 획득한 정적 장면 컨텍스트 벡터를 변조하는 방식을 제안한다. 미래 궤적의 확률분포 특성을 포함하는 은닉 변수가 정적 장면 컨텍스트 벡터를 직접 변조함으로써 정적 장면 컨텍스트와 은닉 변수로부터 미래 궤적을 샘플링 하는 과정에서 은닉 변수가 무시되는 문제가 완화된다.

3.1 문제의 정의

현재 시간 t의 시점에 자율차를 포함하여 총 N개의 차량 $$ \left\{V_i\mid 1\le i\le N\right\}$$이 있다고 가정하자. 우리의 목표는 확률 분포 P_θ(Y|X,C)를 모델링 하는 것이다. 여기서 $$ \mathit{X}=\left\{{\mathit{X}}_i\mid 1\le i\le N\right\},\mathit{Y}=\left\{{\mathit{Y}}_i\mid 1\le i\le N\right\},{\mathit{X}}_i={\mathit{s}}_{\mathit{i}}^{\left(\mathit{t}-\mathit{H}:\mathit{t}\right)}\in R^{H\times S}$$는 V_i의 과거 H time-step 동안의 상태 정보, 그리고 $$ {\mathit{Y}}_i={\mathit{s}}_{\mathit{i}}^{\left(\mathit{t}+1:\mathit{t}+\mathit{T}\right)}\in R^{T\times S}$$는 V_i의 미래 T time-step 동안의 상태 정보이다. 본 논문에서는 $$ {\mathit{s}}_{\mathit{i}}^{\mathit{t}}$$를 다음과 같이 정의하였다.

여기서 $$ \left(x_{i,g}^t,y_{i,g}^t\right)$$는 V_i의 시간 t에서의 전역 위치 좌표이며 $$ \left(x_{i,a}^t,y_{i,a}^t\right)$$는 $$ \left(x_{i,g}^t,y_{i,g}^t\right)$$를 V_i 중심의 위치 좌표계로 변환한 결과이다. C는 고정밀 지도로부터 얻을 수 있는 정적 장면 정보이며 마지막으로 θ는 NN의 파라메터이다. 따라서 우리는 P_θ(Y|X,C)를 최대화 하는 θ를 다음과 같이 찾아야 한다.

그러나 N이 커질수록 최대화 문제는 매우 복잡해지므로 I.I.D 가정을 통해 다음과 같이 최대화 문제의 복잡도를 줄일 수 있다.

이제 최대화 문제는 -logP_θ(Y_i∣X_i,C)의 최소화 문제로 바뀔 수 있으며 이는 은닉 변수 z의 도입과 함께 Evidence lower bound(ELBO)의 최소화로 해결할 수 있다¹⁸⁾:

여기서 β는 임의의 상수, q_ϕ는 근사화된 사후 확률분포, p_γ는 사전 확률분포, KL은 Kullback-leibler divergence이다.

3.2 Agent-centic Static Scene Context Feature Extraction

이 과정은 고정밀 지도로부터 목표 차량 중심의 정적 장면 컨텍스트 피쳐(Agent-centic static scene context feature, ASSCF)를 추출한다. Fig. 3의 좌상단 영역의 이미지가 그 과정을 보여주고 있다. 먼저 자율차를 중심으로 특정 범위 내 모든 고정밀 지도 정보를 2D 이미지로 그린다. 본 논문에서는¹²⁾를 따라서 차로 중심선, 주행가능영역, 횡단보도 등의 정보를 2D 이미지의 각 채널에 그려 넣었다. 고정밀 지도 이미지는 먼저 ResNet50²³⁾를 거쳐 복수의 피쳐맵으로 변환된다. 서로 다른 크기의 피쳐맵들은 보간 과정을 거쳐 동일 크기로 변환되며 채널(Channel) 방향으로 이어붙여 진 후 별도의 Convolution layer를 거쳐 최종적으로 하나의 피쳐맵이 된다. 고정밀 지도 이미지와 피쳐맵을 각각 $$ \mathit{I}\in R^{H\times W\times CH}$$와 $$ F\in R^{H_f\times W_f\times C{H}_f}$$라 하자. 일반적으로 $$ H_f=H/s,W_f=W/s,{CH}_f>CH$$을 만족하여 s는 1보다 큰 상수이다.

피쳐맵으로부터 $$ \text{ASSCF} F_i\in R^{1\times C{H}_A}$$를 추출하기 위해 Rotated region of interest(RROI) pooling¹⁷⁾ 기법을 사용한다. 먼저 Fig. 3의 그림처럼 목표 차량의 현재 위치와 헤딩(Heading) 방향을 고려하여 차량 주변 영역에 해당하는 F 안의 일부 영역을 추출한다. 추출된 피쳐맵은 다시 Convolutional layer를 거쳐 F_i로 변환된다.

앞서 언급한 바와 같이 NN의 입력으로 사용되는 고정밀 지도 이미지는 자율차를 중심으로 특정 범위 내 존재하는 모든 지도 정보를 포함한다. 그러나 자율차 주변 목표 차량의 미래 궤적 예측에는 목표 차량 주변의 지도 정보만 사용하는 것이 효과적이다. 따라서 본 논문에서는 목표 차량의 미래 궤적 예측 시 F 전체를 사용하는 대신 목표 차량 주변의 지도 정보에 해당하는 F_i를 F로부터 추출하여 사용하도록 설계하였다.

3.3 Agent Interaction Modeling

자율차 주변 차량의 과거 궤적 X_i를 Long short-term memory(LSTM)을 통해 인코딩한 결과를 $$ \overline{{\mathit{X}}_i}\in R^{1\times D}$$라 하자. $$ \overline{{\mathit{X}}_i}$$는 주변 차량 사이의 상호작용 모델을 통해 $$ \widetilde{{\mathit{X}}_i}$$로 갱신되며 그 방법은 다음과 같다. 주변 차량 사이의 상호작용을 모델링하기 위해서 먼저 그래프 G(V,E)를 정의한다. 여기서 $$ \mathit{V}=\left\{V_i\mid 1\le i\le N\right\}$$는 노드(Node)들의 집합이며 $$ \mathit{E}=\left\{E_{i,j}\mid 1\le i,j\le N\right\}$$는 노드들 사이의 상호작용을 나타내는 엣지(Edge)이다. 따라서 V_i는 자율차 주변 i번째 차량에 해당하며 E_i,j는 자율차 주변 i번째 차량과 j번째 차량 사이의 상호작용이다. 본 논문에서는 G(V,E)를 정의하기 위한 NN로 Transformer²⁾를 사용한다. Fig. 4의 (a)는 Transformer의 구조를 보여주고 있다. Transformer는 아래의 식과 같이 Self-attention을 이용하여 노드들 사이의 상호작용을 계산하고 노드들의 피쳐를 갱신한다.

Fig. 4

(a) Structure of Transformer,2) (b) example of masking effect

여기서 $$ {\mathit{X}}_{\mathit{i}\mathit{n}}\in R^{N\times D}$$과 $$ {\mathit{X}}_{\mathit{o}\mathit{u}\mathit{t}}\in R^{N\times D}$$은 입력 및 출력 피쳐 행렬로 i번째 행은 노드 V_i의 피쳐에 대응된다. $$ \mathit{W}\in R^{D\times d_k}$$은 NN의 학습 가능한 파라메터이다. Q^S, K^S, V^S는 각각 Query, Key, Value로 Self-attention의 입력으로 사용되며 식 (7) ~ (9)의 정의에서 알 수 있듯이 W_Q,W_K,W_V를 이용하여 X_in을 사영시킨 결과물이다. 본 논문에서는 X_in의 i번째 행, 즉 노드 V_i의 피쳐를 다음과 같이 계산한다.

여기서 [a;b]은 a와 b 두 벡터의 이어 붙임 연산을 말하며 MLP()는 Multi-layer perceptron(MLP)을 의미한다. 식 (10)의 정의에서 알 수 있듯이 V_i의 피쳐는 i번째 차량의 과거 움직임 정보뿐만이 아니라 차량 주변의 지도 정보를 포함하고 있다. 따라서 노드 사이의 상호작용 계산 시 차량의 움직임을 보다 명확히 반영할 수 있게 된다. 마지막으로 A^S의 i번째 행 j번째 열의 요소 A_ij는 V_i와 V_j사이의 상호작용을 의미하며 식 (6)과 같이 스케일링 된 내적으로 계산된다.

식 (5)의 Attetion 과정은 모든 노드 사이의 상호작용을 반영하여 노드의 피쳐를 갱신한다. 그림 5는 그 과정을 그림을 통해 설명하고 있다. 그러나 아주 멀리 떨어진 차량 사이의 상호작용은 완전히 무시되는 것이 상호작용 계산에 유리하다. 그 이유는 사람은 운전 속도 및 도로 상황에 따라 고려할 주변 대상을 다르게 정하기 때문이다. 본 논문에서는 이를 Self-attention에 반영하기 위해 Learnable masking 기법을 제안한다. 먼저 다음의 추가적인 Self-attention을 통해 마스크 $$ \mathit{M}\in R^{N\times N}$$을 계산한다.

Fig. 5

Visualization of self-attention operation

여기서 a는 임의의 상수로 sigmoid함수의 기울기를 결정한다. 본 논문에서는 a의 값으로 100을 설정하였다. δ는 학습이 가능한 변수이다. 식 (11)에서 알 수 있듯이 A^M의 요소들은 sigmoid함수에 의해 0 또는 1의 값으로 변환되어 M의 요소가 되며 이는 학습 가능한 δ에 의해 결정된다. 다음으로 식 (6)을 다음과 같이 변형한다.

여기서 ∆는 임의의 매우 큰 양수이며 본 논문에서는 10¹⁰으로 정하였다. 식 (15)의 오른쪽 마지막 항에서 계산되는 노드 사이의 상호작용 값은 오른쪽 첫 번째 항의 M에 의해 원래의 값을 유지하거나 혹은 매우 작은 음의 값이 된다. 따라서 A^S가 식 (5)의 softmax함수를 거치게 될 경우 매우 작은 음의 값이 된 상호작용 값은 0에 수렴하게 되며 그 결과 노드 피쳐의 갱신 과정에서 완전히 무시 된다. Fig. 4의 (b)는 그 예를 보여주고 있다. 4장의 실험 결과는 제안하는 Learnable mask의 도입으로 제안하는 NN의 미래 궤적 예측 성능이 향상됨을 보여준다.

3.4 Latent Sampling Module

식 (4)에서 보듯 미래 궤적의 확률분포는 은닉 변수 z에 의해 모델링되며 z는 근사화 된 사후 확률분포 $$ q_{\varphi }\left(\mathit{z}\mid {\mathit{Y}}_{\mathit{i}},{\mathit{X}}_{\mathit{i}},C\right)$$를 따른다. 본 논문에서는 q_ϕ를 다음의 NN로 정의한다.

여기서 $$ \overline{{\mathit{Y}}_i}$$는 미래 궤적 Y_i를 LSTM을 통해 인코딩한 결과이며 $$ \widetilde{{\mathit{X}}_i}$$는 Transformer를 통해 갱신된 차량의 과거 궤적 인코딩이다. 마지막으로 μ_q와 σ_q는 사후 확률분포의 평균과 분산 벡터이다. q_ϕ로부터 z의 샘플링은 Re-parameterization¹⁸⁾ 기법을 통해 다음과 같이 이루어진다.

여기서 ϵ은 정규분포를 따르는 랜덤 벡터이다. 식 (4)의 사전 분포 p_γ는 다음과 같이 NN로 정의한다.

식 (4)의 ELBO의 정의에서 알 수 있듯이 q_ϕ는 학습 과정에서만 사용할 수 있다. 그 이유는 $$ \overline{{\mathit{Y}}_{\mathit{i}}}$$는 테스트 과정에서 사용할 수 없기 때문이다. 따라서 EBLO의 KL divergence를 통해 p_γ가 q_ϕ를 따르도록 학습하고 테스트 시에 p_γ를 통해 z를 샘플링 한다.

3.5 Trajectory Generation Module

샘플링 된 은닉 변수 z로부터 미래 궤적을 생성할 때 일반적으로 다음과 같이 이어 붙임 연산을 이용한다.

그러나 VAE의 사후 붕괴 문제로 인해 미래 궤적을 생성하는 과정에서 z가 종종 무시되며 결국 샘플링된 다수의 z로부터 식 (19)를 통해 생성된 미래 궤적들이 매우 유사한 모습을 띄게 된다. 본 논문에서는 이러한 사후 붕괴 현상을 완화하기 위해 Latent modulation 기법을 제한한다:

여기서 ⊙는 요소별 곱하기 연산이다. 정적 컨텍스트 정보 F_i는 V_i 주변의 차로 중심선, 주행 가능영역 등의 정보를 압축하여 포함하고 있다. 식 (21)은 z를 이용하여 F_i를 직접적 변조함으로써 미래 궤적 생성 시 정적 컨텍스트 정보를 보다 다양하게 활용하도록 고안되었다. 4장의 실험 결과에서 보듯 단순 이어 붙임 연산을 통해 z를 사용하는 것보다 제안하는 변조 방식을 통해 z를 이용하는 것이 다양한 궤적 생성에 더 효과적임을 할 수 있다.

3.6 학습 방법

제안하는 NN모델은 식 (4)의 ELBO를 최소화 하도록 학습되었다. 식 (4)의 β는 0.5로 고정하였으며 이는 실험을 통해 정하였다. 최소화를 위해 Adam optimizer²⁴⁾를 사용하였으며 Batch size는 8, Initial learning rate은 0.001로 정하고 50 epoch 동안 학습하였다. 그림 6은 학습 횟수에 따른 식 (4)의 L_ELBO 변화를 보여주고 있다. 학습과정 초반 동안 L_ELBO은 매우 빠르게 감소하다가 그 이후로 안정되는 모습을 볼 수 있다. NN의 학습 및 테스트를 위한 PC의 사양은 다음과 같다: Intel i7 CPU, 32 GB RAM, NVIDIA RTX 2080Ti GPU.

Fig. 6

ELBO values over the number of model updates

4.1 데이터 셋

본 논문에서는 제안하는 모델 및 비교 평가를 위한 모델의 학습 및 테스트를 위해 nuScenes¹⁾ 데이터 셋을 사용하였다. 이 데이터 셋은 Boston과 Singapore에서 수집한 20초 길이의 1000개의 시퀀스로 이루어져 있다. 또한 각 시퀀스에 포함된 도로 위 객체의 3D bounding box와 각 객체의 Tracking ID 및 고정밀 지도를 제공한다.

본 논문에서는 자율차 주변 차량에 대하여 2초의 과거 궤적으로부터 4초의 미래 궤적을 예측하도록 모델을 학습하였다. 이를 위해 6초 길이의 연속되는 로깅 데이터로부터 주변 차량의 Tracking ID 및 3D Bounding box를 획득하고 Box의 중심점을 계산하여 학습에 필요한 궤적을 획득하였다. 또한 고정밀 지도 이미지를 획득하기 위해 2초 시점에서의 자율차의 위치 정보를 획득하고 해당 위치로부터 90미터 이내의 모든 지도 정보를 900×900 Pixels 크기의 이미지 위에 그렸다. 고정밀 지도 이미지는 3.2절에서 설명한 바와 같이 Convolution 과정을 거쳐 피쳐 맵 F로 변환된다.

4.2 평가 지표

모델의 객관적 평가를 위해 기존 연구에서 사용하는 두 가지 지표 Average displacement error(ADE)와 Final displacement error(FDE)를 사용하였으며 이 둘은 다음과 같이 정의 된다.

여기서 $$ {\mathit{p}}^{\mathit{t}}=\left(x^t,y^t\right)$$, Y와 $$ \widehat{Y}$$는 각각 정답 미래 궤적과 예측된 미래 궤적을 의미한다. 본 논문에서는 ADE_K와 FDE_K를 각각 생성된 K개의 미래 궤적 중 ADE와 FDE의 최소값으로 정의하겠다. Choi 등¹⁶⁾에 따르면 ADE₁과 FDE₁은 모델에 의해 생성된 궤적의 평균 퀄리티를 ADE_K≥15와 FDE_K≥15 모델에 의해 생성된 궤적의 최고 퀄리티를 의미한다.

4.3 비교 대상 모델

● CoverNet¹¹⁾: 고정밀 지도 이미지와 자율차의 현재 상태를 입력으로 받아 다이내믹하게 갱신되는 미래 궤적 후보들로부터 최적의 미래 궤적들은 선택하는 모델.

● ILVM¹²⁾: 고정밀 지도 이미지 및 연속되는 라이다 포인트 클라우드(Lidar point cloud)로부터 객체를 검출하고 검출된 객체 주변의 맵 피쳐로부터 객체의 미래 궤적을 예측하는 모델.

본 논문에서는 공정한 비교를 위해 각 모델이 사용하는 고정밀 지도 이미지를 일치시켰다. 단, CoverNet의 경우 고정밀 지도 이미지 외에 주변 객체의 과거 움직임 이미지가 별도로 필요하기 때문에 고정밀 지도 이미지와 과거 움직임 이미지를 채널 방향으로 이어붙임을 하여 사용하였다. 또한 ILVM을 학습 시 라이다 포인트 클라우드 대신 주변 객체의 과거 궤적을 LSTM을 통해 인코딩하여 사용하는 방식을 별도로 테스트하였으며 이 모델을 ILVM(Trajectory)라고 표현하였다.

4.4 객관적 평가

Table 1은 각 모델의 객관적 평가 결과를 보여준다. 앞에서 언급한 바와 같이 ADE₁과 FDE₁은 모델에 의해 생성된 궤적의 평균 퀄리티를 ADE_K≥15와 FDE_K≥15은 모델에 의해 생성된 궤적의 최고 퀄리티를 의미한다. 표에서 알 수 있듯이 제안하는 모델에 의해 생성된 궤적의 평균 및 최고 퀄리티가 매우 우수함을 알 수 있다. 특히 최고 퀄리티의 경우 나머지 모델에 비해 최대 2배 이상 개선됨을 알 수 있다. 평균 퀄리티의 경우 ILVM(Trajectory)가 가장 좋음을 알 수 있다. 그러나 ILVM(Trajectory)의 경우 생성된 궤적들의 다양성이 매우 부족하여 최고 퀄리티가 매우 나쁨을 알 수 있다. 마지막으로, 객체의 과거 궤적 대신 연속 된 라이다의 포인트 클라우드를 사용하는 ILVM이 가장 나쁜 성능을 보임을 알 수 있다. nuScenes 데이터 셋이 제공하는 라이다 포인트 클라우드의 경우 채널 수가 32로 매우 낮은 편에 속한다. 따라서 연속되는 포인트 클라우드로부터 자율차로부터 멀리 있는 객체의 과거 움직임 이력을 계산함에 있어 NN가 많음 어려움을 겪었을 것으로 예상한다.

Table 1

Quantitative comparison

4.5 제안하는 모델의 특성 분석

Table 2는 본 논문에서 제안하는 여러 기법들이 제안하는 모델의 성능 개선에 얼마나 도움을 주는지를 보여주고 있다. 표의 Proposed는 제안하는 모델의 학습 결과이다. w/o social interaction은 제안하는 모델에서 과거 궤적을 LSTM으로 인코딩 후 Transformer를 적용시키지 않았을 때의 결과이다. w/o learnable mask는 Transformer 적용 시 식 (15)의 Masking을 적용하지 않았을 때의 결과이다. 마지막으로 w/o latent modulation은 제안하는 모델에서 식 (21)의 Latent modulation을 적용하지 않았을 때의 결과이다. 표에서 알 수 있듯이 주변 객체 간의 상호작용을 고려하는 것이 모델의 성능 개선에 매우 중요함을 알 수 있다(Proposed v.s. w/o social interaction). 또한 제안하는 Learnable masking은 주변 객체 간의 상호작용을 보다 잘 모델링하는 데에 도움을 주는 것을 알 수 있다(Proposed v.s. w/o learnable mask). 마지막으로 제안하는 Latent modulation기법을 통해 생성된 궤적들의 다양성이 매우 높아지는 것을 알 수 있다(Proposed v.s. w/o latent modulation).

Table 2

Ablation study

4.6 주관적 평가

Fig. 7은 각 모델을 이용하여 객체의 미래 궤적을 예측한 결과이다. 그림에서 붉은색 사각형과 회색 사각형은 각각 목표 객체 및 주변 객체이다. 회색 동그라미는 과거 움직임 이력이며 검은색 동그라미는 객체의 실제 미래 움직임이다. 마지막으로 무지개색 실선은 생성된 15개의 미래 궤적이다. 그림에서 각 열은 서로 다른 모델에 의해 생성된 결과를 보여준다. 그림에서 알 수 있듯이 제안하는 모델은 실제 움직임과 매우 유사하면서도 다양하고 상황에 어울리는 미래 궤적을 생성함을 알 수 있다. 그러나 ILVM의 경우 실제 움직임과는 유사하지만 다양성이 매우 낮음을 알 수 있다. 마지막으로 CoverNet의 경우 상황에 어울리지 않는 궤적이 상당히 많이 생성됨을 알 수 있다.

Fig. 7

Trajectory prediction examples