모델 통합 기반 상대 차량 주행 경로 예측 알고리즘
Copyright Ⓒ 2020 KSAE / 170-01
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Abstract
In this paper, the target vehicle trajectory prediction is proposed in order to improve the accuracy and robustness against the noise of the sensors. The physics-based model and maneuver-based model are composed and integrated to predict the trajectory accurately. First, the physics-based model is designed using the relative position information of the vehicle. Second, the maneuver-based model reflects the vehicle driving pattern, such as lane keeping or changing. The maneuver-based predicted model candidates are selected through a probabilistic approach. The integrated prediction algorithm is implemented through a physics-based model and a stochastically selected trajectory candidate. In particular, the proposed algorithm can only be designed by using the onboard sensor data, and it is validated by using the computer simulation software, CarSim and MATLAB/Simulink, and experimental test.
Keywords:
Trajectory prediction, Physics based model, Maneuver based model, Maximum likelihood, Model integration키워드:
경로 예측, 물리 기반 모델, 거동 기반 모델, 최대 우도, 모델 통합1. 서 론
첨단 운전자 보조 시스템(Advanced Driver Assistance System, ADAS)은 도로 위의 다양한 상황을 인식하고, 상황을 판단하여 운전자를 보조할 수 있도록 차량을 제어하는 시스템이다. 특히, 긴급 자동 제동 시스템(Autonomous Emergency Braking, AEB) 또는 자동 긴급 조향 시스템(Autonomous Emergency Steering, AES)에서는 상대 차량의 주행 경로를 사전에 예측하여 위험도를 판단, 이를 활용하여 충돌을 회피할 수 있다. 하지만 이를 오판하게 되면 충돌이 발생하거나, 주행 중 불필요한 감속 또는 조향 제어를 야기할 수 있다.
상대 차량의 주행 경로 예측에는 주로 물리 기반 모델(Physics-based model)과 거동 기반 모델(Maneuver-based model)을 활용한 연구가 수행되었다.1) 물리 기반 모델을 사용한 연구에서는 등속도 모델(Constant velocity model, CV model) 및 등가속도 모델(Constant acceleration model, CA model)과 같은 예측 모델과 함께 센서 데이터를 사용하여 주행 경로를 예측한다.2) 이러한 물리 기반 모델 예측의 경우 짧은 시간 예측에 적합하지만, 센서 노이즈에 취약하고,3,4) 도로 정보나 운전자 의도를 고려하지 않기 때문에 정확도가 낮아진다. 또한 차선 변경과 같이 차량의 Yaw 거동이 발생하는 시점에 대한 오차가 크게 발생하기 때문에 해당 모델의 경우 짧은 시간 예측에만 적합하다.5,6)
이를 보완하기 위해 등선회율 모델(Constant Turn Rate and Velocity model, CTRV model)이나 등선회-가속도 모델(Constant Turn Rate and Acceleration model, CTRA model)을 사용하여 Unscented Kalman Filter(UKF)를 적용한 연구가 진행되었다.7) 해당 모델은 상대 차량의 Yaw rate 정보를 이용하여 회전 거동에 대한 정확성을 향상시킬 수 있다. 하지만 ADAS가 접목된 대다수 차량의 경우, RADAR 또는 Vision sensor 기반으로 구성이 되어 있어 상대 차량의 Yaw rate 정보를 획득하기 어렵기 때문에 해당 모델을 사용하려면 추가적으로 V2V(Vehicle to Vehicle) 기술을 필요로 한다.
또한 다양한 물리 모델에 대한 적합성을 고려한Interacting Multiple Model(IMM) 알고리즘 연구가 진행되었다.8,9) 이는 차량의 측정값을 활용하여 거동에 적합한 모델을 통해 상태를 예측할 수 있어 정확도를 향상시킬 수 있으나, 모델 의존성이 높아 정해진 모델 이외의 거동을 예측하기 어렵다.10)
한편, 도로 환경을 고려하고 운전자의 의도를 파악하여 차량의 거동을 예측하는 거동 기반 모델 연구가 수행되었다.11,12) 이는 상대적으로 긴 시간 예측 정확도가 높다는 장점이 있지만, 운전자의 돌발 행동 등 일반적인 주행 패턴이 아닌 경우 예측 정확도가 현저히 떨어지는 단점이 있다.1) 또한 운전자의 거동을 학습을 통해 패턴을 파악한 Multi-modal 경로 예측에 대한 연구가 진행되었으나, 예측 경로에 대한 데이터 셋을 구축해야 하며, 학습되지 않은 거동에 대해서는 예측이 불가하다.13)
본 논문에서는 물리 기반 모델과 거동 기반 모델을 통합하여 상대 차량 주행 경로를 예측하는 기법을 제안한다. V2V와 같은 차량 통신을 사용하지 않고, 차량의 주변 환경을 감지하는 Vision 센서나 LIDAR와 같은 환경 센서를 통해 측정할 수 있는 데이터만을 이용하여 경로를 예측할 수 있도록 설계하였다. 또한 센서의 부정확성에 강인하며 긴 시간 예측에도 정확도를 확보할 수 있는 것을 목표로 하였다.
경로 예측 알고리즘의 경우, 물리 기반 모델 및 거동 기반 모델을 각각 구축한다. 거동 기반 모델의 경우, 차선 유지, 변경 모델에 대한 후보군을 제시하고, 거동 기반 모델의 대표를 최대 우도법(Maximum Likelihood, ML)으로 결과를 도출한다. 물리 기반 모델과 거동 기반 모델의 통합을 위하여 가중 함수(Weighting function)를 구성하였으며, 이를 활용하여 상대차량의 최종 예측 경로를 도출한다. 제안하는 알고리즘은 상용 소프트웨어인 MATLAB/ Simulink와 CarSim을 이용한 시뮬레이션 환경에서 선 검증 후, 실차 실험 환경에서 추가적으로 검증을 수행하였다.
2. 상대 차량 경로 예측
본 논문에서는 센서로부터 획득한 상대 차량의 상대 거리 정보를 활용하여 물리 기반 모델과 거동 기반 모델을 구축하고 이를 통합하여 최종 예측 경로를 도출한다. 제안하는 알고리즘의 전반적인 구조는 Fig. 1과 같다.
2.1 물리 기반 모델 구성
본 논문에 사용된 물리 기반 예측 모델에서는 차량이 일정한 가속도로 운동한다는 가정 하에 등가속도 모델(Constant Acceleration model, CA model)을 사용하였다. 차량의 경로 예측에 대한 모델은 수식 (1), (2)와 같이 나타낼 수 있다.
(1) |
(2) |
해당 모델을 차량의 상대 종 방향 거리, 및 상대 횡방향 거리에 대하여 각각 도출한다. 따라서 차량 상태를 수식 (3)과 같이 정의한다.
(3) |
센서로부터 측정된 상대 차량의 상대 위치 정보를 이용하여 Fig. 2와 같이 Kalman filter에 적용한다. 이를 통해 측정된 상대 거리에 대한 센서 노이즈를 저감하고 CA 모델을 반영하여 2초간의 예측된 상태를 도출한다.14)
2.2 거동 기반 모델
거동 기반 모델은 차선을 유지하거나 변경하는 일반적인 운전자의 움직임을 모사한다.15) 제안하는 알고리즘에서는 다음과 같은 2차 전달함수를 이용하여 차선 유지 및 변경에 대한 모델을 구축하였다. 비전 센서로부터 차선의 폭을 알고 있다면, 목표 차선으로 수렴하는 모션을 2차 전달함수의 응답으로 나타낼 수 있다. 2차 전달함수는 다음과 같은 수식 (4)로 나타낼 수 있다.
(4) |
여기서 u는 목표 차선까지의 거리이며, 이는 비전 센서로부터 자 차량에서 취득한 값을 사용한다. 또한 a, b, c는 2차 전달함수에서 응답 특성을 구성하는 함수 값이다. 따라서 해당 변수는 목표 차선으로 수렴하는 Settling time과 Overshoot를 설계자가 설정할 수 있으며 이를 통해 차선 변경 또는 유지 모델에 대한 수렴 속도를 정의할 수 있다. 본 논문에서는 a=0.4, b=1.2, c=1로 설정하였다. 이를 이용하여 State-space equation으로 다음과 같이 나타낼 수 있다.
(5) |
(6) |
(7) |
이를 이용하여 좌/우 차선의 차선 변경 모델 및 차선 유지 모델을 Fig. 3과 같이 확인할 수 있다.
2.3 모델 통합
모델을 통합하기 위해서는 두 가지 요인을 고려하였다. 첫 번째로 3가지 거동 기반 후보군에 대하여 하나의 모델을 선택하며, 두 번째로, 물리 모델과 선택된 거동 기반 모델에 대한 통합을 수행해야한다.
본 논문에서는 Maximum likelihood를 통하여 운전자의 의도를 파악하여 거동 기반 모델의 후보군에서 하나의 모델을 선택한다. 또한 선택된 거동 기반 모델 및 물리 모델에 대한 통합을 위해 Weighting function을 구성하여 통합 알고리즘을 설계하였다.
거동 기반 모델로부터 상대 차량 주행 경로 예측을 위해, 자 차량 기준으로 주변 차량이 좌/우 차선을 변경하는 모델과 차선을 유지하는 모델을 구성하였다. 해당 모델들로부터 운전자의 의지 판단을 수행하여 최종 거동 기반 모델을 선택하는 알고리즘이 필요하다. 따라서 목표 차선에 대한 차선 유지, 변경에 대한 각각의 모델들을 Fig. 2와 같은 칼만 필터로 구성을 한다. 새로운 측정값이 들어올 경우, 칼만 필터로부터 측정값과 각 모델로부터 예측된 값의 차이를 수식 (8)과 같이 계산할 수 있다.
(8) |
그리고 측정값에 대한 오차 공분산(Error covariance)을 수식 (9)와 같이 계산할 수 있다.
(9) |
이를 이용하여 주어진 모델에 대하여 해당 관측 값이 나올 확률을 각각의 모델에 대해서 도출되며, 이를 Likelihood로 아래 수식과 같이 도출할 수 있다.
(10) |
차선 유지, 왼쪽과 오른쪽 차선 변경 모델에 대하여 수식 (10)과 같이 각각의 Likelihood를 계산할 수 있으며, 이를 최대 우도법(Maximum likelihood)를 이용하여 해당 관측 값이 나올 확률이 가장 높은 모델 M*를 도출한다.
(11) |
짧은 예측 시점에서는 물리 기반 모델의 가중치를 높게, 그리고 그 이상의 시점에서는 거동 기반 모델의 가중치를 높게 설정하기 위해 가중 함수(Weighting function)을 구성한다. 이를 위해 0부터 1사이의 값을 가지고, 좌극한이 0, 우극한이 1로 수렴하며 연속인 함수 특성을 가지는 Sigmoid function을 사용하여 수식 (12)와 같이 가중 함수를 구성하였다.
(12) |
이를 이용하여 짧은 예측 시점에서는 빠른 응답성을 보이고, 긴 예측 시점에서는 운전자의 의지를 판단한 경로로 예측하도록 수식 (13)과 같이 최종 예측 경로를 결정한다.
(13) |
3. 검증 결과
3.1 시뮬레이션 결과
본 논문에서 제안하는 알고리즘의 성능 검증을 위하여 물리 기반 모델, 거동 기반 모델과의 비교를 수행하였다. 시뮬레이션 검증 시, 실차 노이즈 레벨을 고려하여 상대 거리에 가우시안 노이즈를 추가하였고, 보다 실제적인 검증을 위해 물리 기반 모델에는 칼만 필터를 적용하여 비교하였다. 시나리오는 차선 유지, 차선 변경, 그리고 차선쪽으로 다가가지만 차선을 유지하는 차량에 대한 시나리오 순으로 검증을 수행하였다. 예측 시간은 50 ms 단위로 40 step을 예측하여 총 2초 동안 상대 차량의 주행 경로를 예측하였다.
첫 번째로, 차선을 유지하는 시나리오에 대한 결과가 Fig. 5에 나타나 있다. 물리 모델을 사용한 경우, 칼만 필터로부터 완벽하게 제거되지 못한 센서 노이즈로 인한 영향으로 긴 시간 예측에 오차가 발생하였다. 제안하는 알고리즘의 경우, 짧은 시간에는 물리 기반 모델, 긴 시간예측에는 거동 기반 모델을 사용하기 때문에 상대적으로 노이즈에 강인하게 예측할 수 있었다.
두 번째로, 차선 변경 시나리오에서는 물리 기반 모델 예측의 경우 운전자의 의도를 고려하지 못하기 때문에 차선을 벗어나는 경로로 예측이 되지만, 제안하는 기법을 사용한 경우 Fig. 6과 같이 운전자의 의도를 고려하여 주행 경로를 예측할 수 있음을 확인할 수 있다.
이와 유사하게 Fig. 7에서는 차선 변경 시 물리모델에서는 2개의 차선을 변경하는 것으로 예측을 수행하지만, Maximum likelihood로 계산한 결과, 자 차량 기준 차선으로 수렴하는 모델로 운전자의 의도를 파악하여 거동 기반 모델의 정확도가 물리 기반 모델보다 향상되었음을 확인할 수 있다. 또한 제안하는 알고리즘의 경우, 짧은 시간 내에는 물리 기반 모델을 적용하므로 거동 기반 모델 보다 빠른 응답성을 보여 정확도를 향상시킬 수 있음을 확인하였다.
Fig. 8에서는 차선 변경을 하지 않지만, 차선으로 치우치는 시나리오이다. 해당 시나리오에서는 차선 변경을 수행하지 않으나, 0.05 g 정도의 횡가속도가 차선내에서 발생한다. 물리 기반 모델의 경우, 미약한 횡 가속도에도 민감하게 반응하여 차선을 벗어나는 것으로 판단하게 되지만, 통합 모델을 사용하는 경우, 거동 기반 모델 후보군의 Likelihood로부터 차선 유지 모델이 선택되어 예측 정확성을 향상시킬 수 있었다.
각 시나리오 별 RMSE(Root Mean Square Error)를 아래 Table 1에 표시하였다. 이 때, RMSE는 다음과 같이 도출하였다.
(2) |
Maneuver model의 경우, Maximum Likelihood로 선별된 모델의 수치로 표현하였다. 각 시나리오별로 RMSE 수치가 제안하는 알고리즘보다 더 작은 경우가 발생하나, 다양한 시나리오에서 검증한 결과, 평균적으로 가장 RMSE가 적은 것을 확인할 수 있다.
3.2 실차 실험 결과
실차 검증을 위해 Fig. 9와 같이 차량을 구성하였다. 상대 차량의 위치 정보의 경우 ibeo사의 LUX Laser scanner를, 차선 정보의 경우 Mobileye 센서로부터 차선 정보를 취득하였다. 예측 결과에 대한 Reference를 위하여 NovAtel 사의 ProPak V3 GPS를 장착하였다.
경로 예측 시간은 시뮬레이션 검증과 마찬가지로 50 ms 단위로 40 step을 예측하여 총 2초의 상대 차량의 주행 경로를 예측하였다. 검증 시나리오는 자 차량 속도 45 km/h 로 주행 중, 상대 차량이 자 차량 앞으로 차선을 변경하는 시나리오이다. 회색으로 표시된 선은 차량의 Mobileye로부터 획득한 차선 및 FOV(Field Of View)를 표시하였다. 해당 시나리오의 RMSE의 값은 Table 2와 같다.
Fig. 10, Fig. 14의 경우 차선이 유지되는 시나리오이다. 물리 모델의 경우, 센서 노이즈로 인해 거동이 일정하게 유지되는 상황일지라도 좌/우로 차선을 벗어나는 예측을 하는 상황이 존재하며, 예측의 변화가 매우 급격하게 일어났다. RMSE를 비교한 경우에도, 전 시나리오에 물리 기반 모델의 오차 평균이 0.9189로 가장 높았다.
차선 변경 시나리오에서는 Fig. 11과 Fig. 12에서와 같이 거동 기반 모델에서 어떤 차선으로 수렴할 것인지를 Maximum likelihood로 판단을 수행한 결과를 확인할 수 있다. 거동 기반 모델의 경우, 물리 기반 모델과는 다르게 센서 노이즈로 인한 영향은 줄었으나, 상대적으로 짧은 시간 예측에 대해서는 모델 의존도가 높아 모델에 정의된 차선 변경 속도로만 예측이 되지만, 제안하는 알고리즘의 경우, 물리 모델을 결합하여 이를 보완하는 것을 Table 2의 Scenario 2, 3에서 확인할 수 있다. 차선 변경 시에는 모델로부터 예측한 오차가 도로 정보나, 운전자 의지를 반영하지 못하기 때문에 에러 값이 다른 모델에 비해 크게 존재함을 확인하였다.
Fig. 13에서는 차선 변경이 수행되고 차선을 유지하기 시작하는 시나리오이다. 해당 시나리오에서는 차선 변경이 완료되었음에도 불구하고, 물리 기반 모델의 경우 차선을 벗어나는 방향으로 예측을 수행하였다. 거동 기반 모델로부터 운전자의 의도를 파악해서 이를 정상적으로 예측 수행한 결과를 확인할 수 있다.
4. 결 론
본 논문에서는 물리 기반 모델과 거동 기반 모델을 구성하고 통합하여 상대 차량 주행 경로를 예측하는 기법을 제안한다. 일반적인 환경 센서로부터 획득 가능한 주변 차량의 상대 위치 정보를 활용하여 상대 차량의 위치, 속도 및 가속도 정보를 추정하는 물리모델을 구성하였다. 거동 기반 모델의 경우 Vision sensor로부터 획득 가능한 차선 정보를 활용하여 운전자의 행동 패턴을 모사하는 모델을 2차의 전달함수로 구축하여 Trajectory 후보군을 생성하였다. 생성된 후보군은 Likelihood 값을 활용하여 해당 차량의 정보로부터 적합한 모델이 무엇인지 선택된다. 위에서 제시한 물리 기반 모델과 선택된 거동 기반 모델은 Weighting function을 통해 통합된 예측 결과를 도출하였다. 제안하는 알고리즘 검증을 위하여 시뮬레이션 및 실차 실험을 수행하였으며, 물리 기반 모델과 거동 기반 모델에 비하여 센서 노이즈 저감 효과와 운전자 의도 파악에 따른 정확도가 향상됨을 확인하였다.
본 논문에서 제시하는 알고리즘의 경우 물리 모델 또는 거동 기반 모델 대비 연산량이 많다. 따라서 알고리즘 실시간성에 대한 검토가 추가적으로 필요하다. 또한 거동 기반 모델의 상수를 일반적인 차선변경 상황으로 가정하고 검증을 수행하였기 때문에, 매우 급격하거나 느린 차선 변경에 대한 고려가 필요하다. 향후에는 다양한 주행 시나리오에서의 차량 데이터를 활용하여 거동 기반 모델을 보다 구체화하고 다양한 운전자 모델에 대한 정확도를 향상시킬 예정이다.16)
Nomenclature
x, y : | relative longitudinal/lateral position, m |
: | relative longitudinal/lateral velocity, m/s |
: | relative longitudinal/lateral acceleration, m/s2 |
Ts : | sampling time, sec |
ω : | process noise |
v : | measurement noise |
a, b, c : | maneuver-based model parameter |
n, m : | sigmoid function parameter |
M : | maneuver-based model |
z : | measurement variable |
: | estimated state |
K : | kalman gain |
P : | error covariance |
A : | system model variable |
F : | state transition matrix |
H : | measurement matrix |
Q : | process noise covariance matrix |
R : | measurement noise covariance matrix |
Λ : | likelihood |
E : | error |
Subscripts
rel : | relative |
Long : | longitudinal direction |
Lat : | lateral direction |
i : | longitudinal, lateral |
k : | time |
T : | transpose |
- : | predicted value |
LCL : | lane change to left motion |
LK : | lane keeping motion |
LCR : | lane change to right motion |
RMS : | root-mean-square |
Acknowledgments
A part of this paper was presented at the KSAE 2016 Fall Conference and Exhibition
본 논문은 산업통상자원부 및 산업기술평가관리원의 권역별신산업육성-자율주행자동차핵심기술개발 사업 (10079730, 자동차전용도로/도심로 자율주행시스템 개발 및 성능평가)의 지원을 받아 수행되었음.
References
- S. Lefevre, D. Vasquez and C. Laugier, “A Survey on Motion Prediction and Risk Assessment for Intelligent Vehicles,” Robomech Journal, Vol.1, No.1, 2014. [https://doi.org/10.1186/s40648-014-0001-z]
- R. Schubert, C. Adam, M. Obst, N. Mattern, V. Leonhardt and G. Wanielik, “Empirical Evaluation of Vehicular Models for Ego Motion Estimation,” IEEE Intelligent Vehicles Symposium, pp.534-539, 2011. [https://doi.org/10.1109/IVS.2011.5940526]
- G. Raipuria, Vehicle Trajectory Prediction Using Road Structure, M. S. Thesis, Delft University of Technology, Delft, Netherlands, 2017.
- T. Gindele, S. Brechtel and R. Dillmann, “A Probabilistic Model for Estimating Driver Behaviors and Vehicle Trajectories in Traffic Environments,” IEEE Conference on Intelligent Transportation Systems, pp.1625-1631, 2010. [https://doi.org/10.1109/ITSC.2010.5625262]
- C. Hermes, C. Wohler, K. Schenk and F. Kummert, “Long-term Vehicle Motion Prediction,” IEEE Intelligent Vehicles Symposium, pp.652-657, 2009. [https://doi.org/10.1109/IVS.2009.5164354]
- D. Vasquez and T. Fraichard, “Motion Prediction for Moving Objects: a Statistical Approach,” IEEE International Conference on Robotics and Automation, pp.3931-3936, 2004. [https://doi.org/10.1109/ROBOT.2004.1308883]
- R. Schubert, E. Richter and G. Wanielik, “Comparison and Evaluation of Advanced Motion Models for Vehicle Tracking,” IEEE International Conference on Information Fusion, pp.1-6, 2008.
- A. F. Genovese, “The Interacting Multiple Model Algorithm for Accurate State Estimation of Maneuvering Targets,” Johns Hopkins APL Technical Digest, Vol.22, No.4, pp.614-623, 2001.
- S. Veeraraghavan, A. Rathi, M. J. Sagayaraj and C. V. R. Nagar, “Turn Rate Estimation Techniques in IMM Estimators for ESA Radar Tracking,” IEEE Aerospace Conference, pp.1-8, 2008. [https://doi.org/10.1109/AERO.2008.4526441]
- N. Deo, A. Rangesh and M. M. Trivedi, “How Would Surround Vehicles Move? a Unified Framework for Maneuver Classification and Motion Prediction,” IEEE Transactions on Intelligent Vehicles, Vol.3, No.2, pp.129-140, 2018. [https://doi.org/10.1109/TIV.2018.2804159]
- K. Okamoto, K. Berntorp and S. Di. Cairano, “Driver Intention-based Vehicle Threat Assessment Using Random Forests and Particle Filtering,” IFAC-PapersOnLine, Vol.50, No.1, pp.13860-13865, 2017. [https://doi.org/10.1016/j.ifacol.2017.08.2231]
- W. Hu, X. Xiao, Z. Fu, D. Xie, T. Tan and S. Maybank, “A System for Learning Statistical Motion Patterns,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.28, No.9, pp.1450-1464, 2006. [https://doi.org/10.1109/TPAMI.2006.176]
- N. Deo and M. M. Trivedi, “Multi-modal Trajectory Prediction of Surrounding Vehicles with Maneuver Based Lstms,” IEEE Intelligent Vehicles Symposium, pp.1179-1184, 2018. [https://doi.org/10.1109/IVS.2018.8500493]
- S. Kim, Understanding Kalman Filter, Ajin, Seoul, 2010.
- A. Carvalho, Y. Gao, S. Lefevre and F. Borrelli, “Stochastic Predictive Control of Autonomous Vehicles in Uncertain Environments,” International Symposium on Advanced Vehicle Control, pp.712-719, 2014.
- J. Cho, K. Min, S. Kim and K. Huh, “Target Vehicle Path Prediction Algorithm for Collision Avoidance System,” KSAE Fall Conference Proceedings, pp.292-294, 2016.