자율주행 모빌리티 원격 관제 시스템의 통신 지연을 고려하는 예측 주행 경로 시각화 알고리즘

2.1 목표 도달점 도출 및 전송

목표 도달점(x_des, y_des)은 기존의 연구를 기반으로 도출되었다. 차량을 운전하는 운전자의 시점에 관한 기존의 연구를 통해, 운전자들은 도로상 목표 도달점을 바라보며 운전함을 확인할 수 있다.^6-10) 모니터로 주행 환경이 출력되는 주행 시뮬레이션 상황에서 운전자 시점에 관한 연구를 통해 모니터를 보며 시뮬레이션 주행 환경에서도 도로상 목표 도달점에 대한 차량 운전자들의 시선 전략이 비슷한 경향을 보였다.¹⁰⁾

운전자 조향 입력(θ_sw) 기반 다음 식 (1)과같이 운전자 목표 선회 반지름(R_des)이 계산될 수 있다.

운전자는 차량이 도달할 지점인 차두시간(Time headway, τ_h)을 예상하며 주행하는 특성이 있다. 차두시간은 개인별 편차가 있지만 대부분 실험자의 차두시간은 1 ~ 2 sec 이내로 알려져 있다.⁹⁾ 본 논문에서는 모든 운전자에게 1.5 sec의 차두시간을 일괄적으로 적용하여 성능평가가 수행되었으며, 향후 운전자별 차두시간 변화 적용에 따른 평가를 계획하고 있다. 모빌리티의 속도(v_x), 차두시간을(τ_h) 통해 목표 주행 거리(d_des)가 계산되며 2.3절에서 기술된다. 식 (2)와 같이 운전자의 목표 주행 거리와 운전자의 목표 선회 반지름을 통해 목표 요 각도(ψ_des)와 식 (3)을 통해 목표 도달점(x_des, y_des) 을 도출한다.

다음 Fig. 3은 차량 좌표계 기준의 운전자 목표 도달점(xdes ,ydes ) 을 기하학적으로 나타낸다.

Fig. 3

Desired target path point derivation

2.2 수신된 목표 도달점 보정 및 조향

모빌리티가 수신한 목표 도달점의 좌표는 수신 시점(t₁) 대비 Uplink delay만큼의 이전 시점(t₀)에 운전자가 목표했던 지점이다. 따라서 지연된 시간 동안 모빌리티가 움직인 변위를 추정하여 보정된 목표 도달점(x_con, y_con) 을 추종제어 해야 한다. Uplink delay 동안 모빌리티의 선회 반지름 변화가 무시할 수 있을 만큼 작다고 가정하면, 식 (4)와 같이 모빌리티의 현재 조향각(δ)을 통해 지연시간 동안 선회 반지름을 다음과 같이 계산할 수 있다. 앞서 기술된 가정들이 적용되기 어려운 주행 조건의 경우 예측 경로의 상대적 부정확성에 의해 운전자의 조작 불안정성이 증대될 수 있기 때문에 다양한 주행 조건에서의 성능평가를 계획하고 있다.

따라서 모빌리티에서 다음 식 (7)을 이용하여 통신 지연이 보정된 운전자 목표 도달점을 차량 좌표계 기준으로 계산한다.

Fig. 4는 모빌리티 측에서 추정한 통신 지연 간 이동 궤적 및 보정 목표 도달점(x_con, y_con) 을 보여준다.

Fig. 4

Target point uplink delay correction

보정된 목표 경로점을 추종하기 위한 전륜 조향각(δ_con) 도출은 애커먼 조향 기반 기하학적 조향 알고리즘인 Pure pursuit 알고리즘을 적용하였다. 식 (8)과같이 모빌리티의 후륜 중심점으로부터 목표 도달 지점까지의 거리(l_d)와 사잇각(α), 축거(L)를 이용해 추종을 위한 필요 조향각이 계산된다.

다음 Fig. 5는 차량 좌표계 기준의 Pure pursuit 알고리즘을 기하학적으로 표현한 것을 보여준다.

Fig. 5

Geometry-based pure pursuit controller

2.3 통신 지연 고려 주행 예측 경로 도출 및 시각화

운전자는 관제 센터 측 모니터를 통해 모빌리티를 조작하며, 통신 지연으로 인해 현재 주행 중인 차량의 시점이 아닌 시간 지연 이전 차량의 주행 시점을 본다. 제안하는 알고리즘은 현재 시점(t₀)에 이미 도달한 지점, 즉 주행 완료된 궤적을 추정하여 전송받은 시점(t_pre)의 카메라 이미지 위에 주행 완료 추정 궤적과 예측 주행 궤적을 시각화하며, 운전자 입력에 따른 예측 주행 궤적 시각화 알고리즘을 제안한다. 이를 통해 통신 지연이 존재함에도 모빌리티의 예측되는 주행 궤적을 즉각적으로 피드백할 수 있다. Fig. 6은 관제 센터 측에서 주행 궤적을 시각화했을 때, 모빌리티의 주행 완료 추정 궤적(빨간색)과 이어서 그려지는 예측 주행 경로(파란색)의 개념을 관제 타임라인과 함께 확인할 수 있다.

Fig. 6

Concept of the predicted path visualization with line

모빌리티의 종방향 속도와 Downlink delay를 통해 목표 주행 거리(ddes)를 계산한다. 운전자가 Uplink delay 이전 시점(t_pre)에서 모니터를 통해 바라보는 차두시간 기반 목표 주행 거리는 다음 식 (9)과같이 계산된다. 모빌리티의 가감속을 무시할 수 있는 만큼 작다고 가정하면 Downlink delay 간 모빌리티가 움직인 거리(d_pre)는 다음 식 (10)과같이 계산된다. Downlink delay 동안의 선회 반지름 변화를 무시할 수 있는 만큼 작다고 가정하면, 식 (11)과 같이 조향각을 통해 선회 반지름이 계산된다. 식 (12) ~ (13)과 같이 애커먼 조향 기반 지연시간 이전의 모빌리티 자세와 위치가 계산된다.

지연시간 이전의 모빌리티 위치(x_pre, y_pre) 와 2.1절의 목표 도달점(x_des, y_des) 을 각각 차량 좌표계의 원점과 x축에 접하게 두 원호를 그리면 t₀시점 모빌리티 기준의 주행 완료 추정 궤적과 주행 예측 궤적을 다음 Fig. 7(a)과 같이 도출할 수 있다.

Fig. 7

Transforming the predicted driving path

추정 및 예측된 모빌리티의 주행 경로는 관제 센터의 t_pre시점 주행 카메라 이미지 위에 그려져야 하므로, Fig. 7(b)과 같이 주행 완료 추정 궤적 시작점이 좌표계 원점에 일치하도록 변환하여야 한다. 원격 관제 운전자 시점은 차량의 전방을 함께 바라보며 주행하기에 Fig. 7(c)과 같이 전방 범퍼의 궤적으로 변환하여 시각화할 필요가 있다.

예측 주행 궤적을 기준으로 일정하게 생성한 마커군 (M₀)을 t₀시점의 모빌리티 기준 생성한 예측 주행 경로 예시는 다음 Fig. 8과 같다.

Fig. 8

Driving line markers from t0 perspective

주행 완료 추정 궤적 시작점이 좌표계 원점에 일치하는 주행 궤적 마커군(M)을 도출하기 위한 식은 다음 식 (14)와 같으며 Fig. 9는 변환된 마커 예시다.

Fig. 9

Driving line markers from tpre perspective

마지막으로, 직관적인 관제 주행 및 충돌 방지를 위해 범퍼의 궤적으로 변환하여 시각화할 필요가 있다. 완료 주행 궤적과 예측 주행 궤적을 각각 M_bF, M_bP라고 할 때, 이를 변환하기 위한 식은 각각 다음 식 (15)와 식 (16)에서 확인할 수 있다.

전방 범퍼의 궤적으로 변환된 두 주행 궤적 마커군(M_bF, M_bP)은 모빌리티의 폭에 따라 일정하게 마커를 생성한 예시는 Fig. 10과 같다.

Fig. 10

Driving line markers based on front bumper

실 성능평가 환경에서는 Fig. 11과 같이 원격 주행 운전자의 직관적 이해를 위해 범퍼 도달 지점의 색상을 달리하고, 모빌리티 목표 도달점도 시각화하였다.

Fig. 11

Actual applied driving line markers

주행 궤적 시각화를 위해 생성된 마커는 평면 좌표계 기준으로 정의된 좌표이다. Fig. 12와 같이, 이를 카메라의 픽셀 좌표로 변환을 위해 원근교정 및 회전/이동 변환이 필요하다. 월드 좌표(X, Y, Z)를 카메라 픽셀 좌표(x,y)로 변환을 위한 원근교정행렬 및 회전/이동 변환 행렬이 적용된 수식은 식 (17)과 같다.

Fig. 12

Pixel coordinate system transformation

where,

f_x, f_y : focal length

c_x, c_y : principal point

r_i,j : rotation matrix element

t_i,j : translation matrix element

최종적으로 카메라에 대한 원근교정행렬 및 회전/이동 변환 행렬에 적합한 파라미터를 적용하면 예측 주행경로가 카메라 좌표계에 투영될 수 있다. Fig. 13은 본 알고리즘의 성능평가를 위하여 시뮬레이션 기반 구성된 환경에서의 관제 주행¹¹⁾이다.

Fig. 13

Predicted path visualization in CarMaker simulation

3.1 HiLs 기반 성능평가 환경구성

차량 동역학 시뮬레이션 소프트웨어인 IPG CarMaker를 이용한 실시간 성능평가를 진행했으며, 차량은 소프트웨어 내 Demo car 중 현대 Ioniq5 모델을 사용하여 진행하였다. 시각화 및 조향 알고리즘은 Mathworks Matlab/Simulink를 이용하여 CarMaker와 Co-simulation 되었다. 운전자의 입력과 모빌리티 사이의 가상 Uplink delay는 100 ms로 설정하였으며 모빌리티 카메라 이미지와 실험자 모니터 사이의 가상 Downlink delay는 300 ms로 설정하였다.

시뮬레이션의 카메라로 촬영되는 이미지는 카메이커 시뮬레이션의 실시간 렌더링 화면을 0.05 sec 주기로 캡처하는 방식으로 구성되었다. 시뮬레이션의 카메라로 촬영되는 이미지 해상도는 320 × 180으로 시판 중인 16:9 카메라(90 deg FOV)의 스펙을 참고하였다. Fig. 15와 같이 카메라의 장착 위치는 지면으로부터 1.7 m 떨어진 지점에 장착하였으며, 카메라 각도는 아래로 15 degree 향하게 적용하였다.

Fig. 14

Block diagram for performance evaluation

Fig. 15

Setup of camera (from CarMaker)

시뮬레이션 환경의 이상적인 카메라이기 때문에 원근교정행렬의 주점(c_x, c_y)은 각각 중앙점인 160, 90이 적용되었다. 초점거리(f_x, f_y)는 캘리브레이션을 통해 각각 160이 적용되었다. 회전/이동 변환 행렬 또한 카메라의 부착 위치와 각도에 맞게 적용되어, 다음 식 (18)을 통해 주행 궤적이 변환되었다.

주행 시나리오는 차선 변경 후 차선 유지 주행, 연속 장애물 회피 주행 그리고 트랙 주행 총 3가지로 구성되었다. 성능평가 참여자는 운전 경험에 따른 비교적 안정화된 집단(면허 취득 4 ~ 6년 경과자)을 대상으로 선정함으로써 피험자의 운전 미숙으로 인한 평가 저하 요인을 최소화하였다. 참여자들은 제안하는 예측 주행 경로 시각화 원격 관제 알고리즘(Predicted Visualized Tele-Operated Driving, PVToD)이 적용된 시나리오(w/ PVToD)를 주행하였다. 비교군을 위해 제안하는 알고리즘 미적용 시나리오(w/o PVToD)가 수행되었으며 성능평가에 앞서 각 시나리오 연습주행을 1회 실시하였다. 성능평가 참가자들의 운전면허 취득 시점은 아래 Table 1과 같다.

Table 1

Driver license information of experiment participants

시나리오별 정량적 평가는 Driver 1의 주행 데이터를 그래프로 분석하고, 모든 운전자의 주행 데이터는 표로 정리되어 경향성을 확인할 수 있다.

3.2 시나리오 1 : 차선 변경 후 차선 유지 주행

Fig. 16은 PVToD 알고리즘의 직진 유지 성능 확인을 위해 초기 속도 50 km/h로 차선 변경 후 주행 경로의 수렴성을 평가하였다.

Fig. 16

Trajectory of mobility (Driver-1)

Fig. 17

Yaw rate of mobility (Driver-1)

Fig. 18

Speed of mobility (Driver-1)

Fig. 19

Driver steering wheel angle (Driver-1)

Fig. 20

Driver steering wheel angular speed (Driver-1)

Table 2는 5명의 실험 참가자의 데이터이다. 데이터의 분산 정도를 파악하기 위해 표준편차(Standard deviation, STD)를 사용했으며, 수치의 대푯값을 알기 위해 평균(Average, AVG)을 산출하여 데이터를 정량적으로 표현했다. 차선 변경 후 차선 유지 시나리오에서 PVToD가 적용되었을 때 모든 운전자의 경로 오차 표준편차가 감소함을 확인하였다. 경로 오차가 줄어들면서 평균 속도의 증가는 운전자 주행 자신감 증가로 볼 수 있다. 또한, 요 각속도 편차, 조향 휠 각도 및 각속도의 표준편차가 알고리즘이 적용된 경우가 알고리즘이 적용되지 않았을 때보다 비교적 작은 값을 보이며 주행 안정성 개선이 확인되었다.

Table 2

Scenario 1 performance evaluation results

3.3 시나리오 2 : 연속 장애물 회피주행

PVToD 알고리즘의 종/횡방향 주행 성능평가를 위해 40 m 간격의 규칙적 장애물 회피 시나리오가 적용되었으며, Figs. 21 ~ 25는 평가 결과를 보여준다.

Fig. 21

Trajectory of mobility (Driver-1)

Fig. 22

Yaw rate of mobility (Driver-1)

Fig. 23

Speed of mobility (Driver-1)

Fig. 24

Driver steering wheel angle (Driver-1)

Fig. 25

Driver steering wheel angular speed (Driver-1)

Figs. 21 ~ 25와 정량적 결과가 정리된 Table 3에서 모든 운전자가 PVToD가 적용되었을 때 도로 중심점으로부터의 최대 이탈량은 알고리즘이 적용되지 않은 경우보다 상대적으로 작음을 확인할 수 있다. 제안하는 알고리즘이 적용되면 실험 참가자들의 조향 휠 각도 편차와 조향 휠 각속도 편차 모두 비교적 감소함에 따라 모빌리티의 요 각속도 편차가 줄어들어 주행 안정성 개선이 확인되었다. 모빌리티의 평균 속도는 제안하는 알고리즘이 적용될 때 2번 운전자를 제외한 모든 운전자에게서 상대적으로 큰 값을 보였다. 이는 예측 주행 경로 시각화 알고리즘이 적용될 때, 실험 참가자들이 상대적으로 더 높은 주행 자신감을 가지게 됨을 보여준다.

Table 3

Scenario 2 performance evaluation results

3.4 시나리오 3 : 곡선 경로 주행

PVToD 알고리즘의 조향 성능평가를 위해 50 km/h 등속 자동 유지(카메이커 운전자 모델 활용) 조건에서 선회 주행 경로를 설계하였다. 차두시간은 개인별로 편차가 있지만 대부분 실험자의 차두시간은 1 ~ 2 sec 이내로 알려져 있다. ⁸⁾ 본 논문에서는 운전자별 정량적인 주행결과를 동일한 환경에서 취득하기 위하여 통신 지연시간과 차두시간을 모든 운전자가 같은 상황에서 주행할 수 있도록 차두시간을 일괄적으로 적용하여 성능평가가 수행되었다. 아래 테이블은 차두시간에 따른 운전자의 조향 휠 각도 및 각속도 표준 편차를 보여준다.

Driver3을 제외한 모든 운전자의 조향각 표준편차가 차두 시간이 1.5 sec일 때 가장 낮게 나타났다. 조향 각속도를 비교할 때 Driver2와 Driver3을 제외하면 모두 1.5 sec일 때 비교적 작은 각가속도를 보인다. 이는 조향 안정성이 1.5 sec일 때 비교적 안정하다고 판단되기 때문에 모든 운전자의 차두시간은 1.5 sec으로 고정하여 평가를 진행하였다. 해당 경로 및 성능평가 조건은 도로상 자차만 존재하는 경우이며, 주변 차량 등 환경적인 요인에 의한 변수가 고려되지 않고 PVToD 알고리즘의 조향에 대한 성능만 고려하는 성능평가가 수행되었다. ¹¹⁾ Figs. 26 ~ 31은 주행 궤적을 포함하는 평가 결과를 보여준다.

Fig. 26

Trajectory of mobility (Driver-1)

Fig. 27

Path error of mobility (Driver-1)

Fig. 28

Yaw rate of mobility (Driver-1)

Fig. 29

Speed of mobility (Driver-1)

Fig. 30

Driver steering wheel angle (Driver-1)

Fig. 31

Driver steering wheel angular speed (Driver-1)

Figs. 26 ~ 31과 정량적 결과가 정리된 Table 4에서 모든 운전자가 PVToD가 적용되었을 때 알고리즘을 적용하지 않은 경우보다 비교적 경로 오차의 편차가 작음을 확인할 수 있다. 추가로 모빌리티의 요 각속도 편차, 조향휠 입력 편차, 조향휠 각속도 편차 모두 제안하는 알고리즘이 적용되었을 때 상대적 작은 값으로 주행할 수 있음을 확인하였다.

Table 4

Scenario 3 STD of steering wheel angle and its rate

Table 5

Scenario 3 performance evaluation results