영상 센서와 가상 차선을 이용한 자동 차선 변경 알고리즘에 대한 연구

1. 서 론

최근 자동차 업계에서는 ACC(Adaptive Cruise Control), LKAS(Lane Keeping Assist System) 등의 ADAS(Advanced Driver Assistance System) 중 일부 기술이 상용화되었다. 또한, 자율주행 기술 개발을 위해 더 발전된 ADAS에 대한 연구가 활발히 진행되고 있다. 그 중 자동차선변경 알고리즘은 자율주행에서 필수적인 기술로 간주되어 연구가 꾸준히 지속되어 왔으며, 다양한 방법들이 제시되었다.

자동 차선 변경 경로 생성에 관한 연구 중에는 미리 시간대비 이동해야하는 횡 방향 경로를 정해 두거나,¹⁾ 횡 방향 가속도, 속도, 이동거리에 대한 차선 변경 경로를 생성하는 연구²⁾ 등이 있었다. 도로 좌표의 이동거리 대비 출력해야하는 회전 곡률을 정해두고 마찰원으로부터 계산된 최대 가속도를 기반으로 클로소이드 곡선을 경로로 생성하는 연구³⁾도 있었다. 차선 변경이 필요한 구간에 대해서 횡 방향 제한조건을 좌측과 우측에 직각 오프셋 형태로 설정하고 최적 경로를 생성하는 연구⁴⁾도 있었다. 그리드-맵을 생성하여 최적의 차선 변경 경로를 산출하는 연구⁵⁾도 있었다. DGPS를 이용하여 취득한 Waypoint로 차선 변경 경로를 생성하고 이를 추종하는 연구⁶⁾도 있었다. 기존 연구들 중, 차선 변경 경로를 개방 루프로 생성하는 방법들은 실제 이동 경로 간의 직관적인 비교가 가능하기 때문에 튜닝하기 용이하다는 장점이 있지만, 다수의 실험을 통해 최적의 조향 입력을 찾아야하는 한계점이 있다. 또한, 제한 조건을 만족하며 차선 변경에 필요한 최적의 조향각을 계산하는 방법은 효율적이지만 많은 계산량을 필요로 하는 한계점이 있다. DGPS, 정밀 지도를 이용하는 경우에는 측위에 대한 높은 정밀도를 요구한다.

본 논문에서는 DGPS, 정밀 지도 등을 사용하지 않고 영상 센서와 차량 내부 정보만을 기반으로 한 자동 차선 변경 알고리즘을 제안한다. 특히, 자동 차선 변경 경로에서 사전에 정의한 경로를 사용하는 개방 루프 방식이 아닌 간단한 형태로 영상 센서의 정보를 피드백 하여 경로를 생성할 수 있도록 설계하였다. 또한, 차선 변경으로 인해 차로가 변경되는 천이 구간 동안에 영상 센서에서 오류를 일으키는 경우가 발생하는데, 이를 자차량의 내부 정보와 진입하기 이전 단계에 대한 영상 센서의 정보를 간단한 형태로 처리하고 가상 차선을 제안하여 해결하고자 하였다. 제안하는 자동 차선 변경 알고리즘은 시뮬레이션과 실차 실험을 통해 검증을 수행하였다.

2. 자동 차선 변경 알고리즘

제안하는 자동 차선 변경 알고리즘은 Fig. 1과 같이 크게 3단계로 구성된 순서대로 진행된다. 변경하고자 하는 차로로 차선 변경이 가능한지 판단이 되면, 자동 차선 변경에 대한 경로를 생성한다. 본 논문에서는 자동 차선 변경 경로 생성 부분을 총 두 단계로 나누어 진행하도록 설계하였다. 먼저, 영상 센서를 이용한 자동 차선 변경 경로 생성(Phase 1)을 진행하고, 자차로에서 변경하고자 하는 차로에 자차량이 근접하면 가상 차선을 이용한 자동 차선 변경 경로 생성(Phase 2)을 진행하게 된다. 가상 차선을 이용한 자동 차선 변경 경로 추종을 완료하게 되면 자동 차선 변경을 완료하고 차선 유지 제어를 수행하도록 설계하였다.

2.1 차선 변경 가능 유무 판단

운전자 또는 자율주행 시스템의 의도로 자동 차선 변경이 요청되는 경우, 변경하려는 차로의 전측방부터 후측방까지의 범위 내에 장애물 유무를 판단하고 이를 토대로 차선 변경 가능 유무를 판단해야 한다. 변경하려고 하는 차로의 주변 차량들과의 TTC를 계산하고 차선 변경 가능 유무를 판단하는 연구들도 있었지만, 본 연구에서는 보다 간단한 알고리즘으로 판단하도록 하였다. Fig. 1과 같이 자동 차선 변경에 소요되는 최대 시간(본 연구에서는 차선 변경 요청 입력으로부터 최대 8초로 설정)에 대해 고려해야하는 전측방부터 후측방까지의 범위 내에 장애물이 없는 경우, 차선 변경이 가능하도록 설정하였다.

Fig. 1

Automated lane change procedure

2.3 영상 센서를 이용한 차선 변경 경로 생성

차선 변경이 가능하다는 판단이 내려지면 차선 유지를 위해 추종하는 횡 방향 경로에 한 차로 길이에 추가로 마진만큼 오프셋을 준다. 오프셋을 계단 형태로 입력하면 갑작스런 거동으로 운전자에게 이질감을 주기 때문에 Fig. 2와 같이 1차 지연 함수를 사용하여 부드럽게 하였다. 이 때, 1차 지연 함수의 시상 수는 오프셋 값에 의해 자차량에서 발생하는 횡 가속도가 0.5 m/s²이 넘지 않도록 하는 값으로 실험을 통해 도출하였다.

Fig. 2

Lateral offset

횡 방향 목표 경로 추종 제어 알고리즘은 발생한 오프셋에 따라 이를 추종하기 위해 조향 제어 값을 출력하게 된다. 자차량이 횡 방향으로 움직임에 따라 영상 센서에서 출력되는 좌･우 차선의 중심 값이 자차로의 횡 방향 중심에서 멀어지게 되는데, 이를 차선 변경 경로에 피드백 하면서 추종해야하는 경로를 재생성한다. 차선 변경 경로는 차선 유지와 마찬가지로 자차량의 중심으로부터의 횡 방향 오차 거리로서 나타내어 횡 방향 목표 경로 추종 제어 알고리즘에 전달된다.

$\[ e_{y,k}=C_{0,\mathrm{C}\mathrm{e}\mathrm{n}\mathrm{t}\mathrm{e}\mathrm{r}}-y_k \]$

(5)

$\[ \begin{array}{cc}{e}_{y,k,vision}& =d_{vision}-e_{y,k}\\ e_{y,k+1,vision}& =d_{vision}-e_{y,k+1}\\ ⋮& ⋮\end{array} \]$

(6)

Fig. 3은 오프셋과 영상 정보를 이용하여 자차로의 중심으로부터 멀어지고 자차로를 넘어 변경하고자 하는 차로로 진입하면 자동 차선 변경을 완료하고 차선 유지를 하는 과정을 보여준다. 영상 센서를 통해 차선이 변경된 것을 알게 되면, 추종해야 했던 자동 차선 변경 경로를 차선 유지 경로로 변경하여 가능하도록 할 수 있다.

Fig. 3

Lane change path using the vision sensor

2.4 가상 차선을 이용한 차선 변경 경로 생성 및 완료 판단

영상 센서의 정보를 토대로 자동 차선 변경 완료를 판단하는 것은 영상 센서의 좌･우 차선에 대한 값이 동시에 시프트하는 현상을 이용하여 판단⁸⁾한다. 정상적인 경우, 영상 센서에서 차로가 변경됨에 따라 동시에 좌･우 차선 정보에 시프트가 일어난 현상이 발생하지만, 영상 센서의 오류로 출력되는 차선 정보가 이상이 생기는 경우가 발생하면 자동 차선 변경 완료를 제대로 판단할 수 없다. 이러한 현상이 발생하면 한 개의 차로 만을 변경하고자 하는 의도와는 다르게, 두 개의 차로 만큼 변경하거나 다시 원래의 차로로 돌아가는 위험한 상황이 발생하게 된다. 2.2에서 차선을 추정하지만 차선 정보가 오류가 발생하는 경우에는 대응하기 어렵다. Fig. 4는 차선 변경을 수행하는데, 영상 센서에서 인식되는 차선 정보가 정상적인 경우와 비정상적인 경우에 대해 보여주고 있다. 특히, 비정상적인 경우에는 Fig. 4(b)처럼 우측 차선 정보는 4.97초에 시프트가 되었으나, 좌측 차선 정보는 오류로 인해 잠시 멈춰있다가 5.06초에 시프트가 되어 차선 변경 판단이 어려운 현상이 발생한다.

Fig. 4

Lateral offset from vision sensor

따라서 본 연구에서는 자차량의 거동을 기반으로 가상 차선 경로를 생성하고 이를 이용하여 자동 차선 변경 완료를 판단하였다. 먼저, 차선이 변경되는 천이 구간에 대해 인식이 잘 안되기 시작하는 횡 방향 오프셋 값(Pseudo-lane-in)과 차선이 변경된 이후 좌･우 차선정보가 정상적으로 출력되는 횡 방향 오프셋 값(Pseudo-lane-out)을 실험을 통해 획득하였다. 자차량이 Pseudo-lane-in에 진입하게 되면 차선 정보가 비정상적으로 출력되므로 영상 센서가 정상적인 출력 값을 출력하는 Pseudo-lane-out 구간까지 자차량을 이동시켜야 한다. 이 때, 자차량은 횡 방향 속도에 대해 샘플링 시간만큼 횡 방향으로 이동하는데, 이를 착안하여 해당 구간 동안 가상 경로를 생성하였다. 횡 방향 속도를 추정하는 방법을 사용할 수도 있지만, 본 연구에서는 자차량과 차선 사이의 간단한 기하학을 이용한다. 영상 센서의 차선 정보 중 C₁은 진입 각을 의미하므로, 기하학 관계로 자차량의 종 방향 속도 정보와 같이 활용하여 횡 방향 속도를 구할 수 있다.

$\[ {\nu }_Y\cong {\nu }_x\cos \left(\frac{\pi }{2}-C_{1,\mathrm{i}\mathrm{n}}\right)={\nu }_x\sin \left(C_{1,\mathrm{i}\mathrm{n}}\right) \]$

(7)

식 (7)에서 계산한 횡 방향 속도를 이용하여 샘플링 시간만큼 이동하는 횡 방향 이동거리를 계산할 수 있다.

$\[ {\nu }_Y\cdot dt\cong {\nu }_x\sin \left(C_{1,\mathrm{i}\mathrm{n}}\right)\cdot dt \]$

(8)

가상 차선 경로는 2.3과 비슷하게 Fig. 5에서 볼 수 있듯이, Pseudo-lane-in과 Pseudo-lane-out 사이만큼의 오프셋을 생성하고, 자차량의 샘플링 시간 동안의 횡 방향 이동거리를 해당 오프셋에서 빼고 이를 피드백하는 방식으로 생성한다. 자차량의 횡 방향 이동거리에 따라 가상 차선 경로가 피드백되기 때문에 다음 단계에서의 가상 차선 경로가 생성된다. 이러한 방식으로 가상 차선 경로를 추종하여 Pseudo-lane-out까지 도달할 수 있다.

Fig. 5

Pseudo-lane path for lane change

$\[ \begin{array}{cc}{e}_{y,k,pseudo}& =d_{pseudo}=d_{pseudo-in}+d_{pseudo-out}\\ e_{y,k+1,pseudo}& =e_{y,k,pseudo}-{\nu }_{Y,k}\cdot dt\\ ⋮& ⋮\end{array} \]$

(9)

가상 차선 경로를 이용하는 동안의 자차량의 횡 방향 이동거리가 오프셋에 도달하게 되면, 영상 센서의 차선 정보 값이 정상적으로 출력되기 때문에 차선 유지 제어를 할 수 있도록 자동 차선 변경 완료를 판단하였다.

2.5 횡 방향 목표 경로 추종 제어 알고리즘

자동 차선 변경을 위해 생성한 목표 경로를 다양 한 방법으로 추종하는 제어 방법들이 제안되어 왔다.

하지만 본 연구에서는 자동 차선 변경 경로에 초점을 두고, 차선 유지 경로 및 차선 변경 경로를 따로 구분하지 않고 목표 경로만을 추종하는 간단한 제어 알고리즘을 구현하기 위해 Fig. 6과 같은 Pure-pursuit 알고리즘⁹⁾을 구현하였다. 또한, 차량의 동역학을 고려하기 위해, 슬립 각을 추가로 목표 조향 각에 고려¹⁰⁾하여 계산하였다.

$\[ {\delta }_{\mathrm{p}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{ }\mathrm{p}\mathrm{u}\mathrm{r}\mathrm{s}\mathrm{u}\mathrm{i}\mathrm{t}}=\frac{l}{R}=\frac{2y_{d}l}{d^2+y_d^2} \]$

(10)

$\[ {\delta }_{des}={\delta }_{\mathrm{p}\mathrm{u}\mathrm{r}\mathrm{e}\mathrm{ }\mathrm{p}\mathrm{u}\mathrm{r}\mathrm{s}\mathrm{u}\mathrm{i}\mathrm{t}}+\mathrm{\Delta }\alpha \]$

(11)

Fig. 6

Path following control algorithm

3. 시뮬레이션

본 연구에서 제안하는 알고리즘은 Fig. 7과 같이 차량 시뮬레이션 상용 프로그램인 CarSim과 알고리즘 설계 및 결과 값 출력을 위한 MATLAB/Simulink를 통해 시뮬레이션 검증하였다. 시뮬레이션 상에서 대상 도로는 3차로 직선 도로로 구현하였다. 실제 영상 센서에서 나오는 정보를 모사하기 위해 CarSim과 MATLAB/Simulink를 이용하여 3차 다항식의 좌･우 차선 정보를 생성하였다. 비교 알고리즘으로는 영상 센서만을 이용하여 차선 변경 경로를 생성(Phase 1)하는 알고리즘으로 선정하였다. 비교 로직에서 자동 차선 변경 완료 판단은 시뮬레이션에서 영상 센서의 차선 정보 값이 시프트되는 현상을 이용하여 이루어지도록 하였다. 시뮬레이션에서는 영상 센서의 오작동을 임의로 생성할 수 없기 때문에 두 알고리즘이 정상적인 결과를 출력하는지 비교하였다. 또한, 두 알고리즘에 대해 자동 차선 변경완료가 잘 판단되는지를 비교하였다. 제안하는 가상 차선 경로(Phase 2)에 진입하는 Pseudo-lane-in는 0.1 m, 벗어나는 Pseudo-lane-out은 0.5m로 설정하였다. Fig. 8은 시뮬레이션에 따른 결과를 보여준다. 시뮬레이션 상에서 영상 센서는 항상 정상적이기 때문에 Fig. 8(b)처럼 6.2초와 8.06초에 두 알고리즘 모두 자동 차선 변경 완료가 정상적으로 이루어진 것을 확인할 수 있다. 또한, Fig. 8(a)에서 두 알고리즘의 경로 생성 결과가 정상적으로 자동 차선 변경을 완료하고 변경된 차로 중앙에 자차로가 위치하도록 차선 유지 제어 경로를 생성하는 것을 확인할 수 있다.

Fig. 7

Simulation configuration (CarSim & MATLAB/Simulink)

Fig. 8

Simulation result

4. 실차 실험

실차 실험은 지능형자동차부품진흥원(KIAPI)에서 검증을 수행하였으며, 3차로 자동차전용도로에 대해 직선 도로를 대상으로 진행하였다. 운전자의 방향 지시등을 입력으로 자동 차선 변경의 의도를 입력하였다. 시뮬레이션과 마찬가지로 영상 센서만을 이용하여 차선 변경 경로를 생성하고 차선 정보 값이 시프트 되는 현상을 이용하여 차선 변경 완료를 판단하는 알고리즘을 비교 알고리즘으로 선정하였다. 알고리즘에 대한 실차 실험 구현을 위해 dSpace 社의 Micro-Autobox를 사용하였다. 실차 실험에서 차량 내부 정보, 영상 센서의 출력 정보, 알고리즘의 출력 정보 등의 데이터 로깅을 위해 Vector 社의 CANoe 소프트웨어를 이용하였다. 시뮬레이션과 마찬가지로 제안하는 가상 차선 경로에 진입하는 Pseudo-lane-in는 0.1 m, 벗어나는 Pseudo-lane-out은 0.5 m로 설정하였다. 실험 차량에 종 방향 목표 속도는 60 km/h로 설정하였고, 비교를 위해 실차 실험은 두 알고리즘에 대해 좌측과 우측에 각각 20회씩 대상 도로에서 자동 차선 변경을 수행하였으며, Table 1로서 정리하였다.

Table 1

comparison of the lane changing success number

먼저, 영상 센서만을 이용하여 경로 생성을 하는 알고리즘에 대한 실험 중 좌측으로 자동 차선 변경을 시도하였으나, 실패한 결과는 Fig. 9와 같다. 좌측으로 자동 차선 변경을 의도하여 오프셋만큼 차선이 이동하고 이를 추종하면서 변하는 영상 센서의 정보를 피드백하여 옆차로로 이동한다. 5.78초에 차로가 변경되었지만, 좌･우 차선에 대한 시프트 현상이 정상적으로 발생하지 않아 자동 차선 변경 판단이 이루어지지 않았다. 이에 따라 Fig. 9(b)에서 차선 변경 완료 신호가 발생하지 않고, 영상 센서를 이용한 자동차선변경 경로 생성이 초기화 되어 한 개의 차로를 더 변경하려는 경로 생성이 이루어졌다. 또한, 1차 지연 함수에 따른 적용이 되지 않기 때문에 오차가 큰 경로 생성이 이루어지게 되었다.

Fig. 9

Fail experimental result (Using only the vision sensor)

다음으로 영상 센서와 가상 차선을 이용하여 경로생성을 하는 알고리즘에 대한 실험 중 마찬가지로 좌측으로 자동 차선 변경을 시도하여 성공한 결과는 Fig. 10과 같다. 좌측으로 자동 차선 변경을 의도하여 Phase 1에 따른 차선 변경 경로가 먼저 생성되고 이를 추종한다. 4.66초에 Pseudo-lane-in에 진입함에 따라 Phase 2에 따른 가상 차선 경로가 생성되며, 자차량의 거동에 의해 피드백되면서 Pseudo-lane-out에 도달할 때까지 이동하게 된다. 5.22초에서 Pseudo-lane-out에 도달함에 따라 자동 차선 변경 완료를 판단하게 되고, 차선 유지 제어를 수행하는 것을 확인할 수 있다. 특히, Fig. 10(a)에서 차선 정보가 5.1초부터 5.21까지 차로가 바뀌는 천이 구간에 대해 이상현상을 보였으나, 가상 차선 경로를 이용하기 때문에 자동 차선 변경에 이상이 발생하지 않았다.

Fig. 10

Success experimental result (Using the vision sensor and the pseudo-lane)

추가적으로 Pseudo-lane-out의 값을 조금 더 크게 하는 경우에 대해 실험을 진행해 보았다. Fig. 11은 Pseudo-lane-out이 0.5 m인 경우와 1.2 m인 경우에 대해 비교한 결과이다. Fig. 11(a)에서 볼 수 있듯이, Pseudo-lane-out이 1.2 m인 경우에 가상 차선 경로를 이용하는 횡 방향 이동거리가 증가함에 따라 차선 유지 제어로 변경되었을 때, 횡 방향 오차 거리가 Pseudo-lane-out이 0.5 m인 것에 비해 작은 것을 확인할 수 있다. 이는 Fig. 11(b)에서 확인할 수 있듯이 자동 차선 변경에서 차선 유지 제어로 넘어간 뒤에 발생하는 횡 가속도 최대 값이 감소하게끔 해준다. 즉, 변경하려고 하는 차로 중앙 차선으로 Pseudo-lane-out을 맞출수록 부드러운 제어 모드 천이가 가능하다. 하지만 차로 폭이 2.75~3.5 m로 다양하기 때문에, Pseudo-lane-out을 너무 큰 값을 사용할 경우 안전성을 확보하기 어렵다. 따라서 Pseudo-lane-out을 튜닝 변수로서 사용할 수 있다. 이 때, Pseudo-lane-out은 차량에 장착되는 영상 센서의 차선이 바뀔 때 오류 발생 범위와 차선 변경 및 차선 유지 사이의 천이 구간에 따라 발생하는 횡 가속도를 이질감이 덜 발생하도록 고려하여 최적의 값을 도출하는 것이 바람직하다.

Fig. 11

Comparison of the pseudo-lane-out value

5. 결 론

본 논문에서는 영상 센서와 가상 차선을 기반으로 자동 차선 변경 알고리즘을 제안하였다. 특히, 자동차선변경 경로 생성 부분에 대해 영상 센서에서 출력되는 정보를 통해 경로를 생성하고 피드백하는 방법과 자차량의 거동에 따른 기하학 관계를 이용하여 가상 차선 경로를 생성하고 피드백하는 방법을 설계하였다. 또한, 영상 센서의 오류로 인해 자동 차선 변경 판단을 제대로 못할 수 있는 부분을 가상 차선 경로를 이용하여 해결하는 방법으로 해결하였다. 제안하는 알고리즘은 시뮬레이션과 실차 실험을 통해 검증을 수행하였으며, 실차 실험에서 좌･우 차선 변경에 대해 총 40번의 자동 차선 변경을 수행하여 40번 성공하였다. 또한, 가상 차선 경로의 범위로 사용되는 Pseudo-lane-out을 자동 차선 변경과 차선 유지 제어 사이의 천이 구간에 대한 튜닝 변수로서 고려할 수 있는 점을 확인하였다.

제안하는 알고리즘은 DGPS와 정밀 지도, V2X 등을 이용하지 않고, 영상 센서와 차량 내부 정보만을 이용하였다. 이러한 정보들을 활용할 경우, 좀 더 좋은 성능을 기대할 수 있다. 또한, 생성한 경로를 추종하는 제어 알고리즘을 모델 예측 제어 등으로 사용하면 좀 더 좋은 성능을 기대할 수 있다.

Acknowledgments

본 논문은 산업통상자원부 및 산업기술평가관리원의 권역별신산업육성-자율주행자동차핵심기술개발사업(10079730, 자동차전용도로/도심로 자율주행시스템 개발 및 성능평가)의 지원을 받아 수행되었음.

References

• W. B. Na, J. W. Kim and H. C. Lee, “Study on TTC-based Optimal Lane Change Algorithm in Adaptive Cruise Control,” Transactions of KSAE, Vol.27, No.8, pp.627-636, 2019. [https://doi.org/10.7467/KSAE.2019.27.8.627]
• S. H. Jang and S. W. Kim, “Vision-Based Lane Change Maneuver using Sliding Mode Control for a Vehicle,” Transactions of KSAE, Vol.8, No.6, pp.194-207, 2000.
• J. Funke and J. C. Gerdes, “Simple Clothoid Lane Change Trajectories for Automated Vehicles Incorporating Friction Constraints,” Journal of Dynamic Systems, Measurement and Control, Vol.138, No.2, Article ID 021002, 2016. [https://doi.org/10.1115/1.4032033]
• J. Nilsson, M. Brännström, E. Coelingh and J. Fredriksson, “Longitudinal and Lateral Control for Automated Lane Change Maneuvers,” 2015 American Control Conference, pp.1399-1404, 2015. [https://doi.org/10.1109/ACC.2015.7170929]
• S. W. Huh and T. H. Park, “Motion Planning of Smooth Lane Change for Autonomous Vehicles using Longitudinal Acceleration Constraints,” Institute of Control, Robotics and Systems Annual Conference, pp.423-424, 2019.
• Y. Xuan and B. Coifman, “Lane Change Maneuver Detection from Probe Vehicle DGPS Data,” IEEE Intelligent Transportation Systems Conference, pp.624-629, 2006.
• R. Rajamani, Vehicle Dynamics and Control, 2nd Edn., Springer, New York, pp.20-26, 2012. [https://doi.org/10.1007/978-1-4614-1433-9]
• S. Chen and J. Hsieh, “Edge-based Lane Change Detection and its Application to Suspicious Driving Behavior Analysis,” Third International Conference on Intelligent Information Hiding and Multimedia Signal Processing, pp.415-418, 2007. [https://doi.org/10.1109/IIHMSP.2007.4457737]
• R. C. Coulter, Implementation of the Pure Pursuit Path Tracking Algorithm, Carnegie-Mellon UNIV Pittsburgh PA Robotics INST, CMU-RI-TR-92-01, 1992.
• T. D. Gillespie, Fundamentals of Vehicle Dynamics, SAE International, Warrendale, Pennsylvania, pp.198-202, 1992. [https://doi.org/10.4271/R-114]