LSTM 기반의 차선 정보와 조향 각을 활용한 LKAS 요각속도 예측 모델

2.1 순환신경망

순환신경망의 모델을 나타내면 다음 Fig. 1과 같다. Fig. 1에서 보이 것과 같이 순환신경망은 메모리 블록들을 서로 연결하여 계층을 쌓아 만든 모델이다. 각 입력 메모리 블럭에는 특정 시점의 데이터 정보를 입력한다. 입력받은 메모리 블록은 연결된 메모리 블럭으로 데이터 정보를 전달한다. 이처럼 순환신경망은 데이터를 주고받는 순환형식으로 되어 있다. 그러므로 합성곱 신경회로망(Convolution Neural Network, CNN)과 다르게 데이터의 시간 정보까지도 고려하여 학습하는 모델임을 알 수 있다.¹³⁾

Fig. 1

RNN basic structure

위 순환신경망 모델을 나타낸 Fig. 1을 식으로 정리하면 다음 식 (1)과 같다.

위 식에서 보면 활성화 함수인 Tanh 함수를 통해 데이터가 전달되기 때문에 시계열(Sequence)이 길어질수록 데이터의 손실이 발생한다. 이것을 기울기 소실 문제(Banishing gradient problem)에 의한 데이터의 장기 의존성 문제(The problem of long-term dependency)라고 한다. 이 때문에 본 연구에서는 데이터의 장기 의존성을 문제를 해결하기 위해 제안된 순환신경망의 변형 모델인 장 단기 순환신경망을 사용한다.^13-16)

2.2 장 단기 순환신경망

장 단기 순환신경망의 구조는 위 Fig. 1의 순환신경망 메모리 블럭에서 메모리 블럭 상태(Cell-state, C_t)가 추가된다. 이 메모리 블럭 상태는 3개의 게이트 층으로 구분하여 구성된다. 그리고 이 3개의 게이트 층의 입력 노드에 시간 단위로 들어오는 데이터를 입력, 저장, 출력할 수 있도록 제어한다. 이 셀 상태의 제어 때문에 데이터의 장기 의존성 문제를 해결할 수 있다. 이 메모리 블럭 상태를 포함한 장단기 순환신경망의 구조를 보면 다음 Fig. 2와 같다.

Fig. 2

LSTM basic structure

위 장 단기 순환신경망을 나타내는 Fig. 2에서 중요한 메모리 블럭 상태를 포함한 메모리 블럭을 확인하면 다음 Fig. 3과 같다.

Fig. 3

LSTM memory block

위 Fig. 3의 메모리 블럭은 3단계로 나뉘어져 있다. 첫 단계는 이전 정보인 C_t-1의 기억 유무를 결정하는 단계이다. 이 단계에서는 h_t-1과 x_t를 입력받아 시그모이드를 통과시켜 f_t를 출력한다. 이 출력 값이 0이면 이전 상태의 정보인 C_t-1을 기억하지 않고, 1이라면 C_t-1을 온전히 기억하게 된다. 이러한 이유로 이 단계에서 구성된 층을 잊어버리는 계층(Forget-gate-layer)이라고 부르기도 한다. 이것을 수식으로 나타내면 다음 식 (2)와 같다.

두 번째 단계는 이전 정보인 C_t-1을 전달 받아 현재 정보인 C_t로 갱신하는 단계이다. 갱신 과정은 두 부분으로 나뉜다. 첫 번째 부분은 첫 단계와 같은 역할로써 시그모이드 층으로 이루어져 있고, 이전 정보와 현재 정보의 기억 유무를 결정하는 i_t를 출력한다. 두 번째 부분은 Tanh 계층으로 현재 정보를 입력 받아 현재 상태인 C_t에 더해줄 후보 $$ {\tilde{C}}_t$$를 만드는 부분이다. 이렇게 계산 되어진 두 부분의 결과 값을 합쳐 새로운 현재 메모리 블럭 상태 C_t로 갱신 시킨다. 식 으로 나타내면 다음 식 (3)과 같다.

여기서 ∘은 아다마르 곱(Hadamard product)¹⁷⁾을 나타낸다. 위 식 (3)을 보면 첫 단계에서 구한 f_t를 이전 상태(C_t-1)에 곱한 값과 i_t를 현재 상태(C_t)에 곱한 값의 합을 나타내고 있다. 이것을 직관적으로 보면 이전 상태와 현재 상태의 기억유무를 정하는 값(f_t, i_t)을 통해 이전과 현재 상태의 기억유무를 결정하는 것을 알 수 있다. 마지막 단계는 결과 출력을 결정하는 단계이다. 이 출력 값은 필터처리 된 셀 상태를 기반으로 한다. 첫 번째로 앞 두 번째 단계에서 구한 현재 상태 C_t을 Tanh 함수를 통과시켜 -1과 1의 사이 값을 갖도록 한다. 두 번째로 이 출력 값을 이전 상태 C_t-1와 현재 셀에 입력받은 값 x_t를 받아 시그모이드를 취해준 출력 값과 곱해준다. 결과적으로 설계자가 원하는 출력 값만 선택 할 수 있게 되며, 다음 식 (4)와 같다.

이러한 과정으로 모든 입력에 대해 모두 기억하는 것이 아니라, 선택적으로 기억하여 재귀적으로 학습하는 모델임을 알 수 있다. 그러므로 순환신경망의 문제점인 데이터 장기 의존성 문제(The problem of long-term dependency)를 해결 할 수 있다.^15,16)

2.3 퍼셉트론

퍼셉트론(Perceptron)은 단층과 다층으로 구분할 수 있다. 단층은 입력층과 출력층으로 이루어져 있고, 다층은 입력층, 은닉층, 출력층으로 이루어져 있다. 퍼셉트론의 구조를 나타내면 다음 Fig. 4와 같다.

Fig. 4

Perceptron structure

위 Fig. 4의 퍼셉트론의 구조에서 각 계층을 구성하는 것을 노드라고 부르며 선형결합과 활성화 함수 기능을 가지고 있다. 또한 노드별로 연결하는 선은 가중치를 가지고 있다. 이것을 그림으로 나타나내면 다음과 같다.

위 Fig. 5를 보면 입력으로 받은 x₁, x₂ ⋯ x_n,1의 입력 값은 각각 가중치가 곱해져서 노드로 전달된다. 전달된 값은 모두 더해서 활성화 함수를 거쳐 다음 노드로 전달한다. 이것을 식으로 나타내면 다음과 같다.

Fig. 5

Perceptron internal structure

이러한 구조를 가진 네트워크를 퍼셉트론(Perceptron)이라고 부르며 딥러닝에서 완전 접속망(Fully connected layer)라고 불리고 있다.

2.4 도로모델

차선 유지 시스템에서는 카메라 센서로부터 얻는 차선 정보가 가장 중요하다. 이 차선 정보를 얻기 위해 차량과 차선의 상대적인 운동을 도식화 한 도로 방정식 f_L(s)을 사용하여 차선정보 데이터를 얻는다. 도로 방정식을 종 방향 거리 s의 3차 다항식으로 표현 하였을 때 각 계수 값들이 의미하는 바는 다음과 같다. c₀(lateral offset), c₁(heading angle), c₂(curvature), c₃(curvature rate)이다.¹⁶⁾ 식으로 나타내면 다음 식 (6)과 같다.

3.1 장 단기 순환신경망 요각속도 예측 모델 설계

위에서 언급한 바와 같이 입력 값은 여러 개의 센서 값이 들어온다. 그리고 출력은 요각속도 예측값인 하나의 값을 출력한다. 그러므로 장 단기 순환신경망의 여러 모델 중 여러 개의 입력을 받아 하나의 출력을 하는 모델을 선택하여 설계한다. Fig. 6은 설계한 장 단기 순환신경망 기반의 예측 모델을 나타내고 있다.

Fig. 6

LSTM based many to one prediction model

기존, 장 단기 순환신경망에서 사용되는 모델들은 일반적으로 장 단기 순환신경망 단독으로 사용된다. 하지만 설계자에 따라 장 단기 순환신경망에 합성곱 계층(Convolution layer)이나 단층 퍼셉트론(Single layer perceptron) 혹은 다층 퍼셉트론(Multi layer perceptron)을 연결하여 사용하기도 한다. 본 논문에서는 데이터의 예측을 목표로 하므로 회귀 성능이 높은 퍼셉트론을 장 단기 순환신경망 모델에 직렬 연결시켜 적은 계층의 장 단기 순환신경망 모델에서도 회귀 성능을 높이고자 하였다. 본 논문에서는 장 단기 순환신경망의 계층 수는 1, 시계열은 15로 설계하였으며, 퍼셉트론(Multi layer perceptron) 입력층의 노드는 10개 출력층의 노드는 1개로 설계하였다. 여기서, 노드의 개수와 계층의 개수는 설계자의 임의대로 설계할 수 있으며 발견법(Heuristics) 한 방법으로 찾아야 한다. 이처럼 설계한 모델을 차선정보와 조향각 기반의 요각속도를 예측하는 모델 만들기 위해 학습 과정은 밑 3.2에서 설명한다.

3.2 장 단기 순환신경망 요각속도 예측 모델 학습

학습을 위해 차량을 운행하여 데이터를 취득한 후, 입력 값은 카메라 영상으로부터 취득한 도로모델의 계수 값(c₀, c₁, c₃, c₄)과 차량 내부정보인 조향각(δ)으로 선정하고, 목푯값은 관성 측정 장치 센서로부터 취득한 요각속도($$ \grave{\psi }$$)값을 선정하여 학습을 진행하였다. 이처럼 입력 값으로 도로 모델의 계수 값과 조향각을 선정한 이유는 곡률 반경과 조향각 요각속도의 데이터를 그래프로 비교하면 비슷한 개형을 나타내기 때문에 가장 직접적인 연관성이 있을 것이라 생각하였기 때문이다. 또한, 카메라 센서와 차량 내부 정보 이외의 다른 센서를 사용하지 않고 요각속도를 추정하기 위함이다. 다음 Fig. 5는 장단기 순환신경망 요각속도 예측 모델을 위한 학습 구조를 나타내고 있다.

위 Fig. 7과 같이 도로모델의 계수 값(c₀, c₁, c₃, c₄)과 차량 조향각(δ)을 입력 값으로 전달하면 예측 요각속도($$ \overline{\grave{\psi }}$$)이 출력되고, 이 값은 관성 측정 장치 센서로부터 측정한 요각속도($$ \grave{\psi }$$)와 오차를 제곱하여 평균하는 평균 제곱 오차(MSE)기반의 비용함수(Cost function)가 0으로 수렴하도록 학습된다. 여기서, 학습 알고리즘은 퍼셉트론은 역전파 알고리즘이고, 장 단기 순환신경망은 시간에 따른 역전파 알고리즘으로 학습하였다. 최적화 기법은 아담 최적화 기법(Adam solver)을 사용하여 학습하였다.

Fig. 7

LSTM based many to one prediction model learning structure

4.1 데이터 수집

본 논문에서 요각속도 예측 모델 학습을 위해 도로교통안전공단의 주행 시험장 코스 중 고속 주회로를 주행하며 카메라 센서와 차량 내부 정보인 조향각, 관성 측정 장치 센서로부터 데이터를 취득하였다. 주행 데이터는 차량 속도 90 km/h로 5분간 주행하였으며 데이터의 양은 이미지 4,300개, 조향각과 요각속도 값은 25,795개이다.

4.2 학습 및 시험 데이터 구축

데이터는 크게 카메라 데이터와 차량 내부 조향각, 관성 측정 장치 센서 데이터로 나누어져 있다. 관성 측정 장치 센서와 차량 내부정보 조향각은 10 ms마다 요각속도($$ \grave{\psi }$$)와 조향각(δ)을 각각 출력시키며, 이 값들은 전처리 과정 없이 저장된다. 다음으로, 카메라 센서로부터 출력되는 이미지 데이터는 전처리 과정을 거쳐 도로 모델의 계수 값들을 추출하고, 이 값들은 60 ms마다 저장된다. 이렇게 전처리 과정을 거치는 이유는, 기존 차선 유지 시스템에서 쓰이는 데이터를 기반으로 요각속도($$ \overline{\grave{\psi }}$$)를 예측하기 위함이다. 전처리 과정은 이미지로부터 차선을 인지하고, 인지된 차선을 3차 방정식으로 근사(Fitting)하여 도로 모델 계수 값(c₀, c₁, c₃, c₄)을 추출한다. 하지만 이 데이터들을 저장할 때 카메라 센서와 관성 측정 장치 센서, 차량 내부정보의 출력 주기가 서로 다르므로 문제가 발생한다. 문제를 해결하고자 데이터를 구성할 때, 가장 빠르게 출력하는 10 ms 단위를 기본으로 하되 카메라 센서 데이터는 새로운 데이터가 들어 올 때 가지 이전 값을 계속 유지하도록 데이터 표를 작성한다. 즉, 60 ms 동안 카메라 센서값은 같은 값을 유지하지만, 관성 측정 장치 센서값인 요각속도($$ \grave{\psi }$$)와 센서 내부 정보 값인 조향각(δ)은 10 ms마다 갱신된 값을 사용한다. 데이터 표를 확인하면 다음 Table 1과 같다.

Table 1

The collected data table

각 센서로부터 저장된 데이터를 위와 같이 구성하면, 센서로부터 출력되는 주기가 다른 것에 대한 문제는 해결할 수 있으나, 도로 모델의 계수 값이 변화하지 않는 구간에서 학습이 올바르게 되지 않아 잘못된 출력 값이 나올 수 있다. 하지만 장 단기 순환신경망은 데이터의 시계열을 고려할 수 있으므로, 다음 Fig. 8과 같이 입력 값과 목푯값을 선정하여 이 문제를 해결하여, 요각속도를 예측하고자 한다.

Fig. 8

The input data and the target data indicated in the data configuration

위 Fig. 8에서 보이듯이 10 ms마다 저장된 데이터에서 도로 모델의 계수 값(c₀, c₁, c₃, c₄), 조향각(δ)을 하나의 행으로 구성한다. 구성된 각 행은 장 단기 순환신경망의 각각의 메모리 블럭에 순차적으로 입력된다. 그리고 입력된 데이터 중에 가장 최근의 시간과 일치하는 요각속도($$ \grave{\psi }$$)를 목푯값으로 선정하여 학습 한다. 또한, 도로모델의 계수 값은 60 ms 동안 변화가 없으므로, 시계열 길이를 6 이하로 선정 하면 데이터의 변화를 인지 할 수 없기 때문에 시계열을 길이를 6 이상으로 설정한다. Fig. 8에서의 시계열 길이는 t 부터 t - 9까지 총 10을 나타내고 있다. 이렇게 입력 값과 목푯값을 선정함으로써, 먼 과거로부터 현재까지의 모든 변화를 확인하여 요각속도 값 예측이 가능하다. 본 논문에서는 시계열 길이를 15로 설정 하여 학습함으로써 과거 150 ms 동안의 차량 움직임을 기반으로 요각속도를 예측한다. 저장된 데이터는 7:3의 비율로 각각 학습과 시험 데이터로 사용한다.

4.3 시뮬레이션 결과

장 단기 순환신경망의 시계열은 25, 계층은 1이며, 퍼셉트론 입력층 노드는 10개, 출력층 노드는 1개로 설계했다. 또한 순서쌍의 데이터(Tuple)를 사용한다. 학습을 위한 초기 학습률 변수는 0.0005이며 학습 수(Iteration) 5000번마다 0.1씩 곱해져 더 작아진다. 총 학습 수는 100000번으로 하였다. 그 결과, 비용함수(Cost fuction)의 최종값은 0.0013이 되는 것을 확인하였다. 학습된 모델에 시험 데이터로 실제 요각속도($$ \grave{\psi }$$)값과 장 단기 순환신경망 기반의 예측 요각속도($$ \overline{\grave{\psi }}$$)값을 비교하면 다음 Fig. 9와 같다.

Fig. 9

Comparison of true yaw rate and LSTM based yaw rate

보다 자세한 결과를 확인하기 위해 실제 요각속도($$ \grave{\psi }$$)값과 장 단기 순환신경망 기반의 예측 요각속도($$ \overline{\grave{\psi }}$$)의 오차를 나타내면 Fig. 8과 같다.

Fig. 9와 10을 통해 장 단기 순환신경망기반의 요각속도 예측 모델이 실제 관성 측정 장치 센서에서 측정한 요각속도 값을 예측할 때 오차 값이 0.005 rad/s를 넘기지 않는 것을 확인할 수 있다. 또한, 평균 제곱근 편차(RMSE)값을 계산하면 0.0517이 나오는 것을 확인하였다.

Fig. 10

Error of LSTM based yaw rate predict and true yaw rate