The Korean Society Of Automotive Engineers

Transactions of the Korean Society of Automotive Engineers - Vol. 32 , No. 1

[ <응용논문> ]
Transactions of the Korean Society of Automotive Engineers - Vol. 32, No. 1, pp. 15-26
Abbreviation: KSAE
ISSN: 1225-6382 (Print) 2234-0149 (Online)
Print publication date 01 Jan 2024
Received 20 Jul 2023 Revised 08 Sep 2023 Accepted 11 Sep 2023
DOI: https://doi.org/10.7467/KSAE.2024.32.1.15

카메라 기반 다중 파티클 필터 및 가중 비용 함수를 이용하는 자율주행 모빌리티의 경로 추종 제어 알고리즘 개발
김세환 ; 오광석*
한경국립대학교 ICT로봇기계공학부

Development of a Path Tracking Control Algorithm of Autonomous Mobility Using Camera-based Multi-particle Filtering and Weighted Cost Function
Sehwan Kim ; Kwangseok Oh*
School of ICT, Robotics and Mechanical Engineering, Hankyong National University, Gyeonggi 17579, Korea
Correspondence to : *E-mail: oks@hknu.ac.kr


Copyright Ⓒ 2024 KSAE / 218-02
This is an Open-Access article distributed under the terms of the Creative Commons Attribution Non-Commercial License(http://creativecommons.org/licenses/by-nc/3.0) which permits unrestricted non-commercial use, distribution, and reproduction in any medium provided the original work is properly cited.
Funding Information ▼

Abstract

Model uncertainty and changes in sensor specifications in autonomous mobility can have a negative impact on path tracking. Therefore, in this paper, we are proposing a path tracking control algorithm based on multi-particle filtering and a weighted cost function. This algorithm is designed to ensure path tracking, even when there are changes in camera specifications. A pixel-based control error was derived by using multiple particle filters for path tracking, instead of image processing techniques. A simplified error dynamic was designed, based on the derived pixel-based control error. Then, the desired steering angle was derived after applying weights to the cost function, which was designed by using the sliding approach and Lyapunov to reduce control errors. Next, the path tracking performance was evaluated by using two different cameras on an S-curved path based on autonomous mobility. The evaluation led us to confirm reasonable desired path tracking results, even when using cameras with different specifications.


Keywords: Steering control, Multi-particle filter, Path tracking, Sliding mode approach, Camera, Autonomous mobility
키워드: 조향 제어, 다중 파티클 필터, 경로 추종, 슬라이딩 모드 접근, 카메라, 자율주행 모빌리티

1. 서 론

자율주행 시스템이 적용된 무인 운반차, 자율주행 로봇 등은 카메라, 라이다, 초음파 센서, 레이더 등 다양한 센서 기반 주변 환경 인지를 통하여 목표 경로 추종 및 장애물 탐지가 가능하다. 하지만 제어 대상 시스템의 모델 불확실성과 센서 제원 변화 등은 목표 경로 추종에 있어 부정적 영향을 미칠 수 있다. 이에 많은 연구 기관에서는 강건한 목표 경로 추종을 위한 인지, 판단 및 제어 방법론의 연구 및 상용화가 활발하게 진행되고 있다.

Tang 등1)은 모델 예측 제어와 PID 제어 방법론을 융합하여 고속 상황에서도 합리적인 경로 추종이 가능한 알고리즘을 제안하였다. Lee 등2)은 차량 속도와 도로 곡률 변화에도 자율주행 자동차의 강건한 경로 추종 성능과 부드러운 조향을 위한 적응형 선형 2차 가우시안 방법론을 제안하였다. Cheng 등3)은 타이어의 비선형 특성과 시변하는 속도를 고려한 선형 파라미터 가변 횡방향 모델 기반 모델 예측 조향 제어 방법론을 제안하였다. Jiang 등4)은 무인 지상 차량의 구조 및 비구조적 불확실성에도 강건한 경로 추종을 위하여 입자 군집 최적화 기법 기반 수학적 모델이 필요 없는 모델 독립 예측 제어 방법론을 제안하였다. Shan 등5)은 정확한 경로 추종 성능과 승차감 향상을 위하여 강화 학습, Pure pursuit 및 PID 제어 기반 적응형 조향 및 속도 제어 방법론을 제안하였다. Taghavifar와 Rakheja6)은 타이어의 불확실한 매개변수에도 자율주행 자동차의 경로 추종 성능 향상을 위해 지수형 슬라이딩 모드 퍼지 신경망 기반 조향 방법론을 제안하였다. Al-Nima 등7)은 카메라의 전방 이미지를 이용하여 다양한 날씨 환경에서도 정확한 경로 추종이 가능한 심층 강화 학습 방법론을 제안하였다. Dong 등8)은 2차원 라이다를 이용하여 장애물을 감지하고 칼만 필터 기반 감지된 장애물의 움직임 추정을 통해 실시간 장애물 회피가 가능한 자율주행 모바일 로봇을 제안하였다. Ammar와 Azar9)은 자율주행 모바일 로봇의 강건한 경로 추종을 위해 경로 오차를 이용한 Fractional order proportional integral derivative 모터 속도 제어 방법론을 제안하였다. Iqbal 등10)은 2차원 라이다와 GPS 융합을 통하여 ROS 기반 가려진 작물 탐지가 가능한 자율주행 모바일 로봇을 제안하였다. 방효석 등11)은 장애물이 많은 비평탄 지형에서의 장애물 감지 및 회피 주행을 위하여 엔코더, IMU 및 GPS, 라이다 등 다중 센서 기반 무한궤도형 이동로봇을 개발하였다. 기존 연구들을 보면 다양한 산업 분야에서 활용 가능한 무인 운반차 및 모바일 자율주행 로봇의 상용화를 위하여 연구들이 진행되고 있다. 이러한 자율주행 모빌리티들은 다양한 센서 기반으로 주변 환경을 인지하며 주어진 목적을 수행하고 있다. 센서들의 제원과 설치 위치를 고려하여 목표 경로, 객체 또는 주변 장애물 인지 및 탐지를 위하여 이미지 프로세싱 및 필터링 기법이 이용되고 있다. 하지만, 다양한 자율주행 모빌리티들의 개발에 따라 수학적 모델의 복잡성과 매개변수들의 불확실성이 증가하고 있으며, 센서들의 설치 위치와 제원 변화에 따라 인지 및 제어 파라미터들을 재설정해야 하는 한계점이 존재하는 것으로 확인되었다.

Bhat 등12)은 복잡한 환경에서 특정 대상 추종을 위해 기구학적 운동 방정식 기반 파티클 필터 업데이트 모델을 설계하였으며, 색상과 KAZE를 융합한 파티클 가중치 업데이트 방법론을 제안하였다. Iswantoa 등13)은 칼만 필터, Mean-shift와 파티클 필터 방법론을 융합하여 조명 변화, 객체 변형, 유사한 색상의 간섭 등에도 강건한 단일 객체 추종 방법론을 제안하였다. Walia 등14)은 조명 변화, 복잡한 배경, 개체의 변형 및 회전이 발생하는 상황에서도 강건한 객체 추종을 위하여 Crow search optimization 기반 파티클 재표본 추출 방법론을 제안하였다. Gong 등15)은 HSV 이미지를 이용하여 파티클 필터 기반 움직이는 물체를 추종하였으며, Position-based visual servoing 기반 Manipulator 제어 방법론을 제안하였다. 강정완과 김선우16)는 빔 추적 성능 향상을 위해 파티클 필터 기반 밀리미터파 대역에서 이동성에 따른 실시간 각도 변화 추정을 위한 빔 추적 알고리즘을 제안하였다. 김세환과 오광석17)이 수행한 기존 연구에서는 자율주행 모빌리티의 경로 추종 중 장애물 또는 경로 인지 오류 상황 판단을 위해 다중 파티클 필터 기반 기능 안전 판단 알고리즘을 제안하였으며, PI 조향 제어 기반 개발된 자율주행 모빌리티를 이용하여 성능 평가를 진행하였다.

기존 연구들을 살펴보면 카메라의 RGB, 픽셀 등의 이미지 정보 기반 이미지 프로세싱, 인공지능을 통해 객체 추종 및 탐지에 이용되고 있다. 파티클 필터 또한 이미지 프로세싱 과정 없이 비선형적 움직임을 가지는 특정 객체를 조명 변화, 복잡한 배경, 유사한 색상의 간섭 등에도 강건한 탐지 및 추종을 위해 사용되고 있는 것을 확인할 수 있었다.

기존 연구의 수학적 모델의 불확실성과 센서 제원 변화에 따른 파라미터 재설정의 한계점을 극복하기 위해 본 논문에서는 가중 비용 함수를 이용하는 경로 추종 제어 알고리즘을 제안한다. 이미지 프로세싱 및 실제 거리 변환 없이 복잡하고 연속적으로 변화되는 카메라 이미지 내 목표 경로 추종을 위하여 다중 파티클 필터 기반 목표 경로의 RGB 값을 추종하여 픽셀 기반의 제어 오차를 도출하였다. 도출된 픽셀 기반 제어 오차와 실제 거리의 제어 오차 간의 관계 비율을 이용하여 단순화된 오차 방정식을 설계하였다. 실제 거리 변환 과정 없이 픽셀 기반 제어 오차를 줄이기 위하여 픽셀과 실제 거리 간의 관계 비율과 가중 인자를 적용하여 슬라이딩 모드 접근법 및 Lyapunov 기반 가중 비용 함수를 설계하였다. 설계된 가중 비용 함수 최소화를 위하여 픽셀 기반의 제어 오차, 가중 인자와 시스템의 제원을 이용하여 목표 조향각 도출하였다.

다음 2장에서는 다중 파티클 필터 및 가중 비용 함수 기반 경로 추종 제어 알고리즘을 제시하고 3장에서는 개발된 실 모빌리티에 대한 설명 함께 수행된 성능 평가 결과를 설명한다. 마지막 4장에서는 결론 및 향후 계획을 기술한다.


2. 다중 파티클 필터 및 가중 비용 함수 기반 경로 추종 제어 알고리즘

Fig. 1은 자율주행 모빌리티의 경로 추종을 위한 가중 비용 함수 기반 경로 추종 제어 알고리즘의 개략도이다. 카메라 이미지의 RGB 정보를 이용하여 다중 파티클 필터 기반 목표 경로 RGB와 유사한 지점으로 모이는 파티클들을 군집화하여 제어 오차를 도출한다. 도출된 제어 오차를 이용하여 제안하는 가중 비용 함수 설계를 통하여 목표 조향각을 도출한다. 합리적인 경로 추종 성능 확보를 위하여 다중 파티클 필터링 및 라이다 기반 목표 경로 인지 오류 판단과 장애물 탐지를 통하여 구동 및 제동을 판단한다. 자율주행 모빌리티의 구동 및 조향은 구동 및 조향 모터에 단일 펄스 및 Pulse Width Modulation(PWM) 신호를 인가하여 제어한다.17)


Fig. 1 
Weighted cost function based path tracking control algorithm schematic

2.1 카메라를 이용한 제어 오차 도출 알고리즘

다음은 카메라를 이용한 다중 파티클 필터 기반 제어 오차 도출 과정을 설명한다. 파티클 필터는 파티클 생성, 갱신, 가능도 계산, 재표본 추출의 과정으로 파티클 생성을 제외한 모든 과정을 반복하여 카메라 이미지 내 설계된 Region of Interest(ROI)에 목표 경로 RGB 값과 가장 유사한 지점으로 파티클들이 이동되며, 파티클 갱신에 대한 수학적 모델은 식 (1)과 같다.

xkykx˙ky˙k=1010010100100001xk-1yk-1x˙k-1y˙k-1+σposγxσposγyσvelγx˙σveγy˙(1) 

여기서 x, y는 파티클들의 위치, x˙,y˙는 파티클들의 속도, σ, γ는 위치, 속도의 표준편차와 외란을 나타낸다. 이전 이산 시간에서 파티클들의 위치, 속도와 파티클들의 위치, 속도의 표준편차와 외란의 곱을 더하여 현재 파티클들의 위치와 속도를 예측한다.

Llog=log12πσRGBe-dp.f22σRGB2(2) 
L=eLlog-maxLlog(3) 
wt=i=1tLtL(4) 
dp.f=rc-rt2+gc-gt2+bc-bt2(5) 
Rp.f=μparticles2+σparticles2(6) 

본 논문에서는 다항 재표본 추출 (Multinomial resampling) 기법을 이용하였으며, 식 (2) ~ (4)와 같이 가능도, 가중치 계산 및 파티클 재표본 추출을 통하여 파티클들의 현재 상태를 예측한 후, 가능도 계산을 통해 가능도가 낮은 파티클들을 가중치가 높은 파티클들로 대체하여 목표 경로 RGB 값을 추종한다. 식 (5)는 가능도 계산을 위해 이용되는 목표 경로 RGB(rt, gt, bt)와 군집점 RGB(rc, gc, bc) 값의 오차 거리이다. 식 (6)은 목표 경로 인지 오류 판단을 위해 이용되는 군집점과 다른 파티클들 사이 거리의 평균 μparticles과 표준편차 σparticles 기반 계산되는 거리를 의미 한다.17)

Fig. 2는 다중 파티클 필터 기반 제어 오차 도출 과정에 대한 개념을 보여주며, 목표 경로 RGB 값 추종에 따라 설계된 ROI 내 군집되는 파티클들을 이용한다. 여기서, (x, y)는 카메라를 통해 획득되는 이미지 내 픽셀 기반 군집점의 좌표,(xp, Lp)는 설계 파라미터로 예측 지점의 좌표, (xc, yc)는 예측 지점과 2개의 군집점을 지나는 직선이 만나는 지점의 좌표이다.

ψcur=tan-1y2-y1x2-x1(7) 
eψ,p=ψcur-ψdes(8) 
ey,p=xc-xp(9) 

Fig. 2 
Concept of control error derivation

식 (7)은 2개의 군집점을 지나는 직선의 기울기로 현재 요 각도를 의미하며, 식 (8)과 같이 현재 요 각도와 직진 주행을 하기 위한 목표 요 각도의 차이를 요 각도 오차로 정의하였다. 횡방향 예측 지점 오차는 2개의 군집점을 지나는 직선과 예측 지점이 수직으로 만나는 거리로 식 (9)와 같다.

2.2 가중 비용 함수 기반 조향 제어 알고리즘

본 논문에서 카메라의 제원에 상관없이 자율주행 모빌리티의 경로 추종을 위하여 단순화된 오차 동역학 기반 픽셀 및 실제 거리 제어 오차 간의 가상 관계식을 이용하여 식 (10)(11)과 같이 설계하였다. 여기서, ry, rψ는 실제 거리와 픽셀 기반 제어 오차 간의 관계 비율을 의미한다.

e˙y=Vxeψe˙ψ=Vxlδ-ψ˙d(10) 
ey=ryey,peψ=rψeψ,p(11) 

식 (11)을 미분하면 식 (12)와 같이 표현되고 식 (10)식 (12)에 대입하여 정리하면 식 (13)과 같다.

e˙y=r˙yey,p+rye˙y,pe˙ψ=r˙ψeψ,p+rψe˙ψ,p(12) 
Vxrψeψ,p=r˙yey,p+rye˙y,pVxlδ-ψ˙d=r˙ψeψ,p+rψe˙ψ,p(13) 

주행하고 있는 상황에서 카메라 제원의 변화가 없다고 가정하여 픽셀 및 실제 거리 기반 제어 오차 간의 관계 비율 변화율은 0으로 간주하였다. 이에 식 (13)을 횡방향 예측 지점 오차 및 요 각도 제어 오차의 미분항으로 정리하면 식 (14)와 같이 표현된다.

e˙y,p=Vxrψryeψ,pe˙ψ,p=Vxl1rψδ-ψ˙drψ(14) 

식 (15)는 가중 비용 함수로 픽셀 기반 제어 오차, 제어 오차 비율과 가중 인자를 이용하여 설계하였다.

J=12ryrψey,p2+12rψweψ,p2(15) 

식 (15)를 미분하면 식 (16)과 같으며, 식 (14)식 (16)에 대입하여 전개하면 식 (17)과 같다.

J˙=ryrψey,pe˙y,p+rψweψ,pe˙ψ,p(16) 
J˙=eψ,pVxey,p+wVxlδ-wψ˙d(17) 

슬라이딩 모드 접근법 기반 설계된 비용 함수를 최소화하기 위하여 조향각을 식 (18)과 같이 정의하였다. 설계된 목표 조향각을 식 (17)에 대입하면 식 (19)와 같이 정리되며, 비용 함수의 변화율이 0보다 작기 때문에 리아프노프 안정성을 만족하는 것을 확인할 수 있다.

δ=-lwey,p+lVxψ˙d-ρsigneψ,p(18) 
J˙=eψ,p-ρsigneψ,p=-ρeψ,p<0,eψ,p0(19) 

여기서 ρ는 주입항의 크기이며, 본 논문에서는 슬라이딩 접근법의 한계점인 채터링 현상 완화를 위하여 시그모이드 함수를 이용하였다.


3. 실 플랫폼 기반 성능 평가

다른 제원의 카메라로 교체하게 되는 경우, 경로 인지 및 경로 추종 제어를 위한 설계 변수의 재설정이 필요할 수 있다. 그러므로 본 연구에서는 획득된 이미지 해상도를 기준이 되는 특정 크기의 해상도로 변환하여 서로 다른 제원의 카메라를 이용하여도 설계 변수를 최소화할 수 있도록 알고리즘을 구성하였다. Fig. 3은 실험에서 사용된 카메라를 보여주며, Table 1은 카메라의 제원을 보여준다. Abko사의 웹캠 카메라 A는 200만 화소, 72.4 deg의 화각의 제원으로 실험에 사용된 해상도의 크기는 800 × 600이다. Logitech사의 웹캠 카메라 B는 300만 화소, 78 deg의 화각의 제원으로 실험에 사용된 해상도의 크기는 1,920 × 1,080이다.


Fig. 3 
Experimental cameras : (a) Cam A, (b) Cam B

Table 1 
Specifications of experimental cameras
Division Camera A Camera B
Pixel 2 [Mega pixels] 3 [Mega pixels]
Frame per second 30 [FPS] 30 [FPS]
Field of view 72.4 [deg] 78 [deg]
Resolution 800 × 600 1,920 × 1,080

Fig. 4는 서로 다른 제원을 가진 카메라 A와 B의 해상도를 기준이 되는 하나의 해상도 크기로 변환하는 개념도를 보여준다. 본 논문에서는 800 × 600 해상도를 가지는 카메라 A와 카메라 B의 1,920 × 1,080 해상도를 1,280 × 720의 해상도 크기로 변환하여 진행하였다.


Fig. 4 
Concept of different camera resolutions

3.1 자율주행 모빌리티 시스템

Fig. 5(a)는 카메라 A와 B가 장착된 실제 개발된 자율주행 모빌리티이며, (b)는 자율주행 모빌리티의 정면과 옆면 사진을 보여준다.


Fig. 5 
Actual autonomous mobility with cameras

개발된 자율주행 모빌리티는 1개의 Main PC와 4개의 MCU, 구동 및 조향 모터, 카메라, 라이다, VR로 구성하였다. Intel Core i7-1195 CPU가 장착된 Main PC를 이용하여 Matlab 환경에서 카메라와 연동을 통하여 다중 파티클 필터 알고리즘을 구현하였다. Clock frequency는 16 [MHz]로 5 [V] 전압에서 작동되는 3개의 Arduino Uno와 1개의 Arduino Nano로 MCU를 분산형으로 구성하였다. Serial 통신 기반 이산 단일 펄스와 PWM 신호를 이용하여 Main PC와 연동된 Arduino Nano에서 도출되는 목표 조향각을 Arduino Uno에 전송하였다. Arduino Uno는 라이다, VR의 데이터 계측 및 목표 조향각 데이터 수신을 통해 구동 및 조향 모터에 목표 경로 추종을 위한 이산 단일 펄스와 PWM을 인가하였다. MCU는 1개의 6 [V] 배터리를 이용하여 전원을 인가하였으며, 구동 및 조향 모터는 2개의 24 [V] 배터리를 이용하여 전원을 인가하였다.

Table 2는 자율주행 모빌리티의 제원으로 라이다는 지면으로부터 약 0.3 [m] 위치에 장착되어 위의 방향을 바라보며, 카메라는 지면으로부터 약 0.6 [m] 위치에 장착되어 아래 방향을 바라보게 장착하였다.

Table 2 
Specifications of actual autonomous mobility
Symbol Description Value
m Mass About 38.6 [kg]
htruck Height 0.45 [m]
dtruck Depth 0.55 [m]
wtruck Width 0.45 [m]
l Wheel base 0.5 [m]
tw Wheel tread 0.375 [m]

3.2 실 플랫폼 기반 S-curved 트랙 성능 평가

제안하는 다중 파티클 필터 및 가중 비용 함수 기반 경로 추종 제어 알고리즘 성능 평가는 4 [m] 직경의 2개 원으로 구성된 S-curved 경로에서 실 자율주행 모빌리티를 이용하여 진행하였다. 목표 경로는 Fig. 6과 같이 노란색 마스킹 테이프를 이용하여 생성하였다. 시나리오 1은 카메라 A와 B에 따른 장애물이 존재하지 않는 정상 상태 주행 상황이다. 시나리오 2는 스마트팜, 스마트 팩토리 등 다양한 산업 분야에서 발생 가능한 목표 경로 위 장애물과 작업자가 존재하는 환경을 구성하였다. 본 논문에서는, 주변 환경에 작업자 또는 목표 경로 인지 오류의 판단이 되면 자율주행 모빌리티는 제동이 되도록 설계하였다.


Fig. 6 
S-curved path for experiment

Table 3은 목표 조향각 도출을 위한 경로 추종 제어 알고리즘 및 파티클 필터의 설계 변수이다. 제원이 서로 다른 카메라 A와 B를 이용한 두 가지 시나리오 모두 동일한 제어 설계 변수로 진행하였다. 2개의 군집점 도출과 카메라의 왜곡을 고려하여 Upper와 Lower 파티클들의 ROI는 픽셀 기반 2:1의 비율로 설계하였다. 자율주행 모빌리티 구동 모터에 일정 PWM을 인가하여 등속 주행으로 진행하였다. 직진 주행 실험을 통해 이동 시간과 거리를 계측하여 평균 속도 0.25 [m/s]를 도출하였으며, 다른 제어 설계 변수와 Upper 및 Lower의 ROI 비율은 실험을 통하여 합리적인 설계 변수를 도출하였다.

Table 3 
Multi-particle filter and steering control parameters
Symbol Value
w 11.8 [-]
msigmoid 10 [-]
vavg 0.25 [m/s]
μparticles,th, σparticles,th 65, 65 [pixel]
Rp.f,th 100 [-]
rt, gt, bt 254, 252, 164 [-]

3.2.1 정상 상태 주행

다음은 카메라 A와 B에 따른 정상 상태 주행 시나리오 결과 그래프를 Figs. 7 ~ 16에서 보여준다. Fig. 7은 다중 파티클 필터를 이용하여 도출되는 픽셀 기반의 횡방향 예측 지점 오차와 요 각도 제어 오차이다. 다른 제원을 가진 카메라 A와 B 모두 비슷한 크기와 개형으로 도출되었다. 약 40 ~ 240 Sampling instances에서 곡선 주행으로 인하여 예측 지점에서의 횡방향 및 요 각도 오차가 증가하는 것을 확인할 수 있다.


Fig. 7 
Lateral preview error(top) and yaw angle error(bottom)

Fig. 8은 조향 모터와 VR을 연결하여 조향 모터의 위치에 따라 변화되는 0 ~ 5 [V] 값을 가지는 VR의 전압과 1 분해능으로 0 ~ 1023 값을 가지는 아날로그 신호를 보여준다. 현재 조향각은 실시간으로 VR 전압을 아날로그 신호로 변환하고 변환된 아날로그 신호를 함수화하여 현재 조향각을 계산하였다. Fig. 9는 VR 기반 계산되는 현재 조향각과 가중 비용 함수 기반 도출되는 목표 조향각을 보여준다. 곡선 주행 시 증가하는 제어 오차에 따라 제어 오차를 줄이기 위한 목표 조향각이 도출되는 것을 확인할 수 있다. 다중 파티클 필터 기반 도출되는 제어 오차의 진동 현상과 함께 슬라이딩 모드 접근법의 채터링 현상으로 인한 곡선 주행 시 목표 조향각의 진동 현상을 확인할 수 있었다. 또한, 이러한 진동 현상은 아두이노의 MCU와 Main PC 사이에서의 이산화된 단일 펄스 및 PWM 신호를 이용하여 데이터 전송 및 조향 모터 제어로 인한 발생으로 예상된다.


Fig. 8 
Voltage of VR(top) and analog signal(bottom)


Fig. 9 
Current and desired steering angles

Fig. 10은 조향각 오차와 조향 모터 회전 방향 신호를 보여준다. 조향각 오차의 부호에 따라 0과 1의 값을 가지는 회전 방향 신호를 이용하여 시계 및 반시계방향을 판단하였다. 조향각 오차가 양수일 때는 반시계방향의 신호가 1로 변경되고, 음수일 때는 시계방향의 신호가 1로 변경되어 조향 모터에 이산화된 단일 펄스 신호를 인가하여 회전 방향을 변경하였다. 본 논문에서는 조향각 오차의 임계값을 0 [deg]로 적용하여 회전 방향의 신호가 연속적으로 1을 나타내고 있는 것을 확인할 수 있다. 이는 조향 모터에 연속적 이산 단일 펄스 신호 인가로 인하여 불필요한 에너지 소모가 이루어지는 것을 확인할 수 있다. 이에, 향후에는 조향 모터의 각속도를 고려한 조향각 오차 임계값 적용을 통하여 에너지 효율적 제어를 위한 알고리즘 고도화를 계획하고 있다.


Fig. 10 
Steering angle error(top) and rotation flag(bottom)

Fig. 11은 경로 인지 오류 판단을 위해 실시간 계산되는 군집점과 RGB 오차 간의 거리 및 군집점과 다른 파티클들 사이 거리의 평균과 표준편차 기반 계산되는 값을 보여준다. Fig. 12Fig. 13은 파티클 필터 기반 경로 인지 오류 판단과 라이다 기반 장애물 탐지를 위한 안전 단계에 따른 구동 신호를 보여준다. 목표 경로 내 장애물이 존재하지 않기 때문에 RGB 오차와 파티클들의 거리는 설계된 임계값 내에 위치한다. 또한, 주변 환경에 작업자 및 장애물이 존재하지 않기 때문에 라이다 기반 안전 단계는 Normal 상태로 구동 신호가 1로 유지되는 것을 확인할 수 있다. 구동 신호가 1인 경우 구동 모터에 일정 PWM 신호를 인가하여 등속 주행이 되도록 설계하였으며, 0인 경우 구동 모터에 이산 단일 펄스 신호를 인가하여 제동되도록 설계하였다. Fig. 14는 GPS를 이용하여 계측되는 주행 궤적을 보여준다. 실험에 사용된 GPS는 Ublox 사의 F9P 제품으로 RTK를 적용하여 8 Hz로 데이터를 계측하였다. 카메라 A와 B를 이용해 주행한 자율주행 모빌리티의 주행 궤적과 목표 경로를 여러 번 걸어서 획득된 주행 궤적과 비교하였다. Fig. 14의 주행 궤적을 통하여, 서로 다른 제원을 가진 카메라 A와 B 시나리오 모두 2개의 4 [m] 직경으로 구성된 S-curved 주행 궤적을 확인할 수 있다.


Fig. 11 
RGB error(top) and distance of particles(bottom)


Fig. 12 
Values of functional safety for driving : cam A


Fig. 13 
Values of functional safety for driving : cam B


Fig. 14 
Trajectory

Fig. 15Fig. 16은 실제 실험 환경에서 주행한 자율주행 모빌리티를 Top view로 촬영한 영상 이미지이며, Fig. 17Fig. 18은 제어 오차 도출을 위해 실제 실험에서 저장된 파티클 필터 영상 중 4개의 프레임으로 목표 경로 RGB 값에 군집되는 파티클들을 보여준다. 여기서 초록색의 점들은 Upper 파티클들이며, 자홍색 점들은 Lower 파티클들로 2:1의 비율로 설계된 ROI 내에 생성되며 목표 경로 RGB를 합리적으로 추종하는 것을 확인할 수 있다. 실험 시간은 약 57초 동안 주행하였으며, 1 sampling instance 당 약 0.236초가 소요되었다.


Fig. 15 
Actual experiment environment image : cam A


Fig. 16 
Actual experiment environment image : cam B


Fig. 17 
Actual experiment image of particle filter : cam A


Fig. 18 
Actual experiment image of particle filter : cam B

3.2.2 주행 경로의 인지 오류 및 장애물

다음은 주행 경로에 장애물이 놓여 경로 인지 오류의 상황과 주변 환경에 작업자가 있는 상황에서의 주행 결과를 보여준다. Fig. 19에서 자홍색 점선과 파란색 점선은 카메라 A와 B의 구동 신호이며, 경로 인지 오류 판단 및 장애물 탐지에 따라 0으로 변경된다. 카메라 B의 약 75 sampling instances에서 요 각도 오차가 급격하게 증가하는 것을 확인할 수 있다. 이는 장애물로 인하여 파티클들이 목표 경로가 아닌 다른 지점으로 수렴하여 발생하였다.


Fig. 19 
Lateral preview error(top) and yaw angle error(bottom)

Fig. 20Fig. 21을 통하여, VR 기반 계산된 현재 조향각과 가중 비용 함수 기반 도출된 목표 조향각을 보여준다. 목표 조향각은 제어 오차를 기반으로 도출되기 때문에 경로 인지 오류 판단 상황에서는 다른 지점으로 수렴하는 파티클들로 인하여 목표 조향각이 잘못된 값으로 도출될 수 있는 한계점이 존재한다. 또한, 잘못된 목표 조향각으로 주행하는 경우 경로가 카메라 시야각 밖으로 위치하여 인지 불가능 또는 경로 이탈 상황이 발생할 수도 있으며, 이는 경로 추종 성능에 악영향을 미칠 수 있다. 이에, 경로 인지 오류로 인한 제동 상황에서 이전 조향각 유지와 조향 모터의 각속도를 고려한 목표 조향각에 빠르게 수렴할 수 있도록 조향 알고리즘 고도화를 계획하고 있다.


Fig. 20 
Voltage of VR(top) and analog signal(bottom)


Fig. 21 
Current and desired steering angles

Fig. 22는 조향각 오차와 회전 방향 신호이며, 약 75 sampling instances에 장애물로 인하여 목표 조향각의 크기가 급격하게 증가함에 따라 조향 오차가 증가하는 것을 확인할 수 있다.


Fig. 22 
Steering angle error(top) and rotation flag(bottom)

Fig. 23을 통해 목표 경로 내 장애물로 인한 RGB의 오차 거리가 설계된 임계값 보다 증가하지만, 파티클들의 거리 데이터는 임계값 내에 존재하는 것을 확인할 수 있다. 이는 목표 경로 RGB를 추종하지 못하였지만, 파티클들이 목표 경로가 아닌 다른 지점으로 수렴한 상황이다. 목표 경로 외 다른 지점에 수렴으로 임계값 내에 위치하여도 경로 인지 오류를 오판단을 방지하기 위해 RGB 오차와 파티클들의 거리 데이터를 모두 적용하였다. 이에 따라 Fig. 24Fig. 25는 카메라 및 라이다 기반 경로 인지 오류 판단에 따른 구동 신호로 주행 경로에 장애물이 있는 경우와 사람이 있는 경우 구동 신호가 0으로 변경되어 제동되는 것을 확인할 수 있다. Fig. 26은 GPS를 이용하여 계측된 주행 궤적을 보여준다. 성능 평가 환경의 주차된 차량과 건물들로 인하여 상대적 정확한 GPS 데이터 계측의 어려움이 있었다. 이로 인하여 GPS 기반 계측된 주행 궤적과 주행 목표 경로의 오차가 상대적으로 크게 발생하였다. 향후, 정확한 GPS 데이터 계측을 위해 건물들이 없는 쾌적한 환경에서 성능 평가를 통한 정확한 GPS 데이터 계측을 통한 주행 궤적과 목표 경로 비교를 계획하고 있다.


Fig. 23 
RGB error(top) and distance of particles(bottom)


Fig. 24 
Values of functional safety for driving : cam A


Fig. 25 
Values of functional safety for driving : cam B


Fig. 26 
Trajectory

Fig. 27Fig. 28에서 465번째 프레임에서 주행 경로에 장애물이 있는 경우와 1,500번째 프레임에서 작업자가 있는 경우 경로 인지 오류 판단을 통하여 구동 신호가 0으로 변경되어 제동되는 것을 확인할 수 있다. Fig. 2930에서 75번째 프레임에서는 주행 경로에 장애물로 인하여 다른 지점으로 수렴되는 것을 확인할 수 있다. 205번째 프레임에서는 목표 경로를 추종하고 있지만, 라이다 기반 장애물 탐지를 통하여 제동되는 것을 확인할 수 있다. 실험 시간은 약 66초 동안 주행하였으며, Sampling instance 당 약 0.243초가 소요되었다.


Fig. 27 
Actual experiment environment image : cam A


Fig. 28 
Actual experiment environment image : cam B


Fig. 29 
Actual experiment image of particle filter : cam A


Fig. 30 
Actual experiment image of particle filter : cam B


4. 결 론

본 논문에서는 자율주행 모빌리티의 경로 추종을 위한 다중 파티클 필터 및 가중 비용 함수 기반 경로 추종 제어 알고리즘을 제안하였다. 다중 파티클 필터를 이용하여 카메라 이미지 내 픽셀 기반 제어 오차를 도출하였다. 도출된 픽셀 기반 제어 오차를 이용하여 가중 비용 함수 기반 목표 조향각을 도출하였으며 본 논문에서 기술하는 주요 내용을 요약하면 다음과 같다.

  • 1) 카메라 제원 변화에 상관없이 합리적 경로 추종이 가능한 가중 비용 함수 기반 조향 제어 알고리즘을 제안하였다. 가중 비용 함수는 슬라이딩 모드 접근법과 Lyapunov 함수 기반으로 설계하였다. 가중 비용 함수는 픽셀과 실제 제어 오차 거리 간 관계 비율 및 가중 인자를 적용하였다. 이에, 카메라 제원의 변화와 실제 거리 변환 과정 없이 경로 추종을 위한 목표 조향각 도출이 가능하였다.
  • 2) 인휠 모터와 스텝 모터 기반 설계된 단일 구동 및 조향 모듈을 이용하는 자율주행 모빌리티 시스템을 개발하였으며, 이를 기반으로 제안하는 알고리즘의 성능 평가를 진행하였다. 평가 결과, 카메라 제원 변화에도 파라미터 재설계 없이 합리적인 경로 추종 결과가 나왔기 때문에 제안하는 알고리즘이 제어 파라미터의 차원 크기 측면에서 상대적으로 우수함을 확인할 수 있었다.

본 논문에서는 개발된 자율주행 모빌리티의 MCU들은 Main PC와 Arduino Uno와 Nano로 분산형으로 구성하였다. MCU와 Main PC 간 Serial 통신으로 이산 단일 펄스 신호와 PWM를 이용하여 데이터 송/수신과 구동 및 조향 모터를 제어하였다. 파티클 필터 알고리즘의 상대적 큰 계산 부하와 데이터 통신 과정으로 발생하는 지연 및 조향 제어 입력의 진동 현상 확인할 수 있었다. 이는 고속 주행 시 제어 성능에 악영향을 미칠 수 있다. 이러한 현상은 파티클 필터 알고리즘 최적화와 연속적인 데이터 송/수신을 위한 통신 기법 적용으로 계산 부하 및 지연 현상 완화를 통한 제어 입력 진동 현상 완화 및 양산용 ECU에 적용이 가능할 것으로 예상한다.

향후, 계산 부하와 조향 모터 각속도를 고려한 불필요한 에너지 소모 방지와 제어 입력에서의 진동 현상 완화를 위한 소프트웨어/하드웨어적 고도화를 통해 다양한 속도에 따른 주행 경로에서의 성능 평가를 계획하고 있다. 본 논문에서 제안하는 다중 파티클 필터 및 가중 비용 함수 기반 경로 추종 제어 알고리즘은 다양한 산업 분야에서 자율주행 플랫폼의 카메라 제원 변화에 상관없이 목표 경로 추종을 위한 알고리즘 적용 가능할 것으로 기대한다.


Nomenclature
σpos : standard derivation of position, -
σvel : standard derivation of velocity, -
σRGB : standard derivation of RGB, -
Lp : preview distance, pixel
eψ : yaw angle error, rad
ey : lateral preview error, m
eψ,p : pixel-based yaw angle error, rad
ey,p : pixel-based lateral preview error, pixel
ψ˙d : desired yaw rate, rad/s
rψ : ratio of pixel to actual yaw angle error, -
ry : ratio of pixel to actual lateral error, -
δ : steering angle, degree
dp.f : euclidean norm of RGB error, -
Rp.f : average and STD of distance between clustered points and other particles, pixel
l : wheel base, m
tw : wheel tread, m
Vx : average longitudinal velocity, m/s
w : control error weighting, -
ρ : injection term, -

Acknowledgments

A part of this paper was presented at the KSAE 2023 Spring Conference

본 연구는 2022년도 정부(과학기술정보통신부)의 재원으로 한국연구재단의 지원(NRF-2022R1F1A1075167)을 받아 수행되었음.


References
1. L. Tang, F. Yan, B. Zou, K. Wang and L. Chen, “An Improved Kinematic Model Predictive Control for High-Speed Path Tracking of Autonomous Vehicles,” IEEE Access, Vol.8, pp.51400-51413, 2020.
2. K, Lee, S. Jeon, H. Kim and D. Kum, “Optimal Path Tracking Control of Autonomous Vehicle: Adaptive Full-State Linear Quadratic Gaussian(LQG) Control,” IEEE Access, Vol.7, pp.109120-109133, 2019.
3. S. Cheng, L. Li, X. Chen and J. Wu, “Model-Predictive-Control-Based Path Tracking Controller of Autonomous Vehicle Considering Parametric Uncertainties and Velocity-varying,” IEEE Transactions on Industrial Electronics, Vol.68, No.9, pp.8698-8707, 2020.
4. Y. Jiang, X. Xu, L. Zhang and T. Zou, “Model Free Predictive Path Tracking Control of Variable-Configuration Unmanned Ground Vehicle,” ISA Transactions, Vol.129, pp.485-494, 2022.
5. Y. Shan, B. Zheng, L. Chen, L. Chen and D. Chen, “A Reinforcement Learning-based Adaptive Path Tracking Approach for Autonomous Driving,” IEEE Transactions on Vehicular Technology, Vol.69, No.10, pp.10581-10595, 2020.
6. H. Taghavifar and S. Rakheja, “Path-Tracking of Autonomous Vehicles Using a Novel Adaptive Robust Exponential-Like-Sliding-Mode Fuzzy Type-2 Neural Network Controller,” Mechanical Systems and Signal Processing, Vol.130, pp.41-55, 2019.
7. R. R. O. Al-Nima, T. Han and T. Chen, “Road Tracking using Deep Reinforcement Learning for Self-Driving Car Applications,” International Conference on Computer Recognition Systems, Springer, pp.106-116, 2020.
8. H. Dong, C. Y. Weng, C. Guo, H. Yu and I. M. Chen, “Real-Time Avoidance Strategy of Dynamic Obstacles Via Half Model-Free Detection and Tracking with 2D Lidar for Mobile Robots,” IEEE/ASME Transactions on Mechatronics, Vol.26, No.4, pp.2215-2225, 2020.
9. H. H. Ammar and A. T. Azar, “Robust Path Tracking of Mobile Robot using Fractional Order PID Controller,” International Conference on Advanced Machine Learning Technologies and Applications, Springer, pp.370-381, 2020.
10. J. Iqbal, R. Xu, S. Sun and C. Li, “Simulation of an Autonomous Mobile Robot for LiDAR-Based In-Field Phenotyping and Navigation,” Robotics, Vol.9, No.2, Paper No.46, 2020.
11. H. S. Bang, C. J. Lee, M. H. Park, J. H. Cho and Y. T. Kim, “Outdoor Navigation System of Caterpillar Mobile Robot based on Multiple Sensors,” Journal of Korean Institute of Intelligent System, Vol.32, No.2, pp.93-100, 2022.
12. P. G. Bhat, B. N. Subudhi, T. Veerakumar, V. Laxmi and M. S. Gaur, “Multi-feature Fusion in Particle Filter Framework for Visual Tracking,” IEEE Sensors Journal, Vol.20, No.5, pp.2405-2415, 2019.
13. I. A. Iswanto, T. W. Choa and B. Li, “Object Tracking based on Meanshift and Particle-Kalman Filter Algorithm with Multi Features,” Procedia Computer Science, Vol.157, pp.521-529, 2019.
14. G. S. Walia, A. Kumar, A. Saxena, K. Sharma and K. Singh, “Robust Object Tracking with Crow Search Optimized Multi-cue Particle Filter,” Pattern Analysis and Applications, Vol.23, pp.1439-1455, 2020.
15. Z. Gong, C. Qiu, B. Tao, H. Bai, Z. Yin, Z and H. Ding, “Tracking and Grasping of Moving Target based on Accelerated Geometric Particle Filter on Colored Image,” Science China Technological Sciences, Vol.64, No.4, pp.755-766, 2021.
16. J. W. Kang and S. W. Kim, “Millimeter Wave beam Tracking Via Particle Filter under the Mobility,” Journal of Korean Institute of Communications and Information Sciences, Vol.44, No.9, pp.1763-1769, 2019.
17. S. H. Kim and K. S. Oh, “Development of a Multi Particle Filter-Based Path Tracking Algorithm of Autonomous Driving Mobility with Fail-Safe System,” KSAE Spring Conference Proceedings, pp.1112-1113, 2023.